SearchOS-V1: Towards Robust Open-Domain Information-Seeking Agent Collaboration
यह शोध पत्र SearchOS को प्रस्तुत करता है, जो एक सुदृढ़ मल्टी-एजेंट फ्रेमवर्क है जो सर्च-ओरिएंटेड कॉन्टेक्स्ट मैनेजमेंट के माध्यम से कार्य की प्रगति को एक साझा स्थिति (shared state) में बाहरी रूप से प्रस्तुत करके, दक्षता को अधिकतम करने के लिए पाइपलाइन-पैरेलल शेड्यूलिंग का उपयोग करके, और दोहराव वाले सर्च लूप्स को रोकने तथा साक्ष्य कवरेज में सुधार करने के लिए पदानुक्रमित कौशल (hierarchical skills) के साथ एक मिडलवेयर हार्नेस का उपयोग करके ओपन-डोमेन सूचना अन्वेषण को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक विशाल रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल एक नोटबुक नहीं, बल्कि जूनियर जासूसों की एक टीम है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन "जासूसों" को एजेंट्स (agents) कहा जाता है। ये स्मार्ट कंप्यूटर प्रोग्राम हैं जो इंटरनेट से बात कर सकते हैं, वेबसाइट पढ़ सकते हैं और आपके सवालों के जवाब देने के लिए जानकारी जुटा सकते हैं। लंबे समय तक, ये एजेंट उन जासूसों की तरह थे जो यह भूल जाते थे कि उन्होंने पहले क्या खोजा था। जैसे-जैसे रहस्य बड़ा होता गया, वे भ्रमित होने लगे, बार-बार एक ही सवाल दोहराने लगे, या एक लूप (चक्र) में फंस गए, जिससे समय और ऊर्जा बर्बाद होने लगी। उनके पास अपनी प्रगति का एक साझा, व्यवस्थित रिकॉर्ड रखने का कोई तरीका नहीं था।
इसे ठीक करने के लिए, शोधकर्ता इन एजेंटों के मिलकर काम करने के बेहतर तरीके बना रहे हैं। वे लार्ज लैंग्वेज मॉडल्स (Large Language Models) (इन्हें सुपर-स्मार्ट दिमाग समझें जो पढ़ और लिख सकते हैं) का उपयोग करते हैं और उन्हें वेब खोजने के उपकरण देते हैं। बड़ी चुनौती लॉन्ग-होरिज़न टास्क (long-horizon tasks) है: ये जटिल काम हैं जिनमें सैकड़ों तथ्य जुटाने, उनकी जांच करने और उन्हें पूरी तरह से व्यवस्थित करने की आवश्यकता होती है। यदि एजेंट "बड़ी तस्वीर" (big picture) से भटक जाते हैं, तो अंतिम उत्तर अव्यवस्थित या अधूरा हो जाता है। यह पेपर ठीक इसी समस्या पर काम करता है: हम इन डिजिटल जासूसों को अपने ही काम में खो जाने से कैसे रोक सकते हैं और उन्हें एक सुव्यवस्थित मशीन की तरह सहयोग करने में कैसे मदद कर सकते हैं?
समस्या: "भुलक्कड़ जासूस" का लूप
कल्पना कीजिए कि आप और आपके दोस्त एक अस्पष्ट निर्देश पुस्तिका के आधार पर एक विशाल लेगो (Lego) किला बनाने की कोशिश कर रहे हैं। आप सभी ईंटें उठाना शुरू करते हैं, लेकिन कोई भी इस बात की सूची नहीं रख रहा है कि आपने पहले से क्या खोज लिया है। एक दोस्त लाल रंग की 2x4 ईंट की तलाश में बार-बार लग जाता है, जबकि दूसरे दोस्त ने उसे दस मिनट पहले ही ढूंढ लिया था। दूसरा दोस्त एक बंद दरवाजे को खोलने की कोशिश में फंसा हुआ है, वह बार-बार उस पर टकरा रहा है बजाय इसके कि वह दूसरा दरवाजा आजमाए।
वर्तमान एआई (AI) सर्च एजेंटों के साथ यही होता है। जैसे-जैसे वे जटिल प्रश्नों के उत्तर देने का प्रयास करते हैं, वे अपनी प्रगति का ट्रैक खो देते हैं। वे दोहराव वाले लूप (repetitive loops) में फंस जाते हैं, जिससे वे गलत रास्तों पर अपना "सर्च बजट" (अपना समय और कंप्यूटिंग शक्ति) बर्बाद करते हैं। वे महत्वपूर्ण तथ्यों को मिस कर सकते हैं क्योंकि सबूत एक लंबे चैट इतिहास में दब गए हैं, या वे आपस में बहस कर सकते हैं क्योंकि उनके पास इस बात का साझा नक्शा नहीं है कि क्या ज्ञात है और क्या अज्ञात है। केवल अधिक एजेंट जोड़ने से यह ठीक नहीं होता; यह केवल अधिक अराजकता पैदा करता है, जहाँ हर कोई एक-दूसरे के काम में बाधा डालता है।
समाधान: SearchOS, सर्च के लिए एक "ऑपरेटिंग सिस्टम"
लेखक SearchOS पेश करते हैं, जो एक नया फ्रेमवर्क है जो इन सर्च एजेंटों के लिए एक केंद्रीय कमांड सेंटर या "ऑपरेटिंग सिस्टम" की तरह कार्य करता है। एजेंटों को उनकी धुंधली यादों पर निर्भर रहने देने के बजाय, SearchOS उन्हें सब कुछ एक साझा, व्यवस्थित नोटबुक में लिखने के लिए मजबूर करता है जो कभी खो नहीं सकती।
यह कैसे काम करता है, यहाँ कुछ मजेदार उपमाओं का उपयोग किया गया है:
1. मास्टर ब्लूप्रिंट (रिलेशनल स्कीमा - Relational Schema)
केवल "कंपनियों के बारे में बताएं" जैसा अस्पष्ट प्रश्न पूछने के बजाय, SearchOS इस कार्य को एक विशाल, संरचित स्प्रेडशीट भरने में बदल देता है। एक डिटेक्टिव बोर्ड की कल्पना करें जहाँ आपके पास "कंपनी का नाम," "सीईओ," "राजस्व," और "स्थापना वर्ष" के लिए विशिष्ट कॉलम हैं। एजेंटों का काम केवल "जानकारी खोजना" नहीं है; बल्कि इस स्प्रेडशीट के हर खाली सेल को भरना है। यदि कोई सेल खाली है, तो सिस्टम को पता चल जाता है कि क्या गायब है। यह एक अस्त-व्यस्त, खुले अंत वाली खोज को "खाली स्थान भरने" के एक स्पष्ट, मापने योग्य खेल में बदल देता है।
2. साझा कमांड सेंटर (SOCM)
यह SearchOS का हृदय है। यह एक सर्च-ओरिएंटेड कॉन्टेक्स्ट मैनेजमेंट (Search-Oriented Context Management) सिस्टम है जो पूरी टीम के लिए एक साझा मस्तिष्क के रूप में कार्य करता है। यह चार महत्वपूर्ण चीजों को वास्तविक समय में अपडेट रखता है:
- फ्रंटियर टास्क लिस्ट (The Frontier Task List): यह कि कौन से स्प्रेडशीट सेल अभी भी खाली हैं, इसकी सटीक टू-डू लिस्ट।
- एविडेंस ग्राफ (The Evidence Graph): खोजे गए प्रत्येक तथ्य का एक नक्शा, जो सीधे उस वेबसाइट से जुड़ा है जहाँ से वह आया है (ताकि आप स्रोत की जांच कर सकें)।
- कवरेज मैप (The Coverage Map): एक विजुअल डैशबोर्ड जो दिखाता है कि स्प्रेडशीट के कौन से हिस्से भरे हुए हैं, कौन से अनिश्चित हैं, और कौन से गायब हैं।
- फेलियर मेमोरी (Failure Memory): एक "इसे दोबारा कोशिश न करें" वाली सूची। यदि एक एजेंट एक खोज करता है और वह विफल हो जाती है (जैसे कि एक टूटी हुई वेबसाइट), तो यह मेमोरी अन्य एजेंटों को बताती है, "इसे फिर से आज़माने की कोशिश न करें; यह एक डेड एंड है।"
3. असेंबली लाइन (पाइपलाइन-पैरेलल शेड्यूलिंग - Pipeline-Parallel Scheduling)
पुराने सिस्टम अक्सर एजेंटों को एक-दूसरे का इंतज़ार करवाते हैं, जैसे कि एक सिंगल कैशियर के लिए लोगों की कतार। SearchOS पाइपलाइन-पैरेलल शेड्यूलिंग का उपयोग करता है। एक फैक्ट्री असेंबली लाइन की कल्पना करें: जैसे ही एक एजेंट एक कार्य पूरा करता है और एक जगह खाली करता है, सिस्टम तुरंत अगले उपलब्ध एजेंट को एक नया कार्य सौंप देता है। कोई भी खाली नहीं बैठता। यदि एक एजेंट धीमा है, तो अन्य लोग स्प्रेडशीट के विभिन्न हिस्सों पर काम करना जारी रखते हैं। यह पूरी टीम को बहुत तेज़ और अधिक कुशल बनाता है।
4. रेफरी (मिडलवेयर हार्नेस - Middleware Harness)
कभी-कभी एजेंट लूप में फंस जाते हैं या उनका समय समाप्त हो जाता है। SearchOS में एक सर्च टूल मिडलवेयर हार्नेस (Search Tool Middleware Harness) है जो एक सख्त रेफरी की तरह कार्य करता है। यह एजेंटों की हर हरकत पर नज़र रखता है। यदि यह देखता है कि एक एजेंट एक बंद दरवाजे पर बार-बार टकरा रहा है (एक असफल खोज) या एक ही प्रश्न दोहरा रहा है, तो रेफरी हस्तक्षेप करता है, एजेंट को रोकता है, और उसे एक नई रणनीति देता है। यह यह भी सुनिश्चित करता है कि एजेंट द्वारा पाया गया प्रत्येक तथ्य अंतिम रिपोर्ट में लिखे जाने से पहले "ग्राउंडेड" (एक वास्तविक स्रोत से जुड़ा हुआ) हो।
5. टूलबॉक्स (हायरार्किकल स्किल्स - Hierarchical Skills)
SearchOS के पास पहले से बने स्किल्स (skills) का एक पुस्तकालय है। इन्हें एक जासूस के किट के विशेष उपकरणों के रूप में समझें। कुछ उपकरण सामान्य खोज के लिए हैं (जैसे "एक अच्छा प्रश्न कैसे पूछें"), जबकि अन्य कुछ विशिष्ट वेबसाइटों के लिए हैं (जैसे "सरकारी डेटाबेस को कैसे नेविगेट करें") है। सिस्टम एजेंटों को इन उपकरणों का उपयोग करना सिखाता है ताकि उन्हें हर बार नई साइट पर जाने पर पहिया फिर से आविष्कार न करना पड़े।
उन्होंने क्या पाया: परिणाम
शोधकर्ताओं ने SearchOS का परीक्षण दो कठिन बेंचमार्क पर किया जिन्हें WideSearch और GISA कहा जाता है। इन परीक्षणों में जटिल प्रश्न शामिल हैं जिनके लिए विभिन्न स्रोतों से कई तथ्य जुटाने की आवश्यकता होती है।
परिणाम प्रभावशाली थे। SearchOS ने सभी अन्य विधियों को हरा दिया, जिसमें सिंगल-एजेंट सिस्टम और अन्य मल्टी-एजेंट टीमें भी शामिल थीं।
- WideSearch टेस्ट पर, इसने 80.3 का आइटम-लेवल F1 स्कोर प्राप्त किया, जो सभी विधियों में सबसे अधिक था।
- GISA टेस्ट पर, इसने 76.5 का सेट F1 मेट्रिक स्कोर किया, जो अगले सर्वश्रेष्ठ सिस्टम से 13.4 अंकों के बड़े अंतर से आगे था।
पेपर सुझाव देता है कि एजेंटों को उनकी आंतरिक यादों पर भरोसा करने के बजाय एक साझा, स्पष्ट अवस्था (स्प्रेडशीट और मानचित्रों) से काम करने के लिए मजबूर करके, सिस्टम बहुत अधिक विश्वसनीय हो जाता है। यह अधिक गलतियाँ किए बिना (उच्च सटीकता बनाए रखते हुए) अधिक तथ्य खोजता है (बेहतर रिकॉल)।
यह क्यों मायने रखता है
यह केवल AI को तेज़ बनाने के बारे में नहीं है; यह AI को विश्वसनीय बनाने के बारे में है। जब AI गहन शोध कर रहा हो, तो आपको यह जानने की आवश्यकता होती है कि उसने कोई महत्वपूर्ण तथ्य छोड़ा तो नहीं है या कोई संख्या मनगढ़ंत तो नहीं बनाई है। SearchOS एक तरीका प्रदान करता है जिससे आप देख सकते हैं कि AI क्या जानता है, वह क्या नहीं जानता है, और वह कहाँ फंस सकता है। यह इंटरनेट खोजने की अराजक प्रक्रिया को एक संरचित, अवलोकन योग्य और सहयोगात्मक प्रयास में बदल देता है।
लेखक सुझाव देते हैं कि यह दृष्टिकोण—खोज को एक साझा "ऑपरेटिंग सिस्टम" के साथ एक स्टेटफुल (stateful), सहयोगात्मक प्रक्रिया के रूप में मानना—उन एजेंटों के निर्माण की दिशा में एक बड़ा कदम है जो शोर के बीच खोए बिना जटिल, वास्तविक दुनिया के शोध कार्यों को संभाल सकते हैं। उन्होंने केवल एक बेहतर सर्च इंजन नहीं बनाया; उन्होंने AI एजेंटों के एक टीम के रूप में मिलकर काम करने का एक बेहतर तरीका बनाया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।