Harness-G: A Graph-Structured Harness for Search Agents
Harness-G एक ग्राफ-संरचित इंटरफ़ेस पेश करके सुदृढीकरण शिक्षण (reinforcement learning) खोज एजेंटों में रिट्रीवल-इक्विवैलेंस कोलैप्स (retrieval-equivalence collapse) को संबोधित करता है जो मुक्त-रूप क्वेरी जनरेशन को परिमित क्रिया चयन (finite action selection) में पुनर्गठित करता है, साथ ही एक स्ट्रक्चर्ड नॉन-मायोपिक क्रेडिट (Structured Non-myopic Credit) तंत्र के साथ जो कई QA बेंचमार्क में मौजूदा बेसलाइन से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पेचीदा रहस्य सुलझाने की कोशिश कर रहे हैं, जैसे कि यह पता लगाना कि जार से आखिरी कुकी किसने चुराई। आपके पास एक सुपर-स्मार्ट जासूस (एक आर्टिफिशियल इंटेलिजेंस) है जो जवाब खोजने के लिए लाखों किताबें पढ़ सकता है। लेकिन यहाँ एक पेंच है: जासूस को लाइब्रेरियन से मदद माँगना नहीं आता। "मुझे कुकी जार वाली किताब दिखाओ" कहने के बजाय, वह अजीब, फैंसी वाक्य चिल्लाने लगता है जैसे, "मुझे उस कुरकुरे टुकड़े की कहानी चाहिए!" या "उस मीठे चोर की दास्तां उजागर करो!"
अधिकांश वर्तमान AI सर्च एजेंट इसी तरह काम करते हैं। वे रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक तकनीक का उपयोग करते हैं, जो मूल रूप से एक वीडियो-गेम स्टाइल की ट्रेनिंग है जहाँ AI को सही उत्तर मिलने पर एक "हाई फाइव" (इनाम/रिवॉर्ड) मिलता है और असफल होने पर "थम्स डाउन" मिलता है। समस्या यह है कि AI अलग-अलग तरह के वाक्य बनाने में इतना माहिर है कि वह अक्सर एक ही जानकारी को दस अलग-अलग तरीकों से माँग लेता है। यह "कुकी!", "मीठा व्यंजन!", और "स्वादिष्ट स्नैक!" एक साथ चिल्लाने जैसा है। लाइब्रेरियन (सर्च इंजन) उन सभी के लिए किताबों का एक ही ढेर वापस लाता है, लेकिन AI को लगता है कि वह कुछ नया खोज रहा है। इससे एक भ्रम पैदा होता है जहाँ AI को लगता है कि वह सीख रहा है, लेकिन वास्तवक में वह बस पहिए घुमा रहा है—एक ही सवाल को अलग-अलग वेशभूषा में बार-बार पूछ रहा है।
नेशनल यूनिवर्सिटी ऑफ डिफेंस टेक्नोलॉजी के शोधकर्ताओं ने इस भ्रम को देखा और जासूस के बात करने के तरीके को ठीक करने का फैसला किया। उन्होंने महसूस किया कि AI को बेतरतीब वाक्य चिल्लाने देना ही समस्या थी। AI को अपने खुद के सवाल बनाने देने के बजाय, उन्होंने एक विशेष मेनू बनाया, जैसे कि एक वीडियो गेम इंटरफेस, जहाँ उसे विशिष्ट, पूर्व-अनुमोदित कार्यों में से एक चुनना होता है। वह केवल "पूछ" नहीं सकता; उसे एक विशिष्ट वाक्य को "चुनना" (Select) होगा, किसी विशिष्ट व्यक्ति को "खोजना" (Look up) होगा, या प्रश्न का "उत्तर" (Answer) देना होगा। इस तरह, उन्हें एक स्पष्ट सूची में से चुनने के लिए मजबूर करके, उन्होंने उन्हें अपनी शब्दों की उलझन में खो जाने से रोक दिया। उन्होंने श्रेय देने का एक नया तरीका भी ईजाद किया: यदि AI सही व्यक्ति को खोजने का चुनाव करता है, लेकिन उत्तर तीन चरणों बाद दिखाई देता है, तो वे सुनिश्चित करते हैं कि AI को अंतिम परिणाम के बजाय उस पहले स्मार्ट कदम के लिए श्रेय मिले।
नया खेल: हार्नेस-जी (Harness-G)
यह पेपर एक नए सिस्टम को पेश करता है जिसे हार्नेस-जी (Harness-G) कहा जाता है। इसे अपने AI जासूस को एक नया, सुपर-ऑर्गनाइज्ड मैप और एक सख्त नियम पुस्तिका देने के रूप में समझें।
समस्या: अन्वेषण का "भ्रम" (The "Illusion" of Exploration)
लेखकों ने पाया कि जब AI एजेंट पुराने "फ्री-फॉर्म" तरीके (बेतरतीब वाक्य चिल्लाना) का उपयोग करते हैं, तो वे "रिट्रीवल-इक्विवेलेंस कोलैप्स" (retrieval-equivalence collapse) नामक समस्या का सामना करते हैं। कल्पना कीजिए कि आप एक खेल खेल रहे हैं जहाँ आपको छिपा हुआ खजाना ढूंढना है। पुराना AI दस अलग-अलग जगहों पर खुदाई करने की कोशिश करेगा, लेकिन क्योंकि वह अस्पष्ट निर्देश चिल्ला रहा था, गेम इंजन उन सभी दस जगहों पर मिट्टी का एक ही ढेर वापस लाता रहेगा। AI सोचता, "वाह, मैंने दस अलग चीजें आजमाईं!" लेकिन वास्तव में, उसने एक ही गड्ढा दस बार खोदा। इसने AI के लिए यह सीखना असंभव बना दिया कि कौन से कदम वास्तव में अच्छे थे, क्योंकि हर कदम सिस्टम के लिए एक जैसा ही दिखता था।
समाधान: एक्शन मेनू (The Action Menu)
हार्नेस-जी खेल के नियम बदल देता है। AI को अपने खुद के सवाल लिखने देने के बजाय, सिस्टम एक ग्राफ (graph) बनाता है—सभी किताबों के पैराग्राफ, वाक्यों और नामों (एंटिटीज) को जोड़ने वाला एक विशाल जाल। जब AI जानकारी खोजना चाहता है, तो वह वाक्य नहीं लिखता। इसके बजाय, वह सिस्टम द्वारा प्रदान किए गए विकल्पों के एक मेनू को देखता है।
मेनू केवल तीन प्रकार के मूव्स (moves) की पेशकश करता है:
- सेलेक्ट (Select): "मैं इस विशिष्ट वाक्य को अपने प्रमाण के रूप में चुनता हूँ।"
- लुकअप (Lookup): "मैं इस विशिष्ट नाम (जैसे 'कैरोलिन लीफ') के बारे में अधिक जानकारी चाहता हूँ।"
- आंसर (Answer): "मैं समाप्त कर चुका हूँ, यह रहा मेरा उत्तर।"
सिस्टम फिर उस चुनाव को एक सटीक सर्च क्वेरी में बदल देता है। यह AI को भ्रमित करने वाले पर्यायवाची शब्द बनाने से रोकता है। यदि AI "कैरोलिन लीफ" को खोजना चाहता है, तो वह सूची से "Lookup Caroline Leaf" चुनता है। वह गलती से "Lookup the director of the movie" नहीं चुन सकता और अलग परिणाम प्राप्त नहीं कर सकता, क्योंकि सिस्टम जानता है कि वे एक ही चीज़ हैं और वह इसे स्वचालित रूप से संभालता है। यह हर कदम को विशिष्ट और स्पष्ट बनाता है।
स्मार्ट क्रेडिट सिस्टम: एसएनसी (SNC)
यह पेपर "हाई फाइव" देने का एक नया तरीका भी पेश करता है जिसे स्ट्रक्चर्ड नॉन-मायोपिक क्रेडिट (Structured Non-myopic Credit - SNC) कहा जाता है। पुराने खेलों में, यदि AI ने शुरुआत में एक स्मार्ट कदम उठाया (जैसे दो विचारों के बीच एक पुल खोजना) लेकिन अंतिम उत्तर उसे बहुत बाद में मिला, तो अक्सर उसे उस शुरुआती कदम के लिए कोई श्रेय नहीं मिलता था। यह एक ऐसे सॉकर खिलाड़ी की तरह था जिसने अपने साथी को एक बेहतरीन पास दिया, लेकिन केवल उस व्यक्ति को गोल का श्रेय मिला जिसने गेंद को नेट में किक किया।
हार्नेस-जी इसे घटनाओं की पूरी श्रृंखला को देखकर ठीक करता है। यह पूछता है: "क्या इस शुरुआती कदम ने बाद की सफलता को सक्षम बनाया?" यदि AI सही ब्रिज सेंटेंस चुनता है, तो सिस्टम उसे श्रेय देता है, भले ही अंतिम उत्तर तीन चरणों बाद आए। यह AI की तुलना उस समय उपलब्ध अन्य विकल्पों से भी करता है। यदि AI सबसे अच्छा विकल्प चुनता है, तो उसे बड़ा इनाम मिलता है। यदि वह औसत विकल्प चुनता है, तो उसे कम मिलता है। यह AI को रणनीतिक बनना सिखाता है, न कि केवल भाग्यशाली होना।
परिणाम
शोधकर्ताओं ने इस नए सिस्टम का परीक्षण छह अलग-अलग प्रश्न-उत्तर चुनौतियों पर किया, जिसमें साधारण सामान्य ज्ञान से लेकर जटिल बहु-चरणीय पहेलियाँ शामिल थीं। उन्होंने इसकी तुलना ग्राफ़-आर1 (Graph-R1) जैसे सर्वश्रेष्ठ मौजूदा तरीकों से की।
परिणाम स्पष्ट थे:
- हार्नेस-जी जीत गया। इसने सभी परीक्षणों पर उच्चतम औसत स्कोर प्राप्त किया।
- इसने छोटे दिमागों की सबसे अधिक मदद की। जब उन्होंने एक छोटा AI मॉडल (1.5 बिलियन पैरामीटर्स) इस्तेमाल किया, तो हार्नेस-जी ने अगले सर्वश्रेष्ठ तरीके की तुलना में 10.74 अंक का सुधार किया। बड़े मॉडल (3 बिलियन पैरामीटर्स) के साथ भी, इसने प्रतियोगिता को 3.98 अंकों से पीछे छोड़ दिया।
- यह अधिक कुशल था। AI को उत्तर खोजने के लिए उतने प्रश्न नहीं पूछने पड़े, और इसने अप्रासंगिक जानकारी पढ़ने में समय बर्बाद नहीं किया।
उन्होंने क्या खारिज किया
यह पेपर स्पष्ट रूप से इस विचार के विरुद्ध तर्क देता है कि केवल AI को उसके बेतरतीब चिल्लाने के लिए "सघन" (denser) रिवॉर्ड देने से समस्या हल हो जाएगी। उन्होंने दिखाया कि बेहतर स्कोरिंग के बावजूद, यदि AI को बेतरतीब वाक्य चिल्लाने की अनुमति दी जाती है, तो वह अभी भी उसी "अन्वेषण के भ्रम" में फंस जाता है जहाँ उसे लगता है कि वह नई चीजें कर रहा है लेकिन वास्तव में नहीं कर रहा। समाधान केवल बेहतर स्कोरिंग नहीं है; बल्कि इंटरफेस को ही बदलना है।
वे कितने आश्वस्त हैं?
लेखक अपने निष्कर्षों को लेकर बहुत आश्वस्त हैं क्योंकि उन्होंने इसे छह अलग-अलग डेटासेट्स और दो अलग-अलग आकार के AI मॉडल्स पर वास्तविक डेटा के माध्यम से परखा है। उन्होंने केवल सिमुलेशन नहीं किया; उन्होंने वास्तव में AI को प्रशिक्षित किया और उसे सीखते हुए देखा। उन्होंने "एब्लेशन स्टडीज" (ablation studies) भी चलाईं, जिसका अर्थ है कि उन्होंने अपने ही सिस्टम के हिस्सों को अलग करके यह साबित किया कि मेनू और स्मार्ट क्रेडिट सिस्टम दोनों ही आवश्यक थे। जब उन्होंने मेनू हटाया, तो प्रदर्शन गिर गया। जब उन्होंने स्मार्ट क्रेडिट हटाया, तो प्रदर्शन गिर गया। दोनों हिस्से अनिवार्य हैं।
संक्षेप में, हार्नेस-जी दिखाता है कि कभी-कभी AI को स्मार्ट बनाने का सबसे अच्छा तरीका उसे उसके सवालों के साथ अधिक रचनात्मक होने देना नहीं है, बल्कि उसे अपना अगला कदम चुनने का एक स्पष्ट, अधिक संरचित तरीका देना है। यह एक अराजक चिल्लाने वाली लड़ाई को एक सटीक, रणनीतिक शतरंज के खेल में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।