Track, Rank, Crack: Epistemic Working Memory Scales Multi-Hop Reasoning in Language Agents
यह शोध पत्र SLEUTH को प्रस्तुत करता है, जो एक ऐसा भाषा एजेंट फ्रेमवर्क है जो निहित संदर्भ (implicit context) को एक स्पष्ट, संरचित एपिस्टेमिक वर्किंग मेमोरी (पुष्ट तथ्यों, रैंक किए गए परिकल्पनाओं और खुले प्रश्नों को ट्रैक करने वाली) से बदलकर मल्टी-हॉप रीजनिंग को स्केल करता है, जो जटिल बेंचमार्क पर प्रदर्शन में महत्वपूर्ण सुधार करता है और यह प्रकट करता है कि संदर्भ विरलीकरण (context dilution) और साक्ष्य पर्याप्तता (evidence sufficiency) की समस्याओं को दूर करने के लिए तर्क की स्थिति को व्यवस्थित करना कच्चे मॉडल सामर्थ्य की तुलना में अधिक महत्वपूर्ण है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं जिसके लिए चार अलग-अलग सुरागों को जोड़ने की आवश्यकता है। आपके पास एक नोटबुक है, लेकिन यह कोई सामान्य नोटबुक नहीं है। हर बार जब आपको एक नया सुराग मिलता है, तो आप उसे कागज के एक टुकड़े पर लिखते हैं और उसे कागजों के एक विशाल, बढ़ते हुए ढेर में चिपका देते हैं। समस्या यह है कि जैसे-जैसे ढेर ऊंचा होता जाता है, नीचे के सुराग नए कागजों के नीचे दबते जाते हैं। जब तक आप शीर्ष तक पहुँचते हैं, आप भूल जाते हैं कि आपने शुरुआत में क्या पाया था। यह बिल्कुल वही होता है जो कई AI "एजेंट्स" के साथ होता है जब वे जटिल, बहु-चरणीय प्रश्नों को हल करने की कोशिश करते हैं: वे अपने ही इतिहास में खो जाते हैं, एक ऐसी समस्या जिसे लेखक कंटेक्स्ट डाइल्यूशन (context dilution) कहते हैं।
यह शोध पत्र इस समस्या को ठीक करने के लिए SLEUTH (स्ट्रक्चर्ड लेयर्ड एविडेंस-अपडेटेड ट्रैकिंग ऑफ हाइपोथीसिसिस) नामक एक नई विधि पेश करता है। AI के दिमाग को कागजों के एक विशाल, अस्त-व्यst ढेर में रहने देने के बजाय, SLEUTH उसे एक बहुत ही विशिष्ट, व्यवस्थित "वर्किंग मेमोरी" रखने के लिए मजबूर करता है जो एक जासूस के व्हाइटबोर्ड जैसा दिखता है। इस व्हाइटबोर्ड के तीन अलग-अलग भाग हैं जिन्हें AI को हर एक कदम के बाद अपडेट करना होता है:
- पुष्ट तथ्य (Confirmed Facts): वे चीजें जो AI ने वास्तव में पाई और सत्यापित की हैं, जिसमें उनके स्रोत का उल्लेख (जैसे सोर्स साइटेशन) भी है।
- सक्रिय परिकल्पनाएं (Active Hypotheses): संभावित उत्तर जिनका AI अनुमान लगा रहा है, जिन्हें साक्ष्यों के आधार पर रैंक किया गया है (उच्च, मध्यम या निम्न विश्वास के साथ)।
- खुले प्रश्न (Open Questions): वे विशिष्ट चीजें जिन्हें AI को पहेली सुलझाने के लिए अभी भी खोजना बाकी है, जो सीधे तौर पर AI को बताते हैं कि उसे आगे क्या खोजना है।
लेखकों ने इसका परीक्षण पांच अलग-अलग कठिन प्रश्न-उत्तर चुनौतियों पर किया, जिनमें HotpotQA और MuSiQue शामिल हैं, जो 2-स्टेप से लेकर 4-स्टेप वाले रीजनिंग चेन (तर्क श्रृंखला) तक विस्तृत हैं। उन्होंने पाया कि जैसे-जैसे प्रश्न कठिन होते गए, अन्य तरीकों की तुलना में SLEUTH बेहतर प्रदर्शन करता गया। सबसे कठिन 4-स्टेप वाले प्रश्नों पर, SLEUTH ने समान AI मॉडल का उपयोग करते हुए मानक विधि (ReAct) की तुलना में सफलता दर में +11.1 अंक का सुधार किया।
यहाँ वास्तव में दिलचस्प बात यह है: शोध पत्र तर्क देता है कि AI अपने विचारों को कैसे व्यवस्थित करता है, यह इस बात से अधिक महत्वपूर्ण है कि AI मॉडल कितना "स्मार्ट" है। इसे सिद्ध करने के लिए, शोधकर्ताओं ने एक कमजोर AI मॉडल (GLM-5) लिया और उसे SLEUTH नोटबुक संरचना का उपयोग करने के लिए मजबूर किया। यह कमजोर मॉडल, व्यवस्थित होने के कारण, वास्तव में एक बहुत अधिक शक्तिशाली मॉडल (Claude Sonnet) को हरा दिया, जो इस संरचना का उपयोग नहीं कर रहा था। इस नोटबुक वाले कमजोर मॉडल ने सबसे कठिन समस्याओं पर 48.9% स्कोर किया, जबकि बिना संरचना वाले मजबूत मॉडल का स्कोर केवल 42.0% रहा। यह सुझाव देता है कि सोचने का एक सरल, संरचित तरीका कच्चे कंप्यूटिंग पावर को मात दे सकता है।
हालाँकि, शोध पत्र एक नई समस्या की ओर भी इशारा करता है जो SLEUTH कभी-कभी पैदा करता है: "एविडेंस सफिशिएंसी प्रॉब्लम" (साक्ष्य पर्याप्तता की समस्या)। क्योंकि AI अपने तथ्यों को व्यवस्थित करने में बहुत अच्छा है, इसलिए वह कभी-कभी पहेली को सुलझाने के लिए पर्याप्त सबूत होने के बाद भी और अधिक प्रमाण खोजने के लिए खोज करता रहता है। वह "बस एक और जांच" के लूप में फंस जाता है, और अपना उत्तर देने से पहले ही अपनी समय सीमा (जिसे "टर्न बजट" कहा जाता है) समाप्त कर देता है।
इसे ठीक करने के लिए, लेखकों ने एक "नज" (धक्का या संकेत) जोड़ा है। कल्पना कीजिए कि एक कोच तब सीटी बजाता है जब जासूस ने अपने आवंटित समय का 70% उपयोग कर लिया हो। वह सीटी AI को बताती है: "खोजना बंद करो! तुम्हारे पास पर्याप्त तथ्य हैं; अब जो तुम्हारे पास है उसका उपयोग करके उत्तर लिखो।" इस सरल नियम ने AI को समय बर्बाद करने से रोकने में मदद की। जब उन्होंने इसका परीक्षण किया, तो सबसे कठिन समस्याओं पर AI की सफलता दर 49.1% से बढ़कर 53.1% हो गई।
महत्वपूर्ण रूप से, शोध पत्र दिखाता है कि यह "नज" केवल तभी काम करता है जब AI के पास व्यवस्थित नोटबुक हो। यदि वे उसी "खोज बंद करो" वाली सीटी किसी ऐसे AI को देते जिसका दिमाग अव्यवस्थित और अनियंत्रित था, तो इससे कोई मदद नहीं मिली (स्कोर 42.2% पर ही रहा)। व्यवस्थित अवस्था आवश्यक घटक है; यह नज केवल उसे उपयोग करने में मदद करता है।
लेखकों ने यह भी परीक्षण किया कि यह विभिन्न समय और विभिन्न खोज सेटिंग्स के साथ कितनी अच्छी तरह काम करता है। उन्होंने पाया कि SLEUTH का लाभ तब भी बना रहता है जब AI एक खोज में केवल एक पैराग्राफ ढूंढ सकता है या पांच। उन्होंने यह भी नोट किया कि इस विधि के लिए किसी विशेष प्रशिक्षण या नए हार्डवेयर की आवश्यकता नहीं है; यह केवल AI को दिए जाने वाले निर्देशों (प्रॉम्प्ट) को बदलकर काम करती है।
संक्षेप में, शोध पत्र सुझाव देता है कि AI एजेंटों को लंबे, जटिल पहेलियों को हल करने में बेहतर बनाने के लिए, हमें केवल AI को बड़ा या स्मार्ट बनाने की जरूरत नहीं है। इसके बजाय, हमें उन्हें यह सिखाना चाहिए कि वे जो जानते हैं, जो अनुमान लगाते हैं और जो उन्हें अभी खोजना बाकी है, उसका एक साफ, संरचित नोटबुक कैसे रखा जाए। संगठन का यह सरल परिवर्तन यहाँ तक कि कमजोर मॉडलों को उन कठिन समस्याओं को हल करने की अनुमति देता है जिन्हें मजबूत मॉडल अपने अव्यवस्थित स्वभाव के कारण हल नहीं कर पाते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।