RecaLLM: Addressing the Lost-in-Thought Phenomenon with Explicit In-Context Retrieval
RecaLLM "लॉस्ट-इन-थॉट" (lost-in-thought) घटना को संबोधित करता है, जहाँ तर्क करने से रिट्रीवल प्रदर्शन कम हो जाता है, तर्क के साथ स्पष्ट इन-कॉन्टेक्स्ट रिट्रीवल को इंटरलीव करके और एक कंस्ट्रेंड डिकोडिंग मैकेनिज्म का उपयोग करके मजबूत लॉन्ग-कॉन्टेक्स्ट प्रदर्शन प्राप्त करता है जिसके लिए महंगी लॉन्ग-कॉन्टेक्स्ट ट्रेनिंग डेटा की आवश्यकता नहीं होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शानदार जासूस हैं जो एक बहुत बड़े रहस्य को सुलझाने की कोशिश कर रहे हैं। आपके सामने एक विशाल फाइलिंग कैबिनेट है जिसमें लाखों दस्तावेज़ रखे हैं (यह लॉन्ग कॉन्टेक्स्ट/Long Context है)। आपका काम एक विशिष्ट सुराग ढूंढना है, यह समझने के लिए कुछ जटिल गणित करना है कि उसका क्या अर्थ है, और फिर अपनी अंतिम रिपोर्ट लिखना है।
समस्या: "लॉस्ट इन थॉट" (विचारों में खो जाना)
अतीत में, यदि आप किसी मानक एआई (AI) जासूस को एक कठिन मामला सुलझाने के लिए कहते, तो वह एक साथ दो चीजें करने की कोशिश करता:
- सोचना (Think): वह अपने तर्क को चरण-दर-चरण लिखना शुरू कर देता।
- खोजना (Search): वह याद रखने की कोशिश करता कि उस विशाल फाइलिंग कैबिनेट में सुराग कहाँ था।
शोधकर्ताओं ने एक अजीब गड़बड़ी खोजी जिसे "लॉस्ट-इन-थॉट" (Lost-in-Thought) कहा जाता है।
यहाँ क्या होता है: जासूस बहुत गहराई से सोचना शुरू करता है। जैसे ही वह अपने विचार लिखना शुरू करता है ("ठीक है, यदि X, 5 है, तो Y निश्चित रूप से... होगा"), सोचने की यह प्रक्रिया एक मानसिक धुंध पैदा कर देती है। जब तक जासूस अंततः यह समझ पाता है कि उसे किस सुराग की आवश्यकता है (जैसे, "मुझे फाइल #4827 से दस्तावेज़ चाहिए"), तब तक वह भूल चुका होता है कि उस फाइल में क्या लिखा था।
वह कुंजी (Key) को तो जानता है (फाइल #4827), लेकिन जब वह मान (Value) को पढ़ने की कोशिश करता है (वास्तविक टेक्स्ट), तो वह भ्रमित होने लगता है (Hallucinate करने लगता है)। वह कह सकता है, "फाइल कहती है 'आसमान हरा है'" जबकि फाइल में वास्तव में लिखा था, "आसमान नीला है।"
उपमा (Analogy): कल्पना कीजिए कि आप एक विशिष्ट उद्धरण (Quote) खोजने के लिए एक लंबी किताब पढ़ रहे हैं। आप उस पुस्तक के विषयों पर एक निबंध लिखना शुरू करते हैं। अपने निबंध के बीच में ही, आप अपने ही विचारों में इतने डूब जाते हैं कि आप उस उद्धरण के सटीक शब्दों को भूल जाते हैं जिसे आप खोज रहे थे। आप शब्दों का अनुमान लगाते हैं, और आप गलत होते हैं।
समाधान: RecaLLM (एक "रुककर जांच करने वाला" जासूस)
लेखकों ने एक नए प्रकार का जासूस बनाया जिसे RecaLLM कहा जाता है। एक साथ सोचने और खोजने के बजाय, RecaLLM खेल के नियम बदल देता है।
RecaLLM एक सख्त नए प्रोटोकॉल का पालन करता है:
- सोचना (Think): वह कुछ देर के लिए तर्क करता है।
- रुकना (Stop): उसे एहसास होता है, "रुको, मुझे पक्का करने के लिए फाइलिंग कैबिनेट को चेक करने की जरूरत है।"
- रिकॉल (Recall): वह भौतिक रूप से कैबिनेट खोलता है, सटीक पृष्ठ निकालता है, और उसे एक विशेष स्टिकी नोट पर शब्द-दर-शब्द कॉपी करता है।
- जारी रखना (Continue): वह स्टिकी नोट को नीचे रखता है और उस सटीक टेक्स्ट का उपयोग करके अपने तर्क को आगे बढ़ाता है।
इस प्रक्रिया में वे इन स्टिकी नोट्स को "रिकॉल स्पैन" (Recall Spans) कहते हैं।
जादुई ट्रिक: "झूठ न बोलने वाला" पेन
RecaLLM यह कैसे सुनिश्चित करता है कि वह टेक्स्ट को पूरी तरह से कॉपी करता है? यह एक विशेष ट्रिक का उपयोग करता है जिसे कन्स्ट्रेंड डिकोडिंग (Constrained Decoding) कहा जाता है।
इसे एक रिक्त स्थान भरने वाले खेल (Fill-in-the-blank game) की तरह समझें जहाँ एआई को केवल उन अक्षरों को लिखने की अनुमति है जो मूल दस्तावेज़ में मौजूद हैं।
- यदि दस्तावेज़ कहता है "The cat sat," और एआई "The cat sat on the mat" लिखने की कोशिश करता है, तो सिस्टम उसे रोक देता है।
- एआई को "The cat sat" को ठीक वैसे ही कॉपी करने के लिए मजबूर किया जाता है जैसा कि वह स्रोत में दिखाई देता है। "रिकॉल मोड" में रहते हुए वह वास्तव में नए शब्द नहीं बना सकता।
यह सुनिश्चित करता है कि जब जासूस अंततः अपना अंतिम उत्तर लिखता है, तो वह उन तथ्यों पर आधारित होता है जो 100% वास्तविक हैं, न कि काल्पनिक अनुमानों पर।
यह एक बड़ी बात क्यों है
- यह स्मार्ट है, सिर्फ बड़ा नहीं: आमतौर히, लंबे कार्यों में एआई को बेहतर बनाने के लिए, कंपनियों को इसे भारी मात्रा में डेटा (जैसे पूरा इंटरनेट पढ़ना) पर प्रशिक्षित करना पड़ता है। RecaLLM ने यह कौशल अपेक्षाकृत छोटे उदाहरणों (जैसे कुछ छोटी कहानियाँ पढ़ना) का उपयोग करके सीखा, लेकिन यह "रुकने और जांच करने" में इतना कुशल हो गया कि यह उन दस्तावेजों को संभाल सकता है जो इसके प्रशिक्षण डेटा से 128 गुना लंबे हैं।
- यह पैसा बचाता है: एआई को विशाल दस्तावेजों पर प्रशिक्षित करना अविश्वसनीय रूप से महंगा है। RecaLLM दिखाता है कि आपको एआई को लाइब्रेरियन बनाने के लिए लाइब्रेरी खिलाने की आवश्यकता नहीं है, आपको बस उसे चीजों को ठीक से खोजना सिखाने की आवश्यकता है।
- यह "मिडल" (बीच वाली) समस्या को ठीक करता है: एआई अक्सर एक लंबे टेक्स्ट के बीच की चीजों को भूल जाता है। क्योंकि RecaLLM स्पष्ट रूप से टेक्स्ट को प्राप्त करता है जब उसे इसकी आवश्यकता होती है, इससे कोई फर्क नहीं पड़ता कि सुराग बिल्कुल शुरुआत में है, अंत में है, या बीच में कहीं दबा हुआ है।
सारांश
RecaLLM एक एआई को अनुमान लगाना बंद करने की शिक्षा देने जैसा है। एक निबंध लिखते समय स्मृति से 100 पन्नों के दस्तावेज़ को याद रखने के बजाय, यह एआई को यह सिखाता है कि "रुको, मुझे इसे जाकर देखना चाहिए," और फिर आगे बढ़ने से पहले उत्तर को ठीक से कॉपी करें। यह सरल आदत एआई को "विचारों में खो जाने" और तथ्य गढ़ने से रोकती है, जिससे यह लंबे, जटिल कार्यों के लिए एक बहुत अधिक विश्वसनीय जासूस बन जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।