Mixing Mechanisms: How Language Models Retrieve Bound Entities In-Context
यह शोध पत्र यह प्रकट करता है कि जबकि भाषा मॉडल इन-कॉन्टेक्स्ट (in-context) बंधित संस्थाओं को पुनः प्राप्त करने के लिए प्रारंभ में एक स्थितिगत तंत्र (positional mechanism) पर निर्भर करते हैं, यह दृष्टिकोण जैसे-जैसे संदर्भ की जटिलता बढ़ती है, अविश्वसनीय होता जाता है, जिससे मॉडल को एक सुदृढ़, कारण संबंधी मॉडल (causal model) बनाने के लिए इसे लेक्सिकल (lexical) और रिफ्लेक्सिव (reflexive) तंत्रों के साथ पूरक करने के लिए प्रेरित किया जाता है जो विविध और लंबे इनपुट में व्यवहार का सटीक पूर्वानुमान लगा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य चित्र: "बीच में खो जाने" (Lost in the Middle) की समस्या
कल्पना कीजिए कि आप एक कहानी पढ़ रहे हैं जहाँ एक पात्र अपने दोस्तों और उनके पसंदीदा खाद्य पदार्थों की एक लंबी सूची पेश करता है:
- एन (Ann) को पाई (pie) पसंद है।
- जो (Joe) को जैम (jam) पसंद है।
- पीट (Pete) को चाय (tea) पसंद है।
- टिम (Tim) को एले (ale) पसंद है।
- ...और इसी तरह, 20 अलग-अलग लोग।
फिर कहानी पूछती है: "एले किसे पसंद है?"
यदि आप एक इंसान हैं, तो आप सूची को स्कैन कर सकते हैं। यदि आप एक AI (भाषा मॉडल) हैं, तो आपको उस कहानी की अपनी स्मृति के भीतर उत्तर खोजने का तरीका पता लगाना होगा।
लंबे समय तक, शोधकर्ताओं ने सोचा कि AI इसे केवल स्थितियों (positions) को गिनकर हल करता है। वह सोचेगा: "प्रश्न उल्लेख किए गए चौथे व्यक्ति के बारे में है, इसलिए मैं चौथे नाम को देखूँगा।" यह एक ऐसे लाइब्रेरियन की तरह है जो किताबों को केवल उनके शेल्फ नंबर से जानता है।
यह पेपर कहता है कि वह लाइब्रेरियन गलत है। AI केवल शेल्फ नंबरों का उपयोग नहीं करता है। वास्तव में, जब सूची लंबी हो जाती है, तो "शेल्फ नंबर" वाला तरीका भ्रमित हो जाता है, विशेष रूप से सूची के बीच में रहने वाले लोगों के लिए। इसे ठीक करने के लिए, AI वास्तव में सही उत्तर खोजने के लिए एक साथ तीन अलग-अलग तरकीबें इस्तेमाल करता है।
तीन तरकीबें (Mechanisms)
लेखकों ने पाया कि AI यह याद रखने के लिए कि किसे क्या पसंद है, तीन विशिष्ट रणनीतियों को मिलाता है। इसे एक जासूस की तरह समझें जो तीन अलग-अलग उपकरणों का उपयोग करके एक केस सुलझा रहा है:
1. पोजीशनल मैकेनिज्म (पोजीशन या स्थिति वाली तरकीब - "शेल्फ नंबर" की ट्रिक)
- यह कैसे काम करती है: AI देखता है कि जानकारी टेक्स्ट में कहाँ दिखाई दी थी। यदि "एन" पहले उल्लेख किया गया व्यक्ति था, तो AI उसे "पहला व्यक्ति" के रूप में याद रखता है।
- यह कब काम करती है: यह सूची के बिल्कुल पहले और बिल्कुल अंत के आइटम्स के लिए बहुत अच्छी है। यह शेल्फ के पहले और आखिरी किताबों को पूरी तरह से याद रखने जैसा है।
- यह कब विफल होती है: जैसे-जैसे सूची लंबी होती जाती है, शेल्फ का "मध्य" हिस्सा धुंधला होता जाता है। AI इस बात को लेकर भ्रमित हो जाता है कि "टिम" 5वाँ व्यक्ति है या 6ठा। सिग्नल "शोरपूर्ण" (noisy) और अविश्वसनीय हो जाता है।
2. लेक्सिकल मैकेनिज्म (शब्द जुड़ाव वाली तरकीब - "शब्दों का संबंध" की ट्रिक)
- यह कैसे काम करती है: गिनने के बजाय, AI स्वयं शब्दों को देखता है। यदि प्रश्न है "किसे पाई पसंद है?", तो AI अपनी स्मृति में "पाई" शब्द को खोजता है और उससे जुड़े नाम को पकड़ लेता है।
- उपमा: यह एक वेटर की तरह है जो टेबल नंबर तो याद नहीं रखता लेकिन याद रखता है: "ओह, जिसने पाई का ऑर्डर दिया था, वह लाल टोपी वाला व्यक्ति है।"
- यह कब मदद करती है: यह बहुत सटीक और तेज है। यह तब काम आती है जब सूची के बीच में "शेल्फ नंबर" वाला तरीका धुंधला हो जाता है।
3. रिफ्लेक्सिव मैकेनिज्म (स्व-संकेत वाली तरकीब - "सेल्फ-पॉइंटर" की ट्रिक)
- यह कैसे काम करती है: यह सबसे अनूठी है। जब AI पढ़ता है "टिम को एले पसंद है," तो वह "एले" शब्द से "टिम" की ओर इशारा करने वाला एक गुप्त, अदृश्य तीर (arrow) बनाता है। बाद में, "एले" के बारे में पूछे जाने पर, वह सीधे उस तीर का पीछा करता है।
- उपमा: कल्पना कीजिए कि "एले" के साथ एक छोटा GPS ट्रैकर लगा है जो सीधे "टिम" की ओर इशारा करता है। AI को खोजने की ज़रूरत नहीं है; वह बस ट्रैकर का पीछा करता है।
- इसकी आवश्यकता क्यों है: कभी-कभी प्रश्न वाक्य की संरचना में उत्तर से पहले आता है (जैसे, "एले किसे पसंद है? टिम को।")। "शब्द जुड़ाव" वाली ट्रिक आसानी से पीछे की ओर काम नहीं कर सकती, इसलिए AI को सीधे उत्तर तक कूदने के लिए इस सीधे "पॉइंटर" की आवश्यकता होती है।
"मध्य" की समस्या और समाधान
पेपर में एक दिलचस्प पैटर्न पाया गया:
- सूची की शुरुआत और अंत में: AI मुख्य रूप से पोजीशनल ट्रिक (गिनने) पर निर्भर करता है। यहाँ यह मजबूत और आत्मविश्वासी है।
- सूची के बीच में: पोजीशनल ट्रिक कमजोर और धुंधली हो जाती है (इसे "लॉस्ट इन द मिडल" प्रभाव कहा जाता है)।
- समाधान: बीच में, AI लेक्सिकल (शब्द जुड़ाव) और रिफ्लेक्सिव (पॉइंटर) की एक मिली-जुली रणनीति पर स्विच कर देता है। ये बहुत सटीक हैं और AI को लंबी सूची के शोर को अनदेखा करने में मदद करते हैं।
उन्होंने AI के दिमाग को "पैच" करके इसे सिद्ध किया। उन्होंने एक कहानी से AI की स्मृति ली और उसे दूसरी कहानी की स्मृति से बदल दिया।
- यदि उन्होंने पोशनल स्मृति को बदला, तो AI ने नई सूची के क्रम के आधार पर अनुमान लगाया।
- यदि उन्होंने लेक्सिकल स्मृति को बदला, तो AI ने नई सूची के शब्दों के आधार पर अनुमान लगाया।
- यदि उन्होंने रिफ्लेक्सिव स्मृति को बदला, तो उसने नए पॉइंटर्स का पीछा किया।
ऐसा करके, उन्होंने दिखाया कि AI केवल एक विधि का उपयोग नहीं कर रहा है; वह लगातार इन तीनों को मिला रहा है।
"कॉज़ल मॉडल" (नुस्खा/रेसिपी)
शोधकर्ताओं ने एक सरल गणितीय मॉडल बनाया जो इन तीन तरकीबों को जोड़ता है।
- उन्होंने पाया कि यदि आप मॉडल को तीनों (पोशनल + लेक्सिकल + रिफ्लेक्सिव) का उपयोग करने के लिए कहते हैं, तो यह 95% सटीकता के साथ भविष्यवाणी कर सकता है कि AI आगे क्या कहेगा।
- यदि उन्होंने केवल पुराने "पोशनल" तरीके का उपयोग करने की कोशिश की (जिस तरह से दुनिया सोचती थी कि यह काम करता है), तो सटीकता गिरकर लगभग 45% हो गई—जो कि लगभग एक तुक्का लगाने जैसा है।
क्या यह वास्तविक दुनिया में काम करता है?
इस पेपर ने न केवल सरल सूचियों पर, बल्कि "फिलर" टेक्स्ट (मौसम या ट्रैफिक के बारे में रैंडम वाक्य) के साथ कहानियों पर भी परीक्षण किया।
- उस अतिरिक्त शोर के बावजूद, AI अभी भी उन्हीं तीन तरकीबों का उपयोग करता है।
- हालाँकि, जैसे-जैसे टेक्स्ट बहुत लंबा होता गया, "शब्द जुड़ाव" (लेक्सिकल) वाली तरकीब थोड़ी कमजोर हो गई, और "शेल्फ नंबर" (पोशनल) वाली तरकींक थोड़ी अधिक शोरपूर्ण हो गई। यही कारण है कि AI कभी-कभी बहुत लंबे दस्तावेज़ों के साथ संघर्ष करता है—ऐसा नहीं है कि AI भूल गया; बल्कि यह कि उसके तीन उपकरण बढ़ते हुए लंबे दस्तावेज़ के साथ थोड़े कम सटीक होते जा रहे हैं।
सारांश
भाषा मॉडल केवल कहानी को गिनकर आगे नहीं बढ़ते। वे एक हाइब्रिड सिस्टम का उपयोग करते हैं:
- किनारों के लिए गिनना (पोशनल)।
- बीच के हिस्से के लिए शब्दों का मिलान करना (लेक्सिकल)।
- सीधे कनेक्शन के लिए पॉइंटर्स का पीछा करना (रिफ्लेक्सिव)।
इस मिश्रण को समझकर, हमें एक स्पष्ट तस्वीर मिलती है कि AI वास्तव में लंबी बातचीत में चीजों को कैसे सोचता है और याद रखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।