A retrieval conditioned rebinding circuit for dynamic entity tracking in large language models
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स में एक रिट्रीवल-कंडीशन्ड रीबाइंडिंग सर्किट की पहचान और लक्षण वर्णन करता है जो अवस्था परिवर्तनों को एनकोड और पुन: स्थापित करके डायनेमिक एंटिटी ट्रैकिंग को सक्षम बनाता है, जो जेम्मा (Gemma) और लामा (Llama) मॉडल परिवारों में विशिष्ट रिप्रजेंटेशनल सिग्नेचर को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप तीन डिब्बों (लाल, नीला और हरा) और तीन वस्तुओं (एक खरगोश, एक मोजा और एक खिलौना) के साथ "शेल गेम" खेल रहे हैं।
- सेटअप: आप एक लार्ज लैंग्वेज मॉडल (LLM) को बताते हैं: "लाल डिब्बे में खरगोश है। नीले डिब्बे में मोजा है। हरे डिब्बे में खिलौना है।"
- बदलाव (The Swap): फिर आप कहते हैं: "लाल और नीले डिब्बों की सामग्री को आपस में बदल दें।"
- प्रश्न: अंत में, आप पूछते हैं: "लाल डिब्बे में क्या है?"
सही उत्तर मोजा है।
यह शोध पत्र एक दिलचस्प सवाल पूछता है: AI वास्तव में इसे कैसे समझता है?
दो सिद्धांत: "दुनिया को फिर से लिखना" बनाम "जादुई पॉइंटर"
शोधकर्ताओं ने दो मुख्य विचारों का परीक्षण किया कि AI का मस्तिष्क वास्तव में कैसे काम करता है:
सिद्धांत A: ग्लोबल रीराइट (द "मेंटल सिमुलेशन" अप्रोच)
कल्पना कीजिए कि AI एक व्यक्ति की तरह है जो "स्वैप" (बदलने) की बात सुनते ही तुरंत अपनी आँखें बंद कर लेता है, दुनिया की अपनी पूरी मानसिक तस्वीर को मिटा देता है, और उसे शून्य से फिर से बनाता है।
- पहले: लाल=खरगोश, नीला=मोजा।
- स्वैप कमांड के बाद: AI तुरंत अपने आंतरिक डेटाबेस को अपडेट करता है कि "ठीक है, अब लाल=मोजा और नीला=खरगोश है।"
- उत्तर: जब लाल के बारे में पूछा जाता है, तो वह बस नई सूची को देख लेता है।
सिद्धांत B: रिट्रीवल-कंडीशन्ड रीबाइंडिंग (द "मैजिक पॉइंटर" अप्रोच)
यह वह तरीका है जिससे AI वास्तव में काम करता है, जैसा कि शोध पत्र में पाया गया है। मूल सूची को बिल्कुल वैसा ही रखते हुए जैसा वह पहले थी, AI पूरी दुनिया को मिटाकर फिर से नहीं लिखता।
- ट्रिक: जब आप पूछते हैं "लाल में क्या है?", तो AI मूल "लाल" लेबल को नहीं देखता। इसके बजाय, वह एक जादुई पॉइंटर का उपयोग करता है जो कहता है, "हे, लाल अब उस जगह की ओर इशारा कर रहा है जहाँ नीला पहले था।"
- प्रक्रिया: वह मूल "नीला" प्रविष्टि (जिसमें अभी भी "मोजा" लिखा है) को ढूँढता है, पॉइंटर का पीछा करता है, और मोजे को प्राप्त करता है। वह यह विशिष्ट गणना केवल उस क्षण करता है जब उसे उत्तर देने की आवश्यकता होती है, उससे पहले नहीं।
जासूसी कार्य: उन्होंने सर्किट को कैसे खोजा
शोधकर्ता AI के "न्यूरोसर्जन" की तरह काम करते हैं, वे "कॉज़ल इंटरवेंशन" (मूल रूप से AI के मस्तिष्क को छेड़छाड़ करना और उसे उकसाना) का उपयोग करते हैं ताकि यह देखा जा सके कि कौन से हिस्से काम कर रहे हैं।
- रास्ता खोजना: उन्होंने पाया कि AI पूरी कहानी को अपडेट नहीं करता है। इसके बजाय, वह मूल "मोजा" और "खरगोश" के तथ्यों को उनके मूल स्थानों पर सुरक्षित रखता है।
- सर्किट: उन्होंने न्यूरॉन्स की एक छोटी, विशिष्ट टीम (एक "अटेंशन हेड सर्किट") की खोज की जो एक डिलीवरी सर्विस के रूप में कार्य करती है।
- एंकर (Anchor): एक हिस्सा याद रखता है कि वस्तुएं मूल रूप से कहाँ थीं।
- स्विच (Switch): दूसरा हिस्सा "स्वैप" कमांड को पढ़ता है।
- पॉइंटर (Pointer): तीसरा हिस्सा एक GPS की तरह काम करता है। जब प्रश्न "लाल" के बारे में पूछता है, तो यह GPS कहता है, "लाल के मूल स्थान को न देखें; उस स्थान को देखें जहाँ नीला था।"
- रिट्रीवल (Retrieval): अंत में, उस नए स्थान से उत्तर प्राप्त किया जाता है।
यह सर्किट अविश्वसनीय रूप से कुशल है। जिन मॉडलों का उन्होंने परीक्षण किया, उनमें यह छोटी न्यूरॉन टीम (कुल मस्तिष्क का केवल लगभग 3% से 10%) पहेली को पूरी तरह से हल करने के लिए पर्याप्त थी। यदि आप इस टीम को हटा देते हैं, तो AI भ्रमित हो जाता है। यदि आप केवल इस टीम को रखते हैं और बाकी मस्तिष्क को हटा देते हैं, तो AI अभी भी पूर्ण मॉडल के लगभग समान रूप से पहेली को हल कर सकता है।
पारिवारिक अंतर: Gemma बनाम Llama
शोधकर्ताओं ने विभिन्न AI परिवारों (Gemma और Llama) का परीक्षण किया और पाया कि हालांकि वे सभी एक ही "मैजिक पॉइंटर" रणनीति का उपयोग करते हैं, वे पॉइंटर को अलग तरह से बनाते हैं:
- Gemma मॉडल्स: वे मैचमेकर्स (जोड़ी बनाने वाले) की तरह हैं। वे एक "क्वेरी" (प्रश्न) की तुलना एक "की" (स्मृति) से करते हैं ताकि यह देखा जा सके कि क्या वे फिट बैठते हैं। यदि "लाल" का प्रश्न "नीले" की स्मृति से मेल खाता है, तो वे जुड़ जाते हैं। यह दो तरफा हाथ मिलाना है।
- Llama मॉडल्स: वे अधिक आर्काइविस्ट (अभिलेखागार) की तरह हैं। वे जानकारी ले जाने के लिए "की" (स्मृति) पर बहुत अधिक भरोसा करते हैं। "क्वेरी" मिलान की प्रक्रिया में कम शामिल होती है।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि ये AI मॉडल आश्चर्यजनक रूप से चतुर लेकिन आश्चर्यजनक रूप से आलसी भी हैं। वे हर बार जब कुछ बदलता है तो अपनी दुनिया की पूरी समझ को फिर से लिखने में ऊर्जा बर्बाद नहीं करते हैं। इसके बजाय, वे मूल तथ्यों को सुरक्षित रखते हैं और केवल तभी एक त्वरित, लक्षित "री-बाइंडिंग" (लेबल को नए स्थान से फिर से जोड़ना) करते हैं जब कोई प्रश्न पूछता है।
यह एक ऐसी लाइब्रेरी की तरह है जहाँ किताबें कभी नहीं हिलतीं। यदि आप उस किताब के बारे में पूछते हैं जिसे दूसरी शेल्फ पर ले जाया गया था, तो लाइब्रेरियन किताब को भौतिक रूप से नहीं हिलाता है; वह बस अपना मानसिक मानचित्र अपडेट करता है ताकि आपको बता सके, "ओह, वह किताब वास्तव में शेल्फ B पर रखी है," और आप उसे प्राप्त कर लेते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।