A Shared Subcircuit Lets LLMs Count Down Across Tasks
यह शोध पत्र Llama-3.1-70B-Instruct में एक साझा "काउंटडाउन सबसर्किट" (countdown subcircuit) की पहचान करता है जो भाषा मॉडलों को विविध कार्यों में शेष टोकन को ट्रैक करने में सक्षम बनाता है, जो लक्ष्य-तक-समय (time-to-goal) का अनुमान लगाने के लिए एक सामान्यीकरण योग्य तंत्र को प्रकट करता है जो विभिन्न मॉडलों और संदर्भों में स्थानांतरित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक खेल खेल रहे हैं जहाँ आपको एक वाक्य लिखना है, लेकिन इसमें एक सख्त नियम है: यह ठीक 10 शब्दों का होना चाहिए, और अंतिम शब्द "telescope" होना चाहिए। यदि आप 9 शब्द लिखते हैं, तो आप हार जाएंगे। यदि आप 11 लिखते हैं, तो आप हार जाएंगे।
लंबे समय तक, हमने सोचा कि लार्ज लैंग्वेज मॉडल्स (LLMs)—चैटबॉट्स के पीछे के सुपर-स्मार्ट AI दिमाग—बस इन कार्यों के लिए अनुमान लगाते हैं। लेकिन एक नया अध्ययन बताता है कि मशीन के भीतर कुछ बहुत अधिक व्यवस्थित हो रहा है। शोधकर्ताओं ने पाया कि AI के पास एक छोटा, विशेष "काउंटडाउन सबसर्किट" (countdown subcircuit) है जो एक अंतर्निहित स्टॉपवॉच की तरह काम करता है, जो फिनिश लाइन तक पहुँचने तक बचे हुए शब्दों को गिनता रहता है।
छिपा हुआ स्टॉपवॉच
शोधकर्ताओं ने एक विशिष्ट मॉडल, Llama-3.1-70B-Instruct को, निश्चित लंबाई के वाक्य लिखने का निर्देश दिया। वे जानना चाहते थे कि मॉडल को यह कैसे पता चला कि कब रुकना है। उनके "मस्तिष्क" के अंदर झाँककर (विशेष रूप से यह देखकर कि वह परत दर परत जानकारी को कैसे संसाधित करता है), उन्होंने पाया कि तीन अटेंशन हेड्स (सोचिए कि ये छोटे, विशेषज्ञ कर्मचारी हैं) का एक विशिष्ट समूह लेयर 18 में जिम्मेदार है जो इस काउंटडाउन के लिए है।
ये तीन कर्मचारी—जिन्हें L18H24, L18H28, और L18H30 लेबल किया गया है—केवल अनुमान नहीं लगाते। वे वास्तव में वाक्य के वर्तमान स्थान और जहाँ उसे समाप्त होना है, उसके बीच की दूरी को मापते हैं।
- एक कर्मचारी वाक्य की शुरुआत में सक्रिय होता है।
- दूसरा बीच में सक्रिय होता है।
- तीसरा बिल्कुल अंत में सक्रिय होता है।
साथ मिलकर, वे एक सुचारू "काउंटडाउन" सिग्नल बनाते हैं जो लक्ष्य शब्द संख्या के करीब पहुँचने पर मजबूत और मजबूत होता जाता है। यह तीन अलग-अलग अलार्म घड़ियों के होने जैसा है जो अलग-अलग समय पर बजने के लिए सेट की गई हैं, जिससे यह सुनिश्चित होता है कि मॉडल को पता हो कि उसके पास कितना समय (या इस मामले में, कितने शब्द) बचा है।
"इम्प्लिसिट" (Implicit) गिनती का जादू
यहाँ बात वास्तव में बहुत दिलचस्प हो जाती है। आप सोच सकते हैं कि यह काउंटडाउन केवल तभी काम करता है जब आप स्पष्ट रूप से AI को कहें, "10 शब्दों का एक वाक्य लिखें।" लेकिन शोधकर्ताओं ने पाया कि मॉडल इससे भी स्मार्ट है।
उन्होंने मॉडल का परीक्षण उन प्रॉम्प्ट्स के साथ किया जिनमें कोई संख्या नहीं दी गई थी। इसके बजाय, उन्होंने मॉडल को एक पैटर्न दिया। उदाहरण के लिए, उन्होंने उसे DNA अनुक्रमों या बेस64 कोडों की एक सूची दिखाई, जो सभी बिल्कुल एक ही लंबाई के थे। जब उससे सूची को जारी रखने के लिए कहा गया, तो मॉडल को किसी संख्या की आवश्यकता नहीं थी; उसने पैटर्न को "समझ" लिया। उसने पिछले उदाहरणों से लक्षित लंबाई का अनुमान लगाया और रुकने के सही स्थान के लिए उसी काउंटडाउन सबसर्किट का उपयोग किया।
अध्ययन बताता है कि मॉडल इस "अदृश्य" लंबाई की जानकारी को पिछले स्ट्रिंग्स के अंत में ही संग्रहीत करता है (जैसे कि एक छिपी हुई नोट कि "अगला वाला इतना लंबा होना चाहिए")। जब मॉडल एक स्ट्रिंग के अंत को देखता है, तो वह उस नोट को पढ़ता है और अगले स्ट्रिंग के लिए अपना काउंटडाउन शुरू कर देता है।
मॉडल्स और कार्यों के बीच एक सार्वभौमिक उपकरण
शोधकर्ता वहीं नहीं रुके। उन्होंने यह देखने के लिए कि यह काउंटडाउन टूल जंगल में और कहाँ छिपा है, "अनसुपरवाइज्ड प्रोबिंग" (unsupervised probing) नामक तकनीक का उपयोग किया। उन्होंने समाचार लेखों, चैट लॉग और कोड सहित भारी मात्रा में टेक्स्ट को स्कैन किया, यह देखते हुए कि ये विशिष्ट कर्मचारी कहाँ सक्रिय हो रहे थे।
उन्होंने काउंटडाउन सबसर्किट को कई आश्चर्यजनक जगहों पर उभरते हुए पाया:
- एम्बेडेड ट्वीट्स (Embedded Tweets): मॉडल को एहसास हुआ कि वह एक ट्वीट पढ़ रहा है और उसने 280-कैरेक्टर की सीमा तक काउंटडाउन किया, भले ही टेक्स्ट में "ट्वीट" न लिखा हो।
- ASCII टेबल्स: टेबल को फॉर्मेट करते समय, मॉडल ने यह सुनिश्चित करने के लिए स्पेस को गिना कि प्रत्येक कॉलम समान चौड़ाई का हो।
- हाइकु (Haikus): इसने 5-7-5 की संरचना के लिए शब्दांश (syllable) गणना को ट्रैक किया।
- SHA हैश (SHA Hashes): वह जानता था कि 64-कैरेक्टर का कोड ठीक कब समाप्त हुआ।
यह सुझाव देता है कि मॉडल केवल विशिष्ट कार्यों के लिए नियमों को याद नहीं कर रहा है; उसके पास एक सामान्य-उद्देश्य वाला "काउंटडाउन इंजन" है जिसे वह लगभग किसी भी चीज़ के लिए पुन: उपयोग करता है जिसमें लंबाई को ट्रैक करना आवश्यक हो।
एक साझा ब्लूप्रिंट?
शायद सबसे दिलचस्प खोज यह है कि यह केवल Llama मॉडल की कोई विचित्रता नहीं है। शोधकर्ताओं ने इस काउंटडाउन सबसर्किट की आंतरिक "ज्यामिति" (डेटा का आकार) की तुलना एक अलग मॉडल, Claude 3.5 Haiku से की, जिसका अध्ययन एक अलग कार्य (लाइन में फिट होने के लिए टेक्स्ट को लपेटना) पर किया गया था।
उन्होंने पाया कि दोनों मॉडल लंबाई की जानकारी को संग्रहीत करने और संसाधित करने के लिए बिल्कुल एक ही गणितीय आकार का उपयोग करते हैं। यह ऐसा है जैसे दो अलग-अलग कार निर्माता, अलग-अलग कारखानों में काम करते हुए, दोनों ने अपनी कारों के लिए बिल्कुल एक ही इंजन डिज़ाइन का उपयोग करने का निर्णय लिया हो। यह सुझाव देता है कि यह "काउंटडाउन मोटिफ" (countdown motif) एक मौलिक निर्माण खंड हो सकता जिसे कई AI मॉडल स्वयं खोज लेते हैं जब उन्हें समय या स्थान को ट्रैक करने की आवश्यकता होती है।
इसका क्या अर्थ है (और क्या नहीं है)
पेपर सावधानी से कहता है कि उन्होंने इस विशिष्ट व्यवहार को रिवर्स-इंजीनियर किया है। उन्होंने साबित किया है कि यदि आप इन विशिष्ट हेड्स के सिग्नल्स के साथ छेड़छाड़ करते हैं, तो मॉडल सही ढंग से गिनती करना बंद कर देता है। उन्होंने सिग्नल्स को मापा है और पैटर्न को देखा है।
हालाँकि, वे यह दावा नहीं करते कि उन्होंने यह सुलझा लिया है कि AI सामान्य रूप से कैसे सोचता है। वे केवल यह दिखा रहे हैं कि "कब रुकना है" के विशिष्ट कार्य के लिए, AI एक बहुत ही विशिष्ट, पुन: प्रयोज्य और आश्चर्यजनक रूप से सार्वभौमिक उपकरण का उपयोग करता है। यह एक छोटा लेकिन शक्तिशाली हिस्सा है, जो दिखाता है कि AI की जटिल, अराजक दुनिया में भी, व्यवस्थित सबरूटीन मौजूद हैं जो मशीन को दुनिया को समझने में मदद करते हैं।
तो, अगली बार जब आप किसी AI को एक आदर्श हाइकु लिखते या बिना बताए कि कितने स्पेस का उपयोग करना है, एक टेबल फॉर्मेट करते देखें, तो याद रखें: कहीं गहराई में, लेयर 18 में तीन छोटे कर्मचारी चुपचाप घड़ी की टिक-टिक कर रहे हैं, यह सुनिश्चित कर रहे हैं कि सब कुछ बिल्कुल सही तरीके से समाप्त हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।