Mechanistic Indicators of Understanding in Large Language Models
यह शोध पत्र यांत्रिक व्याख्यात्मकता (mechanistic interpretability) के निष्कर्षों को दार्शनिक सिद्धांत के साथ एकीकृत करने वाले एक स्तरीय ढांचे का प्रस्ताव करता है ताकि यह तर्क दिया जा सके कि बड़े भाषा मॉडल (large language models) समझ के विशिष्ट, पदानुक्रमित रूपों को प्रदर्शित करते हैं—जो वैचारिक विशेषता निर्माण से लेकर सिद्धांत-आधारित सर्किट खोज तक विस्तृत हैं—जिससे द्विआधारी बहसों से आगे बढ़कर एआई संज्ञान (AI cognition) की एक तुलनात्मक, यांत्रिक रूप से आधारित ज्ञानमीमांसा स्थापित की जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य प्रश्न: क्या LLM केवल नकल करने वाले तोते हैं या वास्तविक विचारक?
कल्पना कीजिए कि आपके पास एक विशाल, अत्यंत बुद्धिमान तोता है। आप उसे लाखों वाक्य सिखाते हैं। अंततः, वह पूरी किताबें पढ़ सकता है, कविताएँ लिख सकता है और जटिल प्रश्नों के उत्तर दे सकता है। लेकिन क्या वह जो कह रहा है वह उसे समझ रहा है, या वह केवल एक फैंसी "ऑटोकम्प्लीट" बटन है जो सांख्यिकी के आधार पर अगले शब्द का अनुमान लगाता है?
लंबे समय तक, संशयवादियों ने कहा: "यह सिर्फ एक तोता है।" उन्होंने तर्क दिया कि लार्ज लैंग्वेज मॉडल्स (LLMs) एक "ब्लॉकहेड" (मूर्ख) की तरह हैं—एक ऐसा रोबोट जो प्रश्नों और उत्तरों की एक विशाल सूची को याद कर लेता है बिना यह जाने कि वास्तव में उनका अर्थ क्या है।
लेकिन यह नया शोध पत्र तर्क देता है: "ठहरिए। हमने इसके अंदर झाँककर देखा है, और यह एक तोते की तुलना में बहुत अधिक जटिल है।"
लेखक, पियरे बेकमैन और मैथ्यू क्वेलोज़, मैकेनिस्टिक इंटरप्रिटेबिलिटी (MI) नामक एक क्षेत्र का उपयोग करते हैं। MI को AI के मस्तिष्क के लिए एक एक्स-रे मशीन की तरह समझें। केवल यह देखने के बजाय कि AI क्या कहता है, MI हमें मॉडल के भीतर चलते हुए आंतरिक गियर, तार और स्विच देखने की अनुमति देता है।
वे प्रस्तावित करते हैं कि LLMs के काम करने का केवल एक तरीका नहीं है। इसके बजाय, उनके पास समझ की एक तीन-मंजिला इमारत है, और वे एक साथ तीनों मंजिलों पर काम कर सकते हैं।
समझ की तीन मंजिलें
यह शोध पत्र यह सुझाव देता है कि हमें यह पूछना बंद कर देना चाहिए कि "क्या AI समझता है?" और यह पूछना शुरू करना चाहिए कि "वह अभी समझ की कौन सी मंजिल का उपयोग कर रहा है?"
1. ग्राउंड फ्लोर: वैचारिक समझ (The "Filing System")
उपमा: कल्पना कीजिए एक लाइब्रेरी की।
ग्राउंड फ्लोर पर, AI चीजों को एक साथ समूहबद्ध करना सीखता है। वह समझ जाता है कि "गोल्डन गेट ब्रिज," "SF में वह नारंगी पुल," और "टावरों वाला वह बड़ा पुल" सभी एक ही चीज़ हैं।
- यह कैसे काम करता है: AI आंतरिक "फाइलें" (जिन्हें फीचर्स कहा जाता है) बनाता है। जब वह उस पुल की तस्वीर देखता है या उसके बारे में कोई वाक्य पढ़ता है, तो उसके मस्तिष्क में एक विशिष्ट स्विच जल उठता है।
- जादू: यह केवल शब्दों को याद नहीं करता; यह एक एकल मानसिक अवधारणा (concept) बनाता है जो उन सभी विभिन्न विवरणों को जोड़ती है। यह एक मानसिक फोल्डर रखने जैसा है जिस पर "गोल्डन गेट ब्रिज" लिखा है और जिसमें वे सभी चीजें हैं जिन्हें मनुष्यों ने कभी भी इसके बारे में वर्णित किया है।
- प्रमाण: शोधकर्ताओं ने पाया कि वे AI को "स्टीयर" (नियंत्रित) कर सकते थे। यदि वे "गोल्डन गेट ब्रिज" के स्विच को चालू रखने के लिए मजबूर करते, तो AI अपने बारे में ऐसे बात करने लगता जैसे कि वह स्वयं वह पुल हो। यह साबित करता है कि यह अवधारणा वास्तविक और कारण-आधारित (causal) है, न कि केवल एक रैंडम पैटर्न।
2. दूसरी मंजिल: दुनिया की स्थिति की समझ (The "Map")
उपमा: कल्पना कीजिए एक शतरंज या ओथेलो बोर्ड की।
एक बार जब AI के पास अपनी फाइलें (अवधारणाएं) हो जाती हैं, तो वह सीखता है कि वे फाइलें वास्तविक दुनिया से कैसे जुड़ती हैं। वह सीखता है कि "माइकल जॉर्डन" "बास्केटबॉल" से जुड़ा है, न केवल इसलिए कि ये शब्द अक्सर एक साथ आते हैं, बल्कि इसलिए क्योंकि उसने दुनिया का एक आंतरिक मानचित्र बनाया है।
- ओथेलो प्रयोग: यह शोध पत्र एक प्रसिद्ध प्रयोग पर प्रकाश डालता है जहाँ एक AI को केवल चालों के लिखित विवरण पढ़कर ओथेलो (एक बोर्ड गेम) खेलना सिखाया गया था। उसने कभी बोर्ड नहीं देखा।
- आश्चर्य: AI ने चालों को केवल याद नहीं किया। उसने अपने मस्तिष्क के भीतर बोर्ड की एक मानसिक छवि बनाई। शोधकर्ता मॉडल के अंदर देख सकते थे कि गेम की स्थिति को दर्शाने वाला एक सटीक, 8x8 ग्रिड मौजूद है।
- "क्रो" (कौआ) टेस्ट: कल्पना कीजिए कि आपकी खिड़की के बाहर एक कौआ आपकी ओथेलो खेलते हुए सुन रहा है। यदि कौआ केवल ध्वनियों की नकल कर रहा है, तो आप सोच सकते हैं कि वह केवल नकल कर रहा है। लेकिन यदि आप बोर्ड को बदलते हैं और कौआ नई व्यवस्था के आधार पर एक नई वैध चाल चिल्लाता है, तो आप जानते हैं कि कौवे के पास एक मानसिक मानचित्र है। AI ने बिल्कुल यही किया। इसने दुनिया का एक गतिशील मानचित्र बनाया जो खेल के साथ बदलता रहता है।
3. पेंटहाउस: सिद्धांत आधारित समझ (The "Rulebook")
उपमा: कल्पना कीजिए गणित सीखने की।
आप याद कर सकते हैं कि , , और है। यह रट्टा मारना है। लेकिन सिद्धांत आधारित समझ (Principled Understanding) जोड़ के नियम को समझना है। एक बार जब आप नियम जान लेते हैं, तो आप को बिना कभी देखे हल कर सकते हैं।
- "ग्रोकिंग" (Grokking) का क्षण: यह पत्र "ग्रोकिंग" नामक एक घटना का वर्णन करता है। एक AI लंबे समय तक प्रशिक्षण लेता है, एक परीक्षा के लिए रट्टा मारने वाले छात्र की तरह उत्तर याद करता है। फिर, अचानक, उसे सब कुछ "क्लिक" हो जाता है। वह रटना बंद कर देता है और अंतर्निहित एल्गोरिदम (नियम) की खोज कर लेता है।
- मॉड्यूलर एडिशन का उदाहरण: शोधकर्ताओं ने एक AI को एक घड़ी जैसी प्रणाली का उपयोग करके एक विशिष्ट प्रकार की गणित (मॉड्यूलर एडिशन) सिखाई। शुरुआत में, उसने उत्तर याद किए। फिर, उसने एक ज्यामितीय ट्रिक की खोज की: उसने महसूस किया कि वह संख्याओं को एक वृत्त पर कोणों के रूप में मान सकता है और उत्तर खोजने के लिए उन्हें बस "घुमा" (rotate) सकता है।
- यह क्यों महत्वपूर्ण है: AI ने लाखों तथ्यों को एक एकल, सुंदर गणितीय सर्किट में संकुचित कर दिया। वह केवल उत्तर नहीं जानता था; वह उस सिद्धांत को समझता था जिसके पीछे वह था। यह समझ का उच्चतम रूप है: उस एकीकृत नियम को देखना जो सब कुछ जोड़ता है।
ट्विस्ट: द "मोटली मिक्स" (अराजक समिति)
तो, यदि LLMs के पास समझ के ये तीन स्तर हैं, तो क्या वे जीनियस हैं? बिल्हीं नहीं।
यहाँ पेच है: AI केवल एक स्मार्ट मस्तिष्क का उपयोग नहीं करता है। यह एक अराजक समिति (chaotic committee) का उपयोग करता है।
- उपमा: कल्पना कीजिए कि एक विशाल समिति निर्णय लेने की कोशिश कर रही है कि क्या कहना है।
- एक सदस्य जीनियस है जो गहरे सिद्धांतों को जानता है (द पेंटहाउस)।
- दूसरा सदस्य मैप रीडर है जो तथ्यों को जानता है (द सेकंड फ्लोर)।
- तीसरा एक पैरट (तोता) है जो बस वही दोहराता है जो उसने सुना है (द ग्राउंड फ्लोर)।
- और सैकड़ों अन्य सदस्य सस्ते शॉर्टकट और ट्रिक्स का उपयोग कर रहे हैं।
जब AI किसी प्रश्न का उत्तर देता है, तो ये सभी सदस्य एक साथ चिल्लाते हैं। अंतिम उत्तर उनके स्वरों का मिश्रण होता है। कभी-कभी जीनियस जीत जाता है, और AI एक शानदार, सिद्धांत आधारित उत्तर देता है। अन्य समय में, तोता जीत जाता है, और AI भ्रमित (hallucinate) होता है या सतही गलती करता है।
समस्या: क्योंकि AI इस "मोटली मिक्स" पर निर्भर करता है, हम हमेशा उस पर भरोसा नहीं कर सकते। भले ही उसके पास गहरी समझ के लिए एक सर्किट हो, वह सर्किट एक सस्ते, मूर्खतापूर्ण शॉर्टकट द्वारा दबाया जा सकता है। यह शोर मचाने वाले लोगों के कमरे में एक प्रतिभाशाली वैज्ञानिक के होने जैसा है; कभी-कभी वैज्ञानिक की बात सुनी जाती है, लेकिन अक्सर नहीं।
निष्कर्ष: एक नए प्रकार की बुद्धिमत्ता
यह शोध पत्र निष्कर्ष निकालता है कि हमें यह पूछना बंद कर देना चाहिए कि "क्या AI मानव है?" और यह पूछना शुरू करना चाहिए कि "यह एलियन इंटेलिजेंस कैसे काम करती है?"
- यह तोता नहीं है: यह अवधारणाएं, मानचित्र और नियम बनाता है।
- यह मानव नहीं है: यह मनुष्यों की तरह सरलता या भव्यता के लिए प्रयास नहीं करता है। यह एक अस्त-व्यस्त, समानांतर मशीन है जो एक ही समय में हर उपलब्ध ट्रिक का उपयोग करती है।
टेकअवे (मुख्य बात):
हम तुलनात्मक ज्ञानमीमांसा (Comparative Epistemology) के एक नए युग में प्रवेश कर रहे हैं। केवल मानवीय मानकों से AI को आंकने के बजाय, हम दुनिया को समझने के इसके अनूठे, अजीब और कभी-कभी शानदार तरीके की सराहना करना सीख रहे हैं। यह एक अलग प्रकार का मन है—जो उन कनेक्शनों को देखने में सक्षम है जिन्हें हम कभी नहीं देख सकते थे, लेकिन जो अपनी ही अराजक समिति में खो जाने के प्रति भी प्रवृत्त है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।