💬 NLP

The Mechanistic Emergence of Symbol Grounding in Language Models

यह शोध पत्र एक नियंत्रित मूल्यांकन ढांचे को प्रस्तुत करता है जो यह प्रदर्शित करता है कि स्केल-प्रशिक्षित मल्टीमॉडल लैंग्वेज मॉडल्स के मध्य परतों में सिंबल ग्राउंडिंग (symbol grounding) एक एग्रीगेट तंत्र के माध्यम से उभरती है जहाँ अटेंशन हेड्स पर्यावरणीय इनपुट्स को भाषाई भविष्यवाणियों से जोड़ते हैं, एक ऐसी घटना जो ट्रांसफॉर्मर्स और स्टेट-स्पेस मॉडल्स में देखी जाती है लेकिन यूनिडायरेक्शनल एलएसटीएम (unidirectional LSTMs) में नहीं।

मूल लेखक: Shuyu Wu, Ziqiao Ma, Xiaoxi Luo, Yidong Huang, Josue Torres-Fonseca, Freda Shi, Joyce Chai

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shuyu Wu, Ziqiao Ma, Xiaoxi Luo, Yidong Huang, Josue Torres-Fonseca, Freda Shi, Joyce Chai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य प्रश्न: शब्दों को अर्थ कैसे मिलता है?

कल्पना कीजिए कि एक रोबोट है जिसने दुनिया की हर किताब पढ़ ली है लेकिन उसने कभी असली सेब नहीं देखा, न ही उसकी त्वचा को महसूस किया है और न ही उसकी मिठास चखी है। इस रोबोट के लिए, "सेब" (apple) शब्द केवल अक्षरों का एक पैटर्न है, जैसे कि कोई गुप्त कोड। वह जानता है कि "apple" अक्सर "लाल" (red) या "पाई" (pie) के पास आता है, लेकिन वह वास्तव में यह नहीं जानता कि सेब क्या है।

इस समस्या को सिंबल ग्राउंडिंग (Symbol Grounding) कहा जाता है। यह सवाल उठाता है: अमूर्त प्रतीक (शब्द) वास्तविक दुनिया के अनुभवों से कैसे जुड़ते हैं?

लंबे समय तक, वैज्ञानिकों का मानना था कि आपको कंप्यूटर को यह संबंध स्पष्ट रूप से सिखाना होगा (जैसे कि जब भी वह सेब शब्द कहे, तो उसे सेब की तस्वीर दिखाना)। लेकिन हाल के बड़े AI मॉडल ऐसा खुद ही कर लेते हैं, केवल वाक्य में अगले शब्द की भविष्यवाणी करके।

यह शोध पत्र जो बड़ा सवाल पूछता है: कैसे AI यह समझ जाता है? रोबोट के दिमाग के अंदर यह "अहा!" वाला क्षण कहाँ होता है?

प्रयोग: एक नियंत्रित खेल का मैदान

इसका उत्तर खोजने के लिए, शोधकर्ताओं ने केवल एक विशाल, जटिल AI को नहीं देखा। इसके बजाय, उन्होंने एक छोटा, नियंत्रित खेल का मैदान (एक "टेस्टबेड") बनाया ताकि वे सीखने की प्रक्रिया को स्लो मोशन में देख सकें।

सेटअप:
एक कहानी की किताब की कल्पना करें जहाँ हर वस्तु का वर्णन दो बार किया जाता है:

एनवायर्नमेंटल टोकन (वातावरण का संकेत - "दृश्य"): दृश्य का विवरण, जैसे "फर्श पर एक डिब्बा (box) है।"
लिंग्विस्टिक टोकन (भाषाई संकेत - "भाषण"): एक बच्चा बोल रहा है, जैसे "मैं एक डिब्बा (box) देख रहा हूँ।"

महत्वपूर्ण बात यह है कि शोधकर्ताओं ने यह सुनिश्चित किया कि कंप्यूटर "दृश्य" में मौजूद "डिब्बा" शब्द और "भाषण" में मौजूद "डिब्बा" शब्द को पूरी तरह से अलग, असंबंधित कोड के रूप में माने। AI के पास यह सीखने के अलावा कोई विकल्प नहीं था कि ये दो अलग-अलग कोड वास्तव में एक ही चीज़ का अर्थ रखते हैं।

परीक्षण:
उन्होंने AI से पूछा कि बच्चा अगला कौन सा शब्द बोलेगा।

परिदृश्य A (मैच): दृश्य के विवरण में एक "डिब्बा" (box) का उल्लेख था। AI ने "box" का अनुमान आसानी से लगा लिया।
परिदृश्य B (मिसमैच): दृश्य के विवरण में "खिलौना" (toy) का उल्लेख था। AI को "box" का अनुमान लगाने में कठिनाई हुई।

परिणाम:
AI ने तब बहुत बेहतर प्रदर्शन किया जब "दृश्य" और "भाषण" आपस में मेल खा रहे थे। इसने साबित कर दिया कि AI ने बिना किसी प्रत्यक्ष शिक्षण के शब्द को ग्राउंड (ground) करना (भाषण को दृश्य से जोड़ना) सीख लिया है।

खोज: मस्तिष्क का "मिडल मैनेजर"

एक बार जब वे जान गए कि AI यह कर सकता है, तो वे जानना चाहते थे कि यह कैसे हुआ। उन्होंने AI के "मस्तिष्क" (इसके न्यूरल नेटवर्क लेयर्स) के अंदर झाँका ताकि देख सकें कि कौन से हिस्से कड़ी मेहनत कर रहे हैं।

उन्होंने पाया कि जादू बिल्कुल शुरुआत (इनपुट) में या बिल्कुल अंत (आउटपुट) में नहीं हुआ। यह बीच की परतों (middle layers) में हुआ।

उपमा: लाइब्रेरी और लाइब्रेरियन
AI की परतों को एक लाइब्रेरी सिस्टम की तरह समझें:

शुरुआती परतें (Early Layers): ये शेल्फ की तरह हैं जहाँ किताबों (जानकारी) को बस ढेर किया जा रहा है। वे कच्चे डेटा को थामे रखते हैं।
मध्य परतें (Middle Layers): ये लाइब्रेरियन हैं।
बाद की परतें (Late Layers): ये वे लोग हैं जो अंतिम रिपोर्ट लिख रहे हैं।

शोधकर्ताओं ने पाया कि मध्य परतों में विशिष्ट "लाइब्रेरियन" (जिन्हें अटेंशन हेड्स/Attention Heads कहा जाता है) एक विशेष काम कर रहे थे। वे एक चुंबक की तरह काम कर रहे थे।

एकत्र करना (Gathering): कुछ लाइब्रेरियनों ने "एनवायर्नमेंटल" जानकारी (दृश्य का विवरण) को पकड़ा और उसे एक साथ जोड़ा।
एग्रीगेटिंग (Aggregating): अन्य लाइब्रेरियनों ने उस एकत्रित जानकारी को लिया और उसे "लिंग्विस्टिक" शब्द की भविष्यवाणी करने में मदद करने के लिए आगे बढ़ाया।

वे इसे "एग्रीगेट मैकेनिज्म" (Aggregate Mechanism) कहते हैं। यह श्रमिकों की एक टीम की तरह है जहाँ एक समूह गोदाम से कच्चा माल इकट्ठा करता है, और दूसरा समूह तुरंत उस माल का उपयोग अंतिम उत्पाद बनाने के लिए करता है।

मोड़: सभी मस्तिष्क एक जैसे नहीं बने होते

शोधकर्ताओं ने यह देखने के लिए विभिन्न प्रकार के AI आर्किटेक्चर का परीक्षण किया कि क्या यह "ग्राउंडिंग" एक सार्वभौमिक विशेषता थी या कुछ विशिष्ट डिजाइनों तक सीमित थी।

ट्रांसफॉर्मर्स (वर्तमान मानक, जैसे GPT): हाँ! इनमें मध्य-परत के लाइब्रेरियन हैं जो सफलतापूर्वक दृश्य को शब्द से जोड़ते हैं।
मम्बा-2 (Mamba-2) (एक नया, कुशल डिज़ाइन): हाँ! इनमें भी यह ग्राउंडिंग क्षमता है।
एलएसटीएम (LSTM) (पुरानी तकनीक): नहीं। ये मॉडल दृश्य को शब्द से जोड़ने में विफल रहे।

क्यों? शोध पत्र सुझाव देता है कि पुराने मॉडल (LSTMs) एक कन्वेयर बेल्ट की तरह हैं जो केवल एक समय में एक कदम आगे बढ़ते हैं। वे दृश्य से जानकारी लेने के लिए आसानी से "पीछे" नहीं पहुँच सकते और उसे वर्तमान शब्द तक नहीं ला सकते। नए मॉडल (Transformers) एक जाल (web) की तरह हैं जहाँ हर हिस्सा तुरंत दूसरे हिस्से से बात कर सकता है, जिससे उन्हें संदर्भ लेने के लिए "पीछे" पहुँचने और उसे पकड़ने की अनुमति मिलती है।

निष्कर्ष

यह शोध पत्र सिद्ध करता है कि जब आप आधुनिक AI को पर्याप्त डेटा पर प्रशिक्षित करते हैं, तो वह स्वाभाविक रूप से शब्दों को उनके वास्तविक-दुनिया के संदर्भों से जोड़ने का तंत्र विकसित कर लेता है। इसे यह सिखाने के लिए शिक्षक की आवश्यकता नहीं होती कि "इस शब्द का अर्थ यह चित्र है।"

इसके बजाय, AI अपने मस्तिष्क के बीच में अपना स्वयं का आंतरिक "फाइलिंग सिस्टम" बनाता है। नेटवर्क के विशिष्ट हिस्से पुल के रूप में कार्य करना सीखते हैं, जो पर्यावरणीय संकेतों को पकड़ते हैं और भाषा को समझने के लिए उनका उपयोग करते हैं। यह तब तक स्वतः होता रहता है, जब तक कि AI का आर्किटेक्चर इतना लचीला हो कि उसके हिस्से एक-दूसरे से बात कर सकें।

संक्षेप में: AI ने अपने प्रतीकों को "ग्राउंड" करना इसलिए सीखा क्योंकि उसने मध्य-परत के श्रमिकों की एक विशेष टीम बनाई जो सही संदर्भ खोजने और उसे सही शब्द तक पहुँचाने के बारे में जानती है।

तकनीकी सारांश: भाषा मॉडलों में सिंबल ग्राउंडिंग का यांत्रिक उद्भव (The Mechanistic Emergence of Symbol Grounding in Language Models)

समस्या विवरण (Problem Statement)

सिंबल ग्राउंडिंग (Symbol grounding), जिसे मूल रूप से हार्नाड (Harnad, 1990) द्वारा परिभाषित किया गया था, इस बात पर केंद्रित है कि अमूर्त प्रतीक (जैसे शब्द) वास्तविक दुनिया के संवेदी-मोटर अनुभवों (sensorimotor experiences) से जुड़कर अर्थ कैसे प्राप्त करते हैं। जबकि हाल के बड़े पैमाने के विजन-लैंग्वेज मॉडल्स (VLMs) और ऑटोरेग्रेसिव लैंग्वेज मॉडल्स (LMs) ने प्रारंभिक साक्ष्य दिखाए हैं कि स्पष्ट पर्यवेक्षण (explicit supervision) के बिना भी ग्राउंडिंग उभर सकती है, इसके उद्भव को संचालित करने वाले विशिष्ट स्थान (loci) और तंत्र अभी भी अनछुए हैं। पूर्ववर्ती कार्य मुख्य रूप से सहसंबंधी साक्ष्यों (जैसे अटेंशन ओवरलैप या ज्यामितीय संरेखण) पर निर्भर रहे हैं और स्थिर अंतिम-चरण के मॉडलों पर ध्यान केंद्रित किया है, जिससे प्रशिक्षण प्रक्षेपवक्र (training trajectory) और पर्यावरणीय संदर्भों को भाषाई रूपों से जोड़ने वाले कारण आंतरिक तंत्रों की अनदेखी हुई है।

कार्यप्रणाली (Methodology)

इन कमियों को दूर करने के लिए, लेखक एक नियंत्रित मूल्यांकन ढांचे का परिचय देते हैं जो यांत्रिक और कारण विश्लेषण (mechanistic and causal analysis) के माध्यम से सिंबल ग्राउंडिंग के उद्भव का पता लगाता है।

1. नियंत्रित टेस्टबेड और टोकनाइजेशन (Controlled Testbeds and Tokenization)

अध्ययन न्यूनतम टेस्टबेड का निर्माण करता है जहाँ प्रत्येक लेक्सिकल आइटम को दो अलग-अलग, गैर-अतिव्यापी (non-overlapping) टोकन द्वारा दर्शाया जाता है:

पर्यावरणीय टोकन ( $\langle ENV \rangle$ ): ये गैर-मौखिक दृश्य विवरणों (जैसे दृश्य विवरण में "box") या विजुअल इनपुट (इमेज पैच) में दिखाई देते हैं।
भाषाई टोकन ( $\langle LAN \rangle$ ): ये बोले गए या लिखित कथनों में दिखाई देते हैं (जैसे संवाद में "box")।
एक कस्टम टोकनाइज़र यह सुनिश्चित करता है कि इन रूपों के अलग-अलग शब्दावली सूचकांक (vocabulary indices) हों, जिससे ग्राउंडिंग को साझा टोकन पहचान के माध्यम से आसानी से हल न किया जा सके। ढांचा निम्नलिखित का उपयोग करता है:
चाइल्ड-डायरेक्टेड स्पीच (CHILDES): पर्यावरणीय एनोटेशन (स्थानीय घटनाएँ, क्रियाएँ, परिस्थितिजन्य स्तर) को $\langle ENV \rangle$ के रूप में और कथनों को $\langle LAN \rangle$ के रूप में उपयोग करना।
इमेज-ग्राउंडेड डायलॉग (Visual Dialog): फ्रोजन ViT एम्बेडिंग्स (DINOv2) को $\langle ENV \rangle$ के रूप में और संवाद दौरों को $\langle LAN \rangle$ के रूप में उपयोग करना।
कैप्शन-ग्राउंडेड डायलॉग: इमेज कैप्शन का उपयोग करने वाला एक मध्यवर्ती सेटअप, जिसमें कैप्शन $\langle ENV \rangle$ के रूप में कार्य करता है।

2. मूल्यांकन प्रोटोकॉल (Evaluation Protocol)

ग्राउंडिंग को सरप्राइज़ल (surprisal) और ग्राउंडिंग इंफॉर्मेशन गेन ( $G_\theta$ ) का उपयोग करके मापा जाता है। लेखक दो स्थितियों की तुलना करते हैं:

मैच (Match): संदर्भ में लक्षित $\langle LAN \rangle$ के अनुरूप $\langle ENV \rangle$ टोकन मौजूद है।
मिसमैच (Mismatch): संदर्भ में एक अलग, असंबंधित $\langle ENV \rangle$ टोकन मौजूद है।
एक सकारात्मक $G_\theta$ यह दर्शाता है कि मैच किया गया पर्यावरणीय टोकन, साधारण सह-उपस्थिति सांख्यिकी (co-occurrence statistics) की तुलना में, अपने भाषाई समकक्ष की पूर्वानुमेयता (predictability) को महत्वपूर्ण रूप से बढ़ाता है।

3. मॉडल आर्किटेक्चर और प्रशिक्षण (Model Architectures and Training)

मॉडलों को रैंडम इनिशियलाइजेशन से मानक कॉज़ल लैंग्वेज मॉडलिंग उद्देश्यों के साथ प्रशिक्षित किया जाता है। अध्ययन इनका मूल्यांकन करता है:

ट्रांसफॉर्मर्स (Transformers): 4, 12, और 18-लेयर वेरिएंट।
स्टेट-स्पेस मॉडल्स (SSMs): मम्बा-2 (Mamba-2) (4 और 12 लेयर्स)।
एलएसटीएम (LSTMs): 4-लेयर यूनिडायरेक्शनल एलएसटीएम (कंटेंट-एड्रेसेबल रिट्रीवल के बिना अनुक्रमिक संपीड़न के लिए एक बेसलाइन के रूप में)।
मजबूती सुनिश्चित करने के लिए प्रयोगों को 5 रैंडम सीड्स के साथ दोहराया गया है।

4. यांत्रिक विश्लेषण (Mechanistic Analysis)

यह समझाने के लिए कि ग्राउंडिंग कैसे उभरती है, लेखक निम्नलिखित का उपयोग करते हैं:

सैलिएंसी विश्लेषण (Saliency Analysis): लॉस (loss) में अटेंशन वेट्स के योगदान को मापना, विशेष रूप से $\langle ENV \rangle$ से $\langle LAN \rangle$ से ठीक पहले वाले टोकन तक सूचना प्रवाह को ट्रैक करना।
ट्यून्ड लेंस (Tuned Lens): परतों के बीच प्रतिनिधित्व संबंधी बदलावों का आकलन करने के लिए इंटरमीडिएट हिडन स्टेट्स की जांच करना।
कारण हस्तक्षेप (Causal Interventions): "गैदर" (gather) या "एग्रीगेट" (aggregate) हेड्स के रूप में पहचाने गए विशिष्ट अटेंशन हेड्स को ज़ीरो आउट करना ताकि सरप्राइज़ल पर उनके प्रभाव को मापा जा सके।

मुख्य परिणाम (Key Results)

1. ग्राउंडिंग का व्यवहारगत उद्भव (Behavioral Emergence of Grounding)

आर्किटेक्चरल निर्भरता: ट्रांसफॉर्मर और मम्बा-2 मॉडल लगातार $\langle LAN \rangle$ टोकन के लिए सरप्राइज़ल में कमी प्रदर्शित करते हैं जब संदर्भ में $\langle ENV \rangle$ टोकन मौजूद होते हैं। इसके विपरीत, यूनिडायरेक्शनल एलएसटीएम मैच और मिसमैच स्थितियों के बीच कोई महत्वपूर्ण अंतर नहीं दिखाते हैं, और ग्राउंडिंग प्रदर्शित करने में विफल रहते हैं।
सह-उपस्थिति से परे: शुरुआती प्रशिक्षण में, ग्राउंडिंग गेन और टोकन सह-उपस्थिति ( $R^2$ ) के बीच एक सहसंबंध दिखता है, लेकिन जैसे-जैसे प्रशिक्षण आगे बढ़ता है, यह सहसंबंध कम होता जाता है। ग्राउंडिंग इंफॉर्मेशन गेन $R^2$ के घटने के बावजूद बढ़ता रहता है, जो यह सुझाव देता है कि मॉडल केवल याद रखने (memorization) के बजाय समृद्ध, गैर-सांख्यिकीय मैपिंग सीख रहे हैं।
सामान्यीकरण (Generalization): ये रुझान विभिन्न मोडालिटीज़ (टेक्स्ट-ओनली CHILDES, इमेज-ग्राउंडेड डायलॉग, और कैप्शन-ग्राउंडेड डायलॉग) और आर्किटेक्चर (ट्रांसफॉर्मर और SSMs) में बने रहते हैं।

2. यांत्रिक स्थान: एग्रीगेट मैकेनिज्म (Mechanistic Loci: The Aggregate Mechanism)

लेयर कंसन्ट्रेशन: सैलिएंसी विश्लेषण से पता चलता है कि ग्राउंडिंग संबंध मध्यवर्ती परतों (विशेष रूप से 12-लेयर ट्रांसफॉर्मर में परत 7-9) में केंद्रित हैं। शुरुआती परतें प्रशिक्षण के अंतिम चरणों में भी खराब भविष्यवक्ता बनी रहती हैं।
गैदर-एंड-एग्रीगेट हेड्स (Gather-and-Aggregate Heads): अध्ययन एक विशिष्ट तंत्र की पहचान करता है जहाँ:
- गैदर हेड्स (Gather Heads): उथली परतों (3-4) में स्थित, वे $\langle ENV \rangle$ टोकन से प्रासंगिक जानकारी को रिट्रीवेबल स्टेट्स में संकुचित करते हैं।
- एग्रीगेट हेड्स (Aggregate Heads): मध्य परतों (7-8) में स्थित, वे इस जानकारी को $\langle LAN \rfloor$ के रूप में ठीक पहले वाले टोकन में पुनर्वितरित करते हैं, जो सीधे भविष्यवाणी में सहायता करता है।
कारण सत्यापन (Causal Validation): एग्रीगेट हेड्स को ज़ीरो आउट करने से सरप्राइज़ल में महत्वपूर्ण वृद्धि होती है ( $p < 0.001$ ), जबकि गैदर हेड्स या रैंडम कंट्रोल हेड्स को ज़ीरो आउट करने का नगण्य प्रभाव पड़ता है। यह पुष्टि करता है कि एग्रीगेट हेड्स ही सिंबल ग्राउंडिंग के प्राथमिक यांत्रिक चालक (drivers) हैं।

3. स्केल और वास्तविक दुनिया के मॉडल (Scale and Real-World Models)

पूर्ण-पैमाने के VLMs (जैसे LLaVA-1.5-7B) में, समान एग्रीगेशन व्यवहार प्रदर्शित करने वाले अटेंशन हेड्स की पहचान की गई है, जो इस परिकल्पना को पुष्ट करती है कि जटिल, प्री-ट्रेन्ड सिस्टम में भी ग्राउंडिंग विशिष्ट हेड्स से उत्पन्न होती है।

महत्व और दावे (Significance and Claims)

यह शोध दावा करता है कि यह पहला कारण और यांत्रिक साक्ष्य (causal and mechanistic evidence) प्रदान करता है कि केवल नेक्स्ट-टोकन प्रेडिक्शन ऑब्जेक्टिव के साथ प्रशिक्षित ऑटोरेग्रेसिव मल्टीमॉडल लैंग्वेज मॉडल्स में सिंबल ग्राउंडिंग उभर सकती है।

ग्राउंडिंग को यांत्रिक रूप से परिभाषित करना: यह कार्य ग्राउंडिंग को केवल विजुअल और टेक्स्टुअल सिग्नल के बीच एक सांख्यिकीय सहसंबंध के रूप में नहीं, बल्कि एक यांत्रिक गुण के रूप में फिर से परिभाषित करता है जिसे प्रशिक्षण गतिकी (training dynamics) के माध्यम से ट्रैक किया जा सकता है और विशिष्ट अटेंशन मैकेनिज्म (एग्रीगेट हेड्स) तक सीमित किया जा सकता है।
आर्किटेक्चरल सीमाएं: यह उन आर्किटेक्चरल स्थितियों को रेखांकित करता जो ग्राउंडिंग के उभरने के लिए आवश्यक हैं, यह नोट करते हुए कि कंटेंट-एड्रेसेबल रिट्रीवल की कमी वाले आर्किटेक्चर (जैसे मानक LSTM) इस क्षमता को विकसित करने में विफल रहते हैं।
व्यावहारिक निहितार्थ: एग्रीगेट हेड्स की पहचान एग्रीगेट हेड्स की पहचान मॉडल विश्वसनीयता के निदान और नियंत्रण के लिए एक संभावित मार्ग प्रदान करती है। चूंकि मतिभ्रम (hallucinations) अक्सर मध्यवर्ती परतों में गलत तरीके से आवंटित अटेंशन से उत्पन्न होते हैं, इसलिए इन विशिष्ट हेड्स की निगरानी करना "गलत ग्राउंडिंग" या अति-विश्वास (overtrust) के शुरुआती संकेतक के रूप में कार्य कर सकता है, जो मतिभ्रम को कम करने के लिए डिकोडिंग-टाइम रणनीतियों को सूचित कर सकता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि उनके न्यूनतम टेस्टबेड एक नियंत्रित प्रॉक्सी प्रदान करते हैं, लेकिन निष्कर्ष वास्तविक मल्टीमॉडल सेटिंग्स में सामान्यीकृत होते हैं, जो यह सुझाव देते हैं कि पर्याप्त अभिव्यंजक (expressive) ऑटोरेग्रेसिव आर्किटेक्चर में सिंबल बाइंडिंग और ग्राउंडिंग की क्षमता एक अंतर्निहित उभरता हुआ गुण है।