💬 NLP

Do Language Models Encode Semantic Relations? Probing and Sparse Feature Analysis

यह शोध पत्र लीनियर प्रोबिंग को मैकेनिस्टिक इंटरप्रिटेबिलिटी तकनीकों के साथ जोड़कर यह जांच करता है कि लार्ज लैंग्वेज मॉडल्स विभिन्न पैमानों पर सिमेंटिक संबंधों को कैसे एनकोड करते हैं, जिससे यह पता चलता है कि पदानुक्रमित संबंध अपनी फीचर रोबस्टनेस में दिशात्मक विषमता प्रदर्शित करते हैं, संकेत मिड-लेयर एमएलपी पाथवेज़ में सबसे प्रमुख होते हैं, और स्पार्स ऑटोएनकोडर्स के माध्यम से कॉज़ल मैनिपुलेशन बड़े मॉडल्स में अधिक प्रभावी होता है।

मूल लेखक: Andor Diera, Ansgar Scherp

प्रकाशित 2026-03-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andor Diera, Ansgar Scherp

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अत्यंत बुद्धिमान रोबोटिक लाइब्रेरियन (एक लार्ज लैंग्वेज मॉडल, या LLM) है जिसने दुनिया की लगभग हर किताब पढ़ ली है। आप जानना चाहते हैं: क्या यह रोबोट वास्तव में यह समझता है कि शब्दों का आपस में क्या संबंध है, या यह सिर्फ एक तोते की तरह पैटर्न को रट रहा है?

उदाहरण के लिए, क्या इसे पता है कि "खुश" (happy) और "दुखी" (sad) एक-दूसरे के विपरीत हैं? क्या इसे पता है कि "कुत्ता" (dog) एक प्रकार का "जानवर" (animal) है, लेकिन "जानवर" कोई विशिष्ट प्रकार का "कुत्ता" नहीं है?

यह शोध पत्र एक जासूसी टीम (शोधकर्ताओं) की तरह है जो रोबोट के दिमाग के अंदर झाँकने की कोशिश कर रही है ताकि यह देख सके कि वह इन संबंधों को कैसे संग्रहीत करता है। उन्होंने अलग-अलग आकार के तीन रोबोटों का उपयोग किया: एक छोटा वाला (Pythia), एक मध्यम (GPT-2), और एक बहुत बड़ा (Llama 3.1)।

यहाँ उनके निष्कर्ष दिए गए हैं, जिन्हें कुछ मजेदार उपमाओं के साथ समझाया गया है:

1. "मिडल चाइल्ड" (बीच वाले बच्चे) की समस्या

शोधकर्ताओं ने रोबोट के मस्तिष्क को परतों में, प्याज के छिलके उतारने की तरह, परतों दर परत देखा।

निष्कर्ष: रोबोट "कुत्ता बनाम जानवर" का अर्थ केवल एक विशिष्ट परत में संग्रहीत नहीं करता है। इसके बजाय, जानकारी उसके मस्तिष्क की मध्य परतों में चारों ओर बिखरी हुई है।
उपमा: कल्पना कीजिए कि आप एक विशाल पुस्तकालय में एक विशिष्ट रेसिपी (विधि) खोजने की कोशिश कर रहे हैं। आपको वह केवल एक शेल्फ पर नहीं मिलेगी; सामग्री मध्य गलियारों में बिखरी हुई है। पूरी तस्वीर पाने के लिए आपको पूरे मध्य भाग को देखना होगा। साथ ही, जैसे-जैसे रोबोट बड़ा होता जाता है, वह इसमें बेहतर होता जाता है (8-बिलियन पैरामीटर वाला रोबोट छोटे वाले की तुलना में बहुत अधिक सटीक है)।

2. "विपरीत" (Opposites) बनाम "समानार्थी" (Synonyms) का रहस्य

टीम ने चार प्रकार के संबंधों का परीक्षण किया:

समानार्थी (Synonyms): वे शब्द जिनका अर्थ समान होता है (खुश = आनंदित)।
विलोम (Antonyms): वे शब्द जो एक-दूसरे के विपरीत होते हैं (खुश बनाम दुखी)।
हाइपरनिम (Hypernyms): सामान्य श्रेणियाँ (कुत्ता एक प्रकार का जानवर है)।
हाइपोनिम (Hyponyms): विशिष्ट उदाहरण (कुत्ता एक बीगल है)।

परिणाम:

विलोम (Antonyms) आसान हैं: रोबोट विरोधों को पहचानने में बहुत अच्छा है। यह ऐसा है जैसे रोबोट के पास एक चमकीला लाल "OPPOSITE" बटन है जो स्पष्ट रूप से जल उठता है।
समानार्थी (Synonyms) कठिन हैं: यह रोबोट का सबसे बड़ा संघर्ष है। यह बताना मुश्किल है कि दो शब्द वास्तव में एक ही हैं या बस समान हैं। इसका संकेत बहुत धुंधला और अस्पष्ट है।
"डिस्ट्रीब्यूशनल पैराडॉक्स" (वितरण संबंधी विरोधाभास): शोधकर्ताओं ने पाया कि यदि आप केवल यह देखें कि रोबोट के गणितीय स्थान (math space) में दो शब्द कितने करीब हैं, तो "खुश" और "दुखी" बहुत करीब दिखते हैं क्योंकि वे अक्सर समान वाक्यों में आते हैं (जैसे, "मैं आज खुश/दुखी महसूस कर रहा हूँ")। यह वैसा ही है जैसे दो लोग जो पार्टी में हमेशा एक ही मेज पर बैठते हैं; वे दोस्त दिखते हैं, भले ही वे दुश्मन हों। यह समझने के लिए कि वे वास्तव में विपरीत हैं, रोबोट को विशेष उपकरणों की आवश्यकता होती है।

3. "एकतरफा रास्ता" (पदानुक्रम/Hierarchy)

"कुत्ता" और "जानवर" के बीच का संबंध दो-तरफा रास्ता नहीं है; यह एक एकतरफा रास्ता है।

हाइपरनिमी (सामान्यीकरण/Generalizing): "कुत्ता" $\rightarrow$ "जानवर"। रोबोट इसमें बहुत अच्छा है। रोबोट के लिए यह कहना आसान है, "हाँ, एक कुत्ता एक जानवर है।"
हाइपोनिमी (विशिष्टीकरण/Specificizing): "जानवर" $\rightarrow$ "कुत्ता"। रोबोट यहाँ संघर्ष करता है। यदि आप पूछते हैं, "क्या एक जानवर एक कुत्ता है?" तो वह भ्रमित हो जाता है।
उपमा: रोबोट के मस्तिष्क को एक मानचित्र के रूप में सोचें। उसके पास "विशिष्ट" से "सामान्य" की ओर जाने वाला एक बहुत ही स्पष्ट, चौड़ा राजमार्ग है (कुत्ता $\rightarrow$ जानवर)। लेकिन दूसरी दिशा में जाने वाला रास्ता (जानवर $\rightarrow$ कुत्ता) एक संकरा, ऊबड़-खाबड़ कच्चा रास्ता है जहाँ भटकना आसान है। रोबोट सामान्यीकरण की ओर झुका हुआ है, न कि विशिष्टीकरण की ओर।

4. "ब्रेन सर्जरी" का प्रयोग

यह साबित करने के लिए कि वे केवल अनुमान नहीं लगा रहे थे, शोधकर्ताओं ने स्पार्स ऑटोएनकोडर्स (SAE) नामक उपकरण का उपयोग करके रोबोट पर "ब्रेन सर्जरी" की।

उन्होंने क्या किया: उन्होंने उन सूक्ष्म, विशिष्ट "न्यूरॉन्स" (विशेषताओं) की पहचान की जो इन संबंधों के लिए जिम्मेदार हैं। फिर, उन्होंने या तो उन्हें बंद कर दिया (ablation) या तटस्थ वाक्यों में उन्हें बलपूर्वक चालू कर दिया (patching)।
निष्कर्ष:
- छोटे रोबोट पर, सर्जरी का बहुत कम प्रभाव पड़ा। रोबोट इतना छोटा था कि उसमें स्पष्ट, अलग "संबंधी न्यूरॉन्स" नहीं थे।
- बड़े रोबोट (Llama 3.1) पर, सर्जरी जादू की तरह थी। जब उन्होंने "हाइपोनिमी" न्यूरॉन्स को बंद कर दिया, तो रोबोट तुरंत भूल गया कि एक कुत्ता एक बीगल है। जब उन्होंने तटस्थ वाक्य में "एंटी-निम" (Antonym) न्यूरॉन्स को चालू किया, तो रोबोट अचानक वहां भी विरोध देखने लगा जहां कोई नहीं था।
मुख्य बात: बड़े रोबोट के पास इन अवधारणाओं के लिए विशिष्ट, भौतिक "स्विच" हैं। छोटा रोबोट एक गंदले सूप की तरह है जहाँ सब कुछ आपस में मिला हुआ है।

5. सामान्यीकरण की "अतिरेक" (Redundancy)

यहाँ उन्हें एक अजीब विशेषता मिली:

सामान्यीकरण (Hypernymy) अतिरेकपूर्ण है: रोबोट के पास कई अलग-अलग न्यूरॉन्स हैं जो सभी कह सकते हैं कि "कुत्ता एक जानवर है।" यदि आप एक को हटा देते हैं, तो अन्य कार्यभार संभाल लेते हैं। यह एक कमरे में 100 लोगों के होने जैसा है जो एक ही तथ्य चिल्ला रहे हैं; यदि आप एक को चुप करा देते हैं, तो तथ्य अभी भी सुनाई देता है।
विशिष्टीकरण (Hyponymy) नाजुक है: रोबोट एक बहुत ही छोटे, विशिष्ट समूह के न्यूरॉन्स पर निर्भर करता है जो यह कह सके कि "जानवर एक कुत्ता है।" यदि आप उन्हें हटा देते हैं, तो रोबमा तुरंत संबंध भूल जाता है। यह ताश के घर जैसा है; एक कार्ड निकालें, और पूरी संरचना ढह जाती है।

आम आदमी के लिए सारांश

यह शोध पत्र हमें बताता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) अर्थ संबंधी संबंधों को समझते हैं, लेकिन वे इसे एक अव्यवस्थित और असमान तरीके से करते हैं:

बड़ा बेहतर है: बड़े मॉडलों के पास इन अवधारणाओं के लिए छोटे मॉडलों की तुलना में बहुत स्पष्ट "न्यूरल स्विच" होते हैं।
विपरीत आसान हैं; समानता कठिन है: AI के लिए अंतर पहचानना, समानता पहचानने की तुलना में आसान है।
सामान्यीकरण आसान है; विशिष्टीकरण कठिन है: AI यह कहने में बहुत अच्छा है कि "एक कुत्ता एक जानवर है," लेकिन "एक जानवर एक कुत्ता है" कहने में बुरा है।
यह केवल गणित नहीं है: संबंध केवल एक सूची में शब्दों के करीब होने के बारे में नहीं हैं; वे विशिष्ट, सक्रिय भागों में एनकोड किए गए हैं जिन्हें चालू या बंद किया जा सकता है।

शोधकर्ताओं ने भविष्य के इंजीनियरों के लिए एक "मानचित्र" और एक "पेचकस" (ढांचा) प्रदान किया है जिससे वे इन दिमागों को ट्यून कर सकें, जिससे AI को वर्गीकरण करने, तर्क को समझने या अर्थ के सूक्ष्म अंतरों को पहचानने जैसे कार्यों में बेहतर बनाया जा सके।

यहाँ डिएरा और शेरप के शोध पत्र "Do Language Models Encode Semantic Relations? Probing and Sparse Feature Analysis" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) प्राकृतिक भाषा प्रसंस्करण (NLP) में प्रभावशाली क्षमताएं प्रदर्शित करते हैं, यह स्पष्ट नहीं है कि क्या उनके पास अर्थ संबंधी संबंधों (semantic relationships) की संरचित वैचारिक समझ (structured conceptual understanding) है या वे केवल सतही स्तर के सांख्यिकीय सह-अस्तित्व (statistical co-occurrences) पर निर्भर हैं। मौजूदा व्याख्यात्मकता अनुसंधान (interpretability research) मुख्य रूप से व्यक्तिगत अवधारणाओं (जैसे, "बिल्ली," "कुत्ता") की पहचान करने पर केंद्रित रहा है, लेकिन इसने व्यवस्थित रूप से इस बात की जांच नहीं की है कि अर्थ संबंधी संबंध (समानार्थी, विलोम, अतिशयोक्ति/हाइपरनिमी, उपशयोक्ति/हाइपोनिमी) मॉडल आर्किटेक्चर के भीतर कैसे एनकोड, स्थानीयकृत (localized) और कारणवश हेरफेर (causally manipulated) किए जाते हैं।

लेखक तीन मूल प्रश्नों के उत्तर देने का लक्ष्य रखते हैं:

क्या LLMs में अर्थ संबंधी संकेत (semantic relation signals) मौजूद हैं?
ये संकेत परतों (layers) और घटकों (Attention बनाम MLP) के बीच कहाँ स्थानीयकृत हैं?
स्पार्स फीचर्स (sparse features) का उपयोग करके इन संकेतों को कितनी मजबूती से हेरफेर किया जा सकता है (कारणता/causality)?

2. कार्यप्रणाली (Methodology)

यह अध्ययन तीन अलग-अलग पैमानों के मॉडल्स पर लीनियर प्रोबिंग (linear probing), स्पार्स ऑटोएनकोडर्स (SAEs), और एक्टिवेशन पैचिंग (activation patching) को संयोजित करते हुए एक बहुआयामी दृष्टिकोण अपनाता है:

मॉडल्स: Pythia-70M (6 परतें), GPT-2-124M (12 परतें), और Llama 3.1 8B (32 परतें)।
डेटासेट: WordNet 3.0 से निर्मित, जिसमें समानार्थी (Synonymy), विलोम (Antonymy), हाइपरनिमी (Hypernymy), और हाइपोनिमी (Hyponymy) के लिए 1,000 जोड़े प्रत्येक, साथ ही 1,000 रैंडम जोड़े शामिल हैं। जोड़ों को न्यूट्रल कॉन्टेक्स्टुअल प्रॉम्प्ट्स के साथ संवर्धित किया गया था।
प्रोबिंग रणनीति (Probing Strategy):
- लीनियर प्रोब्स (मल्टीनोमियल लॉजिस्टिक रिग्रेशन) को प्रति परत तीन एक्टिवेशन स्ट्रीम पर प्रशिक्षित किया गया: अटेंशन आउटपुट (Attention output), MLP आउटपुट, और पोस्ट-रेसिडुअल स्ट्रीम (Post-residual stream)।
- मेट्रिक्स में मीन एक्यूरेसी (mean accuracy), पीक एक्यूरेसी (peak accuracy), पीक डेप्थ (peak depth), और सिग्नल वितरण निर्धारित करने के लिए सेंटर ऑफ मास (CoM) शामिल थे।
मैकेनिस्टिक इंटरप्रिटेबिलिटी (SAE और पैचिंग):
- फीचर्स को अलग करने के लिए पूर्व-प्रशिक्षित स्पार्स ऑटोएनकोडर्स (SAEs) का उपयोग किया गया।
- एक्टिवेशन पैचिंग (Activation Patching): लेखकों ने विशिष्ट संबंधों (प्रोब वेट्स द्वारा रैंक किए गए) से जुड़े शीर्ष- $k$ $k$ SAE फीचर्स की पहचान की और दो कारण संबंधी हस्तक्षेप (causal interventions) किए:
  - आवश्यकता (Necessity): संबंध-वहन करने वाले इनपुट्स में फीचर्स को एब्लेट (शून्य) करना ताकि यह देखा जा सके कि क्या सिग्नल ढह जाता है।
  - पर्याप्तता (Sufficiency): न्यूट्रल/रैंडम इनपुट्स में फीचर्स को इंजेक्ट करना ताकि यह देखा जा सके कि क्या कोई संबंध सिग्नल उभरता है।
- मेट्रिक्स: सिमेंटिक लॉजिट डिफरेंस ( $LD_{sem}$ ), फ्लिप रेट ( $\Delta FR$ ), और ड्रॉप रेट ($DR$)।

3. प्रमुख योगदान (Key Contributions)

व्यवस्थित स्केल विश्लेषण: 70M से 8B पैरामीटर्स तक अर्थ संबंधी एन्कोडिंग का एक तुलनात्मक अध्ययन, जो निरंतर कठिनाई क्रम और स्केल-आधारित सुधारों को प्रकट करता है।
एकीकृत ढांचा (Integrated Framework): एक नया पाइपलाइन जो प्रोब-स्तर की कारणता (probe-level causality) तक पहुँचने के लिए लीनियर प्रोबिंग को SAE-निर्देशित कारण हस्तक्षेपों के साथ जोड़ता है।
स्थानीयकरण अंतर्दृष्टि (Localization Insights): यह पहचानना कि संबंध संबंधी सिग्नल विस्तृत (diffuse) हैं (मिड-लेयर्स में चरम पर) न कि विशिष्ट "संबंध परतों" (relation layers) तक सीमित हैं, और ये पोस्ट-रेसिडुअल/MLP पथों में अधिक मजबूत हैं न कि अटेंशन तंत्रों में।
असममिति की खोज (Asymmetry Discovery): पदानुक्रमित संबंधों (हाइपरनिमी बनाम हाइपोनिमी) में एक मौलिक दिशात्मक विषमता (directional asymmetry) और संबंध प्रकारों के बीच एक कठिनाई पदानुक्रम को उजागर करना।

4. मुख्य परिणाम (Key Results)

A. प्रोबिंग परिणाम (स्थानीयकरण और कठिनाई)

कठिनाई क्रम: सभी मॉडल्स में सुसंगत: विलोम (सबसे आसान) > हाइपोनिमी > हाइपरनिमी > समानार्थी (सबसे कठिन)।
स्केल प्रभाव: मॉडल के आकार के साथ सटीकता महत्वपूर्ण रूप से सुधरती है (जैसे, Llama 3.1 पर एंटोनिमी सीलिंग के करीब पहुँच जाता है; समानार्थी 8B पर भी सबसे कठिन बना रहता है)।
स्थानीयकरण:
- कोई एकल "संबंध परत" मौजूद नहीं है। सिग्नल विस्तृत (diffuse) हैं, जिनका सेंटर ऑफ मास (CoM) लगातार मिड-लेयर्स (लगभग 0.5 सामान्यीकृत गहराई) के पास रहता है।
- घटक विश्लेषण: पोस्ट-रेसिडुअल स्ट्रीम सबसे मजबूत सिग्नल वहन करती है। MLP घटक आमतौर पर अटेंशन की तुलना में अधिक रिकवरेबल साक्ष्य रखता है, हालांकि छोटे मॉडल्स में अटेंशन संबंध-विशिष्ट लाभ दिखाता है।

B. संबंध-विशिष्ट निष्कर्ष

विलोम बनाम समानार्थी:
- एम्बेडिंग स्पेस में एंटोनिम्स के बीच उच्च कोसाइन समानता (वितरणात्मक विरोधाभास/distributional paradox) के बावजूद, लीनियर प्रोब्स उन्हें आसानी से अलग कर सकते हैं। यह सुझाव देता है कि संबंध विशिष्ट आंतरिक एक्टिवेशन में एनकोड होते हैं न कि वैश्विक वेक्टर समानता में।
- समानार्थी को डिकोड करना सबसे कठिन है और पैचिंग से सबसे कम प्रभावित होता है, जो एक अत्यधिक विस्तृत (diffuse) एन्कोडिंग का संकेत देता है।
हाइपरनिमी बनाम हाइपोनिमी (दिशात्मक पूर्वाग्रह):
- हाइपरनिमी (सामान्य $\to$ विशिष्ट, जैसे, कुत्ता $\to$ जानवर) अतिरेक रूप से एनकोड (redundantly encoded) है: इसे मजबूत करना आसान (उच्च पर्याप्तता) है लेकिन दबाना कठिन (कम आवश्यकता) है।
- हाइपोनिमी (विशिष्ट $\to$ सामान्य, जैसे, जानवर $\to$ कुत्ता) कॉम्पैक्ट फीचर्स पर निर्भर है: यह एब्लेशन (Ablation) द्वारा आसानी से बाधित होता है (उच्च आवश्यकता) और आसानी से ढह जाता है।
- क्रम संवेदनशीलता: शब्दों के क्रम को उलटने से (जैसे, "जानवर कुत्ते से संबंधित है" बनाम "कुत्ता जानवर से संबंधित है") हाइपोनिमी के लिए महत्वपूर्ण गिरावट ( $\Delta \approx 0.24$ ) होती है, लेकिन हाइपरनिमी के लिए न्यूनतम गिरावट ( $\Delta \approx 0.08$ ) होती है, जो सामान्यीकरण (generalization) की ओर एक पूर्वाग्रह की पुष्टि करती है।

C. कारण हस्तक्षेप (SAE पैचिंग)

क्षमता निर्भरता (Capacity Dependence): मजबूत, विश्वसनीय कारण प्रभाव (प्रोब भविष्यवाणियों को बदलना) केवल Llama 3.1 में देखे गए। छोटे मॉडल्स (Pythia, GPT-2) कमजोर या अस्थिर बदलाव दिखाते हैं, जो यह सुझाव देते हैं कि स्पार्स फीचर हेरफेर के लिए पर्याप्त मॉडल क्षमता आवश्यक है।
फीचर विशिष्टता: शीर्ष- $k$ SAE फीचर्स का उपयोग करने वाले हस्तक्षेपों ने रैंडम फीचर हस्तक्षेपों की तुलना में काफी बेहतर प्रदर्शन किया, जिससे पुष्टि हुई कि विशिष्ट फीचर्स ही संबंध संकेतों को संचालित करते हैं।
असममिति की पुष्टि: पैचिंग के परिणाम प्रोबिंग विषमता को दर्शाते हैं: हाइपरनिमी ने उच्च पर्याप्तता लेकिन कम आवश्यकता दिखाई, जबकि हाइपोनिमी ने उच्च आवश्यकता दिखाई।

D. प्रासंगिक सुदृढ़ता (Contextual Robustness)

संबंध संकेत काफी हद तक प्रॉम्प्ट-अपरिवर्तनीय (prompt-invariant) हैं। प्रॉम्प्ट टेम्पलेट्स बदलने से औसत सटीकता (रीडआउट कैलिब्रेशन) कम हो जाती है, लेकिन पीक एक्यूरेसी और कारण उपलब्धता (causal feature availability) काफी हद तक बरकरार रहती है।

5. महत्व और निहितार्थ (Significance and Implications)

ब्लैक-बॉक्स मूल्यांकन से परे: यह अध्ययन सिद्ध करता है कि LLMs संरचित अर्थ संबंधी संबंधों को एनकोड करते हैं, लेकिन वे सरल वेक्टर समानताएं नहीं हैं। वे वितरित (distributed), घटक-विशिष्ट (component-specific), और अक्सर असममित होते हैं।
मैकेनिस्टिक समझ: निष्कर्ष "संबंध परतों" के विचार को चुनौती देते हैं, इसके बजाय एक विस्तृत, मिड-स्टैक प्रतिनिधित्व (diffuse, mid-stack representation) का प्रस्ताव करते हैं जो MLP पथों पर बहुत अधिक निर्भर है।
व्यावहारिक अनुप्रयोग: यह समझना कि हाइपरनिमी मजबूत (अतिरेकपूर्ण) है जबकि हाइपोनिमी नाजुक (कॉम्पैक्ट) है, ऑन्टोलॉजी पूर्णता (ontology completion), टैक्सोनॉमी-जागरूक रिट्रीवल, और टेक्स्टुअल एंटेलमेंट जैसे कार्यों के लिए लक्षित हस्तक्षेपों का मार्गदर्शन कर सकता है।
पद्धतिगत प्रगति: यह पेपर स्पार्स फीचर विश्लेषण (SAEs) को कारण साक्ष्य (patching) के साथ जोड़ने के लिए एक पुनरुत्पादक ढांचा प्रदान करता है, जो भविष्य के मैकेनिस्टिक इंटरप्रिटेबिलिटी अनुसंधान के लिए एक मानक स्थापित करता है।

निष्कर्षतः, लेखक स्थापित करते हैं कि यद्यपि LLMs अर्थ संबंधी संबंधों को कैप्चर करते हैं, लेकिन उनका एनकोडिंग स्केल-निर्भर, विस्तृत रूप से वितरित, और संरचनात्मक रूप से पक्षपाती (सामान्यीकरण की ओर झुका हुआ) है, और कारण हेरफेर क्षमता केवल बड़े मॉडल्स में उभरता है।