💬 NLP

How Context Shapes Truth: Geometric Transformations of Statement-level Truth Representations in LLMs

यह शोध पत्र इस बात का पहला ज्यामितीय लक्षण वर्णन प्रदान करता है कि संदर्भ (context) लार्ज लैंग्वेज मॉडल्स में सत्य वेक्टर्स (truth vectors) को कैसे रूपांतरित करता है, जिससे यह प्रकट होता है कि संदर्भ आम तौर पर सत्य निरूपण के परिमाण (magnitude) को बढ़ाता है, जबकि बड़े मॉडल्स प्रासंगिक और विरोधाभासी संदर्भों के बीच अंतर मुख्य रूप से सक्रियण स्थान (activation space) में दिशात्मक परिवर्तनों के माध्यम से करते हैं न कि परिमाण के अंतरों के माध्यम से।

मूल लेखक: Shivam Adarsh, Maria Maistro, Christina Lioma

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shivam Adarsh, Maria Maistro, Christina Lioma

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, बहु-मंजिला पुस्तकालय के रूप में करें जहाँ हर किताब एक अलग विचार या जानकारी का प्रतिनिधित्व करती है। इस पुस्तकालय के भीतर, किसी कथन के बारे में "सत्य" शब्दों में नहीं लिखा है; यह एक निश्चित दिशा में इशारा करने वाले एक विशिष्ट तीर (arrow) के रूप में संग्रहीत है।

यदि मॉडल सोचता है कि कोई कथन सत्य है, तो तीर एक दिशा में इशारा करता है। यदि वह सोचता है कि यह असत्य है, तो तीर दूसरी दिशा में इशारा करता है। आपने जो पेपर साझा किया है, वह इस बात की जांच करता है कि जब हम मॉडल को जवाब देने से पहले उसे अतिरिक्त जानकारी (संदर्भ/context) पढ़ने के लिए देते हैं, तो इन "सत्य तीरों" के साथ क्या होता है।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. एक तीर की तीन-चरणीय यात्रा

शोधकर्ताओं ने इन सत्य तीरों को पुस्तकालय के विभिन्न "मंजिलों" (परतों/layers) के माध्यम से यात्रा करते हुए देखा। उन्होंने एक सुसंगत तीन-चरणीय पैटर्न पाया:

बेसमेंट (प्रारंभिक परतें): जब मॉडल किसी कथन को पहली बार पढ़ता है, तो संदर्भ के साथ वाला "सत्य तीर" और बिना संदर्भ वाला "सत्य तीर" पूरी तरह से अलग दिशाओं में इशारा करते हैं। वे बिल्कुल वैसे ही हैं जैसे दो लोग पीठ से पीठ सटाकर खड़े हों; वे ऑर्थोगोनल (orthogonal) (90-डिग्री के कोण पर) हैं। मॉडल अभी केवल कच्चे शब्दों को प्रोसेस कर रहा है, इसलिए अतिरिक्त संदर्भ ने अभी तक सत्य का अर्थ नहीं समझा है।
मेन हॉल (मध्य परतें): जैसे-जैसे जानकारी ऊपर बढ़ती है, तीर अचानक एक सीध में आने लगते हैं। वे अभिसरित (converge) होते हैं, लगभग एक ही दिशा में इशारा करते हैं। यहीं पर मॉडल वास्तव में "समझता है।" इसने अर्थ को प्रोसेस कर लिया है, और चाहे अतिरिक्त संदर्भ हो या न हो, "सत्य" का मूल विचार अब समान रूप से प्रस्तुत होता है।
अटारी (बाद की परतें): अंतिम मंजिलों में, चीजें दिलचस्प हो जाती हैं। कभी-कभी तीर पूरी तरह से संरेखित रहते हैं। अन्य मामलों में, वे फिर से अलग होने लगते हैं। ऐसा ज्यादातर तब होता है जब अतिरिक्त संदर्भ उस चीज़ के साथ विरोधाभास (contradict) करता है जिसे मॉडल अपने प्रशिक्षण (training) से पहले से "जानता" है। यह एक आंतरिक बहस की तरह है, जिससे तीर डगमगाता या अपनी दिशा बदलता है क्योंकि मॉडल यह तय करने की कोशिश कर रहा है कि किस जानकारी पर भरोसा किया जाए।

2. आवाज़ बढ़ाना (परिमाण/Magnitude)

शोधकर्ताओं ने इन तीरों की लंबाई को भी मापा।

निष्कर्ष: जब आप संदर्भ जोड़ते हैं, तो तीर आम तौर पर लंबे हो जाते हैं।
उपमा: कल्पना करें कि एक सत्य कथन और एक असत्य कथन के बीच का अंतर एक कमरे में खड़े दो लोगों के बीच की दूरी जैसा है। बिना संदर्भ के, वे 5 फीट दूर खड़े हो सकते हैं। जब आप संदर्भ जोड़ते हैं, तो मॉडल उन्हें और दूर धकेलता है, शायद 10 फीट। "सत्य और झूठ के बीच का अलगाव" अधिक स्पष्ट और सुस्पष्ट हो जाता है। संदर्भ एक स्पॉटलाइट की तरह कार्य करता है जो सही और गलत के बीच के अंतर को अधिक स्पष्ट बनाता है।

3. बड़े मॉडल बनाम छोटे मॉडल: अलग रणनीतियाँ

पेपर ने खोजा कि बड़े और छोटे मॉडल इस "अतिरिक्त जानकारी" को अलग-अलग तरीकों से संभालते हैं, जैसे दो अलग-अलग प्रकार के नाविक:

बड़े मॉडल (जैसे LLaMA, Mistral): ये मॉडल विशाल मानचित्रों वाले विशेषज्ञ कार्टोग्राफर (मानचित्रकार) की तरह हैं। जब उन्हें प्रासंगिक संदर्भ मिलता है, तो वे अपने तीर की दिशा बदलते हैं। वे एक नए, अधिक सटीक कोण की ओर मुख करने के लिए शारीरिक रूप से मुड़ते हैं। वे यह दिखाने के लिए कि वे बारीकियों को समझते हैं, अपने "मस्तिष्क" में उपलब्ध अतिरिक्त स्थान का उपयोग एक पूरी तरह से नई दिशा में इशारा करने के लिए करते हैं।
छोटे मॉडल (जैसे Qwen, SmolLM): इन मॉडलों के पास छोटे मानचित्र होते हैं। वे हमेशा तीर को एक नई दिशा में मोड़ने का जोखिम नहीं उठा सकते क्योंकि इससे वे अन्य विचारों से टकरा सकते हैं। इसके बजाय, वे तीर को लगभग उसी दिशा में रखते हैं लेकिन उसे लंबा कर देते हैं। वे संकेत देते हैं कि वे संदर्भ को समझते हैं, न कि दिशा बदलकर बल्कि सिग्नल को "प्रवर्धित" (amplify) करके (तीर को लंबा करके)।

4. अच्छा संदर्भ बनाम रैंडम शोर (Random Noise)

शोधकर्ताओं ने परीक्षण किया कि क्या होता है जब संदर्भ वास्तव में उपयोगी हो बनाम जब वह केवल रैंडम शोर (जैसे यादृच्छिक शब्दों की सूची या एक बिखरा हुआ पैराग्राफ) हो।

परिणाम: प्रासंगिक, सहायक संदर्भ मॉडल के "सत्य तीरों" में रैंडम शोर की तुलना में बहुत बड़ी प्रतिक्रिया पैदा करता है।
अपवाद: यदि संदर्भ विरोधाभासी है (मॉडल को कुछ ऐसा बताना जो उसके प्रशिक्षण के विरुद्ध हो), तो यह सबसे बड़ा ज्यामितीय बदलाव पैदा करता है। यह ऐसा है जैसे मॉडल सदमे में हो; तीर बेतहाशा घूमता है क्योंकि उसे दो विपरीत तथ्यों के बीच सामंजस्य बिठाना पड़ता है।
कानूनी पाठ की समस्या: दिलचस्प रूप से, जब संदर्भ बहुत जटिल, तकनीकी कानूनी पाठ था, तो मॉडल इसे रैंडम शोर से अलग करने में संघर्ष करते थे। "तीर" ज्यादा नहीं हिले। ऐसा लगता है कि जब भाषा बहुत सघन और विशिष्ट होती है, तो मॉडल यह अंतर नहीं कर पाता कि क्या एक सहायक संकेत है और क्या एक रैंडम वाक्य।

सारांश

संक्षेप में, यह पेपर दिखाता है कि जब एक LLM अतिरिक्त संदर्भ के साथ एक कथन पढ़ता है, तो वह केवल शब्दों को "पढ़ता" नहीं है; वह अपने आंतरिक विचारों की ज्यामिति को भौतिक रूप से नया आकार देता है।

शुरुआत में, विचार भ्रमित होते हैं और हर दिशा में इशारा करते हैं।
बीच में, वे सत्य खोजने के लिए संरेखित होते हैं।
अंत में, "सत्य तीर" लंबा (अधिक आत्मविश्वासी) हो जाता है या दिशा बदल देता है (यदि संदर्भ पेचीदा हो)।
बड़े मॉडल यह दिखाने के लिए तीर की दिशा बदलते हैं कि वे समझते हैं; छोटे मॉडल तीर की लंबाई बदलते हैं।

यह हमें समझने में मदद करता है कि AI में "सत्य" एक स्थिर स्विच नहीं है; यह एक गतिशील आकार है जो इस बात पर निर्भर करता है कि AI क्या पढ़ रहा है।

तकनीकी सारांश: संदर्भ सत्य को कैसे आकार देता है

समस्या विवरण

यद्यपि पूर्व शोध ने यह स्थापित किया है कि लार्ज लैंग्वेज मॉडल्स (LLMs) कथनों की सत्यता को उनके रेसिडुअल स्ट्रीम एक्टिवेशन के भीतर रैखिक दिशाओं (वेक्टर्स) के रूप में एनकोड करते हैं, लेकिन जब प्रासंगिक जानकारी (contextual information) पेश की जाती है, तो इन "सत्य वेक्टर्स" के ज्यामितीय विकास (geometric evolution) का अन्वेषण अभी तक नहीं किया गया है। मौजूदा अध्ययन दर्शाते हैं कि सत्य को असत्य से एक्टिवेशन स्पेस में अलग किया जा सकता है और प्रोब्स विभिन्न सेटिंग्स में सामान्यीकरण कर सकते हैं, लेकिन वे इस बात का लक्षण वर्णन नहीं करते हैं कि इन निरूपणों (representations) की ज्यामिति—विशेष रूप से उनकी दिशा और परिमाण—कैसे बदलती है जब एक मॉडल किसी कथन के साथ संदर्भ को प्रोसेस करता है। यह अंतराल यह समझने के लिए महत्वपूर्ण है कि LLMs बाहरी जानकारी को कैसे एकीकृत करते हैं, विशेष रूप से रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) और इन-कॉन्टेक्स्ट लर्निंग परिदृश्यों में।

कार्यप्रणाली (Methodology)

लेखक संदर्भ द्वारा प्रेरित सत्य वेक्टर्स के ज्यामितीय रूपांतरणों को मापने के लिए एक ढांचा प्रस्तावित करते हैं। प्रयोगात्मक सेटअप में चार इंस्ट्रक्शन-ट्यून्ड LLMs (LLaMA-3.1-8B, Mistral-Nemo-12B, Qwen3-4B, और SmolLM3-3B) और विविध डोमेन (फैक्ट-चेकिंग, लीगल, मूवी सिनोप्सिस, और सिंथेटिक नॉलेज कॉन्फ्लिक्ट्स) को कवर करने वाले चार डेटासेट्स शामिल हैं।

मुख्य प्रक्रिया:

प्रॉम्प्ट निर्माण: प्रत्येक कथन के लिए, [Selected Choice] (कथन का समर्थन या खंडन करने वाला) और [Context] (संदर्भ के साथ या बिना) को बदलकर चार प्रॉम्प्ट जेनरेट किए जाते हैं। मॉडल को एक विशिष्ट टोकन (जैसे, ")") के साथ पूर्णता (completion) शुरू करने का निर्देश दिया जाता है ताकि निष्पक्ष तुलना सुनिश्चित हो सके।
वेक्टर निष्कर्षण (Vector Extraction): पहले जेनरेट किए गए टोकन के स्थान पर रेसिडुअल स्ट्रीम एक्टिवेशन (post-MLP) से सत्य वेक्टर्स निकाले जाते हैं। संदर्भ के बिना ( $v_{k,nc}^{(l)}$ ) और संदर्भ के साथ ( $v_{k,c}^{(l)}$ ) सत्य वेक्टर को सत्य और असत्य पूर्णताओं के बीच के अंतर के रूप में परिभाषित किया गया है:
$v_{k,nc}^{(l)} = a_{k,True, nc}^{(l)} - a_{k,False, nc}^{(l)}$
$v_{k,c}^{(l)} = a_{k,True, c}^{(l)} - a_{k,False, c}^{(l)}$
ज्यामितीय मेट्रिक्स (Geometric Metrics): परिवर्तन को मापने के लिए दो गुणों को मापा जाता है:
- दिशात्मक परिवर्तन ( $\theta$ ): संदर्भ के साथ और बिना सत्य वेक्टर के बीच का कोण, जिसे कोसाइन सिमिलरिटी के माध्यम से निकाला जाता है।
- सापेक्ष परिमाण (Relative Magnitude): संदर्भ के साथ सत्य वेक्टर के L2 नॉर्म का, बिना संदर्भ वाले नॉर्म का अनुपात ( $||v_{k,c}^{(l)}||_2 / ||v_{k,nc}^{(l)}||_2$ )। मान $>1$ सत्य और असत्य निरूपणों के बीच अलगाव के प्रवर्धन (amplification) को दर्शाता है।

अध्ययन प्रासंगिकता के प्रति संवेदनशीलता का आकलन करने के लिए प्रासंगिक संदर्भ की तुलना पांच प्रकार के रैंडम/अप्रासंगिक संदर्भों (रैंडम कैरेक्टर्स, रैंडम वर्ड्स, असंगत वाक्य, रैंडम विकिपीडिया टेक्स्ट, और शेफल्ड डेटासेट कॉन्टेक्स्ट) से करता है।

मुख्य परिणाम

1. दिशात्मक परिवर्तन का तीन-चरणीय पैटर्न

सभी मॉडल्स और डेटासेट्स में, दिशात्मक परिवर्तन ( $\theta$ ) लेयर्स के माध्यम से एक सुसंगत तीन-चरणीय पैटर्न का पालन करता है:

चरण 1 (प्रारंभिक लेयर्स): संदर्भ के साथ और बिना सत्य वेक्टर्स लगभग ऑर्थोगोनल (orthogonal) होते हैं (उच्च $\theta$ ), जो प्रारंभिक प्रोसेसिंग चरणों में विशिष्ट निरूपणों का सुझाव देते हैं।
चरण 2 (मध्यवर्ती लेयर्स): वेक्टर्स तेजी से अभिसरित (converge) होते हैं, और न्यूनतम $\theta$ तक पहुँचते हैं। यह सेमेंटिक एनकोडिंग और नॉलेज रिट्रीवल में मध्यवर्ती लेयर्स की ज्ञात भूमिका के अनुरूप है। उल्लेखनीय है कि $\theta$ कभी शून्य तक नहीं पहुँचता, जो दर्शाता है कि संदर्भ हमेशा एक विशिष्ट ज्यामितीय हस्ताक्षर छोड़ता है।
चरण 3 (बाद की लेयर्स): व्यवहार भिन्न होता है। कुछ डेटासेट्स के लिए, वेक्टर्स स्थिर हो जाते हैं। अन्य के लिए (विशेष रूप से जब संदर्भ पैरामीट्रिक ज्ञान के साथ संघर्ष करता है, जैसे ConflictQA-Counter), $\theta$ फिर से बढ़ जाता है, जो यह सुझाव देता है कि गहरी लेयर्स में संघर्षरत संकेतों का निरंतर प्रसंस्करण हो रहा है।

2. सत्य पृथक्करण का प्रवर्धन (Amplification of Truth Separation)

संदर्भ जोड़ने से आम तौर पर सत्य वेक्टर्स का सापेक्ष परिमाण बढ़ जाता है (मान $>1$ )। यह इंगित करता है कि संदर्भ, एक्टिवेशन स्पेस में सत्य और असत्य निरूपणों के बीच के अलगाव को बढ़ाता है। यह प्रभाव मध्यवर्ती लेयर्स में सबसे अधिक होता है, जहाँ सापेक्ष परिमाण अक्सर बाद की लेयर्स में स्थिर होने से पहले पीक (peak) पर पहुँचता है।

3. मॉडल का आकार और संवेदनशीलता तंत्र

बड़े और छोटे मॉडल्स के बीच इस संबंध में एक महत्वपूर्ण अंतर है कि वे संदर्भ प्रासंगिकता को कैसे एनकोड करते हैं:

बड़े मॉडल्स (LLaMA, Mistral): प्रासंगिक और अप्रासंगिक संदर्भ के बीच मुख्य रूप से दिशात्मक परिवर्तन ( $\theta$ ) के माध्यम से अंतर करते हैं। प्रासंगिक संदर्भ, रैंडम संदर्भ की तुलना में काफी अधिक दिशात्मक बदलाव उत्पन्न करता है।
छोटे मॉडल्स (Qwen, SmolLM): प्रासंगिक और अप्रासंगिक संदर्भ के बीच मुख्य रूप से परिमाण स्केलिंग (magnitude scaling) के माध्यम से अंतर करते हैं। जबकि दिशात्मक परिवर्तन अक्सर नगण्य या नकारात्मक होते हैं, सत्य वेक्टर्स का सापेक्ष परिमाण प्रासंगिक संदर्भ के लिए काफी अधिक होता है। लेखकों का अनुमान है कि यह लो-डायमेंशनल स्पेस में रिप्रेजेंटेशनल कैपेसिटी की सीमाओं के कारण है, जिससे दिशा के बजाय परिमाण एक अधिक व्यवहार्य एनकोडिंग रणनीति बन जाती है।

4. ज्ञान संघर्ष (Knowledge Conflict) का प्रभाव

वह संदर्भ जो पैरामीट्रिक ज्ञान के विपरीत है (ConflictQA-Counter), पैरामीट्रिक ज्ञान के साथ संरेखित संदर्भ की तुलना में बड़े ज्यामितीय परिवर्तन (उच्च $\theta$ और परिमाण दोनों) उत्पन्न करता है। यह सुझाव देता है कि विरोधाभासी जानकारी मजबूत, अधिक स्थायी ज्यामितीय बदलावों को ट्रिगर करती है, जो संभवतः मेमोरी और कॉन्टेक्स्ट पाथवे के बीच प्रतिस्पर्धा को दर्शाती है।

5. डोमेन विशिष्टता

LegalBench (Corporate Lobbying) जैसे जटिल, डोमेन-विशिष्ट डेटासेट्स में, मॉडल्स अक्सर प्रासंगिक और रैंडम संदर्भ के बीच महत्वपूर्ण ज्यामितीय अंतर दिखाने में विफल रहते हैं। यह कम फ्लेश रीडेबिलिटी स्कोर के साथ सह-संबंधित है, जो यह सुझाव देता है कि अत्यधिक तकनीकी भाषा मॉडल की प्रासंगिकता को अलग करने वाले सार्थक ज्यामितीय संकेतों को निकालने की क्षमता को बाधित कर सकती है।

महत्व और दावे

यह पेपर दावा करता है कि यह LLMs में सत्य निरूपणों को संदर्भ कैसे रूपांतरित करता, इसका पहला ज्यामितीय लक्षण वर्णन प्रदान करता है। निष्कर्षों के व्यावहारिक निहितार्थ हैं:

RAG सिस्टम: लेयर-वाइज $\theta$ मानों का उपयोग यह पता लगाने के लिए डायग्नोस्टिक सिग्नल के रूप में किया जा सकता है कि मॉडल कब रिट्रीव किए गए संदर्भ को एकीकृत करने में विफल रहता है (मध्य-लेयर अभिसरण की कमी) या जब ज्ञान संघर्ष मौजूद होता है (असामान्य लेट-लेयर विचलन)।
छोटे मॉडल्स को स्टीयर करना (Steering): यह खोज कि छोटे मॉडल्स दिशा के बजाय परिमाण पर निर्भर करते हैं, यह सुझाव देती है कि इन मॉडल्स के लिए एक्टिवेशन स्टीयरिंग तकनीकों को केवल दिशात्मक हस्तक्षेप के बजाय परिमाण स्केलिंग पर ध्यान केंद्रित करना चाहिए।

लेखक एक मध्यम रुख बनाए रखते हैं, यह नोट करते हुए कि हालांकि ये ज्यामितीय परिवर्तन महत्वपूर्ण हैं, वे हमेशा आउटपुट प्रोबेबिलिटी परिवर्तनों में रैखिक रूप से अनुवादित नहीं होते हैं। वे सीमाओं को भी स्वीकार करते हैं, जिसमें पहले टोकन पर ध्यान केंद्रित करना, केवल अंग्रेजी-ओनली डेटासेट्स का उपयोग, और अध्ययन किए गए विशिष्ट इंस्ट्रक्शन-ट्यून्ड मॉडल्स की प्रकृति शामिल है।