🤖 AI

Inference Time Causal Probing in LLMs

यह शोध पत्र हिडन-स्टेट ड्रिवन मार्जिन इंटरवेंशन (HDMI) का प्रस्ताव करता है, जो एक प्रोब-मुक्त, ग्रेडिएंट-आधारित विधि है जो मौजूदा क्लासिफायर-निर्भर दृष्टिकोणों की तुलना में अधिक विश्वसनीय कारण संबंधी हस्तक्षेप (causal interventions) प्राप्त करने के लिए मॉडल के नेटिव आउटपुट का उपयोग करके सीधे LLM हिडन स्टेट्स को निर्देशित करती है, साथ ही टेक्स्ट एडिटिंग के लिए एक लुकअहेड वेरिएंट भी पेश करती है।

मूल लेखक: Sadegh Khorasani, Saber Salehkaleybar, Negar Kiyavash, Matthias Grossglauser

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sadegh Khorasani, Saber Salehkaleybar, Negar Kiyavash, Matthias Grossglauser

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर की व्याख्या दी गई है।

बड़ी तस्वीर: "ब्लैक बॉक्स" को ठीक करना

कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) एक रसोई में एक बहुत ही बुद्धिमान, लेकिन थोड़ी रहस्यमयी शेफ (chef) है। यह शेफ अद्भुत कहानियाँ लिख सकता है, लेकिन यदि आप उससे पूछें, "आपने इस सूप में नमक क्यों डाला?" तो शायद शेफ के पास कोई स्पष्ट उत्तर नहीं होगा। वह बस "जानता" है कि इसका स्वाद सही है।

वैज्ञानिक समझना चाहते हैं कि यह शेफ चीज़ों का निर्णय कैसे लेता है। विशेष रूप से, वे जानना चाहते हैं: क्या शेफ वास्तव में क्रिया (verb) "run" तय करने के लिए "बहुवचन" (जैसे "cats") की अवधारणा का उपयोग करता है, या यह सिर्फ एक संयोग है?

इसकी जाँच करने के लिए, शोधकर्ता कॉज़ल प्रोबिंग (Causal Probing) नामक तकनीक का उपयोग करते हैं। यह एक "क्या-होता-अगर" (what-if) प्रयोग की तरह है। वे कहना चाहते हैं, "ठीक है, मान लीजिए कि विषय (subject) एकवचन के बजाय बहुवचन है। क्या शेफ क्रिया को 'runs' से बदलकर 'run' कर देता है?"

पुराने तरीकों के साथ समस्या: "अनुवादक" का मुद्दा

पहले, इस प्रयोग को करने के लिए, शोधकर्ताओं को एक अनुवादक (जिसे "प्रोब" कहा जाता है) को काम पर रखना पड़ता था।

वे इस अनुवादक को शेफ के गुप्त नोट्स (छिपी हुई अवस्थाओं/hidden states) को पढ़ने और यह अनुमान लगाने के लिए प्रशिक्षित करते थे कि विषय एकवचन है या बहुवचन।
फिर, वे शेफ के नोट्स को अर्थ बदलने के लिए प्रेरित करने हेतु अनुवादक के फीडबैक का उपयोग करते थे।

खामी: यह अनुवादक शेफ की भाषा पूरी तरह से नहीं बोल पाता होगा। अनुवादक के पास "बहुवचन" को समझने के अपने स्वयं के नियम हो सकते हैं, जो इस बात से मेल नहीं खाते कि शेफ वास्तव में कैसे सोचता है। यह किसी दूसरे ब्रांड की कार के लिए लिखे गए मैनुअल का उपयोग करके कार के इंजन को ठीक करने जैसा है। आप सही बटन तो दबा सकते हैं, लेकिन आप कुछ और चीज़ें तोड़ सकते हैं क्योंकि आप इंजन के वास्तविक लेआउट को नहीं समझते हैं।

नया समाधान: HDMI (सीधा "नज" या धब्बा)

लेखक HDMI (Hidden-state Driven Margin Intervention) नामक एक नई विधि प्रस्तावित करते हैं।

उपमा: अनुवादक को काम पर रखने के बजाय, HDMI सीधे शेफ के दिमाग से बात करता है।

लक्ष्य: शेफ "runs" (एकवचन) कहने वाला है। आप चाहते हैं कि वह "run" (बहुवचन) कहे।
पुराना तरीका: एक अनुवादक को "बहुवचन" वाला बटन खोजने और उसे दबाने के लिए कहें।
HDMI का तरीका: HDMI शेफ की अंतिम निर्णय लेने की प्रक्रिया (आउटपुट) को देखता है। यह सटीक गणितीय "नज" (nudge) की गणना करता है जिसकी आवश्यकता "run" को थोड़ा अधिक संभावित बनाने और "runs" को थोड़ा कम संभावित बनाने के लिए होती है। यह दोनों शब्दों के बीच के अंतर (margin) को देखकर ऐसा करता है।

यह बेहतर क्यों है:

कोई अनुवादक आवश्यक नहीं: इसे किसी अवधारणा को समझने के लिए अलग से AI प्रशिक्षित करने की आवश्यकता नहीं है। यह शब्द बदलने के लिए मॉडल के अपने मस्तिष्क का उपयोग करता है।
सटीकता: क्योंकि यह मॉडल की अपनी "ज्यामिति" (geometry) (कि वह शब्दों को स्वाभाविक रूप से कैसे व्यवस्थित करता है) का उपयोग करता है, इसलिए यह पूरी तरह से उस तरीके के साथ संरेखित होता है जिससे मॉडल वास्तव में सोचता है।
दक्षता: यह एक सरल, तेज़ गणना है, जैसे स्टीयरिंग व्हील पर एक त्वरित थपकी, न कि एक लंबा चक्कर।

"लुकअहेड" अपग्रेड: LA-HDMI

पेपर टेक्स्ट एडिटिंग (पाठ संपादन) के लिए LA-HDMI (Lookahead HDMI) नामक एक उन्नत संस्करण भी पेश करता है।

परिदृश्य: कल्पना कीजिए कि आप एक कहानी लिख रहे हैं: "The cat was sleeping." आप इसे "The cats were sleeping" में बदलना चाहते हैं।

समस्या: यदि आप केवल "was" को "were" में बदलते हैं, तो वाक्य टूट सकता है क्योंकि इसके पहले वाला शब्द ("The") या इसके बाद वाला शब्द भी व्याकरण को सुचारू बनाए रखने के लिए बदलना पड़ सकता है।
LA-HDMI समाधान: यह विधि केवल वर्तमान शब्द को नहीं देखती; यह आगे देखती है (look ahead)। यह शब्द लिखे जाने से पहले ही वाक्य के अगले कुछ चरणों का अनुकरण करती है।
- यह देखती है कि यदि यह "was" को "were" में बदलती है, तो इसे "The" को "The" (कोई बदलाव नहीं) में बदलना होगा, लेकिन यदि संज्ञा (noun) बदलती है तो शायद संज्ञा से पहले के आर्टिकल को समायोजित करना होगा।
- यह मॉडल के छिपे हुए विचारों को धीरे से निर्देशित करती है, जिससे यह सुनिश्चित होता कि पूरा वाक्य सुचारू और प्रवाहपूर्ण बना रहे, न कि केवल वह एक शब्द जिसे आपने बदला है।

इसे एक GPS की तरह समझें जो आपको केवल यह नहीं बताता कि अभी बाएं मुड़ना है, बल्कि पूरे मार्ग की गणना करता है ताकि आप बाद में किसी डेड एंड (बंद रास्ते) में न फंसें।

क्या यह काम कर गया? (परिणाम)

लेखकों ने व्याकरण और तर्क का परीक्षण करने के लिए डिज़ाइन किए गए दो प्रमुख "जिमनेजियम" (डेटासेट) पर इसका परीक्षण किया:

LGD Agreement: यह जांचना कि कर्ता (subject) और क्रिया (verb) आपस में मेल खाते हैं या नहीं (जैसे, "he is" बनाम "they are")।
CausalGym: व्याकरण पहेलियों का एक जटिल सेट।

स्कोरकार्ड:
उन्होंने दो चीजें मापीं:

पूर्णता (Completeness): क्या हमने सफलतापूर्वक अर्थ बदल दिया? (जैसे, क्या "runs" बदलकर "run" हुआ?)
चयनात्मकता (Selectivity): क्या हमने गलती से अन्य चीजों को बिगाड़ दिया? (जैसे, क्या हमने गलती से वाक्य का काल (tense) या पूरा अर्थ बदल दिया?)

फैसला:
HDMI ने पुराने तरीकों की तुलना में लगातार उच्च स्कोर किया। यह बाकी वाक्य को खराब किए बिना ठीक उसी चीज़ को बदलने में बेहतर था जिसे बदलने के लिए इसे बनाया गया था। यह विभिन्न प्रकार के AI मॉडलों (जैसे Llama और Pythia) पर अच्छी तरह से काम करता है, जो साबित करता है कि यह एक मजबूत उपकरण है।

सारांश

पुराना तरीका: AI के मन को बदलने के तरीके का अनुमान लगाने के लिए एक अलग उपकरण का उपयोग करना (अक्सर गलत)।
HDMI: AI के मन को बदलने के लिए एकदम सही "नज" की गणना करने के लिए AI के अपने आउटपुट का उपयोग करना (सटीक और कुशल)।
LA-HDMI: सहज टेक्स्ट संपादन के लिए "क्रिस्टल बॉल" (भविष्य देखने की शक्ति) के साथ HDMI का उपयोग करना, यह सुनिश्चित करना कि केवल संपादित शब्द ही नहीं, बल्कि पूरा वाक्य स्वाभाविक रूप से प्रवाहित हो।

पेपर निष्कर्ष निकालता है कि यह "सीधा नज" (direct nudge) दृष्टिकोण AI मॉडल के सोचने और लिखने के तरीके को समझने और नियंत्रित करने का एक अधिक विश्वसनीय तरीका है।

तकनीकी सारांश: LLMs में इन्फरेंस-टाइम कॉज़ल प्रोबिंग (HDMI)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र उन सीमाओं को संबोधित करता है जो वर्तमान कॉज़ल प्रोबिंग (causal probing) विधियों की हैं, जिनका उपयोग यह समझने के लिए किया जाता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) भविष्यवाणी के लिए आंतरिक रिप्रजेंटेशन का उपयोग कैसे करते हैं।

सहसंबंधी प्रोबिंग की सीमा (Correlational Probing Limitation): पारंपरिक विधियाँ भाषाई गुणों (जैसे, सब्जेक्ट नंबर) का पता लगाने के लिए हिडन स्टेट्स पर सहायक क्लासिफायर ("प्रोब्स") को प्रशिक्षित करती हैं। हालांकि ये दिखाते हैं कि क्या एनकोडेड है, लेकिन वे यह सिद्ध नहीं करते कि मॉडल उस जानकारी का उपयोग अगले टोकन को उत्पन्न करने के लिए कैसे करता है।
कॉज़ल प्रोबिंग की सीमा (Causal Probing Limitation): मौजूदा कॉज़ल दृष्टिकोण हिडन स्टेट्स में हस्तक्षेप (intervention) करने का प्रयास करते हैं ताकि गुणों को बदला जा सके (जैसे, सिंगुलर से प्लुरल में बदलना) और आउटपुट में होने वाले परिवर्तनों को देखा जा सके। हालांकि, ये विधियाँ आमतौर पर हस्तक्षेप की दिशा निर्धारित करने के लिए एक अलग प्रोब को प्रशिक्षित करने पर निर्भर करती हैं (जैसे, लेबल को बदलने के लिए प्रोब के ग्रेडिएंट का उपयोग करना)।
- कमियां: यह अतिरिक्त प्रशिक्षण लागत को बढ़ाता है, इसके लिए प्रॉपर्टी-विशिष्ट पर्यवेक्षण (supervision) की आवश्यकता होती है, और मिसअलाइनमेंट (misalignment) का जोखिम पैदा करता है। प्रोब की क्लासिफिकेशन बाउंड्री मॉडल की आंतरिक "प्रेडिक्टिव ज्योमेट्री" के साथ मेल नहीं खा सकती है, जिससे ऐसे हस्तक्षेप होते हैं जो मॉडल के जनरेशन को प्रभावी ढंग से निर्देशित करने में विफल रहते हैं या अनजाने में असंबंधित गुणों को बदल देते हैं।

लेखक इन्फरेंस-टाइम कॉज़ल प्रोबिंग (Inference-Time Causal Probing) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जहाँ हस्तक्षेप पूरी तरह से इन्फरेंस के समय किया जाता है, बिना मॉडल को पुन: प्रशिक्षित किए या सहायक प्रोब्स को प्रशिक्षित किए।

2. कार्यप्रणाली: हिडन-स्टेट ड्रिवन मार्जिन इंटरवेंशन (HDMI)

मुख्य योगदान HDMI है, जो एक प्रोब-मुक्त, ग्रेडिएंट-आधारित तकनीक है जो सीधे जेनेरेटिव मॉडल के नेटिव आउटपुट हेड का उपयोग करके हिडन स्टेट्स को निर्देशित करती है।

2.1 मुख्य तंत्र (Core Mechanism)

HDMI एक "सोर्स" टोकन (मॉडल का मूल पसंदीदा निरंतरता) और एक "टारगेट" टोकन (वांछित काउंटरफैक्चुअल निरंतरता) के बीच एक मार्जिन ऑब्जेक्टिव को परिभाषित करके कार्य करता है।

उद्देश्य: लॉजिट मार्जिन $L(x) = \phi(x)_\tau - \phi(x)_\sigma$ को अधिकतम करना, जहाँ $\phi(x)$ लॉजिट वेक्टर है, $\tau$ टारगेट टोकन इंडेक्स है, और $\sigma$ सोर्स टोकन इंडेक्स है।
हस्तक्षेप (Intervention): यह विधि एक विशिष्ट लेयर $\ell$ पर हिडन स्टेट $h_\ell(x)$ पर ग्रेडिएंट एसेंट (gradient ascent) करती है ताकि टारगेट टोकन की संभावना बढ़ाई जा सके और सोर्स टोकन की संभावना कम की जा सके।
कंप्यूटेशनल दक्षता: अंतिम लेयर के लिए, ग्रेडिएंट एक क्लोज्ड-फॉर्म मैट्रिक्स-वेक्टर प्रोडक्ट है: $\nabla_{h_L} L(x) = W_U^\top (e_\tau - e_\sigma)$ । यह बार-बार प्रोब ट्रेनिंग की आवश्यकता को समाप्त करता है।
मल्टी-टोकन विस्तार: यह विधि टोकन के सेट (जैसे, कई वैध प्लुरल वर्ब्स) का समर्थन करती है, जिसमें टारगेट सेट्स ( $T^+$ ) और सोर्स सेट्स ( $T^-$ ) के लॉजिट्स को जोड़कर $L_{set}(x) = \sum \phi(x)_{\tau_i} - \sum \phi(x)_{\sigma_j}$ प्राप्त किया जाता है।

2.2 टेक्स्ट एडिटिंग के लिए लुकअहेड HDMI (LA-HDMI)

टेक्स्ट एडिटिंग को संबोधित करने के लिए, जहाँ उपयोगकर्ता एक संशोधित अनुक्रम (sequence) प्रदान करता है, लेखक LA-HDMI पेश करते हैं।

चुनौती: मानक ऑटोरेग्रेसिव जनरेशन यह सुनिश्चित नहीं कर पाता कि स्टेप $t$ पर हिडन स्टेट्स भविष्य के एडिट्स (स्टेप $t' > t$ पर) के प्रति जागरूक हों।
समाधान: LA-HDMI एक "लुकअहेड" तंत्र पेश करता है जो अपेक्षित टोकन एम्बेडिंग्स के माध्यम से ग्रेडिएंट्स को बैकप्रोपैगेट करता है।
- यह फॉरवर्ड पास (फ्लुएंसी बनाए रखने के लिए लो टेम्परेचर $\beta_f$ का उपयोग करना) को ग्रेडिएंट पाथ (एक्सपेक्टेड एम्बेडिंग्स की गणना के लिए हाई टेम्परेचर $\beta_g$ का उपयोग करना) से अलग करता है।
- ऑब्जेक्टिव फंक्शन $J_t(h_t)$ भविष्य के एडिट पोजीशंस ( $S_{max}$ स्टेप्स आगे) के लिए मार्जिन ऑब्जेक्टिव को संचित करता है, जिससे वर्तमान हिडन स्टेट $h_t$ को इस तरह एडजस्ट किया जाता है कि वह भविष्य के जनरेशन को उपयोगकर्ता के एडिट्स की ओर निर्देशित कर सके और गैर-एडिटेड क्षेत्रों में फ्लुएंसी बनाए रख सके।

3. मूल्यांकन ढांचा (Evaluation Framework)

लेखक दो प्राथमिक मेट्रिक्स का उपयोग करके हस्तक्षेपों का मूल्यांकन करते हैं, जो Canby et al. [2024] के ढांचे का अनुसरण करते हैं:

कम्प्लीटनेस (Completeness): यह मापता है कि क्या हस्तक्षेप ने लक्षित गुण (जैसे, सब्जेक्ट नंबर बदलना) को हिडन स्टेट में सफलतापूर्वक स्थानांतरित किया है, जिसे एक अलग वैलिडेशन प्रोब द्वारा सत्यापित किया जाता है।
सेलेक्टिविटी (Selectivity): यह मापता है कि क्या हस्तक्षेप के बाद असंबंधित गुण (न्युन्स वैरिएबल, जैसे, नॉन-सब्जेक्ट नाउन नंबर) स्थिर रहते हैं।
रिलायबिलिटी (Reliability): कम्प्लीटनेस और सेलेक्टिविटी का हार्मोनिक मीन, जो हस्तक्षेप की गुणवत्ता के समग्र माप के रूप में कार्य करता है।

4. मुख्य परिणाम (Key Results)

लेखकों ने LGD एग्रीमेंट कॉर्पस और CausalGym बेंचमार्क का उपयोग करके Meta-Llama-3-8B-Instruct और Pythia-70M पर HDMI का मूल्यांकन किया।

प्रदर्शन: HDMI अधिकांश कार्यों में प्रोब-ड्रिवन बेसलाइन्स (AlterRep, FGSM, PGD) की तुलना में लगातार उच्च Reliability प्राप्त करता है।
- एग्रीमेंट सूट्स (जैसे, सब्जेक्ट-वर्ब एग्रीमेंट) में, HDMI अक्सर परफेक्ट Completeness और उच्च Selectivity प्राप्त करता है।
- बेसलाइन्स के विपरीत, HDMI का प्रदर्शन इंटरवेंशनल प्रोब की गुणवत्ता पर निर्भर नहीं है, क्योंकि यह एक प्रोब का उपयोग ही नहीं करता है। AlterRep और PGD जैसे बेसलाइन्स ने छोटे मॉडल्स (Pythia-70M) पर महत्वपूर्ण प्रदर्शन गिरावट दिखाई जब प्रोब की सटीकता कम थी।
रोबस्टनेस (Robustness): HDMI विभिन्न मॉडल साइज और कार्यों में सुसंगत रिलायबिलिटी बनाए रखता है, जबकि प्रोब-आधारित विधियों ने मिश्रित परिणाम दिखाए जो विशिष्ट प्रॉपर्टी और मॉडल के प्रति संवेदनशील थे।
टेक्स्ट एडिटिंग: LA-HDMI ने उपयोगकर्ता द्वारा निर्दिष्ट एडिट्स (जैसे, "girl" को "owl" या "was" को "were" में बदलना) की ओर जनरेशन को मोड़ने की क्षमता को सफलतापूर्वक प्रदर्शित किया, जबकि व्याकरणिक फ्लुएंसी और आवश्यक कॉन्टेक्स्ट (जैसे, "a" को "an" में बदलना) को भी बनाए रखा।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि HDMI, प्रोब-डिपेंडेंट से मॉडल-नेटिव कॉज़ल प्रोबिंग की ओर एक बदलाव का प्रतिनिधित्व करता है।

अलाइनमेंट (Alignment): मॉडल के अपने आउटपुट हेड का उपयोग करके हस्तक्षेप की दिशा को परिभाषित करके, HDMI यह सुनिश्चित करता है कि व्यवधान (perturbation) मॉडल की वास्तविक प्रेडिक्टिव ज्योमेट्री के अनुरूप हो, जिससे बाहरी प्रोब्स के मिसअलाइनमेंट जोखिमों से बचा जा सके।
दक्षता (Efficiency): यह विधि कम्प्यूटेशनल रूप से हल्की है, जिसमें केवल हिडन स्टेट्स पर ग्रेडिएंट एसेंट की आवश्यकता होती है, बिना किसी सहायक क्लासिफायर को प्रशिक्षित करने के ओवरहेड के।
व्यापकता (Generality): यह दृष्टिकोण स्वाभाविक रूप से मल्टी-टोकन प्रॉपर्टीज तक विस्तारित होता है और लुकअहेड ग्रेडिएंट्स के माध्यम से फ्लुएंट टेक्स्ट एडिटिंग के लिए एक तंत्र प्रदान करता है।

लेखक सीमाओं को स्वीकार करते हैं, जिनमें हाइपरपैरामीटर्स (स्टेप साइज, टेम्परेचर, होराइजन) के प्रति संवेदनशीलता और लॉन्ग-रेंज टेक्स्ट एडिटिंग कार्यों में ग्रेडिएंट्स के क्षीण (attenuation) होने की संभावना शामिल है। वे सुझाव देते हैं कि फ्लुएंसी से समझौता किए बिना सेलेक्टिविटी को और बेहतर बनाने के लिए एडैप्टिव लेयर सिलेक्शन और स्टेप-साइज शेड्यूलिंग में भविष्य का कार्य किया जा सकता है।