💻 computer science

LLM Explainability with Counterfactual Chains and Causal Graphs

यह शोध पत्र एक चार-चरणीय पद्धति का प्रस्ताव करता है जो एलएलएम (LLM) इन्फरेंस को आंतरिक रूप से मॉडल करने के लिए कॉज़ल ग्राफ्स और एमएमसीएम (MCMC)-प्रेरित काउंटरफैक्चुअल ऑग्मेंटेशन का उपयोग करता है, जिससे यह स्पष्ट हो सके कि मॉडल भविष्यवाणियां करने के लिए सूचनाओं को कैसे देखते और व्यवस्थित करते हैं, और इस प्रकार अवधारणा-स्तर की पारदर्शी व्याख्याएं उत्पन्न करता है।

मूल लेखक: Nirit Nussbaum-Hoffer, Nitay Calderon, Liat Ein-Dor, Roi Reichart

प्रकाशित 2026-06-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nirit Nussbaum-Hoffer, Nitay Calderon, Liat Ein-Dor, Roi Reichart

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन रहस्यमय, ब्लैक बॉक्स (एक लार्ज लैंग्वेज मॉडल या LLM) है। आप इसमें एक कहानी डालते हैं, और यह आपको एक उत्तर देता है। लेकिन आपको पता ही नहीं है कि इसने वह उत्तर क्यों चुना। यह वैसा ही है जैसे किसी शेफ से पूछना, "यह सूप नमकीन क्यों है?" और वह बस इतना कह दे, "क्योंकि यह है," बिना यह बताए कि उसने नमक डाला, नमकीन शोरबा इस्तेमाल किया, या बस चखना भूल गया।

यह शोध पत्र उस ब्लैक बॉक्स को खोलने का एक तरीका प्रस्तावित करता है, उन लाखों नन्हे पुर्जों को देखकर नहीं (जो इंसानों के समझने के लिए बहुत जटिल हैं), बल्कि एक सरल फ्लोचार्ट का उपयोग करके शेफ की विचार प्रक्रिया को मैप करने के माध्यम से।

उन्होंने इसे कैसे किया, यहाँ रोजमर्रा के उदाहरणों के साथ समझाया गया है:

1. लक्ष्य: "थॉट मैप" (विचार मानचित्र) बनाना

कंप्यूटर के भीतर के लाखों छोटे नंबरों को समझने के बजाय, लेखक उन बड़ी अवधारणाओं (concepts) को खोजना चाहते हैं जिनका मॉडल उपयोग करता है।

उपमा: कल्पना कीजिए कि मॉडल एक अपराध सुलझाने वाला जासूस है। "अवधारणाएं" सुराग (जैसे, "कीचड़ वाले जूते," "टूटी हुई खिड़की," "खोई हुई चाबी") हैं। यह शोध पत्र एक नक्शा बनाने का प्रयास करता है जो दिखाता है कि जासूस केस सुलझाने के लिए इन सुरागों को कैसे जोड़ता है।
मैप: वे एक कॉज़ल ग्राफ (Causal Graph) बनाते हैं। यह एक ऐसा आरेख है जहाँ तीर कारण-और-प्रभाव (cause-and-effect) को दर्शाते हैं। उदाहरण के लिए: कीचड़ वाले जूते $\rightarrow$ संदिग्ध बाहर था $\rightarrow$ दोषी का निर्णय। यह नक्शा बताता है कि मॉडल निर्णय लेने के लिए जानकारी को कैसे व्यवस्थित करता है।

2. समस्या: "स्पार्स लाइब्रेरी" (विरल पुस्तकालय)

एक सटीक नक्शा बनाने के लिए, आपको यह देखना होगा कि जासूस हर संभावित सुराग के संयोजन को देखता है। लेकिन वास्तविक दुनिया में, आपके पास केवल कुछ ही केस फाइलें होती हैं। आपके पास 100 कहानियाँ हो सकती हैं, लेकिन उन सभी में "कीचड़ वाले जूते" होते हैं। आपने कभी भी ऐसा केस नहीं देखा जिसमें "कीचड़ वाले जूते" हों लेकिन "टूटी हुई खिड़की" न हो।

मुद्दा: यदि आप केवल अपने पास मौजूद कुछ कहानियों को देखते हैं, तो आपका नक्शा अधूरा और अस्थिर होगा। आपको लग सकता है कि "कीचड़ वाले जूते" हमेशा "दोषी" की ओर ले जाते हैं, जबकि वास्तव में, यह अन्य सुरागों पर निर्भर करता है जिन्हें आपने अभी तक नहीं देखा है।

3. समाधान: "व्हाट-इफ" मशीन (MCMC)

यही इस शोध पत्र का सबसे बड़ा नवाचार है। चूंकि वे वास्तविक जीवन के मामलों के होने का इंतजार नहीं कर सकते, इसलिए वे AI का उपयोग नए मामले कल्पना करने के लिए करते हैं।

उपमा: एक "व्हाट-इफ" (क्या होगा अगर) मशीन के बारे में सोचें। आप AI को कहते हैं: "एक बरसाती दिन की यह कहानी लें, लेकिन क्या होगा अगर बारिश नहीं हो रही होती? बाकी सब कुछ वैसा ही रहने दें।"
प्रक्रिया:
1. AI एक वास्तविक कहानी लेता है।
2. वह पूछता है: "क्या होगा अगर मैं 'कोमलता' (Softness) की अवधारणा को 'गीली/नरम' से बदलकर 'सख्त' कर दूँ?"
3. यह उस बदलाव से मेल खाने के लिए कहानी को फिर से लिखता है (जैसे, "आज मैंने एक सख्त पपीता खाया" बजाय "गीले/नरम" के)।
4. यह जाँचता है: "क्या मैंने 'रंग' या 'गंध' को बदले बिना 'कोमलता' की अवधारणा को सफलतापूर्वक बदल दिया?"
5. यदि हाँ, तो यह इस नई कहानी को रखता है। यदि नहीं, तो यह फिर से प्रयास करता है।
परिणाम: वे हजारों ऐसी "व्हाट-इफ" कहानियाँ बनाते हैं। यह उनके पुस्तकालय के खाली स्थानों को भर देता है, जिससे उन्हें हर संभावित सुराग के संयोजन पर मॉडल की प्रतिक्रिया का पूर्ण दृश्य मिलता है।

4. खोज: अंतिम नक्शा बनाना

एक बार जब उनके पास वास्तविक और "व्हाट-इफ" कहानियों का एक विशाल पुस्तकालय हो जाता है, तो वे अंतिम नक्शा खींचने के लिए एक विशेष गणितीय उपकरण (जिसे $\sigma$ -CG कहा जाता है) का उपयोग करते हैं।

परिणाम: नक्शा दिखाता है कि मॉडल किन अवधारणाओं पर ध्यान देता है और वे कैसे जुड़ते हैं।
- उदाहरण: एक चिकित्सा निदान कार्य में, नक्शा दिखा सकता है कि "बुखार" और "थकान" दोनों "फ्लू" की ओर इशारा करते हैं, लेकिन अकेले "बुखार" नहीं।
- आश्चर्य: उन्होंने पाया कि अलग-अलग AI मॉडल (जैसे Gemini बनाम Qwen) अलग-अलग नक्शों का उपयोग करते हैं। एक मॉडल "टोन" (Tone) पर बहुत अधिक निर्भर हो सकता है, जबकि दूसरा "विशिष्ट विवरणों" (Specific Details) पर, भले ही वे एक ही उत्तर देते हों।

5. क्या यह काम कर गया? (प्रमाण)

चूंकि तुलना करने के लिए कोई "सही" नक्शा नहीं है (क्योंकि हम AI का दिमाग नहीं पढ़ सकते), उन्होंने दो तरीकों से नक्शों का परीक्षण किया:

पूर्वानुमान शक्ति (Predictive Power): यदि आप नक्शे के "पैरेंट" सुरागों को एक साधारण कैलकुलेटर को देते हैं, तो क्या यह AI के उत्तर की भविष्यवाणी यादृच्छिक अनुमानों (random guesses) से बेहतर कर सकता है? हाँ, नक्शे ने बहुत अच्छा काम किया।
स्थिरता (Stability): यदि वे "व्हाट-इफ" मशीन को कुछ और बार चलाते हैं, तो क्या नक्शा बदल जाता है? नहीं, नक्शा वैसा ही रहा, जो साबित करता है कि यह ठोस था और केवल एक इत्तेफाक नहीं था।

सारांश

यह शोध पत्र AI को समझाने योग्य बनाने के लिए एक विधि पेश करता है:

यह पूछकर कि वह किन "बड़ी अवधारणाओं" का उपयोग करता है।
खाली स्थानों को भरने के लिए AI का उपयोग करके हजारों "व्हाट-इफ" परिदृश्यों की कल्पना करना।
उन विचारों का एक कारण-और-प्रभाव नक्शा बनाना।

यह हमें केवल अंतिम उत्तर देखने के बजाय, एक स्पष्ट, उच्च-स्तरीय दृश्य देता है कि AI कैसे सोचता है। यह केवल सूप का स्वाद लेने के बजाय शेफ से उसकी रेसिपी कार्ड प्राप्त करने जैसा है।

तकनीकी सारांश: काउंटरफैक्चुअल चेन्स और कॉज़ल ग्राफ के साथ LLM व्याख्यात्मकता (Explainability)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) व्यापक क्षमताएं प्रदर्शित करते हैं, फिर भी उनके निष्कर्ष निकालने के तंत्र (inference mechanisms) अपारदर्शी बने हुए हैं। निर्णय लेने वाले कारक अवलोकनीय नहीं हैं, और उत्पन्न स्पष्टीकरण अक्सर निष्ठा (faithfulness) की कमी रखते हैं, जो चिकित्सा और कानून जैसे उच्च-जोखमर वाले क्षेत्रों में जोखिम पैदा करते हैं। जबकि मौजूदा व्याख्यात्मकता विधियां (जैसे, अटेंशन विश्लेषण, फीचर एट्रिब्यूशन) सहसंबंधी अंतर्दृष्टि प्रदान करती हैं, वे उस कारणत्मक साक्ष्य (causal evidence) को प्रदान करने में विफल रहती हैं जो निष्ठापूर्ण स्पष्टीकरण के लिए आवश्यक है। इसके अतिरिक्त, मेकेनिस्टिक इंटरप्रिटेबिलिटी निम्न-स्तरीय घटकों (न्यूरॉन्स, सर्किट) पर ध्यान केंद्रित करती है जो अक्सर उन उच्च-स्तरीय अवधारणाओं (concepts) के साथ संरेखित नहीं होते जिन्हें हितधारकों को समझने की आवश्यकता होती है।

LLMs में वर्तमान कारणत्मक दृष्टिकोण आमतौर पर वास्तविक दुनिया की संरचनाओं को मॉडल करते हैं (जैसे, लेखक के लिंग को बदलने से भविष्यवाणी कैसे प्रभावित होती है) या एक निश्चित कॉज़ल ग्राफ (अवधारणा $\to$ टेक्स्ट $\to$ भविष्यवाणी) मान लेते हैं। LLM-अनुमान कॉज़ल ग्राफ (LLM-inference causal graph) को स्वयं रिकवर करने की विधियों में एक महत्वपूर्ण अंतर है: एक ऐसी संरचना जो यह दर्शाती है कि एक विशिष्ट मॉडल मानव-व्याख्या योग्य अवधारणाओं को इनपुट टेक्स्ट से भविष्यवाणी तक कम करने के लिए कैसे व्यवस्थित करता है (टेक्स्ट $\to$ अवधारणा $\to$ भविष्यवाणी)। इस रिकवरी में एक प्रमुख बाधा डेटा कवरेज है; विश्वसनीय कॉज़ल डिस्कवरी के लिए अवधारणा संयोजनों (concept combinations) का सघन नमूनाकरण आवश्यक है, जो वास्तविक दुनिया के परिवेश में अक्सर असंभव या अनैतिक होता है।

कार्यप्रणाली (Methodology)

लेखक वर्गीकरण कार्यों के लिए अवधारणा-स्तरीय कॉज़ल ग्राफ बनाने के लिए एक पूरी तरह से स्वचालित, मॉडल-संचालित चार-चरणीय पाइपलाइन का प्रस्ताव करते हैं। यह विधि लक्ष्य LLM का उपयोग स्वयं अवधारणाओं को निकालने, डेटा का प्रतिनिधित्व करने और मजबूत कॉज़ल डिस्कवरी के लिए आवश्यक काउंटरफैक्चुअल्स (counterfactuals) उत्पन्न करने के लिए करती है।

1. लेबल भविष्यवाणी (Label Prediction)

डेटासेट में ग्राउंड-ट्रुथ लेबल्स को लक्ष्य LLM के अपने अनुमानों ( $\hat{y}$ ) से बदल दिया जाता है। यह सुनिश्चित करता है कि परिणामी ग्राफ डेटासेट के ग्राउंड ट्रुथ के बजाय मॉडल के आंतरिक तर्क को दर्शाता है।

2. विभेदक अवधारणा खोज और एनोटेशन (Discriminative Concept Discovery and Annotation)

यह ढांचा पुनरावृत्ति (iteratively) के माध्यम से अवधारणाओं ( $C$ ) का एक सेट पहचानता है जो अनुमानित वर्गों (classes) के बीच अंतर करते हैं।

निष्कर्षण (Extraction): LLM टेक्स्ट के बैच और अनुमानित लेबल्स के आधार पर संभावित अवधारणाओं का प्रस्ताव करता है।
फिल्टरिंग (Filtering): अवधारणाओं को केवल तभी रखा जाता है यदि वे दोनों प्रासंगिक (टेक्स्ट में मौजूद) और विभेदक (वर्गों के एक सख्त उपसमूह के साथ संरेखित, न कि सभी या किसी के भी साथ नहीं) हों।
एनोटेशन (Annotation): प्रत्येक इनपुट टेक्स्ट को एक अवधारणा वेक्टर $\phi(x)$ में मैप किया जाता है, जहाँ प्रत्येक अवधारणा $c_i$ को एक श्रेणीगत मान (categorical value) सौंपा जाता है जो उन वर्गों के उपसमूह का प्रतिनिधित्व करता है जिसे मॉडल उसे समर्थन देता हुआ देखता है।

3. MCMC-प्रेरित डेटा विस्तार (MCMC-Inspired Data Expansion)

लेटेंट कॉन्सेप्ट स्पेस में अवलोकन संबंधी डेटा की विरलता (sparsity) को संबोधित करने के लिए, लेखक मार्कोव चेन मोंटे कार्लो (MCMC) से प्रेरित एक काउंटरफैक्चुअल ऑग्मेंटेशन प्रक्रिया पेश करते हैं।

प्रक्रिया: मूल टेक्स्ट से शुरू होकर, एल्गोरिदम विशिष्ट अवधारणाओं के संरेखण को लक्षित वर्गों की ओर या उनसे दूर ले जाने के लिए टेक्स्ट संबंधी परिवर्तनों (perturbations) का प्रस्ताव करता है।
स्वीकृति मानदंड (Acceptance Criteria): एक प्रस्तावित काउंटरफैक्चुअल को केवल तभी स्वीकार किया जाता है यदि वह इच्छित वैचारिक बदलाव (लक्ष्य संरेखण) प्राप्त करता है और अनपेक्षित परिवर्तनों (न्यूनतम साइड इफेक्ट्स) को कम करता है।
परिष्करण (Refinement): विफल प्रस्तावों को पुनरावर्ती परिष्करण (recursive refinement) से गुजरना पड़ता है, जहाँ LLM को विशिष्ट उल्लंघनों को ठीक करने के लिए प्रॉम्प्ट किया जाता है।
परिणाम: यह एक सघन डेटासेट ( $D_{mcmc}$ ) उत्पन्न करता है जो अवधारणा अवस्थाओं के विविध संयोजनों को कवर करता है, जिससे स्थिर कॉज़ल डिस्कवरी सक्षम होती है।

4. $\sigma$ -CG के माध्यम से कॉज़ल डिस्कवरी (Causal Discovery via $\sigma$ -CG)

विस्तारित, एनोटेटेड डेटासेट को $\sigma$ -CG एल्गोरिदम में फीड किया जाता है, जो एक ऐसा कॉज़ल डिस्कवरी मेथड है जो डिस्क्रीट वेरिएबल्स और संभावित रूप से चक्रीय संरचनाओं (cyclic structures) को संभालने में सक्षम है। परिणामी निर्देशित ग्राफ $G$ इनपुट टेक्स्ट, LLM-अनुमानित अवधारणाओं, और अंतिम भविष्यवाणी से होने वाले कारण प्रवाह (causal flow) को कैप्चर करता है, जिसमें बाधाएं यह सुनिश्चित करती हैं कि टेक्स्ट एक 'रूट' है और भविष्यवाणी एक 'सिंक' है।

मुख्य योगदान

ग्लोबल व्याख्यात्मकता के लिए कारणत्मक प्रतिमान (Causal Paradigm): यह पेपर LLM तर्क को मानव-व्याख्या योग्य अवधारणाओं पर कॉज़ल ग्राफ में मैप करने वाला एक ढांचा पेश करता है, जो स्थानीय, इनपुट-केंद्रित स्पष्टीकरणों से आगे बढ़कर अनुमान तंत्र के वैश्विक विवरण की ओर बढ़ता है।
MCMC-प्रेरित डेटा ऑग्मेंटेशन: एक अभिनव एल्गोरिदम जो लेटेंट कॉन्सेप्ट स्पेस को सघन बनाने के लिए काउंटरफैक्चुअल्स उत्पन्न करता है, जो ब्लैक-बॉक्स मॉडल्स के लिए कॉज़ल डिस्कवरी में निहित डेटा कवरेज की बाधा को दूर करता है।
मूल्यांकन प्रोटोकॉल: ग्राउंड-ट्रुथ रीजनिंग ग्राफ की अनुपस्थिति में संरचनात्मक स्थिरता और भविष्य कहनेवाला निष्ठा (predictive fidelity) का आकलन करने के लिए एक कठोर प्रोटोकॉल, जो यह प्रदर्शित करता है कि खोजे गए कॉज़ल पैरेंट्स वैकल्पिक अवधारणा उपसमूहों की तुलना में नोड्स के बेहतर भविष्यवक्ता हैं।

परिणाम

इस ढांचे का मूल्यांकन तीन LLMs (Gemini-2-Flash, Qwen3-14B, gpt-OSS-20B) पर तीन कार्यों के माध्यम से किया गया: रोग निदान (सिंथेटिक), सेंटीमेंट एनालिसिस (IMDB), और LLM-एज़-ए-जज (Reddit)।

भवि 예측 निष्ठा (Predictive Fidelity): सभी सेटिंग्स में, कॉज़ल ग्राफ के पैरेंट सेट्स ने अंतिम लेबल और मध्यवर्ती अवधारणा अवस्थाओं दोनों की भविष्यवाणी करने में रैंडम कॉन्सेप्ट सबसेट्स को पीछे छोड़ दिया। अधिकांश मामलों में, ग्राफ-आधारित पैरेंट्स शीर्ष 3 भविष्यवक्ताओं में रहे, जो पुष्टि करता है कि खोजे गए स्ट्रक्चर सार्थक निर्भरताओं को कैप्चर करते हैं।
मॉडल-विशिष्ट तर्क (Model-Specific Reasoning): सिंथेटिक कार्यों पर, विभिन्न मॉडल्स समान व्याख्यात्मक अवधारणाओं पर अभिसरित (converge) हुए (ग्राउंड-ट्रुथ वेरिएबल्स को रिकवर करना)। हालांकि, प्राकृतिक डेटा पर, मॉडल्स ने विशिष्ट लेटेंट ह्यूरिस्टिक्स और कॉज़ल टोपोलॉजी विकसित की, जो यह उजागर करता है कि मॉडल चयन के लिए केवल प्रदर्शन ही नहीं बल्कि तर्क संरेखण को समझना भी आवश्यक है।
अभिसरण और स्थिरता (Convergence and Stability): MCMC विस्तार ने वितरण अभिसरण (distributional convergence) प्रदर्शित किया, जहाँ चेन्स परफेक्ट ओवरलैप के सैद्धांतिक निचले स्तर के करीब पहुँचते ही KL डाइवर्जेंस स्थिर हो गया। संरचनात्मक स्थिरता इस रूप में पुष्ट हुई कि क्रमिक ग्राफ टोपोलॉजी के बीच हैमिंग डिस्टेंस शून्य तक गिर गया।
ऑग्मेंटेशन का प्रभाव: काउंटरफैक्चुअल विस्तार ने मूल डेटा की तुलना में भविष्य कहने की सटीकता में काफी सुधार किया, जो मजबूत कॉज़ल डिस्कवरी के लिए ऑग्मेंटेशन चरण की आवश्यकता को सिद्ध करता है।

महत्व और दावे

यह पेपर इस कार्य को LLMs के लिए "कॉन्सेप्ट-लेवल एक्सप्लेनेबिलिटी" की दिशा में एक आधारभूत कदम के रूप में स्थापित करता है। यह तर्क देते हुए कि इस प्रक्रिया को मानव-व्याख्या योग्य अवधारणाओं पर एक कॉज़ल ग्राफ के रूप में मॉडल करना, डेवलपर्स और डोमेन विशेषज्ञों दोनों के लिए अधिक सुलभ और कार्रवाई योग्य व्याख्यात्मकता प्रदान करता है।

लेखक विनम्रतापूर्वक दावा करते हैं कि यह कार्य प्रक्रिया-उन्मुख स्पष्टीकरण विधियों की एक नई पीढ़ी के लिए एक आधार (foundation) प्रदान करता है। वे इस बात पर जोर देते हैं कि उनका दृष्टिकोण MCMC-प्रेरित विस्तार के माध्यम से लेटेंट स्पेस में डेटा की विरलता की विशिष्ट चुनौती को संबोधित करता है, जिससे उन वैश्विक कॉज़ल स्ट्रक्चर्स की रिकवरी संभव होती है जो पहले अप्राप्य थे। यह कार्य सभी व्याख्यात्मकता समस्याओं को हल करने का दावा नहीं करता है, बल्कि यह स्थापित करता है कि मॉडल निर्णय लेने के लिए अवधारणाओं को कैसे व्यवस्थित करते हैं, यह खोजने के लिए एक व्यवहार्य पाइपलाइन प्रदान करता है, जिससे उन मॉडल्स के बीच अंतर किया जा सके जो समान प्रदर्शन कर सकते हैं लेकिन अलग-अलग तर्क देते हैं।