🤖 machine learning

Causal Concept Graphs in LLM Latent Space for Stepwise Reasoning

यह शोध पत्र कॉज़ल कॉन्सेप्ट ग्राफ्स (CCG) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो टास्क-कंडीशन्ड स्पार्स ऑटोएनकोडर्स को डिफरेंशिएबल स्ट्रक्चर लर्निंग के साथ जोड़ता है ताकि LLMs में व्याख्या योग्य लेटेंट फीचर्स के बीच कॉज़ल डिपेंडेंसीज को मैप किया जा सके, और यह कॉज़ल फिडेलिटी स्कोर के माध्यम से प्रदर्शित करता है कि ग्राफ-गाइडेड इंटरवेंशन मौजूदा ट्रेसिंग और रैंडम बेसलाइन्स की तुलना में स्टेपवाइज रीजनिंग प्रदर्शन को महत्वपूर्ण रूप से बढ़ाते हैं।

मूल लेखक: Md Muntaqim Meherab, Noor Islam S. Mohammad, Faiza Feroz

प्रकाशित 2026-03-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Md Muntaqim Meherab, Noor Islam S. Mohammad, Faiza Feroz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य समस्या: "ब्लैक बॉक्स" मस्तिष्क

कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (जैसे इस चैट के पीछे का AI) एक विशाल, अत्यंत बुद्धिमान पुस्तकालय है। इसके भीतर लाखों छोटी किताबें (अवधारणाएं/concepts) और पुस्तकालयाध्यक्ष (न्यूरॉन्स) मिलकर काम कर रहे हैं।

जब आप AI से कोई कठिन प्रश्न पूछते हैं (जैसे "इस कहानी में पात्र ने वह निर्णय क्यों लिया?"), तो AI केवल शेल्फ से एक किताब नहीं निकालता। उसे एक जटिल रिले रेस की तरह काम करना पड़ता है, जहाँ जानकारी एक पुस्तकालयाध्यक्ष से दूसरे तक पहुँचती है, विचारों को मिलाया जाता है, और तर्क की एक श्रृंखला बनाई जाती है।

समस्या: हम जानते हैं कि किताबें कहाँ हैं, लेकिन हमें यह नहीं पता कि कौन किससे बात करता है और किस क्रम में। हम अंतिम उत्तर देखते हैं, लेकिन हम आंतरिक बातचीत को नहीं देख पाते। यदि AI गलत उत्तर देता है, तो हमें यह नहीं पता चलता कि यह इसलिए हुआ क्योंकि उसने किसी तथ्य को गलत समझा, या इसलिए क्योंकि उसने अपने तर्क के एक महत्वपूर्ण चरण को छोड़ दिया।

समाधान: बातचीत का एक मानचित्र बनाना

इस शोध के लेखकों ने कॉज़ल कॉन्सेप्ट ग्राफ्स (CCG) नामक एक उपकरण का आविष्कार किया है। इसे AI के विचारों के लिए एक GPS मैप समझें।

केवल यह अनुमान लगाने के बजाय कि कौन सी किताबें महत्वपूर्ण हैं, उन्होंने एक ऐसी प्रणाली बनाई जो:

मुख्य खिलाड़ियों की पहचान करती है: यह उन विशिष्ट "अवधारणाओं" (विचारों) की पहचान करती है जिनका उपयोग AI कर रहा है।
संबंधों को रेखांकित करती है: यह पता लगाती है कि कौन सी अवधारणा अगले कदम को होने का कारण बनती है। (जैसे, "'गुरुत्वाकर्षण' की अवधारणा 'गिरने' की अवधारणा को सक्रिय करती है।")
एक फ्लोचार्ट बनाती है: यह इसे एक निर्देशित ग्राफ (एक ऐसा मानचित्र जिसमें समय और तर्क के प्रवाह को दर्शाने वाले तीर होते हैं) में बदल देती है।

उन्होंने इसे कैसे किया (तीन-चरणीय विधि)

चरण 1: "स्पॉटलाइट" (स्पार्स ऑटोएनकोडर्स - Sparse Autoencoders)

कल्पना कीजिए कि AI का मस्तिष्क एक अंधेरा कमरा है जिसमें 1,000 लाइट स्विच हैं। आमतौर पर, जब AI सोचता है, तो सैकड़ों स्विच एक साथ टिमटिमाते हैं, जिससे रोशनी का एक धुंधला मिश्रण बन जाता है।
लेखकों ने एक स्मार्ट स्पॉटलाइट (जिसे स्पार्स ऑटोएनकोडर कहा जाता है) बनाया। यह स्पॉटलाइट AI को मजबूर करती है कि वह किसी भी विचार के लिए 256 में से केवल 13 विशिष्ट स्विच ही चालू करे।

क्यों? यह AI के विचारों को "स्पार्स" (साफ और स्पष्ट) बनाता है। एक धुंधले मिश्रण के बजाय, हम देख पाते हैं कि ठीक कौन से 13 विचार उपयोग किए जा रहे हैं।

चरण 2: "डिटेक्टिव" (कॉज़ल लर्निंग - Causal Learning)

अब जब उनके पास विचारों की एक साफ सूची है, तो उन्हें क्रम जानने की आवश्यकता है। क्या "विचार A" ने "विचार B" का कारण बना, या वे बस एक साथ हुए?
उन्होंने डेटा को देखने और विचारों के बीच तीर (arrows) खींचने के लिए एक गणितीय जासूसी उपकरण (DAGMA) का उपयोग किया।

परिणाम: उन्होंने एक डायरेक्टेड एसाइक्लिक ग्राफ (DAG) बनाया। सरल भाषा में, यह एक फ्लोचार्ट है जहाँ तीर केवल एक दिशा में जाते हैं (कोई टाइम ट्रैवल लूप नहीं)। यह उस चरण-दर-चरण पथ को दिखाता है जिसे AI समस्या हल करने के लिए अपनाता है।
उपमा: यदि AI गणित की समस्या हल कर रहा है, तो ग्राफ दिखाता है: "संख्याओं को जोड़ें" $\rightarrow$ "शून्य के लिए जाँच करें" $\rightarrow$ "गुणा करें।"

चरण 3: "स्ट्रेस टेस्ट" (कॉज़ल फिडेलिटी स्कोर - Causal Fidelity Score)

हमें कैसे पता चलेगा कि यह मानचित्र वास्तविक है या केवल एक अनुमान?
लेखकों ने "क्या होगा अगर?" का खेल खेला।

उन्होंने AI के मानचित्र को लिया और कहा, "ठीक है, मान लीजिए कि यह विशिष्ट अवधारणा (जैसे 'गुरुत्वाकर्षण') कभी अस्तित्व में ही नहीं थी।"
फिर उन्होंने देखा कि AI के बाकी मस्तिष्क के साथ क्या हुआ।
स्कोर (CFS): यदि उस एक अवधारणा को बंद करने से तर्क की पूरी श्रृंखला ढह गई, तो मानचित्र सटीक था। यदि AI ठीक से काम करता रहा, तो मानचित्र गलत था।
उपमा: एक रूब गोल्डबर्ग मशीन (एक जटिल श्रृंखला प्रतिक्रिया) की कल्पना करें। यदि आप सही डोमिनो को हटा देते हैं, तो पूरी प्रक्रिया रुक जाती है। यदि आप एक यादृच्छिक (random) डोमिनो को हटाते हैं जो उससे जुड़ा नहीं था, तो कुछ नहीं होता। लेखकों ने सिद्ध किया कि उनका मानचित्र महत्वपूर्ण डोमिनो की पहचान करता है।

परिणाम: यह क्यों मायने रखता है

उन्होंने तीन कठिन तर्क पहेलियों (तर्क, रणनीति और विज्ञान के प्रश्न) पर इसका परीक्षण किया।

पुराना तरीका (ROME/SAE-केवल): पिछले तरीके यह अनुमान लगाने जैसे थे कि कौन सा डोमिनो हटाने पर क्या होगा, केवल यह देखकर कि वह कितना "तेज" था। वे लगभग 33% बार सही थे।
नया तरीका (CCG): विचारों के बीच के संबंधों को देखकर, वे लगभग 67% बार सही थे।
यादृच्छिक अनुमान (Random Guess): केवल एक यादृच्छिक डोमिनो खींचना लगभग 1% बार काम करता था।

बड़ी सीख: AI केवल सामान्य रूप से "सक्रिय" नहीं है; इसके पास एक विशिष्ट, संरचित पथ है जिसका वह अनुसरण करता है। कॉज़ल कॉन्सेप्ट ग्राफ ने उस पथ को सफलतापूर्वक मैप किया, जिससे यह सिद्ध हुआ कि AI का तर्क कारण-और-प्रभाव (cause-and-effect) की एक संरचित श्रृंखला है, न कि केवल एक यादृच्छिक गतिविधि।

एक वाक्य में सारांश

लेखकों ने AI के विचारों के लिए एक GPS मैप बनाया, जिससे हम देख सकते हैं कि कौन से विचार किसे ट्रिगर करते हैं, यह साबित करते हुए कि अब हम AI के तर्क के चरणों के पीछे के "क्यों" और "कैसे" को ट्रैक कर सकते हैं, न कि केवल अंतिम उत्तर को।

यहाँ शोध पत्र "Causal Concept Graphs in LLM Latent Space for Stepwise Reasoning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि स्पार्स ऑटोएनकोडर्स (SAEs) का उपयोग करके स्पार्स ऑटोएनकोडर्स (SAEs) के माध्यम से बड़े भाषा मॉडलों (LLMs) के भीतर सिमेंटिक फीचर्स और सर्किट्स को स्थानीयकृत करने में मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) ने प्रगति की है, फिर भी एक महत्वपूर्ण कमी बनी हुई है: यह समझना कि ये फीचर्स मल्टी-स्टेप रीजनिंग (multi-step reasoning) के दौरान गतिशील रूप से कैसे परस्पर क्रिया करते हैं।

सीमा (The Limitation): मौजूदा उपकरण जैसे ROME (मॉडल एडिटिंग) एकल तथ्यात्मक जुड़ाव को स्थानीयकृत करते हैं लेकिन वितरित, कंपोजिशनल रीजनिंग (distributed, compositional reasoning) को पकड़ने में विफल रहते हैं। कॉन्सेप्ट बॉटलनैक मॉडल (Concept Bottleneck Models) के लिए मानव-परिभाषित शब्दावली की आवश्यकता होती है।
लक्ष्य (The Goal): लेखक बिना किसी मैनुअल एनोटेशन के, रीजनिंग कार्यों के दौरान स्वतः ही स्पारस, व्याख्या योग्य लेटेंट कॉन्सेप्ट्स (latent concepts) खोजने और उनके कारण संबंधी निर्भरताओं (causal dependencies) (प्रभाव के क्रम और दिशा) को मैप करने का लक्ष्य रखते हैं।

2. कार्यप्रणाली: कॉज़ल कॉन्सेप्ट ग्राफ्स (CCG)

प्रस्तावित फ्रेमवर्क तीन अलग-अलग चरणों से बना है:

चरण 1: टास्क-कंडीशन्ड स्पार्स ऑटोएनकोडर (SAE)

आर्किटेक्चर: एक स्पार्स ऑटोएनकोडर को GPT-2 Medium (विशेष रूप से लेयर 12) के रेसिडुअल स्ट्रीम एक्टिवेशन्स पर प्रशिक्षित किया गया है।
गेटिंग मैकेनिज्म (Gating Mechanism): सख्त स्पर्सिटी (sparsity) लागू करने के लिए TopK gating का उपयोग करता है। प्रत्येक इनपुट के लिए, $K=256$ में से ठीक $k=13$ न्यूरॉन्स सक्रिय होते हैं, जिसके परिणामस्वरूप एक स्थिर 5.1% $L_0$ एक्टिवेशन रेट प्राप्त होता है।
प्रशिक्षण उद्देश्य (Training Objectives):
- रिकंस्ट्रक्शन लॉस ( $\| \hat{h} - h \|_2^2$ )।
- स्पर्सिटी पेनल्टी ( $\lambda \| \hat{c} \|_1$ )।
- डिकोरिलेशन पेनल्टी ( $\beta \| \text{OffDiag}(\hat{\Sigma}_c) \|_F^2$ ): यह फीचर्स को मोनोसेमेंटिक (monosemantic) और स्वतंत्र होने के लिए प्रोत्साहित करता है।
टास्क कंडीशनिंग: सामान्य SAEs के विपरीत, इसे विशेष रूप से रीजनिंग प्रॉम्प्ट्स (ARC-Challenge, StrategyQA, LogiQA) पर प्रशिक्षित किया गया है ताकि डोमेन-विशिष्ट कॉन्सेप्ट डिस्कवरी सुनिश्चित की जा सके।
स्थिरता (Stability): इसमें "न्यूरॉन रीसैंपलिंग" मैकेनिज्म शामिल है ताकि कम फायरिंग रेट वाले न्यूरॉन्स को पुन: इनिशियलाइज़ करके "डेड फीचर्स" (dead features) को रोका जा सके।

चरण 2: कॉज़ल ग्राफ लर्निंग (DAGMA)

इनपुट: SAE से प्राप्त स्पार्स कॉन्सेप्ट एक्टिवेशन वेक्टर्स ( $C \in \mathbb{R}^{N \times K}$ )।
चयन (Selection): प्रति डेटासेट सबसे अधिक बार सक्रिय होने वाले शीर्ष $M=64$ कॉन्सेप्ट्स को चुना जाता है।
स्ट्रक्चर लर्निंग: इन कॉन्सेप्ट्स पर एक लीनियर स्ट्रक्चरल इक्वेशन मॉडल (SEM) का उपयोग करके एक डायरेक्टेड एसाइक्लिक ग्राफ (DAG) सीखा जाता है: $C \approx CW$ ।
ऑप्टिमाइज़ेशन: एसाइक्लिसिटी (acyclicity) को लागू करने के लिए DAGMA (Differentiable Acyclic Graph via Matrix Algebra) दृष्टिकोण का उपयोग करता है, जो एक निरंतर रिलैक्सेशन पेनल्टी $h(W) = \text{tr}(e^{W \circ W}) - M$ का उपयोग करता है।
परिणाम: एक स्पार्स DAG जहाँ किनारे (edges) कॉन्सेप्ट्स के बीच सीखे गए कॉज़ल डिपेंडेंसी को दर्शाते हैं।

चरण 3: कॉज़ल फिडेलिटी स्कोर (CFS) के माध्यम से मूल्यांकन

मेट्रिक: यह सत्यापित करने के लिए कि सीखा गया ग्राफ वास्तव में प्रभावशाली नोड्स की पहचान करता है, लेखक कॉज़ल फिडेलिटी स्कोर (CFS) प्रस्तावित करते हैं।
इंटरवेंशन प्रोटोकॉल (Intervention Protocol):
1. सीखे गए ग्राफ से उच्च-सेंट्रैलिटी नोड्स (out-degree के आधार पर) का चयन करें।
2. एब्लेशन इंटरवेंशन (ablation interventions) करें (कॉसेप्ट एक्टिवेशन्स को शून्य पर सेट करना)।
3. मॉडल के आउटपुट या बाद के एक्टिवेशन्स पर डाउनस्ट्रीम प्रभाव ( $\Delta$ ) को मापें।
स्कोरिंग: CFS ग्राफ-चयनित नोड्स के औसत प्रभाव की तुलना रैंडम नोड्स से करता है।
- $CFS = 1$: रैंडम चांस।
- $CFS > 1$: ग्राफ सफलतापूर्वक उन नोड्स की पहचान करता है जिनका कॉज़ल रीच (causal reach) अधिक है।

3. मुख्य योगदान

टास्क-कंडीशन्ड SAE: एक विशेष ऑटोएनकोडर जिसमें TopK गेटिंग और न्यूरॉन रीसैंपलिंग है, जो रीजनिंग इनपुट्स पर एक स्थिर 5.1% एक्टिवेशन रेट प्राप्त करता है, जिससे व्याख्या योग्य कॉन्सेप्ट डिक्शनरी मिलती है।
DAGMA-आधारित ग्राफ रिकवरी: डोमेन-विशिष्ट रीजनिंग स्ट्रक्चर को दर्शाने वाले ग्राफ को रिकवर करने के लिए कॉन्सेप्ट एक्टिवेशन्स पर स्पार्स DAG सीखने के लिए DAGMA को अनुकूलित करना।
कॉज़ल फिडेलिटी स्कोर (CFS): एक नया, संख्यात्मक रूप से स्थिर मेट्रिक यह मूल्यांकन करने के लिए कि क्या सीखा गया ग्राफ कॉज़ली प्रभावशाली कॉन्सेप्ट्स की सही पहचान करता है, जो साधारण मैग्नीट्यूड रैंकिंग से बेहतर है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक मल्टी-सीड प्रयोग जो प्रदर्शित करते हैं कि CCG कॉज़ल रीजनिंग पाथवे की पहचान करने में मजबूत बेसलाइन से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन GPT-2 Medium पर तीन बेंचमार्क: ARC-Challenge, StrategyQA, और LogiQA पर 5 रैंडम सीड्स ( $n=15$ पेयर्ड रन) का उपयोग करके किया गया।

प्रदर्शन (कॉज़ल फिडेलिटी स्कोर):
- CCG (हमारा): 5.654 ± 0.625
- ROME-स्टाइल ट्रेसिंग: 3.382 ± 0.233
- SAE-ओनली (मैग्नीट्यूड रैंकिंग): 2.479 ± 0.196
- रैंडम बेसलाइन: 1.032 ± 0.034
सांख्यिकीय महत्व (Statistical Significance): CCG बोनफेरोनी सुधारात्मक (Bonferroni corrected) $p < 0.0001$ के साथ सभी बेसलाइन से काफी बेहतर है। प्रभाव आकार (Cohen's $d$ ) बड़ा (4.8 से 10.4) है।
ग्राफ की विशेषताएं:
- स्पर्सिटी (Sparsity): सीखे गए ग्राफ अत्यधिक स्पार्स हैं (5.5%–6.3% एज डेंसिटी)।
- टोपोलॉजी (Topology): ग्राफ डोमेन के अनुसार भिन्न होते हैं:
  - StrategyQA: घने हब-जैसे ढांचे ("गेट" नोड्स)।
  - LogiQA: चेन-जैसे ढांचे (क्रमिक कटौती/sequential deduction के अनुरूप)।
  - ARC-Challenge: फ्लैट, रेडियल संरचनाएं।
एब्लेशन स्टडीज (Ablation Studies):
- DAG एसाइक्लिसिटी बाधा को हटाने से CFS ~26% कम हो गया (गिरकर ~4.2 हो गया), जो कॉज़ल ऑर्डरिंग के महत्व को सिद्ध करता है।
- इष्टतम स्पर्सिटी ( $k=13$ ) पाई गई; बहुत अधिक स्पार्स ( $k=5$ ) सिग्नल को कमजोर करती है, जबकि बहुत अधिक डेंस ( $k=50$ ) पॉलीसेमेंटिकिटी (polysemanticity) को फिर से पेश करती है।

5. महत्व और निष्कर्ष

सहसंबंध से परे (Beyond Correlation): परिणाम दर्शाते हैं कि एक्टिवेशन मैग्नीट्यूड, कॉज़ल इन्फ्लुएंस का एक खराब प्रॉक्सी है। जो कॉन्सेप्ट्स अत्यधिक सक्रिय (SAE-ओनली रैंकिंग) होते हैं, वे आवश्यक रूप से रीजनिंग के चालक (drivers) नहीं होते हैं। CCG फ्रेमवर्क उन कॉन्सेप्ट्स को सफलतापूर्वक अलग करता है जो कॉज़ली अपस्ट्रीम (causally upstream) हैं।
व्याख्यात्मकता (Interpretability): यह विधि LLMs में रीजनिंग के "प्रवाह" (flow) को ट्रैक करने का एक तरीका प्रदान करती है, जो वास्तविक मल्टी-स्टेप रीजनिंग को शॉर्टकट रणनीतियों से अलग करती है।
विश्वसनीयता (Reliability): उच्च-प्रभाव वाले नोड्स की पहचान करके, CCG मॉडल की विफलताओं के ऑडिटिंग और सुरक्षा में सुधार के लिए एक डायग्नोस्टिक टूल प्रदान करता है।
सीमाएं (Limitations): वर्तमान दृष्टिकोण लीनियर SEM का उपयोग करता है (ट्रांसफॉर्मर नॉन-लीनियर होते हैं), एक सिंगल लेयर (L12) से डेटा निकालता है, और वर्तमान में GPT-2 Medium तक सीमित है। भविष्य के कार्य का लक्ष्य नॉन-लीनियर SCMs और बड़े मॉडल्स तक विस्तार करना है।

संक्षेप में, कॉज़ल कॉन्सेप्ट ग्राफ्स स्टैटिक फीचर लोकलाइजेशन और डायनेमिक रीजनिंग एनालिसिस के बीच के अंतर को पाटते हैं, जो LLM रीजनिंग के कॉज़ल आर्किटेक्चर को मैप करने के लिए एक सांख्यिकीय रूप से मजबूत तरीका प्रदान करते हैं।