🤖 AI

Grounding Multi-Hop Reasoning in Structural Causal Models via Group Relative Policy Optimization

यह शोध पत्र एक नवीन ढांचे का प्रस्ताव करता है जो मल्टी-हॉप तथ्य सत्यापन (multi-hop fact verification) को स्ट्रक्चरल कॉज़ल मॉडल्स (Structural Causal Models) में स्थापित करता है और एक नियम-आधारित ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (Rule-based Group Relative Policy Optimization - GRPO) रणनीति के माध्यम से रीजनिंग चेन की जटिलता को अनुकूलित करता है, जो भ्रम (hallucinations) और रीजनिंग की गहराई एवं सटीकता के बीच इनवर्टेड यू-शेप्ड (inverted U-shaped) संबंध को संबोधित करते हुए अत्याधुनिक बेसलाइनों से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Yunhan Bu, Quan Zhang, Huaping Zhang, Guotong Geng, Chunxiao Gao, Askar Hamdulla, Juan Wang, Qiuchi Li, Baohua Zhang, Shuai Lei, Yunbo Cao, Zhunchen Luo

प्रकाशित 2026-05-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yunhan Bu, Quan Zhang, Huaping Zhang, Guotong Geng, Chunxiao Gao, Askar Hamdulla, Juan Wang, Qiuchi Li, Baohua Zhang, Shuai Lei, Yunbo Cao, Zhunchen Luo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक जटिल रहस्य सुलझाने की कोशिश कर रहे हैं। आपके पास एक दावा (जो "अपराध" है) और बिखरे हुए सबूतों का ढेर (गवाहों के बयान, तस्वीरें, दस्तावेज़) है। आपका काम यह पता लगाना है कि दावा सच है या झूठ।

लंबे समय से, AI जासूस (लार्ज लैंग्वेज मॉडल्स) पढ़ने में अच्छे रहे हैं, लेकिन वे अक्सर विवरणों में खो जाते हैं। वे तथ्य बना सकते हैं ("हैलुसिनेशन") या बिना कड़ियों को जोड़े निष्कर्ष पर कूद सकते हैं। वे कह सकते हैं, "संदेश संदिग्ध पार्क में था, और पार्क में एक लाल बेंच है, इसलिए संदिग्ध ने घड़ी चुराई होगी!" बिना कभी यह साबित किए कि बेंच और घड़ी के बीच क्या संबंध है।

यह शोध पत्र AI जासूसों को अधिक तार्किक, पारदर्शी और सटीक बनाने के लिए प्रशिक्षित करने का एक नया तरीका पेश करता है। यहाँ उनके तरीके का विवरण दिया गया है, जिसे सरल उपमाओं का उपयोग करके समझाया गया है:

1. समस्या: "ओवर-थिंकर" (ज़रूरत से ज़्यादा सोचने वाला) का जाल

शोधकर्ताओं ने कुछ अजीब देखा। जब उन्होंने AI से अपनी तर्क प्रक्रिया को चरण-दर-चरण समझाने के लिए कहा (जैसे कि एक लंबी विचार प्रक्रिया लिखना), तो सटीकता केवल बढ़ती ही नहीं गई। इसके बजाय, यह एक "इनवर्टेड यू-शेप" (उल्टा U-आकार) का पालन करती थी।

बहुत छोटा: AI ने पर्याप्त सोच नहीं लगाई और सुराग छोड़ दिए।
बिल्कुल सही: AI ने स्पष्ट रूप से सोचा और उत्तर प्राप्त किया।
बहुत लंबा: AI बड़बड़ाने लगा, भ्रमित होने लगा, और ऐसे संबंध बनाने लगा जो अस्तित्व में ही नहीं थे। यह एक ऐसे जासूस की तरह था जो इतना ज़्यादा बोलता है कि वह वास्तविक सबूत ही भूल जाता है।

2. समाधान: "कॉज़ल ब्लूप्रिंट" (कारण संबंधी खाका - SCM)

इसे ठीक करने के लिए, लेखकों ने AI को एक स्ट्रक्चरल कॉज़ल मॉडल (SCM) दिया। इसे तर्क का घर बनाने के लिए एक सख्त वास्तुकला ब्लूप्रिंट (नक्शा) समझें।

नींव (एक्सोजेनस वेरिएबल्स): ये साक्ष्य में पाए जाने वाले कच्चे तथ्य हैं। आप इन्हें आविष्कार नहीं कर सकते; आपको इन्हें दस्तावेजों में खोजना होगा।
दीवारें (एंडोजेनस वेरिएबल्स): ये वे मध्यवर्ती निष्कर्ष हैं जो आप नींव से निकालते हैं।
नियम (स्ट्रक्चरल फंक्शन्स): यह सबसे महत्वपूर्ण हिस्सा है। ब्लूप्रिंट कहता है: "आप एक दीवार (एक निष्कर्ष) तब तक नहीं बना सकते जब तक आपके पास उसे सहारा देने के लिए विशिष्ट ईंटें (साक्ष्य) न हों।"

यह AI को अनुमान लगाने से रोकता है। यह "A से Z तक जाता है" नहीं कह सकता जब तक कि इसने यह सिद्ध न कर दिया हो कि "A से B होता है" और "B से Z होता है।" यह तर्क प्रक्रिया को एक तार्किक निर्माण स्थल में बदल देता है जहाँ प्रत्येक चरण को पिछले चरण द्वारा समर्थित होना चाहिए।

3. प्रशिक्षण: "शिक्षक" और "छात्र"

चूंकि AI को इस ब्लूप्रिंट का उपयोग करना सीखना है, इसलिए शोधकर्ताओं ने एक डिस्टिलेशन (आसवन) प्रक्रिया का उपयोग किया:

शिक्षक: एक बहुत ही स्मार्ट, बड़े AI मॉडल को रहस्य सुलझाने के लिए कहा गया, जबकि उसने स्पष्ट रूप से ब्लूप्रिंट (साक्ष्य, चरण और नियमों को सूचीबद्ध करना) लिखा।
छात्र: एक छोटे AI मॉडल को इस संरचित सोच की नकल करने के लिए प्रशिक्षित किया गया। इसने कहना सीखा, "यहाँ साक्ष्य है, यहाँ वह चरण है जो मैंने उस साक्ष्य के आधार पर लिया, और यहाँ मेरा निष्कर्ष है।"

4. फाइन-ट्यूनिंग: "सख्त कोच" (GRPO)

ब्लूप्रिंट के साथ भी, छात्र AI कभी-कभी बहुत अधिक शब्दबाज़ी कर देता या गलतियाँ कर देता। इसे ठीक करने के लिए, शोधकर्ताओं ने ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) नामक तकनीक का उपयोग किया।

एक कोच की कल्पना करें जो धावकों की एक टीम को प्रशिक्षित कर रहा है। केवल एक धावक को, "आपने ठीक किया" कहने के बजाय, कोच पाँच धावकों की एक पंक्ति खड़ा करता है जो सभी एक ही दौड़ से शुरू करते हैं।

कोच उनकी तुलना करता है: "धावक A ने सबसे छोटा, सबसे सीधा रास्ता लिया। धावक B गोल-गोल घूमता रहा। धावक C ने एक शॉर्टकट का भ्रम पैदा किया।"
कोच उस धावक को पुरस्कृत करता है जो दूसरों के सापेक्ष सबसे कुशल और सटीक था।

यह "ग्रुप" दृष्टिकोण AI को संक्षिप्त होना सीखने में मदद करता है। यह सीखता है कि एक लंबा, भ्रमित करने वाला रास्ता होने के बजाय एक छोटा, तार्किक रास्ता बेहतर है। AI को एक "पुरस्कार" मिलता है जब वह:

सही उत्तर देता है।
सबसे प्रत्यक्ष साक्ष्य का उपयोग करता है (चीजों को बहुत जटिल न बनाना)।
अपनी तर्क श्रृंखला को एक "गोल्डिलॉक्स" लंबाई (न बहुत छोटा, न बहुत लंबा) पर रखता है।

परिणाम

जब उन्होंने इस नए "SCM-GRPO" जासूस का प्रसिद्ध तर्क पहेलियों (HoVer और EX-FEVER नामक डेटासेट) पर परीक्षण किया, तो इसने पिछले सभी सर्वोत्तम तरीकों को पछाड़ दिया।

यह 3-हॉप और 4-हॉप रहस्यों (जहाँ आपको जानकारी के चार अलग-अलग टुकड़ों को जोड़ना पड़ता है) को हल करने में बेहतर था।
इसने कम गलतियाँ कीं और इसमें "हैलुसिनेशन" (भ्रम) कम हुआ।
सबसे महत्वपूर्ण बात यह है कि इसकी तर्क प्रक्रिया पारदर्शी थी। आप इसके "ब्लूप्रिंट" को देख सकते थे और देख सकते थे कि यह उत्तर तक कैसे पहुँचा, जिससे यह तथ्य-जांच के लिए एक बहुत अधिक विश्वसनीय उपकरण बन गया।

संक्षेप में: यह शोध पत्र AI को बड़बड़ाना बंद करने और अपने तर्कों को एक सावधान वास्तुकार की तरह बनाने के लिए सिखाता है, जो वास्तविक साक्ष्य के आधार पर एक सख्त नियमों के सेट और एक स्मार्ट कोचिंग सिस्टम का उपयोग करता है ताकि यह सुनिश्चित हो सके कि प्रत्येक चरण वास्तविक साक्ष्य पर आधारित है।

तकनीकी सारांश: स्ट्रक्चरल कॉज़ल मॉडल्स के माध्यम से ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन द्वारा मल्टी-हॉप रीजनिंग को ग्राउंड करना

1. समस्या विवरण

मल्टी-हॉप फैक्ट वेरिफिकेशन (MHFV) के लिए मॉडल्स को कई स्रोतों से विविक्त (discrete) साक्ष्य प्राप्त करने और जटिल दावों को सत्यापित करने के लिए सुसंगत रीजनिंग चेन (reasoning chains) को संश्लेषित करने की आवश्यकता होती है। हालांकि लार्ज लैंग्वेज मॉडल्स (LLMs) को इस क्षेत्र में एकीकृत किया गया है, लेकिन वे महत्वपूर्ण सीमाओं का सामना करते हैं:

तार्किक भंगुरता (Logical Fragility): मौजूदा विधियाँ, जिनमें सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और चेन-ऑफ-थॉट (CoT) दृष्टिकोण शामिल हैं, अक्सर कठोर तार्किक तंत्र के बजाय सांख्यिकीय सहसंबंधों (statistical correlations) को सीखती हैं। यह खंडित तार्किक श्रृंखलाओं और "भ्रमित तर्क" (hallucinated reasoning) की ओर ले जाता है।
कॉज़ल मॉडलिंग का अभाव: वर्तमान फ्रेमवर्क (जैसे, ग्राफ न्यूरल नेटवर्क, सिम्बोलिक प्रोग्राम) साक्ष्य एकीकरण में सुधार करते हैं लेकिन साक्ष्य और दावों के बीच अंतर्निहित कारण संबंधी निर्भरताओं (causal dependencies) को स्पष्ट रूप से मॉडल करने में विफल रहते हैं, जिसके परिणामस्वरूप अपारदर्शी सत्यापन प्रक्रिया होती है।
जटिलता का विरोधाभास (The Complexity Paradox): लेखक अनुभवजन्य रूप से रीजनिंग चेन की लंबाई और सटीकता के बीच एक "इनवर्टेड U-आकार" (inverted U-shaped) सहसंबंध की पहचान करते हैं। जबकि लंबी श्रृंखलाएं शुरू में प्रदर्शन में सुधार करती हैं, अत्यधिक संरचनात्मक जटिलता शोर (noise) पैदा करती है और सटीकता को कम करती है, विशेष रूप से जटिल परिदृश्यों (जैसे, 3-हॉप या 4-हॉप कार्यों) में।

2. कार्यप्रणाली

प्रस्तावित फ्रेमवर्क, SCM-GRPO, स्ट्रक्चरल कॉज़ल मॉडल्स (SCM) को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) के साथ जोड़कर एक दो-चरणीय प्रशिक्षण पाइपलाइन के माध्यम से इन मुद्दों को संबोधित करता है।

2.1. स्ट्रक्चरल कॉज़ल मॉडल (SCM) फ्रेमवर्क

लेखक MHFV को एक साधारण लेबल प्रेडिक्शन कार्य के बजाय एक रचनात्मक कॉज़ल इन्फरेंस प्रक्रिया के रूप में औपचारिक रूप देते हैं। रीजनिंग प्रक्रिया को एक डायरेक्टेड एसाइक्लिक ग्राफ (DAG) के रूप में मॉडल किया गया है जिसे टुपल $\mathcal{M} = (U, V, F)$ द्वारा परिभाषित किया गया है:

एक्सोजेनस वेरिएबल्स ( $U$ ): साक्ष्य दस्तावेजों से प्राप्त वस्तुनिष्ठ तथ्य (रूट नोड्स)।
एंडोजेनस वेरिएबल्स ( $V$ ): तार्किक निष्कर्ष के माध्यम से प्राप्त मध्यवर्ती निष्कर्ष और अंतिम निर्णय।
स्ट्रक्चरल फंक्शन्स ( $F$ ): मैपिंग जो स्पष्ट रूप से उनके पैरेंट्स (parents) पर एंडोजेनस वेरिएबल्स की कॉज़ल डिपेंडेंसी को परिभाषित करती है।

एक महत्वपूर्ण प्रतिबंध लागू किया गया है: एक नया एंडोजेनस वेरिएबल ग्राफ में तभी जोड़ा जा सकता है जब उसका आवश्यक पैरेंट सेट पूरी तरह से मौजूद हो। यह टोपोलॉजिकल ऑर्डर सुनिश्चित करता है, जिससे तार्किक छलांग (logical leaps) और अंतर्निहित धारणाओं का उन्मूलन होता है।

2.2. डिस्टिलेशन के माध्यम से डेटा निर्माण

इस संरचित प्रतिमान पर मॉडल्स को प्रशिक्षित करने के लिए, लेखक एक डिस्टिलेशन पाइपलाइन का उपयोग करते हैं:

सीड डेटा: उच्च गुणवत्ता वाले मल्टी-हॉप बेंचमार्क (HoVer, EX-FEVER) का उपयोग किया जाता है।
टीचर डिस्टिलेशन: एक शक्तिशाली "टीचर" LLM (जैसे, Qwen3-30B-A3B) को केवल अंतिम लेबल के बजाय स्पष्ट रूप से SCM घटकों ( $U, V, F$ ) को उत्पन्न करने के लिए प्रॉम्प्ट किया जाता है।
वैलिडेशन: उत्पन्न श्रृंखलाओं को ग्राउंड ट्रुथ लेबल के साथ निरंतरता के लिए फ़िल्टर किया जाता है और अनुक्रमिक निर्णय लेने वाले प्रारूपों ( $C = \{(\tau_t, \alpha_t, o_t)\}_{t=1}^N$ ) में असेंबल किया जाता है।

2.3. सुपरवाइज्ड फाइन-ट्यूनिंग (SFT)

बेस मॉडल को पहले निर्मित संरचित डेटासेट ( $D_{struct}$ ) का उपयोग करके SCM रीजनिंग प्रतिमान के साथ संरेखित किया जाता है। इसका उद्देश्य सही संरचित अनुक्रम (साक्ष्य $\to$ डेरिवेशन $\to$ निष्कर्ष) उत्पन्न करने की संभावना को अधिकतम करना है, जो ट्रेस करने योग्य सत्यापन के लिए एक आधार स्थापित करता है।

2.4. ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) के माध्यम से अनुकूलन

संरचनात्मक गहराई और संक्षिप्तता के बीच संतुलन (Inverted U समस्या) को संबोधित करने के लिए, लेखक GRPO का उपयोग करके एक नियम-आधारित सुदृढीकरण शिक्षण (Reinforcement Learning - RL) रणनीति पेश करते हैं।

ग्रुप सैंपलिंग: दिए गए प्रॉम्प्ट के लिए, पॉलिसी $K$ रीजनिंग अनुक्रमों का एक समूह उत्पन्न करती है।
कंपोजिट रिवॉर्ड फंक्शन ( $R$ ): एक अनुक्रम की गुणवत्ता का मूल्यांकन तीन घटकों द्वारा किया जाता है:
1. सटीकता ( $R_c$ ): उत्तर की शुद्धता के आधार पर बाइनरी रिवॉर्ड।
2. संरचना ( $R_s$ ): 'ऑकैम्स रेज़र' (Occam's Razor) के माध्यम से संक्षिप्तता को प्रोत्साहित करता है, जो साक्ष्य वेरिएबल्स ( $U$ ) और अनुमान चरणों ( $V$ ) के उच्च अनुपात को पुरस्कृत करता है, और अत्यधिक "मानसिक कसरत" (mental gymnastics) को दंडित करता है।
3. लंबाई ( $R_l$ ): चेन की लंबाई को एक इष्टतम अंतराल $[l_{min}, l_{max}]$ की ओर निर्देशित करता है ताकि अत्यधिक लंबी श्रृंखलाओं से जुड़े गिरावट से बचा जा सके।
रिलेटिव एडवांटेज: GRPO समूह के भीतर नमूनों के सापेक्ष प्रदर्शन के आधार पर पॉलिसी को अपडेट करता है, जिससे प्रशिक्षण विचरण (variance) कम होता है और जटिल रीजनिंग रणनीतियों के सीखने को स्थिरता मिलती है।

3. मुख्य योगदान

औपचारिक कॉज़ल फ्रेमवर्क: MHFV में SCM का परिचय, जो एक व्याख्या योग्य सिमेंटिक आधार प्रदान करता है जो साक्ष्य और दावों के बीच कॉज़ल डिपेंडेंसी को एक DAG के माध्यम से स्पष्ट रूप से मॉडल करता है।
अनुभवजन्य अंतर्दृष्टि और RL अनुकूलन: रीजनिंग चेन की लंबाई और सटीकता के बीच इनवर्टेड U-आकार के संबंध की खोज। लेखक संरचनात्मक जटिलता को अनुकूल रूप से नियंत्रित करने के लिए एक नया GRPO-आधारित रणनीति प्रस्तावित करते हैं, जो कठोरता और संक्षिप्तता के बीच संतुलन बनाता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: SCM-GRPO फ्रेमवर्क सभी सार्वजनिक बेंचमार्क पर उत्कृष्ट प्रदर्शन प्राप्त करता है, जो जटिल मल्टी-हॉप परिदृश्यों में मजबूत सामान्यीकरण और तार्किक निरंतरता प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन विविध बेसलाइन्स, जिनमें डायरेक्ट प्रेडिक्शन, ProgramFC, FOLK, RAG, और Search-o1 शामिल हैं, के विरुद्ध HoVer और EX-FEVER बेंचमार्क पर किया गया।

समग्र प्रदर्शन: SCM-GRPO ने सभी मूल्यांकन उपसमुच्चयों में स्टेट-ऑफ-द-आर्ट (SOTA) परिणाम प्राप्त किए।
- HoVer 2-hop: 73.42% (Search-o1 के 69.00% के मुकाबले)।
- HoVer 4-hop: 60.88% (Search-o1 के 56.60% के मुकाबले)।
- EX-FEVER 3-hop: 75.00% (Search-o1 के 72.80% के मुकाबले)।
RL की आवश्यकता का सत्यापन: प्रयोगों ने दिखाया कि RL अनुकूलन के बिना SCM-CoT लागू करने से अक्सर प्रदर्शन गिर जाता है (उदाहरण के लिए, HoVer 2-hop पर केवल SCM-CoT का उपयोग करने पर Qwen3-14B की सटीकता 57.48% से गिरकर 47.22% हो गई)। संरचनात्मक क्षमता को प्रदर्शन लाभ में बदलने के लिए पूर्ण SCM-GRPO पाइपलाइन की आवश्यकता थी।
एब्लेशन अध्ययन: Qwen3-8B बैकबोन पर अनुकूलन रणनीतियों की तुलना करने पर, GRPO (75.42% सटीकता) ने SFT अकेले (73.33%) और CPO (71.91%) दोनों को काफी बेहतर प्रदर्शन किया, जो जटिल तर्क को स्थिर करने में ग्रुप-वाइज रिलेटिव ऑब्जेक्टिव्स की प्रभावकारिता की पुष्टि करता है।

5. महत्व और सीमाएँ

महत्व:
पेपर का दावा है कि यह स्पष्ट कॉज़ल स्ट्रक्चर में तर्क को ग्राउंड करके जटिल तथ्य सत्यापन के लिए एक विश्वसनीय और व्याख्या योग्य समाधान प्रदान करता है। यह टोपोलॉजिकल वैधता को लागू करके और संरचनात्मक गहराई और संक्षिप्तता के बीच ट्रेड-ऑफ को गतिशील रूप से अनुकूलित करने के लिए RL का उपयोग करके LLMs में "भ्रमित तर्क" (hallucinated reasoning) की गंभीर कमी को दूर करता है। यह कार्य नवीन अनुभवजन्य अंतर्दृष्टि प्रदान करता है कि कैसे संरचनात्मक जटिलता LLM रीजनिंग विश्वसनीयता को प्रभावित करती है।

सीमाएँ:
लेखक दो प्राथमिक सीमाओं को विनम्रतापूर्वक स्वीकार करते हैं:

डेटा निर्भरता: फ्रेमवर्क का प्रदर्शन आंशिक रूप से डिस्टिलेशन के माध्यम से उत्पन्न स्वचालित रूप से निर्मित संरचित प्रशिक्षण डेटा की गुणवत्ता पर निर्भर करता है।
अल्ट्रा-लॉन्ग चेन्स के लिए सामान्यीकरण: 4 हॉप से अधिक की रीजनिंग श्रृंखलाओं के लिए सामान्यीकरण क्षमता का अभी और सत्यापन किया जाना बाकी है।

अधिक मजबूत डेटा निर्माण पद्धतियों का पता लगाने और कॉज़ल रीजनिंग फ्रेमवर्क को जटिल तर्क कार्यों के व्यापक स्पेक्ट्रम तक विस्तारित करने के लिए भविष्य के कार्य प्रस्तावित किए गए हैं।