💬 NLP

StepGap: A Hybrid NLI-LLM Checker for Step-Level Evidence-Gap Detectionin Multi-Hop Question Answering

यह शोध पत्र StepGap को प्रस्तुत करता है, जो एक हाइब्रिड NLI-LLM निर्णय वृक्ष (decision tree) है जो LLM-मात्र बेसलाइनों की तुलना में अधिक संरचनात्मक पारदर्शिता के साथ मल्टी-हॉप प्रश्न उत्तर देने में विशिष्ट चरण-स्तरीय साक्ष्य अंतराल (step-level evidence gaps) का पता लगाता है, और एक टाइप किए गए प्रोसेस रिवॉर्ड के रूप में इसकी प्रभावशीलता को प्रदर्शित करता है जो Qwen2.5-7B-Instruct के सटीक मिलान (exact match) प्रदर्शन में महत्वपूर्ण सुधार करता है।

मूल लेखक: Yuelyu Ji, Zhuochun Li, Hui Ji, Daqing He

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuelyu Ji, Zhuochun Li, Hui Ji, Daqing He

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जटिल पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि यह पता लगाना कि "फिल्म मेमोरीज़ ऑफ़ मर्डर के निर्देशक का जन्म किस देश में हुआ था?"

उत्तर पाने के लिए, आप केवल अनुमान नहीं लगाते; आपको कई चरणों से गुजरना पड़ता है:

यह पता लगाना कि फिल्म का निर्देशन किसने किया।
यह पता लगाना कि उस व्यक्ति का जन्म कहाँ हुआ था।
उन तथ्यों को जोड़कर अंतिम उत्तर प्राप्त करना।

AI की दुनिया में, ये "चरण" अक्सर एक रोबोट (एक लार्ज लैंग्वेज मॉडल) द्वारा किए जाते हैं जो सुराग खोजने के लिए इंटरनेट की खोज करता है। कभी-कभी, वह रोबोट सही होता है। लेकिन अक्सर, वह प्रक्रिया के बीच में ही कोई गलती कर देता है, और क्योंकि वह इतना आत्मविश्वासी होता है, वह गलत रास्ते पर चलता रहता है जब तक कि वह एक गलत अंतिम उत्तर न दे दे।

समस्या: "गलत मोड़" का अंधा धब्बा (The "Wrong Turn" Blind Spot)
वर्तमान में, जब हम इन AI रोबोटों का परीक्षण करते हैं, तो हम केवल अंतिम उत्तर को देखते हैं। यदि उत्तर गलत है, तो हम बस कहते हैं, "विफल (Fail)।" हमें यह नहीं पता चलता कि वह कहाँ गलत हुआ। क्या उसने गलत व्यक्ति की खोज की? क्या उसने किसी सुराग को ऐसे पढ़ा जो वास्तव में वैसा नहीं था जैसा उसने सोचा था? क्या उसने कोई आवश्यक चरण छोड़ दिया?

यह एक शिक्षक की तरह है जो केवल अंतिम संख्या देखकर गणित के टेस्ट को ग्रेड करता है। यदि छात्र ने लिखा है "5 + 5 = 12," तो शिक्षक उसे गलत बताता है, लेकिन उसे यह नहीं पता चलता कि छात्र ने गलत जोड़ा, गलत नंबर कॉपी किए, या सिर्फ अनुमान लगाया। छात्र यह नहीं सीख सकता कि अपनी विशिष्ट गलती को कैसे सुधारा जाए।

समाधान: स्टेपगैप (StepGap)
लेखकों ने एक टूल बनाया जिसे स्टेपगैप (StepGap) कहा जाता है। स्टेपगैप को एक अति-सतर्क संपादक (super-attentive editor) के रूप में सोचें जो रोबोट की सोचने की प्रक्रिया के हर चरण में उसके साथ चलता है।

केवल "सही" या "गलत" कहने के बजाय, स्टेपगैप एक ट्रैफिक पुलिसकर्मी की तरह तीन विशिष्ट हाथों के संकेतों के साथ कार्य करता है, जिनमें से प्रत्येक रोबोट को बताता है कि अपनी गलती को कैसे ठीक करना है:

"रुकें और वापस लें" का संकेत (विरोधाभासी दावा - Contradicted Claim):
- स्थिति: रोबोट कहता है, "निर्देशक पार्क चान-वूक है," लेकिन जो प्रमाण उसे मिले हैं वे स्पष्ट रूप से कहते हैं, "निर्देशक बोंग जून-हो है।"
- सुधार: स्टेपगैप कहता है, "रुको! तुम प्रमाण का खंडन कर रहे हो। पीछे जाओ और उस बयान को वापस लो।"
"गलत पता" का संकेत (अप्रासंगिक साक्ष्य - Irrelevant Evidence):
- स्थिति: रोबोट निर्देशक को खोज रहा है, लेकिन वह गलती से किसी अन्य अभिनेता को खोज लेता है और उसके जीवन परिचय को पढ़ लेता है।
- सुधार: स्टेपगैप कहता है, "तुम गलत व्यक्ति को देख रहे हो। पीछे जाओ और सही व्यक्ति की खोज करो।"
"लुप्त कड़ी" का संकेत (Missing Bridge):
- स्थिति: रोबोट ने सही व्यक्ति (बोंग जून-हो) को ढूंढ लिया है और उसकी फिल्मों की एक सूची भी मिल गई है, लेकिन वह उस सूची से उसके जन्म के देश का अनुमान लगाने की कोशिश करता है। सूची में वास्तव में यह नहीं लिखा है कि उसका जन्म कहाँ हुआ था।
- सुधार: स्टेपगैप कहता है, "तुम्हारे पास सही व्यक्ति है, लेकिन तुम्हारे पास एक महत्वपूर्ण कड़ी गायब है। तुम्हें उसके जन्मस्थान के बारे में विशिष्ट तथ्य खोजने के लिए एक और खोज करने की आवश्यकता है।"

यह कैसे काम करता है (हाइब्रिड इंजन)
स्टेपगैप एक "हाइब्रिड" टूल है। यह दो अलग-अलग प्रकार के दिमागों के मिलकर काम करने का उपयोग करता है:

रचनात्मक मस्तिष्क (LLM): यह हिस्सा टेक्स्ट को पढ़ता है और संदर्भ को समझता है, जैसे कि यह जांचना कि क्या रोबोट सही व्यक्ति के बारे में बात कर रहा है।
तार्किक मस्तिष्क (NLI): यह हिस्सा एक सख्त तर्क मशीन है। यह प्रमाण और रोबोट के दावे को देखता है और एक सरल प्रश्न पूछता है: "क्या प्रमाण दावे को सिद्ध करता है?"

इन दोनों को मिलाकर, स्टेपगैप उन गलतियों से बचता है जो केवल एक प्रकार के मस्तिष्क का उपयोग करने से होती हैं। यह एक ऐसे जासूस की तरह है जो लोगों को पढ़ने में भी कुशल है और एक ऐसे न्यायाधीश की तरह भी जो कानून को लागू करने में कुशल है।

परिणाम: रोबोट को सिखाना
लेखकों ने केवल एक चेकर नहीं बनाया; उन्होंने इसका उपयोग AI को सिखाने के लिए किया। उन्होंने AI को स्टेपगैप के संकेतों के आधार पर एक "पुरस्कार प्रणाली" दी।

यदि AI अपनी गलती पकड़ लेता है और उसे ठीक करता है (वापस लेता है, फिर से खोजता है, या कड़ी जोड़ता है), तो उसे एक छोटा पुरस्कार मिलता है।
यदि वह गलती को अनदेखा करता है और आगे बढ़ता रहता है, तो उसे दंड मिलता है।

परिणाम:
जब उन्होंने इस नए सिस्टम के साथ AI को प्रशिक्षित किया, तो AI बहु-चरणीय प्रश्नों के उत्तर देने में काफी बेहतर हो गया।

पहले: AI लगभग 32% उत्तर सही देता था।
बाद में: AI लगभग 35% उत्तर सही देता था।

यद्यपि यह संख्या छोटी लग सकती है, लेकिन AI अनुसंधान की दुनिया में, यह एक बड़ी बात है। अधिक महत्वपूर्ण बात यह है कि AI अपने उत्तरों को तथ्यों के आधार पर (grounding) बताने में बहुत बेहतर हो गया। इसने तथ्य बनाना बंद कर दिया और वास्तव में उन लुप्त हिस्सों को खोजने लगा जिनकी उसे आवश्यकता थी।

वह "जाल" जिससे वे बचे
यह पेपर सफलता को मापने के तरीके के बारे में एक "जाल" के बारे में भी चेतावनी देता है। कुछ चेकर इतने सख्त होते हैं कि वे हर चरण को एक गलती के रूप में चिह्नित करते हैं। यदि आप सफलता को इस आधार पर मापते हैं कि "क्या आपने कोई गलती पाई?", तो वह चेकर एकदम सही दिखता है। लेकिन वह बेकार है क्योंकि वह आपको यह नहीं बताता कि वह किस प्रकार की गलती है। स्टेपगैप इस जाल से बचता है क्योंकि यह सटीक है, यह सुनिश्चित करता है कि उसके द्वारा चिह्नित प्रत्येक "गलती" एक वास्तविक, सुधारात्मक समस्या है।

सारांश में
स्टेपगैप एक ऐसा टूल है जो AI को गलत उत्तर की ओर अंधे होकर अनुमान लगाने से रोकता है। यह एक चरण-दर-चरण कोच की तरह कार्य करता है, जो सटीक रूप से पहचानता है कि तर्क कहाँ टूट रहा है (क्या यह एक विरोधाभास है? एक गलत खोज है? या एक लुप्त तथ्य है?) और AI को आगे बढ़ने से पहले उस विशिष्ट त्रुटि को ठीक करने का तरीका सिखाता है। यह AI को अधिक विश्वसनीय और ईमानदार बनाता है।

तकनीकी सारांश: StepGap

समस्या विवरण (Problem Statement)

मल्टी-हॉप प्रश्नोत्तर (QA) के लिए मॉडलों को कई मध्यवर्ती चरणों में साक्ष्य (evidence) खोजने, उन्हें जोड़ने और सत्यापित करने की आवश्यकता होती है। हालाँकि, वर्तमान मूल्यांकन और सुदृढीकरण शिक्षण (reinforcement learning - RL) फ्रेमवर्क, जो सर्च-इंटरलीव्ड सिस्टम में उपयोग किए जाते हैं, एंडपॉइंट-ओरिएंटेड (endpoint-oriented) बने रहते हैं, जो केवल अंतिम उत्तर के 'एक्जैक्ट मैच' (Exact Match - EM) पर निर्भर करते हैं। यह दृष्टिकोण दो संरचनात्मक दोषों से ग्रस्त है:

विभेदीकरण का अभाव (Lack of Differentiation): EM एक साक्ष्य-आधारित तर्क श्रृंखला (reasoning chain) और पैरामीट्रिक मेमोरी या शॉर्टकट्स से प्राप्त एक भ्रामक रूप से सही श्रृंखला के बीच अंतर नहीं कर सकता है।
स्थानीयकरण का अभाव (Lack of Localization): जब कोई पॉलिसी विफल होती है, तो EM शून्य-रिवॉर्ड सिग्नल प्रदान करता है और यह संकेत नहीं देता कि किस चरण ने श्रृंखला को तोड़ा है, जिससे मॉडल के लिए चरण-विशिष्ट सुधार व्यवहार (step-specific repair behaviors) सीखना असंभव हो जाता है।

मौजूदा स्टेप-लेवल चेकर या तो सभी उप-कार्यों को एक एकल लार्ज लैंग्वेज मॉडल (LLM) कॉल में समाहित कर देते हैं या एक एकल नेचुरल लैंग्वेज इंफरेंस (NLI) कॉल पर निर्भर करते हैं। इनमें से कोई भी दृष्टिकोण एक साथ टाइप्ड लेबल्स (typed labels) (विशिष्ट त्रुटि प्रकारों को अलग करने के लिए) उत्सर्जित नहीं करता है और न ही उन्हें प्रशिक्षण के अनुकूल निश्चित निर्णयों (deterministic decisions) में ग्राउंड करता है। इसके अलावा, पोस्ट-हॉक सत्यापनकर्ता (post-hoc verifiers) केवल पूर्ण उत्तर उत्पन्न होने के बाद ही कार्य करते हैं, जिससे वे तर्क प्रक्रिया के दौरान जनरेटर को पुनर्निर्देशित करने का अवसर खो देते हैं।

कार्यप्रणाली (Methodology): StepGap

लेखक StepGap का प्रस्ताव करते हैं, जो एक हाइब्रिड NLI-LLM डिसीजन ट्री है जिसे स्टेप-लेवल एविडेंस गैप्स का पता लगाने और तीन प्रकार के लेबल्स में से एक उत्सर्जित करने के लिए डिज़ाइन किया गया है, जिनमें से प्रत्येक एक ठोस सुधार क्रिया (repair action) से जुड़ा है:

CONTRADICTED CLAIM (CC): चरण एक ऐसा दावा करता है जो प्राप्त साक्ष्य के साथ विरोधाभास रखता है। सुधार: पीछे हटें (Retract)।
IRRELEVANT EVIDENCE (IE): साक्ष्य उस इकाई (entity) या संबंध (relation) को संबोधित नहीं करता है जिसकी चरण को आवश्यकता है। सुधार: पुनः खोजें (Re-search)।
MISSING BRIDGE (MB): साक्ष्य प्रासंगिक है लेकिन अभी तक दावे का समर्थन (entail) नहीं करता है। सुधार: ब्रिजिंग सर्च (Bridging search)।

आर्किटेक्चर (Architecture)

StepGap प्रत्येक तर्क चरण $s_i$ (संचित साक्ष्य $e_{\le i}$ के साथ) के लिए एक पांच-चरणीय हाइब्रिड डिसीजन ट्री के रूप में कार्य करता है:

चरण A (LLM): Entity/Relation Alignment की जाँच करता है। यह निर्धारित करता है कि रिट्रीवल से पहले चरण सही इकाई/संबंध को लक्षित करता है या नहीं। गलत लक्ष्यीकरण CC लेबल को ट्रिगर करता है।
चरण B (LLM): Abstention Validity की जाँच करता है। सत्यापित करता है कि "निर्धारित नहीं किया जा सकता" का दावा साक्ष्य पर आधारित है या नहीं। अनुचित परहेज (abstention) CC को ट्रिगर करता है।
चरण C (LLM): Entity Consistency और Quote Extraction की जाँच करता है। सत्यापित करता है कि प्राप्त साक्ष्य सही इकाई के बारे में है और एक वर्बेटम (verbatim) सहायक उद्धरण निकालता है। बेमेल होने पर IE ट्रिगर होता है।
चरण D (NLI): Local Entailment करता है। चरण C से प्राप्त उद्धरण दावे का समर्थन करता है या नहीं, इसकी जाँच करने के लिए एक नियत (deterministic) NLI मॉडल (DeBERTa-v3) का उपयोग करता है।
- Entailment $\rightarrow$ no-gap.
- Neutral $\rightarrow$ MB.
- Contradiction $\rightarrow$ CC.
चरण E (NLI): Cross-step Verification करता है। उन निष्कर्ष चरणों के लिए जिनमें स्थानीय उद्धरण की कमी है, यह जाँचता है कि क्या दावा पिछले इंफरेंस चरणों के साक्ष्य द्वारा समर्थित है। विफलता होने पर IE ट्रिगर होता है।

प्रोसेस रिवॉर्ड इंटीग्रेशन (Process Reward Integration)

टाइप्ड आउटपुट $\tau_i$ को GRPO (Group Relative Policy Optimization) में एक प्रति-चरण प्रोसेस रिवॉर्ड के रूप में एकीकृत किया जाता है:

Base Reward ( $r_{base}$ ): गैप के प्रकार के आधार पर स्केलर मान असाइन करता है (जैसे, no-gap के लिए +0.20, IE के लिए -0.10, और CC का पता लगाने के लिए +0.05)।
Shaping Reward ( $r_{shape}$ ): अगले चरण में ली गई सुधार क्रिया पर आधारित होता है। यह पॉलिसी को सही सुधार करने के लिए पुरस्कृत करता है (जैसे, IE के बाद पुनः खोज करना, CC के बाद पीछे हटना) और गैप को अनदेखा करने या लगभग समान क्वेरी जारी रखने के लिए दंडित करता है।

मुख्य योगदान (Key Contributions)

Typed Gap-Action Coupling: शोध पत्र का तर्क है कि टाइप किए गए स्टेप-लेवल लेबल्स तभी उपयोगी होते हैं जब उन्हें विशिष्ट सुधार क्रियाओं के साथ जोड़ा जाए। StepGap स्पष्ट रूप से CC, IE, और MB को क्रमशः रिट्रैक्शन (retraction), री-सर्च (re-search), और ब्रिजिंग सर्च (bridging search) से जोड़ता है।
Hybrid Decomposability बनाम LLM-Only Cancellation:
- एक मानव-एनोटेटेड बेंचमार्क (181 चरण) पर, StepGap 72.0 का sF1 प्राप्त करता है, जो LLM-ओनली बेसलाइन (70.1) के समान है।
- हालाँकि, एब्लेशन स्टडीज (ablation studies) एक गुणात्मक अंतर प्रकट करती हैं: StepGap के किसी भी घटक को हटाने से प्रदर्शन कम हो जाता है (स्वस्थ अपघटन), जबकि LLM-ओनली बेसलाइन के चार में से तीन घटकों को हटाने से प्रदर्शन में सुधार होता है। यह इंगित करता है कि LLM-ओनली सिस्टम प्रतिस्पर्धी-त्रुटि रद्दीकरण (competing-error cancellation) से ग्रस्त है, जहाँ आंतरिक चरण एक-दूसरे की त्रुटियों को छिपा देते हैं, जिससे यह विश्वसनीय RL सिग्नल के लिए अनुपयुक्त हो जाता है।
The Q-F1 Trap: लेखक एक मेट्रिक दोष को उजागर करते हैं जहाँ प्रश्न-स्तर का F1 (Q-F1), उन चेकरों द्वारा यांत्रिक रूप से बढ़ा दिया जाता है जो हर चरण को फ्लैग करते हैं। एक चेकर जो 95% चरणों को फ्लैग करता है, वह उच्च Q-F1 प्राप्त कर सकता है जबकि उसका स्टेप-लेवल प्रिसिजन खराब हो सकता है। StepGap स्टेप-लेवल F1 (sF1) और बैलेंस्ड एक्यूरेसी (BA) को संतुलित करके इससे बचता है।
Process Reward Efficacy: StepGap को टाइप किए गए GRPO रिवॉर्ड के रूप में उपयोग करने से Qwen2.5-7B-Instruct का Exact Match 32.1 से बढ़कर 35.4 (तीन सीड्स केAcross) हो जाता है और उत्तर-दावा समर्थन (answer-claim support) बढ़कर 71.5% हो जाता है।

परिणाम (Results)

चेकर प्रदर्शन: 181-चरण के मानव बेंचमार्क पर StepGap sF1=72.0, Q-F1=81.2, और BA=60.6% प्राप्त करता है। यह गैप प्रकारों के स्वस्थ वितरण को बनाए रखता है (IE ~38%, CC ~15%, MB ~6%), जबकि विकृत संस्करण (जैसे, एक एकल मजबूत LLM) लगभग सभी को IE (87.8%) के रूप में फ्लैग करने लगता है, जिससे त्रुटि प्रकारों को अलग करने में विफलता होती है।
RL ट्रेनिंग:
- Typed+Shape (शपेइंग रिवॉर्ड के साथ StepGap) Search-R1 GRPO बेसलाइन की तुलना में +5.6 औसत EM (29.8 $\rightarrow$ 35.4) से बेहतर प्रदर्शन करता है।
- यह सख्त आउट-ऑफ-डोमेन MuSiQue डेटासेट पर Search-R1 बेसलाइन से +10.9 EM से भी बेहतर प्रदर्शन करता है।
- रिवॉर्ड सिग्नल पॉलिसी को केवल त्रुटियों से बचने के बजाय खोज गणनाओं (2.5 से 2.8 तक) को बढ़ाने और विशिष्ट सुधार करने के लिए प्रोत्साहित करता है।
डिस्टिलेशन (Distillation): एक डिस्टिल्ड Qwen2.5-7B स्टूडेंट मॉडल इन्फरेंस के दौरान API कॉल की आवश्यकता के बिना शिक्षक के F1 स्कोर का 87% बनाए रखता है, जिससे यह लंबे RL रन के लिए स्केलेबल हो जाता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि StepGap मौजूदा चेकरों की तुलना में एक गुणात्मक रूप से भिन्न प्रोसेस सिग्नल प्रदान करता है। भले ही दो प्रणालियों के F1 कॉन्फिडेंस इंटरवल ओवरलैप होते हों, केवल वही प्रणाली (StepGap) टाइप किए गए RL रिवॉर्ड के लिए उपयुक्त है जिसका मोनोटोनिक घटक योगदान (monotone component contribution) है। LLM-ओनली दृष्टिकोण, समान समग्र सटीकता के बावजूद, त्रुटि रद्दीकरण पर निर्भर करता है जो विफलताओं की विशिष्ट प्रकृति को अस्पष्ट कर देता है, जिससे यह विशिष्ट सुधार कार्यों के लिए प्रशिक्षण हेतु अविश्वसनीय हो जाता है।

लेखक StepGap को केवल एक बेहतर डिटेक्टर के रूप में नहीं, बल्कि एजेंटिक RAG (agentic RAG) प्रशिक्षण के लिए एक आवश्यक घटक के रूप में देखते हैं, जो मॉडलों को केवल अंतिम त्रुटियों से बचने के बजाय तर्क श्रृंखलाओं को ठीक करना (रिट्रैक्ट, री-सर्च, ब्रिज) सीखने में सक्षम बनाता है। यह कार्य "Q-F1 ट्रैप" से बचने और यह सुनिश्चित करने के लिए प्रश्न-स्तर के मेट्रिक्स के बजाय स्टेप-लेवल डायग्नोस्टिक्स की आवश्यकता पर जोर देता है कि RL प्रशिक्षण में सुधार वास्तविक तर्क क्षमताओं से संचालित हो, न कि स्प्यूरियस सहसंबंधों (spurious correlations) से।

लेखकों द्वारा नोट की गई सीमाएँ:

मानव मूल्यांकन सेट छोटा (181 चरण) है, जिससे बेसलाइन्स के साथ ओवरलैपिंग कॉन्फिडेंस इंटरवल बनता है; योगदान को कच्चे F1 जीत के बजाय वास्तुशिल्प गुणों (architectural properties) के इर्द-गिर्द फ्रेम किया गया है।
रिवॉर्ड मैग्नीट्यूड Qwen2.5-7B के लिए ट्यून किए गए हैं और Llama-3.1-8B पर ज़ीरो-शॉट ट्रांसफर नहीं होते हैं।
रिट्रैक्शन डिटेक्शन सतह पैटर्न मिलान (surface pattern matching) पर निर्भर करता है, जो सैद्धांतिक रूप से रिवॉर्ड हैकिंग के प्रति संवेदनशील हो सकता है, हालांकि 200-इटरेशन रन में ऐसा नहीं देखा गया।