💻 computer science

Grounded Continuation: A Linear-Time Runtime Verifier for LLM Conversations

यह शोध पत्र ग्राउन्डेड कंटीन्यूएशन (Grounded Continuation) को प्रस्तुत करता है, जो एक लीनियर-टाइम रनटाइम वेरीफायर है जो लंबी बातचीत में असमर्थ दावों का पता लगाने और उन्हें वापस लेने के लिए प्रतीकात्मक तर्क (symbolic logic) और LLM-वर्गीकृत अपडेट ऑपरेशन्स का उपयोग करके एक स्पष्ट डिपेंडेंसी ग्राफ का निर्माण करता है, जिससे यह सटीकता में रिट्रीवल-ऑगमेंटेड बेसलाइन्स से बेहतर प्रदर्शन करते हुए औपचारिक साउंडनेस गारंटी प्रदान करता है।

मूल लेखक: Qisong He, Yi Dong, Xiaowei Huang

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Qisong He, Yi Dong, Xiaowei Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक लंबे, जटिल मीटिंग में बैठे हैं जहाँ आपका एक बहुत ही बुद्धिमान, लेकिन थोड़ा भूलक्कड़ सहकर्मी (AI) भी मौजूद है। आप एक समस्या पर चर्चा करते हैं, एक समाधान प्रस्तावित करते हैं, और फिर बाद में आपको एहसास होता है कि आपका शुरुआती विचार गलत था। आप रिकॉर्ड सुधारते हुए कहते हैं, "दरअसल, वह पहला विचार त्रुटिपूर्ण था; चलिए इस नए दृष्टिकोण को आजमाते हैं।"

यह शोध पत्र इस समस्या को संबोधित करता है कि AI, बहुत आत्मविश्वासी और सुसंगत सुनाई देने के बावजूद, अक्सर यह भूल जाता है कि आपने पहले ही उस पहले विचार को त्याग दिया है। यह एक ऐसी योजना का सुझाव दे सकता है जो आपके पुराने, त्याग दिए गए विचार पर निर्भर करती है, जिससे एक ऐसा "भ्रम" (hallucination) पैदा होता है जो सुनने में तो तर्कसंगत लगता है, लेकिन आपकी बातचीत की वास्तविकता से निराधार होता है।

लेखक इसे एक "ग्राउंडेड कंटीन्यूएशन" (Grounded Continuation) समस्या कहते हैं। इसे ठीक करने के लिए, उन्होंने एक "रनटाइम वेरीफायर" (Runtime Verifier) बनाया है।

यह कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:

1. "डिपेंडेंसी मैप" (व्हाइटबोर्ड)

बातचीत को हर बार शुरू से अंत तक एक किताब की तरह पढ़ने के बजाय, यह सिस्टम एक लाइव, संरचित डिपेंडेंसी मैप (जैसे एक गतिशील फ्लोचार्ट या व्हाइटबोर्ड) रखता है।

पुराना तरीका: यदि आप पूछते हैं, "हम X क्यों कर रहे हैं?", तो AI उत्तर खोजने के लिए चैट के पूरे इतिहास को स्कैन करता है। यदि चैट 1,000 पन्नों लंबी है, तो यह धीमा हो जाता है और विवरणों को मिस करने की संभावना रहती है।
नया तरीका: सिस्टम एक मानचित्र बनाए रखता है जो कहता है: "निर्णय X, साक्ष्य Y पर निर्भर है, जो अवलोकन Z पर निर्भर है।"
जादू: जब AI एक नया कदम सुझाता है, तो वेरीफायर पूरे चैट को नहीं पढ़ता। वह बस इस मानचित्र की रेखाओं पर चलता है। यदि रेखा एक मृत अंत (dead end) की ओर ले जाती है (क्योंकि साक्ष्य को पहले ही वापस लिया जा चुका है), तो सिस्टम तुरंत AI के सुझाव को "अनग्राउंडेड" (ungrounded) के रूप में चिह्नित कर देता है।

2. "8 मूव्स" (खेल के नियम)

इस मानचित्र को बनाने के लिए, सिस्टम बातचीत को विशिष्ट नियमों वाले एक खेल की तरह मानता है। हर बार जब कोई बोलता है, तो एक "इंटरप्रेटर" (एक छोटा AI) वाक्य को 8 विशिष्ट मूव्स में से एक में वर्गीकृत करता है, जैसे कि:

ऑब्जर्व (Observe): "मैं एक लाल बत्ती देख रहा हूँ।" (एक तथ्य जोड़ना)।
हाइपोथिसाइज (Hypothesize): "शायद लाइट खराब है।" (एक अनुमान लगाना)।
अंडरमाइन (Undermine): "रुको, लाइट वास्तव में हरी है, लाल नहीं।" (पिछले अनुमान पर हमला करना)।
रिजॉल्व (Resolve): "ठीक है, हम सहमत हैं कि लाइट हरी है।" (एक निर्णय को लॉक करना)।

अव्यवस्थित मानवीय भाषा को इन स्पष्ट "मूव्स" में बदलकर, सिस्टम गणितीय रूप से ट्रैक कर सकता है कि कौन से विचार अभी भी वैध हैं और किन्हें खेल से बाहर कर दिया गया है।

3. "रिट्रैक्शन रिपल" (डोमिनो इफेक्ट)

यह सिस्टम की सुपरपावर है। कल्पना कीजिए कि आप डोमिनो की एक कतार में पहले डोमिनो को गिरा देते हैं (एक आधार को वापस लेते हैं)।

वेरिफायर के बिना: AI लाइन में आगे के डोमिनो को खड़ा करना जारी रख सकता है, यह समझे बिना कि पहला डोमिनो अब वहां नहीं है।
वेरिफायर के साथ: जैसे ही किसी आधार (premise) को वापस लिया जाता है, सिस्टम तुरंत जानता है कि किन निष्कर्षों (अन्य डोमिनो) का समर्थन खत्म हो गया है। यह उन्हें तुरंत फ्लैग कर देता है। यह माइक्रोसेकंड्स में होता है, भले ही बातचीत बहुत लंबी क्यों न हो।

4. परिणाम: "नकली" सलाह को पकड़ना

लेखकों ने इसे कई परिदृश्यों में टेस्ट किया:

"स्टेल प्रिमिस" (Stale Premise) टेस्ट: उन्होंने एक परिदृश्य बनाया जहाँ एक AI को ऐसे तथ्य के आधार पर सलाह देने के लिए कहा गया जो 10 टर्न पहले गलत साबित हो चुका था।
- स्टैंडर्ड AI: अक्सर वह सलाह भी दे देता था, जो आत्मविश्वास से भरी लेकिन गलत होती थी।
- वेरिफायर: इसे 100% बार पकड़ा। इसने कहा, "मैं इस निष्कर्ष का समर्थन नहीं कर सकता क्योंकि इसका आधार हटा दिया गया है।"
"लॉन्ग मेमोरी" (Long Memory) टेस्ट: लंबी बातचीत के मानक बेंचमार्क पर, वेरीफायर उन सिस्टम के बराबर या उनसे बेहतर प्रदर्शन करता है जो उत्तर खोजने के लिए पूरी चैट हिस्ट्री को खोजने की कोशिश करते हैं।

निचोड़

पेपर का दावा है कि बातचीत का एक संरचनात्मक मानचित्र (किसने क्या कहा, क्या किसका समर्थन करता है, और किसे वापस लिया गया है) बनाकर, हम AI के लिए एक "गार्डरेल" बना सकते हैं। यह गार्डरेल यह सुनिश्चित करती है कि AI का अगला वाक्य वास्तव में बातचीत की सच्चाई से जुड़ा हो, जिससे वह उन विचारों के लिए आत्मविश्वास से बहस करने से बच सके जिन्हें समूह पहले ही त्यागने का निर्णय ले चुका है।

यह AI को ज्ञान के मामले में "स्मार्टर" नहीं बनाता; यह इसे इस बारे में अधिक ईमानदार बनाता है कि वह क्या जानता है और वह क्या भूल गया है।

तकनीकी सारांश: ग्राउंडेड कंटीन्यूएशन: LLM संवादों के लिए एक लीनियर-टाइम रनटाइम वेरीफायर

समस्या विवरण (Problem Statement)

बहु-टर्न (multi-turn) संवादों में तैनात बड़े भाषा मॉडल (LLMs) अक्सर ऐसे निरंतरता (continuations) उत्पन्न करते हैं जो स्थानीय रूप से सुसंगत और व्यावहारिक रूप से प्रशंसनीय होते हैं, लेकिन संवाद के स्थापित इतिहास में अनग्राउंडेड (ungrounded) होते हैं। ये आउटपुट उन आधारों, अवलोकनों या परिकल्पनाओं पर आधारित हो सकते हैं जिन्हें संवाद पहले ही त्याग चुका है या संशोधित कर चुका है। यह "ग्राउंडिंग गैप" अनुभवजन्य रूप से गंभीर है: अध्ययन संकेत देते हैं कि LLMs गलत धारणाओं को संशोधित करने में विफल रहते हैं, भले ही बाद के टर्न उनका खंडन करते हों, जिससे सिंगल-टर्न इंटरैक्शन की तुलना में मल्टी-टर्न सेटिंग्स में प्रदर्शन में महत्वपूर्ण गिरावट आती है। इसके अलावा, इस गैप का संदर्भ-हेरफेर (context-manipulation) हमलों द्वारा सक्रिय रूप से शोषण किया जाता है, जहाँ एजेंट ऐसी निरंतरताएँ उत्पन्न करते हैं जो स्थानीय रूप से सुसंगत तो हैं लेकिन पूर्व प्रतिबद्धताओं (prior commitments) से विच्छेदित हैं, जिससे अनधिकृत कार्यों को ट्रिगर किया जा सकता है।

मौजूदा समाधान, जैसे कि रिट्रीवल-ऑगमेंटेड जनरेशन (RAG), बाहरी ग्राउंडिंग (दावों को उद्धृत दस्तावेजों से जोड़ना) को संबोधित करते हैं लेकिन इंटरैक्शनल ग्राउंडिंग (दावों को संवाद की अपनी विकसित होती प्रतिबद्धताओं से जोड़ना) में विफल रहते हैं। कन्वर्सेशनल मेमोरी सिस्टम आमतौर पर क्या कहा गया था उसे ट्रैक करते हैं, लेकिन उनमें कथनों को उनसे निकाले गए निष्कर्षों से जोड़ने वाले संरचनात्मक निर्भरता मानचित्र (structural dependency map) का अभाव होता है।

कार्यप्रणाली (Methodology)

लेखक एक रनटाइम वेरीफायर प्रस्तावित करते हैं जो दावों की उत्पत्ति (provenance) को पूरे संवाद में ट्रैक करने के लिए एक स्पष्ट डिपेंडेंसी ग्राफ (dependency graph) बनाए रखता है। यह प्रणाली एक LLM इंटरप्रेटर और एक सिंबोलिक इंजन के हाइब्रिड आर्किटेक्चर के माध्यम से संचालित होती है।

1. औपचारिक आधार (Formal Foundation)

वेरिफायर चार औपचारिकताओं (formalisms) पर निर्मित है:

डायनेमिक एपिस्टेमिक लॉजिक (DEL): यह मॉडल करता है कि एजेंट क्या जानते हैं, विश्वास करते हैं और किसके प्रति जागरूक हैं।
एब्डक्टिव रीजनिंग (Abductive Reasoning): आश्चर्यजनक अवलोकनों की व्याख्या करने के लिए परिकल्पनाएं उत्पन्न करता है।
अवेयरनेस लॉजिक (Awareness Logic): एजेंटों के जागरूकता सेटों के विस्तार को ट्रैक करता है।
आर्ग्युमेंटेशन फ्रेमवर्क्स (Argumentation Frameworks): तर्कों और उनके बीच के हमलों और समर्थन को मॉडल करता है (Dung-style)।

इन सबको एक डिपेंडेंसी स्ट्रक्चर $D_t = (M_t, AF_t, Cmt_t, Dep_t)$ में एकीकृत किया गया है, जहाँ:

$M_t$ : एपिस्टेमिक प्लाउज़िबिलिटी मॉडल (ज्ञान/विश्वास अवस्थाएं)।
$AF_t$ : आर्ग्युमेंटेशन फ्रेमवर्क (तर्क और हमले के संबंध)।
$Cmt_t$ : एजेंटों की सार्वजनिक प्रतिबद्धताएं (Public commitments)।
$Dep_t$ : तर्कों को उन प्रस्थापनाओं (propositions) से जोड़ने वाला एक मानचित्र जो उन्हें सहारा देते हैं।

2. 8-ऑपरेशन टैक्सोनॉमी (The 8-Operation Taxonomy)

एक LLM इंटरप्रेटर प्रत्येक कथन को आठ अपडेट ऑपरेशनों में से एक में वर्गीकृत करता है, जिन्हें सिंबोलिक इंजन डिपेंडेंसी स्ट्रक्चर को अपडेट करने के लिए लागू करता है:

OBSERVE: हार्ड पब्लिक अनाउंसमेंट (तथ्यों को जोड़ना)।
HYPOTHESIZE: सॉफ्ट लेक्सिकोग्राफिक अपग्रेड (व्याख्यात्मक परिकल्पनाओं को पेश करना)।
SUPPORT: साक्ष्य के आधार पर किसी दावे की संभाव्यता (plausibility) बढ़ाना।
UNDERMINE: किसी दावे की संभाव्यता को कम करना (जैसे विरोधाभासी साक्ष्य के माध्यम से)।
REVISE: हार्ड रिट्रैक्शन या अटैक एज जोड़ना (किसी दावे को त्यागना)।
EXPAND-AWARENESS: एजेंटों के जागरूकता सेटों में नई प्रस्थापनाएं जोड़ना।
RESOLVE: एक निष्कर्ष के प्रति सहमतिपूर्ण या आधिकारिक प्रतिबद्धता।
QUESTION: एक अनस्पष्टीकृत अवलोकन को एब्डक्टिव समस्या के रूप में फ्लैग करना।

3. सत्यापन और रिट्रैक्शन (Verification and Retraction)

ग्राउंडेड कंटीन्यूएशन चेक: यह सत्यापित करने के लिए कि एक संभावित निरंतरता $c$ ग्राउंडेड है या नहीं, सिस्टम वर्तमान आर्ग्युमेंटेशन फ्रेमवर्क में एक तर्क $\alpha_c$ की खोज करता है ऐसा कि $claim(\alpha_c) = \phi_c$ ( $\phi_c$ वह प्रस्थापना है जो $c$ द्वारा घोषित की गई है)। यह डिपेंडेंसी मैप पर एक ग्राफ वॉक (graph walk) में बदल जाता है।
चयनात्मक रिट्रैक्शन (Selective Retraction): यदि एक प्रस्थापना $p$ को रिट्रैक्ट किया जाता है, तो सिस्टम $Affected(p) $की गणना करता है, यानी उन निष्कर्षों का सेट जो अपना ग्राउंडिंग खो देते हैं। इसकी गणना डिपेंडेंसी मैप को ट्रैवर्स करके उन सभी तर्कों$ \alpha $को खोजने से की जाती है जहाँ$ p \in Dep(\alpha)$ है।
जटिलता (Complexity): प्रति-टर्न सत्यापन और रिट्रैक्शन प्रोपेगेशन इंजन के प्रतिनिधित्व के आकार में लीनियर है ($O(|Args| + |Att|)$), जो हिस्ट्री-रिप्ले विधियों की तुलना में संवाद की लंबाई के साथ होने वाली लीनियर वृद्धि से बचता है।

मुख्य योगदान (Key Contributions)

इंटरैक्शनल ग्राउंडिंग के लिए रनटाइम वेरीफायर: एक प्रणाली जो हर टर्न पर यह जांचती है कि क्या एक संभावित निरंतरता वर्तमान डिपेंडेंसी स्ट्रक्चर के माध्यम से पूर्व प्रतिबद्धताओं से जुड़ी है, जो इंजन के स्टेट साइज के लीनियर टाइम में कार्य करती है।
कंपोजेबल फॉर्मल सबस्ट्रेट: DEL, आर्ग्युमेंटेशन और अवेयरनेस लॉजिक को एक साउंडनेस गारंटी (प्रपोजिशन 2.1) के साथ जोड़ने वाला एक एकीकृत ढांचा। सिस्टम सुनिश्चित करता है कि जब एक प्रस्थापना को रिट्रैक्ट किया जाता है, तो प्रभावित निष्कर्षों का सेट संघर्ष-मुक्त (conflict-free) और सुपरिभाषित होता है।
साउंडनेस-फेथफुलनेस डीकंपोजिशन: लेखक समस्या को एक सटीक संरचनात्मक जांच (इंजन का लॉजिक, जो सिद्ध रूप से सही है) और एक्सट्रैक्शन फेथफुलनेस (LLM की ऑपरेशन्स और डिपेंडेंसीज को सही ढंग से वर्गीकृत करने की क्षमता) में विभाजित करते हैं। यह सटीक रूप से मापने की अनुमति देता है कि विफलताएं कहाँ हो रही हैं।
अनुभवजन्य सत्यापन (Empirical Validation): सिस्टम का मूल्यांकन नियंत्रित मल्टी-एजेंट परिदृश्यों और बाहरी बेंचमार्क पर किया गया है, जो स्टेल प्रमेसिस (stale premises) का पता लगाने और बेसलाइन की तुलना में कन्फैबुलेशन (confabulation) से बचने की इसकी क्षमता को प्रदर्शित करता है।

परिणाम (Results)

नियंत्रित परिदृश्य (चरण 2 और 3)

स्टेल प्रमेसिस डिटेक्शन: "स्टेल-प्रमेसिस" मामलों के 15-आइटम के उपसमूह पर (जहाँ एक दावा पहले रिट्रैक्ट की गई प्रस्थापना पर निर्भर करता है), वेरीफायर ने 100% सटीकता प्राप्त की, जबकि LLM-ओनली बेसलाइन 93.3% पर थी। वेरीफायर ने सही ढंग से पहचाना कि एक त्याग दी गई परिकल्पना पर आधारित सिफारिश अनग्राउंडेड थी, जबकि बेसलाइन ने इसे प्रशंसनीय माना।
रिट्रैक्शन लेटेंसी: बाउंडेड रिजीम (जहाँ रिजॉल्व्ड/त्याग दी गई परिकल्पनाओं को रिटायर किया जाता है) में, वेरीफायर की लेटेंसी संवाद की लंबाई बढ़ने के साथ स्थिर (plateau) रहती है, जबकि हिस्ट्री-रिप्ले बेसलाइन लीनियर रूप से बढ़ती है। 2,000 टर्न पर, वेरीफायर पूरे ट्रांसक्रिप्ट को फिर से पढ़ने वाले बेसलाइन की तुलना में 84 गुना तेज़ था।

बाहरी बेंचमार्क

LongMemEval-KU (Oracle): सुपरसेसेशन के साथ नॉलेज अपडेट्स का परीक्षण करने वाले 78 आइटम्स पर, वेरीफायर (कंटेंट और रिट्रीवल के साथ) ने 89.7% सटीकता प्राप्त की, जिसने LLM-ओनली बेसलाइन (88.5%) और ट्रांसक्रिप्ट-RAG बेसलाइन (87.2%) को पीछे छोड़ दिया। जीत उन मामलों में केंद्रित थी जहाँ बेसलाइन उन आइटम्स पर कन्फैबुलेट कर रही थी जिनमें कोई सहायक जानकारी नहीं थी, जबकि वेरीफायर ने सही ढंग से परहेज (abstain) किया।
LoLoco: 60 आधिकारिक QA आइटम्स पर, वेरीफायर रिट्रीवल-ऑगमेंटेड बेसलाइन्स के साथ प्रतिस्पर्धी था, जो शुद्ध एंटिटी-रिलेशन रिकॉल के बजाय इंटरैक्शनल ग्राउंडिंग पर इसके फोकस के अनुरूप है।

मजबूती और निष्कर्षण (Robustness and Extraction)

वर्गीकरण सटीकता: "डेफिनिशन्स" और "स्टेट-ऑगमेंटेड" प्रॉम्प्ट्स के साथ, LLM इंटरप्रेटर ने उच्च F1 स्कोर प्राप्त किया (जैसे, चरण 2 के लिए Claude Sonnet 4 के लिए 0.91)।
बॉटलनेक विश्लेषण: प्राथमिक सीमा एक्सट्रैक्शन फेथफुलनेस (प्राकृतिक भाषा को औपचारिक ऑपरेशन्स में सही ढंग से मैप करने की LLM की क्षमता) है, न कि स्वयं संरचनात्मक सत्यापन। विशेष रूप से, क्रॉस-हाइपोथीसिस डिपेंडेंसी एडजेस (जैसे, जब एक नई हाइपोथीसिस पुरानी को समाहित करती है) को रिकवर करने के लिए RESOLVE ऑपरेशन में एक विशिष्ट स्कीमा फिक्स की आवश्यकता थी, जिसे केवल प्रॉम्प्ट इंजीनियरिंग के माध्यम से प्राप्त नहीं किया जा सकता था।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह पहला रनटाइम तंत्र प्रदान करता है जो एजेंट की निरंतरता को उसके वास्तविक इंटरैक्शन इतिहास से संरचनात्मक रूप से बांधता है, जो तैनात किए गए LLM एजेंटों में एक महत्वपूर्ण भेद्यता को संबोधित करता है।

सुरक्षा (Security): यह यह सुनिश्चित करके संदर्भ-हेरफेर हमलों के खिलाफ बचाव प्रदान करता है कि क्रियाएं केवल तभी की जाएंगी यदि वे वर्तमान डिपेंडेंसी ग्राफ द्वारा समर्थित हैं।
विश्वसनीयता (Reliability): यह सही परहेज (correct abstention) को सक्षम बनाता है। जब निरंतरता में समर्थन की कमी होती है, तो सिस्टम इसे "अनग्राउंडेड" के रूप में फ्लैग करता है, बजाय इसके कि एक प्रशंसनीय दिखने वाला औचित्य प्रस्तुत करे।
दक्षता (Efficiency): एक सिंबोलिक डिपेंडेंसी ग्राफ बनाए रखकर, यह लीनियर-टाइम सत्यापन और रिट्रैक्शन प्रोपेगेशन प्राप्त करता है, जिससे यह लंबे समय तक चलने वाले संवादों के लिए स्केलेबल हो जाता है जहाँ इतिहास को फिर से पढ़ना कम्प्यूटेशनल रूप से निषेधात्मक होता है।
औपचारिक गारंटी (Formal Guarantees): सिस्टम चयनात्मक रिट्रैक्शन के लिए एक कॉन्फ्लिक्ट-फ्री गारंटी प्रदान करता है, यह सुनिश्चित करता है कि प्रस्थापनाओं को वापस लेने के बाद भी संवाद की स्थिति तार्किक रूप से सुसंगत बनी रहती है।

लेखक विनम्र रहते हुए नोट करते हैं कि सिस्टम की प्रभावशीलता LLM की प्राकृतिक भाषा से औपचारिक संरचना को निष्ठापूर्वक निकालने की क्षमता द्वारा सीमित है, और वर्तमान कार्यान्वयन बाहरी तथ्यात्मक रिट्रीवल के बजाय इंटरैक्शनल ग्राउंडिंग पर केंद्रित है (हालांकि ढांचे को इसके लिए विस्तारित किया जा सकता है)।