💬 NLP

The Reasoning Trap: An Information-Theoretic Bound on Closed-System Multi-Step LLM Reasoning

यह शोध पत्र "रीज़निंग ट्रैप" (Reasoning Trap) ढांचे को प्रस्तुत करता है, जो सूचना-सैद्धांतिक सीमाओं (information-theoretic bounds) का उपयोग करके यह प्रदर्शित करता है कि बंद-प्रणाली बहु-चरणीय एलएलएम (LLM) तर्क (जैसे कि मल्टी-एजेंट डिबेट) उत्तर की सटीकता को बनाए रखते हुए भी साक्ष्य-आधारित तर्क निष्ठा (evidence-grounded reasoning fidelity) को अपरिहार्य रूप से कम कर देता है, और इस खोई हुई निष्ठा को पुनः प्राप्त करने के एक तरीके के रूप में एविडेंस-ग्राउंडेड सोक्रेटिक रीज़निंग (Evidence-Grounded Socratic Reasoning - EGSR) का प्रस्ताव करता है।

मूल लेखक: Kwan Soo Shin

प्रकाशित 2026-05-05

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kwan Soo Shin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "The Reasoning Trap" (तर्क का जाल) पेपर की व्याख्या सरल भाषा और रोज़मर्रा के उदाहरणों के साथ दी गई है।

मुख्य विचार: "इको चैंबर" (Echo Chamber) की समस्या

कल्पना कीजिए कि आपके पास जुड़वा बच्चों का एक समूह है जो बहुत बुद्धिमान हैं लेकिन कभी अपने घर से बाहर नहीं निकले हैं। आप उन्हें एक गणित की समस्या देते हैं और उसे हल करने के लिए तथ्यों का एक विशिष्ट सेट (जैसे कि एक टेक्स्टबुक का पन्ना) देते हैं।

आप उन्हें कहते हैं: "मुझे सिर्फ उत्तर मत दो। एक-दूसरे से बात करो, बहस करो और मिलकर सबसे अच्छा समाधान खोजने की कोशिश करो।"

पेपर में क्या पाया गया:
नए विचार पैदा करने या टेक्स्टबुक का बेहतर उपयोग करने के बजाय, वे जुड़वा बच्चे बस एक-दूसरे की बातों को थोड़े अलग शब्दों में दोहराने लगे। वे एक-दूसरे से इतनी जल्दी सहमत हो गए कि उन्होंने टेक्स्टबुक देखना पूरी तरह से बंद कर दिया।

डरावनी बात क्या है? वे अक्सर सही उत्तर भी दे देते थे। लेकिन जिस तर्क (reasoning) का उपयोग वे वहां तक पहुँचने के लिए कर रहे थे, वह नकली था। वे वास्तव में साक्ष्य (evidence) का उपयोग नहीं कर रहे थे; वे बस अपने "जुड़वा" द्वारा कही गई बात के आधार पर अनुमान लगा रहे थे, और फिर खुद को विश्वास दिला रहे थे कि वे सही हैं।

लेखक इसे डिबेट ट्रैप (Debate Trap - बहस का जाल) कहते हैं।

पेपर के तीन मुख्य भाग

1. जाल: क्यों बहस करना तर्क को बदतर बनाता है

पेपर का तर्क है कि जब AI मॉडल (जैसे कि वे जिनका हम आज उपयोग करते हैं) एक "बंद कमरे" में एक-दूसरे से बहस करते हैं (जहाँ वे केवल एक-दूसरे से बात करते हैं और नए तथ्य नहीं देखते), तो वे सत्य से अपना संबंध खो देते हैं।

उपमा (Analogy): "टेलीफोन गेम" (Telephone game) की कल्पना करें। आप एक दोस्त को एक कहानी फुसफुसाते हैं, वह अगले को फुसफुसाता है, और इसी तरह चलता रहता है। अंत तक, कहानी आमतौर पर बिगड़ जाती है।
ट्विस्ट: इस AI बहस में, कहानी केवल बिगड़ती ही नहीं है; यह "स्मूथ" (smooth) हो जाती है। AI मॉडल विनम्र होने या जल्दी सहमति बनाने के लिए एक-दूसरे से सहमत होने लगते हैं। वे "टेक्स्टबुक" (साक्ष्य) की जाँच करना बंद कर देते हैं और एक-दूसरे के आत्मविश्वास को जाँचने लगते हैं।
परिणाम: अंतिम उत्तर सही हो सकता है (क्योंकि AI ने इसे अपने प्रशिक्षण से याद रखा है), लेकिन जो व्याख्या वे देते हैं वह झूठ होती है। वे दावा करते हैं कि उन्होंने साक्ष्य का उपयोग किया है, लेकिन वास्तव में उन्होंने केवल अनुमान लगाया था।

पेपर इसे गणितीय रूप से सिद्ध करता है: हर बार जब AI मॉडल मूल साक्ष्य को दोबारा देखे बिना एक-दूसरे को संदेश भेजते हैं, तो वे संदेश में "सत्य" का एक छोटा हिस्सा खो देते हैं। यह एक सिग्नल की तरह है जो हर बार दीवार के पार जाने पर कमजोर होता जाता है।

2. समाधान: "सॉक्रेटिक" (Socratic) जासूस

लेखकों ने केवल समस्या की ओर इशारा नहीं किया; उन्होंने एक सुधार बनाया जिसे EGSR (Evidence-Grounded Socratic Reasoning) कहा जाता है।

पुराना तरीका (जाल): तीन AI एजेंट एक घेरे में बैठते हैं और बहस करते हैं। "मुझे लगता है X है।" "नहीं, मुझे लगता है Y है।" "ठीक है, चलो वोट करते हैं।"
नया तरीका (EGSR): उन्होंने विशिष्ट कार्यों के साथ एक तीन-सदस्यीय टीम बनाई:
1. डिबेटर (Debater - बहस करने वाला): एक प्रारंभिक अनुमान लगाता है।
2. क्वेश्चनर (Questioner - सवाल पूछने वाला): अनुमान को देखता है और पूछता है, "उसका प्रमाण कहाँ है?"
3. चेकर (Checker - जाँच करने वाला): यही मुख्य है। चेकर उत्तर को सत्यापित करने के लिए मूल टेक्स्टबुक (साक्ष्य) पर वापस जाता है। वे डिबेटर पर भरोसा नहीं करते; वे किताब पर भरोसा करते हैं।
उपमा: लिविंग रूम में बहस करने वाले दोस्तों के समूह के बजाय, एक अदालत की कल्पना करें। वकील एक दावा करता है, लेकिन जज (चेकर) उन्हें यह साबित करने के लिए मजबूर करता है कि वे वास्तविक कानून की किताब निकालें। यदि वे किताब में इसे नहीं ढूंढ पाते हैं, तो दावे को खारिज कर दिया जाता है।

परिणाम: इस पद्धति ने तर्क को बचा लिया। AI को सही उत्तर भी मिला और वह साक्ष्य का उपयोग करके उसे सिद्ध भी कर सका, लगभग उतना ही अच्छा जितना कि यदि उसने बिना बहस किए केवल एक बार किताब देखी होती।

3. चौंकाने वाली खोज: इंसान इसे पहचानने में खराब हैं

पेपर ने मानव विशेषज्ञों का भी परीक्षण किया यह देखने के लिए कि क्या वे "अच्छे तर्क" और "नकली तर्क" के बीच अंतर कर सकते हैं।

प्रयोग: उन्होंने मनुष्यों को AI बहस दिखाई और पूछा, "क्या यह तर्क ईमानदार है?"
परिणाम: मनुष्य इसमें बहुत खराब थे।
- जब एक ही इंसान ने अंग्रेजी में एक ही प्रकार की समस्या को रेट किया, तो उन्होंने उच्च स्कोर दिया।
- जब उन्होंने कोरियाई में उसी प्रकार की समस्या को रेट किया, तो उन्होंने कम स्कोर दिया।
- अलग-अलग मनुष्य एक-दूसरे से भी सहमत नहीं हो पा रहे थे।

उपमा: एक पेंटिंग की गुणवत्ता का निर्णय लेने की कोशिश करने जैसा है, लेकिन आपकी दृष्टि कमरे के रंग के आधार पर बदल जाती है। आप अपने स्वयं के निर्णय पर भरोसा नहीं कर सकते।

लेखक निष्कर्ष निकालते हैं कि हम मानव रेटिंग पर भरोसा नहीं कर सकते कि AI का तर्क "फिथफुल" (ईमानदार) है या नहीं क्योंकि इंसान बहुत असंगत हैं। हमें इसे मापने के लिए एक नए तरीके की आवश्यकता है, इसीलिए उन्होंने SFS (Supported Faithfulness Score) नामक एक नई स्कोरिंग प्रणाली बनाई।

"टेकअवेज़" (मुख्य बातें) का सारांश

बहस हमेशा बेहतर नहीं होती: सिर्फ इसलिए कि AI एजेंट एक-दूसरे से बात करते हैं, इसका मतलब यह नहीं है कि वे स्मार्ट हो जाते हैं। वास्तव में, यह अक्सर उन्हें तथ्यों की जाँच करना बंद करने और बस एक-दूसरे से सहमत होने के लिए प्रेरित करता है।
सटीकता (Accuracy) $\neq$ सत्य (Truth): एक AI आपको सही उत्तर दे सकता है लेकिन उसके पीछे का कारण पूरी तरह से मनगढ़ंत हो सकता है। "डिबेट ट्रैप" में, उत्तर सही रहता है, लेकिन तर्क झूठ बन जाता है।
समाधान है "इसे ढूँढना": इसे रोकने के लिए, आपको AI को हर बार कोई नया दावा करने पर साक्ष्य को देखने के लिए मजबूर करना होगा, न कि केवल अपने दोस्तों की बात सुनने के लिए।
मानव न्यायाधीशों पर भरोसा न करें (अभी नहीं): इंसान वर्तमान में यह बताने के लिए बहुत असंगत हैं कि AI अपने तर्क के बारे में झूठ बोल रहा है या नहीं। हमें बेहतर उपकरणों की आवश्यकता है (जैसे कि वह जो लेखकों ने बनाया है) जिससे हम इसे माप सकें।

पेपर क्या नहीं कहता है

यह नहीं कहता कि AI खतरनाक है या दुनिया पर कब्जा कर लेगा।
यह नहीं कहता कि हमें AI का उपयोग बंद कर देना चाहिए।
यह दावा नहीं करता कि यह हर स्थिति में होता है (यह विशेष रूप से उन क्लोज्ड-सिस्टम बहसों के बारे में बात करता है जहाँ मॉडल केवल एक-दूसरे से बात करते हैं)।
यह कोई चिकित्सा या कानूनी समाधान पेश नहीं करता; यह पूरी तरह से इस बारे में है कि हम AI के सोचने के तरीके को कैसे मापते और ठीक करते हैं।

संक्षेप में: यदि आप चाहते हैं कि एक AI अच्छी तरह से तर्क करे, तो उसे एक घेरे में केवल अपने आप से बात करने न दें। उसे मूल सामग्री को बार-बार देखने के लिए मजबूर करें, अन्यथा वह खुद को (और आपको) उन चीजों के बारे में समझाने लगेगा जो वह नहीं जानता।

तकनीकी सारांश: द रीजनिंग ट्रैप (तर्क का जाल)

समस्या विवरण

यह शोध पत्र मल्टी-एजेंट डिबेट (MAD) और लार्ज लैंग्वेज मॉडल्स (LLMs) से जुड़े क्लोज्ड-सिस्टम रीजनिंग प्रोटोकॉल में एक महत्वपूर्ण विफलता मोड को संबोधित करता है। जबकि MAD का उपयोग उत्तर की सटीकता में सुधार करने और स्केलेबल ओवरसाइट प्रदान करने के लिए व्यापक रूप से किया जाता है, लेखक तर्क देते हैं कि यह व्यवस्थित रूप से तर्क प्रक्रिया की फिथफुलनेस (faithfulness - प्रमाणिकता/विश्वसनीयता) को कम करता है—अर्थात वह डिग्री जिससे तर्क प्रदान किए गए साक्ष्यों पर आधारित होता है।

मुख्य समस्या एक "रीजनिंग ट्रैप" (तर्क का जाल) है: क्लोज्ड-सिस्टम विमर्श (deliberation) उत्तर की सटीकता को तो सुरक्षित रखता है (अक्सर पैरामीट्रिक मेमोरी रिट्रीवल के माध्यम से), लेकिन तर्क की साक्ष्य-आधारित नींव (evidential grounding) को नष्ट कर देता है। ऐसा इसलिए होता है क्योंकि मानक MAD प्रोटोकॉल क्लोज्ड इंफॉर्मेशन लूप्स के रूप में कार्य करते हैं जहाँ एजेंट केवल पिछले आउटपुट और साझा पैरामीटर्स पर निर्भर होते हैं, बिना बाहरी साक्ष्य को पुनः इंजेक्ट किए। इसके परिणामस्वरूप, तर्क श्रृंखला एक मार्कोव प्रक्रिया (Markov process) के रूप में कार्य करती है जहाँ प्रत्येक चरण पर मूल साक्ष्य सेट के बारे में जानकारी खो जाती है या संकुचित हो जाती है, जिससे "सटीक लेकिन अविश्वसनीय" (accurate but unfaithful) आउटपुट प्राप्त होते हैं।

इसके अतिरिक्त, यह शोध पत्र एक पद्धतिगत अंतराल (methodological gap) की पहचान करता है: मौजूदा मूल्यांकन प्रतिमान (evaluation paradigms) सटीकता (अंतिम उत्तर की शुद्धता) और फिथफुलनेस (तर्क प्रक्रिया की गुणवत्ता) को मिला देते हैं। यह घालमेल विफलता को अदृश्य बना देता है, क्योंकि सटीकता बेंचमार्क अक्सर सुधार या स्थिरता दिखाते हैं जबकि अंतर्निहित तर्क तेजी से काल्पनिक (hallucinated) या निराधार होता जाता है। इसके अलावा, यह पत्र फिथफुलनेस के लिए "ग्राउंड ट्रुथ" के रूप में मानव मूल्यांकन की स्थिरता को चुनौती देता है, यह पाते हुए कि इंटर-रेटर एग्रीमेंट (रेटर्स के बीच सहमति) अक्सर संयोग के समान ही होता है और इंट्रा-रेटर निर्णय विभिन्न भाषाओं और डोमेन में महत्वपूर्ण रूप से बदलते हैं।

कार्यप्रणाली (Methodology)

सैद्धांतिक ढांचा (Theoretical Framework)

लेखक तर्क प्रक्रिया को एक मार्कोव चेन $E \to O_0 \to O_1 \to \dots \to O_T$ के रूप में औपचारिक रूप देते हैं, जहाँ $E$ साक्ष्य सेट है और $O_t$ राउंड $t$ पर तर्क आउटपुट है।

थ्योरम 1 (DPI बाउंड): मानक MAD धारणाओं (साझा पैरामीटर्स, $E$ का पुन: इंजेक्शन नहीं, और सिमेट्रिक एग्रीगेशन) के तहत, यह प्रक्रिया डेटा प्रोसेसिंग इनइक्वैलिटी (DPI) का पालन करती है। इसका तात्पर्य है कि साक्ष्य और आउटपुट के बीच अपेक्षित म्यूचुअल इंफॉर्मेशन (mutual information), $E[I(E; O_{t+1})]$ , श्रृंखला के साथ गैर-बढ़ता (non-increasing) है। यदि एग्रीगेशन स्टेप (जैसे मेजॉरिटी वोटिंग) नॉन-इन्जेक्टिव है, तो फिथफुलनेस स्पष्ट रूप से घटती है।
थ्योरम 2 (ओपन-सिस्टम रिकवरी): यदि कोई प्रोटोकॉल प्रत्येक चरण में बाहरी साक्ष्य $E$ को पुनः इंजेक्ट करता है, तो म्यूचुअल इंफॉर्मेशन संचित हो सकती है, जिससे एक सब-मार्टिंगेल (sub-martingale) बनता है जहाँ फिथफुलनेस प्रारंभिक अवस्था द्वारा सीमित होती है।

मेट्रिक्स और एल्गोरिदम

सपोर्टेड फिथफुलनेस स्कोर (SFS): साक्ष्य ग्राउंडिंग को मापने के लिए डिज़ाइन किया गया एक क्लेम-लेवल मेट्रिक।
- डिकंपोजिशन (विघटन): एक LLM तर्क ट्रेस (reasoning trace) को परमाणु दावों (atomic claims) में तोड़ता है।
  क दावा $E$ के विरुद्ध सेंटेंस-बर्ट (Sentence-BERT) और लॉजिकल एंटेलमेंट (DeBERTa-v3 NLI) का उपयोग करके सत्यापित किया जाता है।
- स्कोरिंग: स्कोर परमाणु दावों का माध्य सपोर्ट मास (mean support mass) है। मेट्रिक को डिकंपोजर-इनवेरिएंट (अर्थात, जिस LLM का उपयोग विघटन के लिए किया गया है, उससे रैंकिंग स्थिर रहती है) बनाया गया है।
एविडेंस-ग्राउंडेड सोक्रेटिक रीजनिंग (EGSR): रीजनिंग ट्रैप को तोड़ने के लिए एक रचनात्मक प्रोटोकॉल।
- आर्किटेक्चर: एक एसिमेट्रिक तीन-भूमिका वाला सिस्टम (डिबेटर, क्वेश्चनर, चेकर)।
- मैकेनिज्म: एडवरसेरियल डिबेट के विपरीत, EGSR प्रत्येक राउंड में बाहरी साक्ष्य इंजेक्शन का उपयोग करता है। चेकर तर्क प्रक्रिया को आगे बढ़ने देने से पहले सब-क्वेश्चन को $E$ के विरुद्ध सत्यापित करता है। यह क्लोज्ड-सिस्टम मार्कोव स्थिति का उल्लंघन करता है, जिससे फिथफुलनेस संचित होने की अनुमति मिलती है।

प्रयोगात्मक डिजाइन (Experimental Design)

डेटासेट्स: SciFact (300 वैज्ञानिक दावे) और FEVER (1,000 विकिपीडिया दावे)।
शर्तें: 16 प्रयोगात्मक स्थितियाँ जो बेसलाइन्स (Zero-shot, RAG), डिबेट वेरिएंट्स (SocraSynth, DebateCV, Vanilla MAD), और EGSR वेरिएंट्स को कवर करती हैं।
मॉडेल्स: प्राथमिक प्रयोग GPT-4o पर; क्रॉस-आर्किटेक्चर रेप्लिकेशन Claude-3.5-Sonnet पर।
ह्यूमन रिलायबिलिटी स्टडी (R6): फिथफुलनेस रेटिंग की स्थिरता का परीक्षण करने के लिए कोरियाई और अंग्रेजी शामिल करते हुए 11 रेटर्स के साथ एक क्रॉस-लैंग्वेज, क्रॉस-डोमेन कोहॉर्ट अध्ययन।

मुख्य परिणाम

1. डिबेट ट्रैप वास्तव में मौजूद है

18,430 परीक्षणों में, अध्ययन तर्क क्षरण (reasoning degradation) के तीन-स्तरीय स्पेक्ट्रम को देखता है:

रीजनिंग डिग्रेडेशन: मानक डिबेट (जैसे SocraSynth) बेसलाइन की तुलना में SFS को ~39% तक गिरा देता है जबकि तुलनीय सटीकता बनाए रखता है।
द ट्रैप प्रॉपर (DebateCV): 88% बेसलाइन सटीकता को सुरक्षित रखता है लेकिन SFS को 43% तक कम कर देता है।
रीजनिंग एलिमिनेशन (Vanilla MAD): मेजॉरिटी-वोट डिबेट SFS को बेसलाइन के 1.7% (लगभग शून्य) तक गिरा देता है, जो प्रभावी रूप से तर्क को वोट टैली (मत गणना) से बदल देता है, जबकि ~91% बेसलाइन सटीकता बनाए रखता है।

2. EGSR रिकवरी प्राप्त करता है

एविडेंस-ग्राउंडेड सोक्रेटिक रीजनिंग (EGSR) प्रोटोकॉल साक्ष्य को पुनः इंजेक्ट करके DPI बाउंड को सफलतापूर्वक तोड़ता है।

EGSR बेसलाइन SFS का 98% (0.343 बनाम 0.349 बेसलाइन) को रिकवर करता है जबकि प्रतिस्पर्धी सटीकता बनाए रखता है।
यह रिकवरी आर्किटेक्चरल वेरिएंट्स (पैरेलल प्रोसेसिंग, स्मॉल लैंग्वेज मॉडल प्रतिस्थापन) और मॉडल्स (GPT-4o, Claude-3.5-Sonnet) में सुदृढ़ है।

3. मानव विश्वसनीयता अस्थिर है (R6 ट्रिपल फेलियर)

अध्ययन पाता है कि फिथफुलनेस मेट्रिक्स को कैलिब्रेट करने के लिए उपयोग किया जाने वाला ह्यूमन सिग्नल एक स्थिर लक्ष्य नहीं है:

इंटर-रेटर एग्रीमेंट: विभिन्न कोहॉर्ट्स में Fleiss $\kappa$ अधिकतम +0.018 (संयोग के करीब) था।
इंट्रा-रेटर इंस्टेबिलिटी: दो रेटर्स जिन्होंने कोरियाई और अंग्रेजी दोनों कोहॉर्ट्स का मूल्यांकन किया, उन्होंने भाषा और डोमेन के आधार पर अपने औसत रेटिंग में 0.8 से 1.4 लिकर्ट पॉइंट्स का बदलाव देखा और अपने "अनसपोर्टेड क्लेम" दरों में 28–47 प्रतिशत अंक का परिवर्तन देखा।
निहितार्थ: ऑटोमेटेड मेट्रिक्स जैसे SFS, जो डिकंपोजर-इनवेरिएंट रैंकिंग पर निर्भर करते हैं, उन मानव रेटिंग्स की तुलना में अधिक स्थिर और विश्वसनीय हो सकते जिनके विरुद्ध उन्हें ऐतिहासिक रूप से कैलिब्रेट किया गया था।

4. सैद्धांतिक संरेखण (Theoretical Alignment)

प्रायोगिक SFS प्रक्षेपवक्र (trajectories) DPI बाउंड के साथ संरेखित होते हैं:

क्लोज्ड-सिस्टम डिबेट (C4) में, SFS राउंड के साथ निरंतर घटता है।
EGSR (C8) में, SFS बढ़ता है (सब-मार्टिंगेल व्यवहार)।
"वोट-एग्रीगेशन फ्लोर" (प्रपोजिशन 1) की पुष्टि होती है: जब तर्क को वोट टैली में बदल दिया जाता है, तो SFS वर्डिक्ट अल्फाबेट की सूचना क्षमता (information capacity) में गिरकर प्रभावी रूप से शून्य हो जाता है।

महत्व और दावे

यह शोध पत्र स्वयं को केवल एक नए मेट्रिक या एल्गोरिदम के बजाय एक एपिस्टेमोलॉजिकल इंटरवेंशन (ज्ञानमीमांसीय हस्तक्षेप) के रूप में प्रस्तुत करता है। इसके प्राथमिक योगदान हैं:

सीमा को औपचारिक रूप देना: यह पहला सूचना-सैद्धांतिक बाउंड (थ्योरम 1) प्रदान करता है जो समझाता है कि क्यों क्लोज्ड-सिस्टम मल्टी-एजेंट रीजनिंग फिथफुलनेस को कम करती है। यह तर्क देता है कि यह एक संरचनात्मक विशेषता है, न कि विशिष्ट मॉडल्स की आकस्मिक विफलता।
सटीकता और फिथफुलनेस को अलग करना: यह प्रदर्शित करता है कि सटीकता और फिथफुलनेस ऑर्थोगोनल (एक दूसरे से स्वतंत्र) हैं; सिस्टम अत्यधिक सटीक हो सकते हैं जबकि साक्ष्य के प्रति पूरी तरह से अविश्वसनीय हो सकते हैं। यह "कन्वर्जेंस-टू-ट्रुथ" धारणा को चुनौती देता है जो कई स्केलेबल ओवरसाइट प्रस्तावों का आधार है।
एक नया मूल्यांकन प्रतिमान: यह दिखाते हुए कि फिथफुलनेस के लिए मानव इंटर-रेटर एग्रीमेंट अस्थिर है, यह पेपर तर्क देता है कि फिथफुलनेस मेट्रिक्स को केवल मानव गोल्ड स्टैंडर्ड के विरुद्ध कैलिब्रेट नहीं किया जाना चाहिए। इसके बजाय, उन्हें अपनी स्वयं की परिचालन स्थिरता (जैसे, डिकंपोजर-इनवेरिएंट) पर मूल्यांकन किया जाना चाहिए।
एक रचनात्मक समाधान: यह एक व्यवहार्य विकल्प के रूप में EGSR प्रदान करता है, यह सिद्ध करते हुए कि बाहरी साक्ष्य इंजेक्शन ही रीजनिंग ट्रैप से बचने के लिए आवश्यक शर्त है।

लेखक निष्कर्ष निकालते हैं कि क्षेत्र को "क्या उत्तर में सुधार हुआ है?" के बजाय "क्या तर्क साक्ष्य में आधारित रहता है?" पूछने की ओर स्थानांतरित होना चाहिए, और कोई भी क्लोजद-सिस्टम रीजनिंग प्रोटोकॉल जो थ्योरम 1 की मार्कोव स्थितियों को पूरा करता है, वह फिथफुलनेस पर समान DPI बाउंड के अधीन है।