🤖 machine learning

Reliability Scales Inversely: Bigger Models Compound Mistakes Faster via a Hidden Auto-Regressive Risk Regime

यह शोध पत्र यह प्रकट करता है कि जैसे-जैसे भाषा मॉडल स्केल होते हैं, वे तेजी से एक आत्म-निरंतर "ऑटो-रिग्रेसिव रिस्क रिजीम" (auto-regressive risk regime) में प्रवेश करते हैं जहाँ कम-संभाव्यता वाले टोकन त्रुटियाँ आत्मविश्वासपूर्ण, हिमस्खलन जैसी बढ़ती हुई मतिभ्रम (hallucinations) को ट्रिगर करती हैं जो मॉडल के अपने अनिश्चितता संकेतों द्वारा पता लगाए जाने की क्षमता से भी अधिक समय तक बनी रहती हैं, जिससे अंततः बड़े मॉडल अपनी सामान्य क्षमता प्राप्त करने के बावजूद गलतियों को अधिक तेजी से संचित करते हैं।

मूल लेखक: Kushal Chakrabarti

प्रकाशित 2026-07-22

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kushal Chakrabarti

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

द ग्रेट एआई पैराडॉक्स: क्यों बड़ा होना हमेशा बेहतर नहीं होता

कल्पना कीजिए कि आप एक रोबट को कहानियाँ सुनाना सिखा रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक लंबे समय से यह विश्वास रहा है कि यदि आप रोबोट को अधिक मस्तिष्क शक्ति, पढ़ने के लिए अधिक पुस्तकें और अध्ययन के लिए अधिक समय देंगे, तो वह अंततः पूर्ण बन जाएगा। इस विचार को "स्केलिंग" (scaling) कहा जाता है: मॉडल जितना बड़ा होगा, वह उतना ही स्मार्ट बनेगा। लेकिन इसमें एक पेंच है। जब ये रोबट लंबी कहानियाँ लिखते हैं, तो वे केवल बेहतर ही नहीं होते; वे कभी-कभी कहानी आगे बढ़ने के साथ सच बोलने में और भी खराब हो जाते हैं। वे एक सटीक तथ्य के साथ शुरुआत कर सकते हैं, लेकिन फिर वे गलती से एक झूठ गढ़ देते हैं, और क्योंकि वे उस झूठ को लेकर इतने आश्वस्त होते हैं, वे उसी के ऊपर पूरी कहानी का निर्माण करते हैं, जिससे निरर्थकता का एक स्नोबॉल (बर्फ का गोला) बन जाता है।

यह समझने के लिए कि ऐसा क्यों होता है, हमें यह देखना होगा कि ये रोबट कैसे "सोचते" हैं। वे तथ्यों को वैसे नहीं जानते जैसे हम जानते हैं; वे पहले देखे गए पैटर्न के आधार पर वाक्य में अगले शब्द की भविष्यवाणी करते हैं। वैज्ञानिकों ने पाया है कि जब एक रोबट गलती करता है, तो यह हमेशा इसलिए नहीं होता कि उसे उत्तर पता नहीं है। कभी-कभी, उसे उत्तर पता होता है लेकिन वह गलत अनुमान लगा देता है। एक बार जब वह गलत अनुमान लगा लेता है, तो वह अगले वाक्य के लिए उसे एक तथ्य मान लेता है। इसे "ऑटो-रिग्रेशन" (auto-regression) कहा जाता है: रोबोट अपने स्वयं के आउटपुट को वापस अपने अंदर फीड करता है। शोधकर्ता जो बड़ा सवाल पूछ रहे हैं वह यह है: यह गलती करने की प्रक्रिया बड़े रोबोट्स के साथ और बदतर क्यों होती जा रही है, और रोबट यह भी क्यों नहीं देख पाते कि वे झूठ बोल रहे हैं?

पेपर की बड़ी खोज: अदृश्य स्नोबॉल

कुशल चक्रवर्ती द्वारा लिखा गया यह पेपर, एआई विश्वसनीयता के बारे में हमारी सोच को पूरी तरह बदल देता है। मुख्य निष्कर्ष थोड़ा विरोधाभासी है: जैसे-जैसे एआई मॉडल बड़े होते जाते हैं, वे न केवल स्मार्ट होते हैं, बल्कि वे ऐसी गलतियाँ करने में भी बेहतर हो जाते हैं जो तेजी से बढ़ती (compound होती) हैं।

एक एआई मॉडल को एक ऐसे छात्र के रूप में सोचें जो एक लंबा, बहु-भाग वाला टेस्ट दे रहा है।

पुराना विचार: "नॉलेज गैप" (ज्ञान की कमी) सिद्धांत कहता है कि यदि कोई छात्र किसी प्रश्न का गलत उत्तर देता है, तो इसका कारण यह है कि उसने पर्याप्त अध्ययन नहीं किया। समाधान? उन्हें एक बड़ा पुस्तकालय (अधिक डेटा) और एक बड़ा मस्तिष्क (अधिक पैरामीटर्स) दें।
नई खोज: यह पेपर तर्क देता है कि बहुत बुद्धिमान छात्रों (बड़े मॉडल्स) के लिए, समस्या यह नहीं है कि वे तथ्यों को नहीं जानते। समस्या यह है कि एक बार जब वे एक छोटा, आत्मविश्वासी अनुमान लगाते हैं जो गलत निकलता है, तो वे एक "रिस्क रिजीम" (जोखिम की स्थिति) में फंस जाते हैं। वे उस गलत अनुमान के प्रति प्रतिबद्ध हो जाते हैं, और क्योंकि वे इतने आश्वस्त होते हैं, उन्हें एहसास नहीं होता कि वे गलत हैं। वे फिर उस गलत अनुमान का उपयोग अगले प्रश्न का उत्तर देने के लिए करते हैं, जिससे एक और गलत अनुमान लगता है, और इसी तरह चलता रहता है। छात्र जितना बड़ा होगा, झूठ का यह स्नोबॉल उतना ही तेजी से बढ़ेगा।

वह "जोखिम" जिसे आप महसूस नहीं कर सकते

इसे समझाने के लिए, लेखक एआई की "अनिश्चितता" (uncertainty) को दो भागों में विभाजित करने के लिए एक चतुर गणितीय ट्रिक का उपयोग करते हैं:

महसूस की गई अनिश्चितता (Felt Uncertainty): यह है कि एआई कितना घबराया हुआ महसूस करता है। यदि वह अनुमान लगा रहा है, तो वह बेचैन महसूस करता है। यदि वह निश्चित है, तो वह शांत महसूस करता है।
प्रतिबद्धता जोखिम (Commitment Risk): यह छिपा हुआ खतरा है। यह वह अंतर है जो एआई सोचता है कि सही है और एक "सुपर-स्मार्ट ऑरेकल" (एक आदर्श संदर्भ मॉडल) जो जानता है कि सही क्या है, उसके बीच का है।

यहाँ डरावनी बात यह है: एआई केवल अपनी घबराहट को ही महसूस कर सकता है। वह "प्रतिबद्धता जोखिम" को महसूस नहीं कर सकता।

कल्पना कीजिए कि आप एक पुल पर चल रहे हैं।

महसूस की गई अनिश्चितता यह है कि आपके घुटने कितने हिल रहे हैं।
प्रतिबद्धता जोखिम यह है कि पुल वास्तव में जमीन से कितनी दूर है।

जब एआई एक गलती (एक फैब्रिकेशन/गढ़ना) करता है, तो उसकी "घुटने" (महसूस की गई अनिश्चितता) लगभग तुरंत ही हिलना बंद कर देते हैं। वह फिर से शांत और आत्मविश्वासी महसूस करने लगता है। लेकिन पुल अभी भी जमीन से बहुत दूर है! "प्रतिबद्धता जोखिम" लंबे समय तक उच्च बना रहता है। क्योंकि एआई शांत महसूस करता है, उसे पता नहीं चलता कि वह अभी भी खतरे में है। वह आत्मविश्वास के साथ चलते रहना जारी रखता है और किनारे से नीचे गिर जाता है, जिससे झूठ की एक श्रृंखला बन जाती है।

"स्नोबॉल" प्रभाव

पेपर दिखाता है कि यह केवल एक बार की गलती नहीं है। एक बार जब एआई झूठ बोलना शुरू करता है, तो यह अगले ही वाक्य में दोबारा झूठ बोलने की संभावना को 1.08 से 1.71 गुना बढ़ा देता है।

छोटे मॉडल्स: वे गलतियाँ करते हैं, लेकिन वे हमेशा उन्हें पूरी तरह से एक साथ नहीं जोड़ पाते।
बड़े मॉडल्स: वे अगले शब्द की भविष्यवाणी करने में इतने अच्छे हैं कि एक बार जब वे गलत रास्ता चुन लेते हैं, तो वे अत्यधिक आत्मविश्वास के साथ उस पर टिक जाते हैं। वे केवल एक गलती नहीं करते; वे गलतियों की एक श्रृंखला बनाते हैं।

लेखकों ने पाया कि जैसे-जैसे मॉडल स्केल अप (बड़े) होते हैं, "नॉलेज गैप" (वे कितना नहीं जानते) लगभग 6 गुना कम हो जाता है। लेकिन "नॉलेज डिग्रेडेशन" (एक बार झूठ बोलने के बाद वे कितनी तेजी से बिखर जाते हैं) 11 से 39 गुना बदतर हो जाता है। दूसरे शब्दों में, बड़े मॉडल कहानी को सही ढंग से शुरू करने में बेहतर होते हैं, लेकिन बिना निरर्थक बातें बनाए उसे समाप्त करने में वे बहुत खराब होते हैं।

एआई खुद को क्यों नहीं पकड़ पाता?

आप पूछ सकते हैं, "एआई अपना काम खुद क्यों नहीं चेक करता?" पेपर एक अंध बिंदु (blind spot) को उजागर करता है। अधिकांश वर्तमान उपकरण जो एआई के झूठ का पता लगाने की कोशिश करते हैं, वे इस बात को देखते हैं कि एआई कितना "घबराया हुआ" है (उसकी महसूस की गई अनिश्चितता)।

समस्या: जब एआई झूठ शुरू करता है, तो वह एक पल के लिए घबराता है, और फिर शांत हो जाता है। डिटेक्शन टूल्स उस शांति को देखते हैं और सोचते हैं, "ओह, यह शांत है, तो यह सच बोल रहा होगा!"
वास्तविकता: एआई शांत है, लेकिन वह अभी भी "खतरे के क्षेत्र" (उच्च जोखिम) में है। टूल्स झूठ को मिस कर देते हैं क्योंकि वे घबराहट को देख रहे हैं, छिपे हुए जोखिम को नहीं। पेपर दिखाता है कि डिटेक्टर्स उस जोखिम भरे हिस्से (जिसमें झूठ होते हैं) पर 30% कम बार सक्रिय होते हैं, भले ही उस हिस्से में शुरुआती गलती की तुलना में लगभग 4 गुना अधिक फैब्रिकेशन्स (गढ़ना) मौजूद हों।

"जादुई समाधान" (और यह क्या सिद्ध करता है)

यह सिद्ध करने के लिए कि यह "छिपा हुआ जोखिम" ही असली विलेन है, लेखकों ने एक सिमुलेशन चलाया। उन्होंने एक ऐसे मॉडल को लिया जो गलती करने ही वाला था और कृत्रिम रूप से उसे कम "जोखिम भरा" बनाने के लिए मजबूर किया, बिना यह बदले कि वह क्या सोच रहा है।

परिणाम: जब उन्होंने उस छिपे हुए जोखिम को बाहर निकाला, तो विभिन्न प्रकार के मॉडल्स में झूठ की संख्या में 35% से 74% की गिरावट आई।
इसका अर्थ: यह साबित करता है कि समस्या यह नहीं है कि एआई को तथ्य पता नहीं है। समस्या यह है कि एआई ऐसी स्थिति में फंस जाता है जहाँ वह आत्मविश्वासी तो है लेकिन गलत है, और वह स्थिति त्रुटियों को ढेर करती रहती है।

निष्कर्ष

यह पेपर सुझाव देता है कि केवल एआई मॉडल्स को बड़ा बनाना उनके झूठ बोलने की समस्या को ठीक नहीं करेगा। वास्तव में, बड़े मॉडल्स इन "स्नोबॉल" झूठों के प्रति अधिक प्रवृत्त हो सकते हैं क्योंकि वे बहुत जल्दी आत्मविश्वासी हो जाते हैं। समाधान केवल अधिक डेटा नहीं है; समाधान उस छिपे हुए "प्रतिबद्धता जोखिम" (Commitment Risk) का पता लगाने का तरीका खोजना है, इससे पहले कि एआई खुद को एक झूठ में लॉक कर ले। जब तक हम यह नहीं देख पाते कि पुल जमीन से कितना दूर है, तब तक सबसे स्मार्ट एआई भी आत्मविश्वास के साथ सीधे किनारे से नीचे गिर सकता है।

तकनीकी सारांश: विश्वसनीयता व्युत्क्रमानुपाती रूप से घटती है (Reliability Scales Inversely)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) में मतिभ्रम (hallucination) के संबंध में प्रचलित दृष्टिकोण इसे एक "ज्ञान अंतराल" (knowledge gap) के रूप में देखता है—सूचना की एक कमी जिसे स्केलिंग, रिट्रीवल या अतिरिक्त डेटा से भरा जा सकता है। यह शोध पत्र इस तर्क को चुनौती देता है, और यह तर्क देता है कि जबकि स्केलिंग प्रारंभिक ज्ञान (ज्ञान अंतराल को कम करना) में सुधार करती है, यह साथ ही साथ एक विशिष्ट विफलता मोड को बढ़ाकर विश्वसनीयता को कम कर देती है: ऑटो-रिग्रेसिव जोखिम (auto-regressive risk)।

मूल समस्या यह है कि जैसे-जैसे मॉडल स्केल होते हैं, वे केवल अधिक सटीक नहीं होते; वे एक विशिष्ट प्रकार की संचयी त्रुटि (compounding error) के प्रति अधिक प्रवण हो जाते हैं। जब एक मॉडल एक निम्न-संभाव्यता वाले, असमर्थ टोकन (एक निर्माण/fabrication) के प्रति प्रतिबद्ध होता है, तो वह आगामी पीढ़ियों (generations) को उस त्रुटि पर आधारित (condition) कर देता है। यह प्रक्रिया क्षणिक सैंपलिंग विचरण (transient sampling variance) को निरंतर पूर्वाग्रह (persistent bias) में बदल देती है। महत्वपूर्ण रूप से, यह विफलता मोड मॉडल के अपने स्वयं के स्व-निगरानी तंत्रों के लिए संरचनात्मक रूप से अदृश्य है, जो बाहरी ओरेकल (external oracle) के बजाय मॉडल के आंतरिक संभाव्यता वितरण ( $p_M$ ) पर निर्भर करते हैं।

कार्यप्रणाली (Methodology)

लेखक एक असहमति चर ( $\delta$ ) पर आधारित एक सैद्धांतिक ढांचा पेश करते हैं, जिसे मॉडल के वितरण ( $p_M$ ) और एक मजबूत, समान-परिवार के ओरेकल ( $p_O$ ) के बीच लॉग-लाइक्लीहुड अनुपात के रूप में परिभाषित किया गया है:
$\delta_t(x) = \log p_M(x | y_{<t}) - \log p_O(x | y_{<t})$

इस चर के दूसरे मोमेंट ( $E[\delta^2]$ ) को दो अलग-अलग घटकों में विभाजित किया गया है:

पूर्वाग्रह ( $Bias^2$ ): वर्ग माध्य, $KL(p_M \| p_O)^2$ , जो मॉडल और ओरेकल के बीच व्यवस्थित अंतर का प्रतिनिधित्व करता है।
जोखिम ( $Var[\delta]$ ): असहमति का विचरण (variance), जो इस बात के प्रसार को दर्शाता है कि ओरेकल उन उम्मीदवारों को कैसे तौलता है जिन्हें मॉडल विचार में रखता है।

शोध पत्र कई मॉडल परिवारों (Qwen3, OLMo-3, Llama-3) और विभिन्न स्केल्स (0.6B से 32B) में तीन प्राथमिक प्रयोगात्मक दृष्टिकोणों का उपयोग करता है:

स्केलिंग विश्लेषण: "ज्ञान अंतराल" (प्रारंभिक मतिभ्रम दर) बनाम "ज्ञान क्षरण" (एक प्रतिक्रिया की लंबाई के साथ मतिभ्रम बढ़ने की दर) को मापने के लिए FActScore और LongFact++ बेंचमार्क का उपयोग।
ऑनसेट डायनेमिक्स (Onset Dynamics): एक निर्माण (fabrication) के तुरंत बाद $\delta$ , इसके मोमेंट्स, और मॉडल द्वारा महसूस की गई अनिश्चितता ( $H(p_M)$ ) के अस्थायी व्यवहार का विश्लेषण।
कारण हस्तक्षेप (In Silico Knockout): एक "जोखिम संकुचन" (risk contraction) तंत्र लागू करना। उन चरणों पर जहाँ मॉडल ओरेकल से विचलित होता है, मॉडल के अगले-टोकन वितरण को संशोधित किया जाता है ताकि $\delta$ के विचरण को कम किया जा सके, जबकि माध्य (KL divergence) को सख्ती से संरक्षित रखा जाए। यह जोखिम को पूर्वाग्रह (bias) से अलग करने के लिए जोखिम के कारण प्रभाव को अलग करता है।

मुख्य योगदान

1. त्रुटि का अपघटन (The Decomposition of Error)

यह शोध पत्र स्थापित करता है कि मतिभ्रम केवल ज्ञान अंतराल (bias) का कार्य नहीं है। यह जोखिम ( $Var[\delta]$ ) को एक प्रमुख, विशिष्ट त्रुटि पद के रूप में पहचानता है। जबकि स्केलिंग पूर्वाग्रह को कम करती है (मॉडल औसतन ओरेकल के करीब आता है), यह जोखिम (विचरण) को कम करने में विफल रहती है, जो वास्तव में जैसे-जैसे मॉडल बढ़ते हैं, कुल त्रुटि का एक बड़ा हिस्सा बन जाता है।

2. निरंतरता विषमता (The Persistence Asymmetry)

एक निर्माण के बाद "महसूस की गई अनिश्चितता" और "ओरेकल-संदर्भित जोखिम" के बीच विचलन एक महत्वपूर्ण निष्कर्ष है:

महसूस की गई अनिश्चितता ( $H(p_M)$ ): निर्माण के क्षण में मॉडल की आंतरिक अनिश्चितता बढ़ जाती है लेकिन जैसे ही पीढ़ी प्रवाहपूर्ण (fluent) होती है, यह तेजी से शिथिल हो जाती है (~0.3 टोकन के भीतर)।
ओरेकल-संदर्भित जोखिम ( $Var[\delta]$ ): प्रतिबद्ध त्रुटि से जुड़ा जोखिम काफी लंबे समय तक (3.5–5.0 टोकन) बना रहता है।
यह एक "आत्मविश्वासी-लेकिन-अस्थिर" (confident-but-precarious) स्थिति बनाता है जहाँ मॉडल निश्चित महसूस करता है लेकिन सांख्यिकीय रूप से सत्य से विचलित होता है, एक ऐसी स्थिति जिसे स्व-निगरानी डिटेक्टर नहीं पकड़ सकते क्योंकि वे केवल $H(p_M)$ को पढ़ते हैं।

3. ऑटो-रिग्रेसिव रूपांतरण और स्नोबॉलिंग (Auto-Regressive Conversion and Snowballing)

शोध पत्र प्रदर्शित करता है कि ऑटो-रिग्रेशन एक ऐसी मशीन के रूप में कार्य करता है जो इस निरंतर जोखिम को स्थिर पूर्वाग्रह में बदल देती है। एक बार जब मॉडल एक असमर्थ टोकन का चयन कर लेता है, तो जोखिम एक निश्चित अंतराल में सिमट जाता है जो सभी आगामी टोकनों द्वारा विरासत में लिया जाता है। इससे त्रुटि संचय (error compounding) होता है: बाद के मतिभ्रम का सापेक्ष जोखिम स्केल के साथ निरंतर बढ़ता है (1.08× से വ 1.71×), जिसका अर्थ है कि बड़े मॉडल मतिभ्रम की श्रृंखला बनाने के प्रति अधिक प्रवण होते हैं।

4. स्व-निगरानी की संरचनात्मक अंधापन (Structural Blindness of Self-Monitoring)

केवल मॉडल के वितरण ( $p_M$ ) पर आधारित डिटेक्टर, जैसे कि Semantic Entropy या SelfCheckGPT, इस जोखिम शासन के प्रति संरचनात्मक रूप से अंधे हैं। शोध पत्र दिखाता है कि ये डिटेक्टर निर्माणों के बीच के "ब्रिज" (bridge) टोकन पर काफी कम (लगभग 30% कम) सक्रिय होते हैं, जबकि ये टोकन निर्माण के आरंभ (onset) टोकनों की तुलना में लगभग 4 गुणा अधिक मतिभ्रम ले जाते हैं। डिटेक्टर "अस्थिर" शाखा को मिस कर देते हैं क्योंकि मॉडल की आंतरिक अनिश्चितता पहले ही शिथिल हो चुकी होती है।

मुख्य परिणाम

विश्वसनीयता की व्युत्क्रम स्केलिंग (Inverse Scaling of Reliability): मॉडल परिवारों में, स्केलिंग प्रारंभिक ज्ञान अंतराल को 5.7–7.0× कम करती है, लेकिन ज्ञान क्षरण (त्रुटि संचय की दर) को 11–19× बढ़ा देती है। क्षमता (capability) और विश्वसनीयता (reliability) को अलग-अलग स्केलिंग अक्षों के रूप में दिखाया गया है।
जोखिम की प्रधानता (Risk Dominance): जैसे-जैसे मॉडल स्केल होते हैं, कुल वर्ग त्रुटि में जोखिम (विचरण) का हिस्सा 31% से बढ़कर 49% हो जाता है। असहमति वितरण की पूँछ (tail) भी भारी होती जाती है (excess kurtosis 8.9 से बढ़कर 33.0 हो जाता है)।
मतिभ्रम का कारण-संबंधी न्यूनीकरण (Causal Reduction of Hallucination): जोखिम संकुचन हस्तक्षेप (माध्य को स्थिर रखते हुए विचरण को कम करना) लागू करके, लेखकों ने तीन मॉडल परिवारों में वेब-सत्यापित मतिभ्रम को 35–74% तक कम किया। यह पुष्टि करता है कि संचयी मात्रा 'जोखिम' है, न कि 'ज्ञान'।
डिटेक्टर की विफलता: पाया गया कि सेमेंटिक एंट्रॉपी डिटेक्टर, ऑनसेट की तुलना में "ब्रिज" शासन (निर्माणों के बीच की स्थिति) के प्रति काफी कम संवेदनशील थे, जिसमें सांख्यिकीय महत्व ( $p < 10^{-16}$ ) था।

महत्व और दावे

शोध पत्र मतिभ्रम की समझ को एक स्थिर ज्ञान की कमी से बदलकर एक गतिशील, स्वतः-परिपत्र जोखिम शासन (dynamic, self-perpetating risk regime) के रूप में पुनर्व्याख्या करने का दावा करता है। इसका प्राथमिक महत्व है:

मैकेनिस्टिक कौज़ैलिटी (Mechanistic Causality): यह पहली बार ऑन-पॉलिसी, कारण संबंधी साक्ष्य प्रदान करता है कि मॉडल-ओरेकल अंतराल के विचरण को सिकोड़ना (बिना माध्य बदले) सीधे तौर पर मतिभ्रम को कम करता है, जो सिद्ध करता है कि "जोखिम" ही संचयी त्रुटियों का चालक है।
स्केलिंग की सीमाएँ: यह प्रदर्शित करना कि केवल मॉडल को स्केल करना विश्वसनीयता को हल नहीं करता; वास्तव में, बड़े मॉडल विशेष प्रकार की संचयी त्रुटियों के प्रति अधिक संवेदनशील हो सकते हैं क्योंकि जोखिम की पूँछ (risk tail) अधिक तीव्र होती जाती है।
ब्लाइंड स्पॉट: यह उजागर करना कि वर्तमान स्व-निगरानी तकनीकें मौलिक रूप से सीमित हैं क्योंकि वे जोखिम पद ( $Var[\delta]$ ) को नहीं देख सकती हैं, जो कि स्वयं मतिभ्रम को चलाने वाला तंत्र है।

लेखक निष्कर्ष निकालते हैं कि विश्वसनीयता एक अलग स्केलिंग अक्ष है जिसके लिए नए हस्तक्षेपों की आवश्यकता है जो केवल औसत ज्ञान या स्वयं-रिपोर्ट की गई अनिश्चितता पर निर्भर रहने के बजाय, मॉडल की प्रतिबद्धता के विचरण (variance) को लक्षित करते हैं। प्रमुख विफलता मोड को "स्वयं मॉडल के लिए अदृश्य" के रूप में वर्णित किया गया है, जिसके लिए प्रभावी शमन के लिए बाहरी या व्हाइट-बॉक्स संकेतों की आवश्यकता है।