🤖 machine learning

When Can Conformal Risk Control Certify LLM Outputs? Bounds, Impossibility, and Adaptation for Structured Generation

यह शोध पत्र उच्च-जोखिम वाले परिदृश्यों के लिए एक असंभवता सीमा (impossibility bound) को सिद्ध करके, एडेप्टिव बाउंड्स और डिस्ट्रीब्यूशन शिफ्ट के तहत अनुमान से महत्वपूर्ण लाभ प्रदर्शित करके, और एक ऐसा परिनियोजन ढांचा प्रदान करके जो विभिन्न मॉडलों और कार्यों में प्रमाणन (certification) की उपलब्धि को पहचानता है, स्ट्रक्चर्ड LLM आउटपुट को प्रमाणित करने के लिए कॉन्फॉर्मल रिस्क कंट्रोल की सैद्धांतिक व्यवहार्यता और व्यावहारिक सीमाओं को स्थापित करता है।

मूल लेखक: Varun Kotte

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Varun Kotte

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान लेकिन कभी-कभी अति-आत्मविश्वासी रोबोट सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो दस्तावेज़ों को व्यवस्थित करने, टेक्स्ट से नाम निकालने या प्रश्नों के उत्तर देने में आपकी मदद करता है। आप इस रोबोट का उपयोग करना चाहते हैं, लेकिन आपको डर है कि यह गलतियाँ कर सकता है। आप एक गारंटी चाहते हैं: "यदि रोबोट मुझे उत्तर देता है, तो मैं सुनिश्चित होना चाहता हूँ कि वह कम से कम 90% बार सही हो।"

यह पेपर एक सेफ्टी इंस्पेक्टर (सुरक्षा निरीक्षक) बनाने के मैनुअल की तरह है। यह पूछता है: क्या हम गणितीय रूप से यह सिद्ध कर सकते हैं कि रोबंतु सुरक्षित रूप से भरोसेमंद है? और यदि नहीं, तो क्यों नहीं?

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:

1. "असंभव" फर्श (अपरिहार्य सत्य)

सबसे महत्वपूर्ण निष्कर्ष एक "कठोर सीमा" है। कल्पना कीजिए कि रोबोट की एक स्वाभाविक त्रुटि दर है (इसे हम बेस रिस्क कह सकते हैं)।

परिदृश्य: यदि रोबोट स्वाभाविक रूप से 40% बार गलतियाँ करता है (बेस रिस्क = 40%), और आप मांग करते हैं कि यह केवल 10% बार गलती करे (टारगेट = 10%), तो कोई भी जादुई ट्रिक इसे ठीक नहीं कर सकती।
उपमा: इसे एक ऐसे डार्ट फेंकने वाले खिलाड़ी के रूप में सोचें जो स्वाभाविक रूप से लक्ष्य (bullseye) पर निशाना लगाने में खराब है। यदि आप उससे कहते हैं, "मैं केवल तभी चाहता हूँ जब आप सुनिश्चित हों कि आप लक्ष्य पर निशाना लगाएंगे," तो उसे अपने लगभग सभी डार्ट फेंकने पड़ेंगे।
पेपर का नियम: लेखकों ने एक सूत्र सिद्ध किया है: यदि रोबोट की स्वाभाविक त्रुटि दर आपके लक्ष्य से अधिक है, तो रोबोट को अनिवार्य रूप से कुछ निश्चित प्रतिशत सवालों के जवाब देने से मना करना होगा (abstain)। आप रोबोट को बिना काम का एक बड़ा हिस्सा छोड़े "सुरक्षित" प्रमाणित नहीं कर सकते।
- उदाहरण: यदि रोबोट 40% बार गलत होता है और आप 10% गलत होने की मांग करते हैं, तो उसे 42% बार उत्तर देने से मना करना होगा। यदि आप उसे अधिक उत्तर देने के लिए मजबूर करते हैं, तो सुरक्षा गारंटी टूट जाएगी।

2. सुरक्षा निरीक्षकों के तीन स्तर

यह पेपर तीन अलग-अलग "सुरक्षा निरीक्षकों" (गणितीय विधियों) का परीक्षण करता है ताकि यह देखा जा सके कि कौन सा सबसे अच्छा है।

निरीक्षक A (Hoeffding): बुनियादी, सतर्क निरीक्षक। यह हर बार सबसे खराब स्थिति (worst-case scenario) को मान लेता है। यह सुरक्षित है, लेकिन बहुत सख्त है और अक्सर अच्छे उत्तरों को भी "ना" कह देता है।
निरीक्षक B (Bernstein): एक स्मार्ट निरीक्षक। यह देखता है कि रोबोट का आत्मविश्वास कितना बदलता है। यदि रोबोट आमतौर पर सुसंगत है, तो यह निरीक्षक कम सख्त होता है और अधिक अच्छे उत्तरों को आगे जाने देता है। यह सबसे बड़ा सुधार था, जिसने लगभग 37% अधिक कॉन्फ़िगरेशन को सुरक्षा परीक्षण पास करने दिया।
निरीक्षक C (e-CRC): एक विशेषज्ञ जुआरी। यह "बेटिंग" (दांव लगाने) की रणनीति का उपयोग करता है। यदि रोबोट अच्छा प्रदर्शन कर रहा है, तो यह उसके सुरक्षित होने पर दांव लगाता है। यह सबसे सटीक निरीक्षक है, विशेष रूप से तब जब आपके पास रोबोट का परीक्षण करने के लिए बहुत अधिक डेटा न हो। यह सुरक्षा को प्रमाणित कर सकता है जब अन्य दोनों निरीक्षक इसे "असंभव" कहते हैं।

3. "लक्ष्य को ढीला करने" की रणनीति

पेपर ने पाया कि बहुत कठिन कार्यों (जैसे जटिल मेडिकल नाम निकालना) के लिए, रोबोट अक्सर 10% त्रुटि लक्ष्य को पूरा करने के लिए बहुत अधिक त्रुटिपूर्ण होता है।

समाधान: यदि आप अपने लक्ष्य को ढीला करते हैं और 30% या 40% त्रुटि दर स्वीकार करने के लिए तैयार होते हैं (जो कि एक पहले ड्राफ्ट या ट्राइएज सिस्टम के लिए उपयोगी हो सकता है), तो रोबोट अचानक प्रमाणित करने योग्य हो जाता है।
सीख: आप हमेशा एक "परफेक्ट" गारंटी प्राप्त नहीं कर सकते। लेकिन यदि आप एक "काफी अच्छा" (good enough) गारंटी स्वीकार करने के लिए तैयार हैं, तो आप एक गणितीय रूप से सिद्ध सुरक्षा जाल प्राप्त कर सकते हैं।

4. जब रोबोट खो जाता है (अनुकूलन/Adaptation)

क्या होता है यदि आप रोबोट को समाचार लेखों पर प्रशिक्षित करते हैं लेकिन फिर उसे सोशल मीडिया पोस्ट का विश्लेषण करने के लिए कहते हैं? रोबोट भ्रमित हो जाता है (इसे "डिस्ट्रीब्यूशन शिफ्ट" कहा जाता है)।

समस्या: एक स्थिर सुरक्षा निरीक्षक (एक जो एक बार नियम सेट करता है और भूल जाता है) यहाँ बुरी तरह विफल हो जाता है। यह 70% गलत उत्तरों को आगे जाने दे सकता है क्योंकि नियम नए वातावरण के अनुकूल नहीं हैं।
समाधान (ACI): लेखकों ने एक "जीवित" निरीक्षक का परीक्षण किया जो वास्तविक समय में अपने नियमों को समायोजित करता है। यदि रोबोट अधिक गलतियाँ करने लगता है, तो निरीक्षक तुरंत कहता है, "रुको! अधिक सावधान रहो!" यदि रोबोट अच्छा करता है, तो यह नियमों को ढीला कर देता है। इसने विफलता दर को 71% से घटाकर 21% कर दिया।

5. संकेतों को मिलाना (Score Fusion)

रोबोट अपने आत्मविश्वास के बारे में कई अलग-अलग संकेत देता है (जैसे, "मैं इस शब्द के बारे में आश्वस्त हूँ," या "मैंने इसे पहले देखा है")।

निष्कर्ष: केवल एक संकेत सुनने के बजाय, पेपर इन सभी को एक साथ मिलाने (जैसे एक शेफ मसालों को मिलाता है) का सुझाव देता है। यह "फ्यूज्ड" (मिश्रित) संकेत किसी भी एकल संकेत की तुलना में रोबोट की गलतियों को पहचानने में बहुत बेहतर है।

तैनाती के लिए अंतिम "रेसिपी"

लेखक उन सभी के लिए एक सरल तीन-चरणीय मार्गदर्शिका देते हैं जो इन रोबोटों का सुरक्षित रूप से उपयोग करना चाहते हैं:

फर्श (Floor) की जाँच करें: शुरू करने से पहले, रोबोट की स्वाभाविक त्रुटि दर की गणना करें। यदि यह आपके सुरक्षा लक्ष्य से अधिक है, तो जान लें कि आपको उम्मीद करनी होगी कि रोबोट कई उत्तर देने से मना कर देगा। जादुई समाधान खोजने में समय बर्बाद न करें।
सही निरीक्षक चुनें: बुनियादी वाले का उपयोग न करें। "Bernstein" या "e-CRC" निरीक्षकों का उपयोग करें, विशेष रूप से तब जब आपके पास परीक्षण के लिए बहुत अधिक डेटा न हो।
देखें और समायोजित करें: यदि रोबोट एक प्रकार के डेटा से दूसरे प्रकार के डेटा (जैसे समाचार से सोशल मीडिया) की ओर बढ़ रहा है, तो "जीवित" निरीक्षक (ACI) का उपयोग करें जो चलते समय नियमों को समायोजित करता है।

संक्षेप में: आप एक अनाड़ी रोबोट को लगातार सोचने के बिना पूर्ण होने के लिए मजबूर नहीं कर सकते। लेकिन यदि आप उसकी सीमाओं को जानते हैं, सही गणितीय उपकरणों का उपयोग करते हैं, और उसे नई स्थितियों के अनुकूल होने देते हैं, तो आप उसके आउटपुट के लिए गणितीय रूप से गारंटीकृत सुरक्षा जाल प्राप्त कर सकते हैं।

तकनीकी सारांश: कॉन्फॉर्मल रिस्क कंट्रोल (Conformal Risk Control) कब LLM आउटपुट्स को प्रमाणित कर सकता है?

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग तेजी से स्ट्रक्चर्ड जनरेशन कार्यों के लिए किया जा रहा है—जैसे कि नेम्ड एंटिटी रिकग्निशन (NER), JSON एक्सट्रैक्शन, प्रश्न उत्तर (QA), और क्लासिफिकेशन—जहाँ आउटपुट्स को एक विशिष्ट स्कीमा का पालन करना चाहिए और उन्हें ग्राउंड ट्रुथ (ground truth) के विरुद्ध मूल्यांकित किया जा सकता है। हालाँकि, इन मॉडल्स में औपचारिक विश्वसनीयता गारंटी (formal reliability guarantees) का अभाव है। मानक अनिश्चितता मात्रा निर्धारण विधियाँ (जैसे, टोकन प्रोबेबिलिटीज़, एंट्रॉपी थ्रेशोल्ड) स्ट्रक्चर्ड लॉस के लिए अक्सर मिसकैलिब्रेटेड होती हैं, और ह्यूristic एब्स्टेंशन पॉलिसीज़ (abstention policies) अक्सर उपयोगकर्ता द्वारा निर्दिष्ट रिस्क टारगेट को 7.5–12.5% की दर से चूक जाती हैं।

मुख्य समस्या यह निर्धारित करने की है कि कॉन्फॉर्मल रिस्क कंट्रोल (CRC) कब औपचारिक रूप से यह प्रमाणित कर सकता है कि एक LLM के स्ट्रक्चर्ड आउटपुट्स उपयोगकर्ता द्वारा परिभाषित रिस्क टारगेट $\alpha$ (जैसे, "एरर रेट $\le 10\%$ ") को पूरा करते हैं, और कब ऐसा प्रमाणन किसी भी विधि के उपयोग के बावजूद संभवतः असंभव है।

2. कार्यप्रणाली (Methodology)

2.1. समस्या सेटअप

लेखक एक सिलेक्टिव प्रेडिक्टर (selective predictor) को परिभाषित करते हैं जो एक प्रेडिक्शन $\hat{y}$ तब उत्सर्जित करता है जब कॉन्फिडेंस स्कोर $s(x, \hat{y}) \ge \lambda$ हो और अन्यथा एब्स्टेन (abstain) करता है। लक्ष्य एक थ्रेशोल्ड $\lambda^*$ खोजना है ताकि कंडीशनल रिस्क इस प्रकार संतुष्ट हो:
$E[R_{task}(\hat{Y}, Y) \mid s(X) \ge \lambda^*] \le \alpha$
इसकी संभावना $\ge 1-\delta$ है, जहाँ $R_{task}$ एक टास्क-विशिष्ट रिस्क है (जैसे, NER के लिए $1 - F_1$ , या QA के लिए $1 - \text{Exact Match}$ )।

2.2. सर्टिफिकेशन पदानुक्रम (Certification Hierarchy)

पेपर $\lambda^*$ चुनने के लिए उपयोग किए जाने वाले बाउंड्स के एक पदानुक्रम का विश्लेषण करता है:

होफडिंग बाउंड (Hoeffding Bound): मानक अपर कॉन्फिडेंस बाउंड (UCB) जो वेरिएंस को अनदेखा करता है।
एम्पिरिकल बर्नस्टीन बाउंड (Empirical Bernstein Bound): यह सैंपल वेरिएंस $\hat{\sigma}^2$ को शामिल करता है, जिससे कम वेरिएस ( $\hat{\sigma}^2 < 1/4$ ) होने पर टाइट बाउंड्स प्राप्त होते हैं।
e-CRC (Betting-Based): यह एक टेस्टिंग-बाय-बेटिंग फ्रेमवर्क (e-values) का उपयोग करके एक वेल्थ प्रोसेस का निर्माण करता है। यह अनुक्रमिक दांव (sequential bets) के माध्यम से पूर्ण रूप से एम्पिरिकल डिस्ट्रीब्यूशन के अनुकूल होता है, जिससे सबसे टाइट बाउंड मिलता है, विशेष रूप से डेटा की कमी वाले परिदृश्यों में।

लेखक प्रमाणित थ्रेशोल्ड्स के एक सख्त क्रम को सिद्ध करते हैं: $\Lambda^*_{Hoeff} \subseteq \Lambda^*_{Bern} \subseteq \Lambda^*_{e-CRC}$ ।

2.3. असंभवता परिणाम (Impossibility Result / Feasibility Test)

एक केंद्रीय सैद्धांतिक योगदान एब्स्टेंशन (abstention) पर एक क्लोज्ड-फॉर्म लोअर बाउंड है। लेखक सिद्ध करते हैं कि यदि डिप्लॉयमेंट पॉपुलेशन पर बेस रिस्क $\mu = E[R]$ मॉडल का लक्षित $\alpha$ से अधिक है, तो कोई भी डिस्ट्रीब्यूशन-फ्री विधि कम से कम कुछ उदाहरणों पर एब्स्टेन करेगी:
$\text{Abstention} \ge \frac{\mu - \alpha}{1 - \alpha}$
यह एक फेज़िबिलिटी टेस्ट के रूप में कार्य करता है: यदि $\mu > \alpha$ , तो प्रमाणन केवल इनपुट के एक बड़े हिस्से को रिजेक्ट करके ही संभव है।

2.4. एडेप्टिव कॉन्फॉर्मल इन्फरेंस (Adaptive Conformal Inference - ACI)

डिस्ट्रीब्यूशन शिफ्ट (जहाँ टेस्ट डिस्ट्रीब्यूशन, कैलिब्रेशन सेट से भिन्न होता है) को संबोधित करने के लिए, पेपर ACI का मूल्यांकन करता है। यह विधि देखे गए रिस्क के आधार पर ऑनलाइन थ्रेशोल्ड को अपडेट करती है:
$\lambda_{t+1} = \lambda_t + \gamma(r_t - \alpha)$
यह शिफ्ट के तहत एसिम्प्टोटिक कंट्रोल प्रदान करता है, हालांकि यह फाइनाइट-सैंपल गारंटी नहीं देता है।

2.5. स्कोर फ्यूजन (Score Fusion)

लेखक अलग-अलग कैलिब्रेशन डेटा पर लॉजिस्टिक रिग्रेशन के माध्यम से एक फ्यूज्ड कॉन्फिडेंस स्कोर $\tilde{s}(x)$ सीखने का प्रस्ताव देते हैं, जो कई संकेतों (जैसे, सेल्फ-कंसिस्टेंसी, टोकन मार्जिन, सिमेंटिक एंट्रॉपी) को जोड़ता है। वे सिद्ध करते हैं कि यदि फ्यूजन फंक्शन फिक्स्ड है और CRC कैलिब्रेशन सैंपल से स्वतंत्र है, तो CRC वैधता गारंटी सुरक्षित रहती है।

3. मुख्य योगदान

असंभवता परिणाम और फेज़िबिलिटी कैरेक्टराइजेशन: पेपर स्थापित करता है कि जब बेस रिस्क $\mu > \alpha$ हो, तो कोई भी डिस्ट्रीब्यूशन-फ्री विधि $\ge (\mu - \alpha)/(1 - \alpha)$ उदाहरणों पर एब्स्टेन किए बिना आउटपुट्स को प्रमाणित नहीं कर सकती। यह एक प्री-डिप्लॉयमेंट चेक प्रदान करता है कि क्या रिस्क टारगेट प्राप्त करने योग्य है।
सर्टिफिकेशन पदानुक्रम: लेखक $\Lambda^*_{Hoeff} \subseteq \Lambda^*_{Bern} \subseteq \Lambda^*_{e-CRC}$ पदानुक्रम को स्थापित और अनुभवजन्य रूप से सत्यापित करते हैं। वे दिखाते हैं कि होफडिंग से बर्नस्टीन की ओर बढ़ने से कम-वेरिएंस वाले परिदृश्यों में सबसे बड़ा लाभ (+37% अधिक प्रमाणित कॉन्फ़िगरेशन) मिलता है, जबकि e-CRC कम डेटा वाले परिदृश्यों में महत्वपूर्ण मूल्य प्रदान करता है (जैसे, 20% डेटा पर 10% प्रमाणन बनाम होफडिंग के लिए 0%)।
शिफ्ट के प्रति अनुकूलन: अध्ययन क्रॉस-डेटासेट ट्रांसफर के तहत ACI को मान्य करता है, जो रिस्क-टारगेट उल्लंघनों को 71% (स्टैटिक CRC) से घटाकर 21% करने में सफल रहा। शेष विफलताएं ठीक वहीं होती हैं जहाँ असंभवता बाउंड भारी एब्स्टेंशन की आवश्यकता की भविष्यवाणी करता है।
अनुभवजन्य बेंचमार्क (Empirical Benchmark): छह ओपन-वेट मॉडल्स (3B–72B पैरामीटर्स), आठ डेटासेट्स, चार टास्क और छह नॉन-कॉन्फॉर्मिटी स्कोर के माध्यम से एक व्यापक मूल्यांकन। अध्ययन पाता है कि कठिन NER/QA/CLS कॉन्फ़िगरेशन अक्सर सख्त $\alpha=0.10$ पर अनसर्टिफिएबल होते हैं, लेकिन $\alpha$ को 0.30–0.40 तक शिथिल करने से व्यावहारिक प्रमाणन अनलॉक हो जाता है (47% NER, 40% QA, 60% CLS)।

4. परिणाम

मिसकैलिब्रेशन: स्ट्रक्चर्ड टास्क के लिए LLMs महत्वपूर्ण मिसकैलिब्रेशन प्रदर्शित करते हैं। जबकि औसत कॉन्फिडेंस उच्च (74–97%) है, वास्तविक रिस्क व्यापक रूप से भिन्न होता है (JSON के लिए 3% से लेकर NQ Open QA के लिए 80% तक)।
फेज़िबिलिटी लिमिट्स: $\alpha=0.10$ पर, NER/QA/CLS के लिए सर्टिफिकेशन दर लगभग शून्य है क्योंकि $\mu \gg \alpha$ है। उदाहरण के लिए, NQ Open QA में $\mu \approx 0.80$ है, जिसके लिए 10% रिस्क टारगेट को पूरा करने हेतु $\ge 78\%$ एब्स्टेंशन आवश्यक है।
बाउंड प्रदर्शन:
- होफडिंग: 8.7% कॉन्फ़िगरेशन को प्रमाणित करता है।
- बर्नस्टीन: 11.9% प्रमाणित करता है (होफडिंग पर +37% लाभ)।
- e-CRC: 12.2% प्रमाणित करता है, जिसका सबसे महत्वपूर्ण लाभ कम-डेटा वाले परिदृश्यों में है।
- सभी विधियाँ प्रमाणित कॉन्फ़िगरेशन के बीच लगभग शून्य उल्लंघन दर बनाए रखती हैं।
मॉडल स्केलिंग: मॉडल का आकार बढ़ाने से बेस रिस्क $\mu$ कम हो जाता है। CoNLL NER के लिए, $\mu$ 3B के लिए 0.42 से घटकर 72B के लिए 0.24 हो जाता है, जिससे 72B मॉडल्स के लिए $\alpha=0.25$ पर प्रमाणन संभव हो जाता है जहाँ 14B मॉडल्स विफल हो जाते हैं।
स्कोर फ्यूजन: कैलिब्रेटेड फ्यूजन 89% कॉन्फ़िगरेशन में AUROC में सुधार करता है, जिसमें वर्गीकरण और NER कार्यों में सबसे बड़े लाभ मिलते हैं जहाँ व्यक्तिगत स्कोर कमजोर होते हैं।

5. महत्व और दावे

पेपर केवल एक नया कॉन्फॉर्मल प्रिमिटिव देने के बजाय एक डिप्लॉयमेंट-फेसिंग कैरेक्टराइजेशन प्रदान करने का दावा करता है। इसका प्राथमिक महत्व इस प्रश्न को "कौन सा बाउंड सबसे टाइट है?" से बदलकर "क्या प्रमाणन संभव है?" करने में निहित है।

फेज़िबिलिटी फर्स्ट: असंभवता बाउंड (impossibility bound) अभ्यासकर्ताओं को किसी भी CRC प्रक्रिया को चलाने से पहले न्यूनतम आवश्यक एब्स्टेंशन की गणना करने की अनुमति देता है। यदि आवश्यक एब्स्टेंशन अस्वीकार्य है, तो पेपर मॉडल को स्केल करने, रिस्क टारगेट $\alpha$ को शिथिल करने, या भारी एब्स्टेंशन को स्वीकार करने का सुझाव देता है।
व्यावहारिक रेसिपी: लेखक तीन-चरणीय डिप्लॉयमेंट फ्रेमवर्क प्रस्तावित करते हैं:
1. फेज़िबिलिटी की जाँच करें: $\mu$ की गणना करें; यदि $\mu > \alpha$ , तो एब्स्टेंशन फ्लोर की गणना करें।
2. बाउंड और स्कोर चुनें: बर्नस्टीन या e-CRC का उपयोग करें (होफडिंग का कभी नहीं) और स्कोर फ्यूजन या सेल्फ-कंसिस्टेंसी का उपयोग करें।
3. शिफ्ट को कम करें: यदि टेस्ट डिस्ट्रीब्यूशन, कैलिब्रेशन डिस्ट्रीशन से भिन्न हो सकता है, तो ACI तैनात करें।
यथार्थवादी अपेक्षाएं: यह कार्य स्पष्ट करता है कि कठिन कार्यों (उच्च $\mu$ ) और सख्त लक्ष्यों (कम $\alpha$ ) के लिए, प्रमाणन स्वाभाविक रूप से मॉडल के बेस प्रदर्शन द्वारा सीमित है, न कि सांख्यिकीय विधि द्वारा। $\alpha$ को यथार्थवादी स्तरों (जैसे, 0.30–0.40) तक शिथिल करने से कई स्ट्रक्चर्ड टास्क के लिए प्रमाणन व्यावहारिक हो जाता है।

पेपर निष्कर्ष निकालता है कि हालांकि CRC औपचारिक गारंटी प्रदान करता है, इसकी उपयोगिता बेस रिस्क और लक्षित रिस्क के बीच मौलिक ट्रेड-ऑफ द्वारा सीमित है, जो एक ऐसा प्रतिबंध है जिसे कोई भी सांख्यिकीय बाउंड पार नहीं कर सकता।