🤖 machine learning

PASC: Pipeline-Aware Conformal Prediction with Joint Coverage Guarantees for Multi-Stage NLP and LLM Pipelines

यह शोध पत्र PASC को प्रस्तुत करता है, जो एक पाइपलाइन-जागरूक कॉन्फॉर्मल प्रेडिक्शन विधि है जो समस्या को एकल स्केलर क्वांटाइल गणना में कम करके मल्टी-स्टेज NLP और LLM सिस्टम के लिए परिमित-नमूना संयुक्त कवरेज गारंटी सुनिश्चित करती है, जिससे यह सटीकता और दक्षता दोनों में स्वतंत्र अंशांकन (कैलिब्रेशन) और रूढ़िवादी बोनफेरोनी बाउंड्स से काफी बेहतर प्रदर्शन करती है।

मूल लेखक: Varun Kotte

प्रकाशित 2026-05-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Varun Kotte

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

समस्या: AI की "टूटी हुई कड़ी" (The "Broken Chain" of AI)

कल्पना कीजिए कि आप मेल (डाक) छाँटने के लिए एक जटिल मशीन बना रहे हैं। इसमें तीन चरण हैं:

चरण A: एक रोबोट लिफाफे को स्कैन करता है और पता ढूँढता है।
चरण B: दूसरा रोबोट उस पते को डेटाबेस में खोजता है ताकि पिन कोड मिल सके।
चरण C: तीसरा रोबोट उस पिन कोड के आधार पर पत्र को सही डिब्बे में डालता है।

AI की दुनिया में (विशेष रूप से NLP और LLMs में), इन्हें पाइपलाइन (pipelines) कहा जाता है। पेपर एक बड़ी समस्या की ओर इशारा करता है: यदि आप सुनिश्चित करते हैं कि चरण A 90% सटीक है, चरण B 90% सटीक है, और चरण C 90% सटीक है, तो पूरी मशीन 90% सटीक नहीं होती है।

क्योंकि ये चरण एक के बाद एक होते हैं, गलतियाँ जमा होती जाती हैं। यदि चरण A एक छोटी सी गलती करता है, तो चरण B को गलत इनपुट मिलता है, और चरण C पूरी तरह विफल हो जाता है। जब तक पत्र डिब्बे तक पहुँचता है, तब तक पूरा सिस्टम शायद केवल 73% समय ही काम कर पा रहा होता है, भले ही हर व्यक्तिगत रोबोट "90% विश्वसनीय" था।

पुराने समाधान: अनुमान लगाना या अत्यधिक सुरक्षा देना

पेपर कहता है कि इसे ठीक करने के मौजूदा तरीके दोषपूर्ण हैं:

"स्वतंत्र" (Independent) विधि: यह प्रत्येक रोबोट को अलग से देखती है। यह कहती है, "मुझे 90% यकीन है कि चरण A सही है, और 90% यकीन है कि चरण B सही है।"
- दोष: यह इस तथ्य को अनदेखा करती है कि यदि चरण A विफल होता है, तो पूरी श्रृंखला टूट जाती है। यह अंतिम परिणाम के बारे में सुरक्षा का एक झूठा अहसास देती है।
"बोनफेरोनी" (Bonferroni) विधि: यह "शंकालु" (paranoid) दृष्टिकोण है। यह गारंटी देने के लिए कि पूरी श्रृंखला 90% समय काम करे, यह प्रत्येक रोबोट को 99% सटीक होने के लिए मजबूर करती है (त्रुटि बजट को समान रूप से विभाजित करके)।
- दोष: यह बहुत अधिक रूढ़िवादी है। यह आसान चरणों (जैसे पता ढूँढना) को ज़रूरत से कहीं ज़्यादा कठिन काम करने के लिए मजबूर करती है, जिससे सब कुछ धीमा हो जाता है और सिस्टम कम कुशल हो जाता है, भले ही अंतिम परिणाम सुरक्षित हो।

नया समाधान: PASC (The "Weakest Link" Strategy)

लेखक PASC (Pipeline-Aware Split Conformal Prediction) पेश करते हैं।

मूल विचार:
यह जाँचने के बजाय कि रोबोट A अच्छा है, रोबोट B अच्छा है, और रोबोट C अच्छा है, PASC एक ही सवाल पूछता है: "क्या पूरी श्रृंखला में सबसे खराब गलती पर्याप्त छोटी है?"

धातु की कड़ियों से बनी एक चेन के बारे में सोचें। चेन की मजबूती सभी कड़ियों के औसत से नहीं, बल्कि उसकी सबसे कमजोर कड़ी से निर्धारित होती है।

यदि कड़ी 1 मजबूत है, कड़ी 2 मजबूत है, लेकिन कड़ी 3 कमजोर है, तो पूरी चेन कड़ी 3 पर टूट जाएगी।
PASC पूरी प्रक्रिया में उस सबसे कमजोर कड़ी (यानी "अधिकतम त्रुटि") पर पूरी तरह ध्यान केंद्रित करता है।

यह कैसे काम करता है:

सिस्टम कई अभ्यास उदाहरणों (practice examples) पर पाइपलाइन चलाता है।
प्रत्येक उदाहरण के लिए, यह प्रत्येक चरण के लिए "त्रुटि स्कोर" (error score) की गणना करता है।
यह उस विशिष्ट रन के उच्चतम त्रुटि स्कोर (उस "सबसे कमजोर कड़ी") को चुनता है।
यह उन "सबसे कमजोर कड़ी" के स्कोर के आधार पर एक एकल सुरक्षा थ्रेशोल्ड (threshold) निर्धारित करता है।

यदि किसी नए, वास्तविक दुनिया के उदाहरण में "सबसे कमजोर कड़ी" उस थ्रेशोल्ड से नीचे है, तो सिस्टम कहता है, "हम सुरक्षित हैं!" यदि सबसे कमजोर कड़ी बहुत अधिक है, तो यह कहता है, "इस परिणाम पर भरोसा न करें।"

PASC बेहतर क्यों है?

पेपर का दावा है कि PASC एक "गोल्डिलॉक्स" (Goldilocks) समाधान है—यह बिल्कुल सही है।

यह "स्वतंत्र" विधि की तुलना में अधिक सुरक्षित है: यह वास्तव में गारंटी देता है कि पूरी पाइपलाइन 90% समय (या जो भी लक्ष्य आपने सेट किया है) काम करेगी, न कि केवल व्यक्तिगत भागों को।
यह "शंकालु" विधि की तुलना में अधिक स्मार्ट है: यह आसान चरणों को पूर्ण बनाने के लिए मजबूर नहीं करता। यह समझता है कि यदि चरण A आसान है और चरण C कठिन है, तो सिस्टम की सुरक्षा चरण C पर निर्भर करती है। PASC स्वचालित रूप से श्रृंखला के सबसे कठिन हिस्से के अनुसार खुद को ढाल लेता है, जबकि पुरानी "शंकालु" विधि आसान हिस्सों को सुपर-डुपर परफेक्ट बनाने में प्रयास बर्बाद करती है।

परिणाम (प्रमाण)

लेखकों ने एक वास्तविक दुनिया के टेक्स्ट-प्रोसेसिंग पाइपलाइन (नाम ढूँढना, उन्हें तथ्यों से जोड़ना और उन्हें वर्गीकृत करना) पर इसका परीक्षण किया।

सटीकता (Accuracy): PASC ने पूरी पाइपलाइन के लिए 96.4% सफलता दर हासिल की। "शंकालु" विधि को 93.4% मिला, और "स्वतंत्र" विधि को केवल 86.5% मिला।
दक्षता (Efficiency): PASC अन्य विधियों की तरह ही कुशल था (इसने अनुमानों की विशाल, बेकार सूचियाँ नहीं बनाईं)।
गति (Speed): क्योंकि PASC को तीन अलग-अलग नंबरों के बजाय केवल एक सुरक्षा संख्या की गणना करने की आवश्यकता होती है, इसलिए इसे सेटअप करने में यह 1.7 गुना तेज़ है।
मजबूती (Robustness): जब डेटा बदला (जैसे, समाचार लेखों से ट्विटर पोस्ट पर जाना), तो PASC विश्वसनीय बना रहा, जबकि "स्वतंत्र" विधि विफल हो गई और उपयोगकर्ता की रक्षा करने में असमर्थ रही।

मुख्य निष्कर्ष (The Bottom Line)

PASC कई चरणों वाले AI सिस्टम पर भरोसा करने का एक नया तरीका है। प्रत्येक चरण पर अलग-अलग भरोसा करने या हर एक चरण के लिए अत्यधिक सावधान होने के बजाय, यह पूरी श्रृंखला को देखता है और सुनिश्चित करता है कि सबसे कमजोर कड़ी पर्याप्त मजबूत है। यह उपयोगकर्ता को अंतिम परिणाम के लिए गणितीय रूप से गारंटीकृत सुरक्षा जाल देता है, बिना सिस्टम को धीमा किए।

तकनीकी सारांश: PASC (पाइपलाइन-अवेयर कॉन्फॉर्मल प्रेडिक्शन)

1. समस्या विवरण (Problem Statement)

आधुनिक NLP और लार्ज लैंग्वेज मॉडल (LLM) सिस्टम तेजी से मल्टी-स्टेज पाइपलाइनों के रूप में तैनात किए जा रहे हैं (जैसे, Named Entity Recognition $\to$ Entity Disambiguation $\to$ Entity Typing, या Planner $\to$ Tool $\to$ Critic chains)। इन सिस्टमों में एक महत्वपूर्ण चुनौती एंड-टू-एंड (E2E) अनिश्चितता मात्रा निर्धारण (Uncertainty Quantification) है।

जबकि व्यक्तिगत चरण मार्जिनल कवरेज गारंटी (जैसे, $P(\text{stage}_k \text{ covered}) \ge 1-\alpha$ ) प्रदान करने के लिए कैलिब्रेट किए जा सकते हैं, ये गारंटियाँ पूरी पाइपलाइन के लिए लागू नहीं होती हैं।

स्वतंत्र अंशांकन (Independent Calibration): प्रत्येक चरण को $1-\alpha$ स्तर पर स्वतंत्र रूप से कैलिब्रेट करने से संयुक्त कवरेज प्रायिकता (joint coverage probability) अधिकतम $(1-\alpha)^K$ होती है (स्वतंत्रता के तहत), जो चरणों की संख्या $K$ बढ़ने के साथ काफी कम हो जाती है। यदि $K=3$ और $\alpha=0.1$ है, तो संयुक्त कवरेज गिरकर $\approx 72.9\%$ रह जाता है, जो लक्षित $90\%$ से बहुत कम है।
बोनफेरोनी सुधार (Bonferroni Correction): प्रत्येक चरण को $1-\alpha/K$ पर कैलिब्रेट करके यूनियन बाउंड (union bound) लागू करना संयुक्त कवरेज ( $\ge 1-\alpha$ ) तो सुनिश्चित करता है, लेकिन यह अत्यधिक रूढ़िवादी (conservative) है। यह चरणों की कठिनाई की परवाह किए बिना त्रुटि बजट (error budget) को समान रूप से आवंटित करता है, जिससे आसान चरणों पर अनावश्यक रूप से बड़े प्रेडिक्शन सेट्स (over-coverage) बन जाते हैं, बिना आनुपातिक विश्वसनीयता में वृद्धि के।
मौजूदा विकल्प: MC Dropout या Deep Ensembles जैसे तरीके हीयुरिस्टिक (heuristic) अनिश्चितता अनुमान प्रदान करते हैं लेकिन उनमें परिमित-नमूना (finite-sample), डिस्ट्रीबशन-फ्री गारंटी का अभाव होता है और वे अक्सर क्रॉस-स्टेज निर्भरताओं को अनदेखा करते हैं।

मुख्य समस्या एक ऐसी विधि के अभाव की है जो पूरी पाइपलाइन के लिए एक औपचारिक, परिमित-नमूना, डिस्ट्रीब्यूशन-फ्री संयुक्त कवरेज गारंटी प्रदान कर सके, जबकि दक्षता (अर्थात, प्रेडिक्शन सेट के आकार को अनावश्यक रूप से बढ़ाए बिना) भी बनाए रखे।

2. कार्यप्रणाली: PASC

लेखक PASC (Pipeline-Aware Split Conformal) प्रस्तावित करते हैं, जो मल्टी-स्टेज संयुक्त अंशांकन समस्या को एक मानक स्केलर कॉन्फॉर्मल प्रेडिक्शन समस्या में बदल देता है।

मुख्य अंतर्दृष्टि (Key Insight)

घटना "सभी $K$ चरण एक साथ कवर किए गए हैं" गणितीय रूप से इस घटना के समान है कि "सभी चरणों में अधिकतम नॉन-कॉन्फॉर्मिटी स्कोर (nonconformity score) एक थ्रेशोल्ड से अधिक नहीं है।"
$\bigcap_{k=1}^K \{s_k \le q\} \iff \left\{ \max_{k} s_k \le q \right\}$
जहाँ $s_k$ चरण $k$ का नॉन-कॉन्फॉर्मिटी स्कोर है।

एल्गोरिदम (Algorithm)

स्कोर परिभाषा: पाइपलाइन सैंपल के लिए, प्रति-चरण नॉन-कॉन्फॉर्मिटी स्कोर ( $s_1, \dots, s_K$ $s_{1}, \dots, s_{K}$ ) की गणना करें।
- NER: $s_{NER} = \max_t (1 - p_{BIO, t})$ (सॉफ्टमैक्स प्रोबेबिलिटी)।
- NED: $s_{NED} = 1 - \text{score}(e^*)$ (टॉप-रैंक्ड एंटिटी स्कोर)।
- Entity Typing: $s_{typing} = 1 - \max_c \min_{\text{span}} p_{RoBERTa}$ ।
संयुक्त अधिकतम स्कोर (Joint Maximum Score): प्रत्येक सैंपल के लिए स्केलर अधिकतम स्कोर की गणना करें: $s_{\max} = \max_k s_k$ ।
अंशांकन (Calibration): कैलिब्रेशन सेट का उपयोग करके, $1-\alpha$ स्तर पर $s_{\max}$ के वितरण का कॉन्फॉर्मल क्वांटाइल $\hat{q}$ निकालें।
भविष्यवाणी (Prediction): टेस्ट इनपुट के लिए, प्रति-चरण स्कोर की गणना करें। पाइपलाइन को तब स्वीकार किया जाता है यदि $s_{\max} \le \hat{q}$ हो। प्रत्येक चरण $k$ के लिए प्रेडिक्शन सेट $C_k(x) = \{y_k : s_k(x, y_k) \le \hat{q}\}$ है।

सैद्धांतिक गारंटी (Theoretical Guarantee)

कैलिब्रेशन और टेस्ट डेटा के बीच एक्सचेंजेबिलिटी (exchangeability) की धारणा के तहत, PASC एक परिमित-नमूना, डिस्ट्रीब्यूशन-फ्री गारंटी प्रदान करता है:
$P\left( \bigcap_{k=1}^K \{s_k(x_{n+1}, y_{k,n+1}) \le \hat{q}\} \right) \ge 1 - \alpha$
यह गारंटी लगभग सटीक (tight) है, जो $1 - \alpha + \frac{1}{n+1}$ द्वारा सीमित है। बोनफेरोनी के विपरीत, जो वर्स्ट-केस यूनियन बाउंड का उपयोग करता है, PASC स्कोर के अनुभवजन्य संयुक्त वितरण (empirical joint distribution) के अनुकूल होता है, जो स्वचालित रूप से "आसान" चरणों (कम स्कोर) को टाइट बजट और "कठिन" चरणों (उच्च स्कोर) को ढीला बजट आवंटित करता है।

3. मुख्य योगदान (Key Contributions)

PASC एल्गोरिदम: एक पाइपलाइन-अवेयर अंशांकन प्रक्रिया जो मल्टी-स्टेज संयुक्त कवरेज को संयुक्त अधिकतम नॉन-कॉन्फॉर्मिटी स्कोर पर एकल स्केलर क्वांटाइल गणना में बदल देती है।
औपचारिक गारंटी: एक प्रमेय जो एक्सचेंजेंबिलिटी के तहत परिमित-नमूना, डिस्ट्रीब्यूशन-फ्री संयुक्त कवरेज ( $\ge 1-\alpha$ ) को सिद्ध करता है, जिसमें निकट-सटीकता (near-tightness) का परिणाम भी शामिल है।
व्यापक मूल्यांकन: तीन शिफ्ट परिदृश्यों (इन-डिस्ट्रीब्यूशन, ट्विटर NER, विकिपीडिया NER) में प्रयोग, जिसमें विभिन्न कैलिब्रेशन आकार और $K=1$ से $K=6$ चरणों तक का विस्तार शामिल है।
सेनिटी चेक (Sanity Checks): परम्यूटेशन टेस्ट और नेगेटिव कंट्रोल्स जो पुष्टि करते हैं कि वैधता कार्यान्वयन त्रुटियों, डेटा लीकेज या अत्यधिक व्यापक थ्रेशोल्ड का परिणाम नहीं है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने CoNLL-2003, WNUT-17, और WikiNEuRal डेटासेट का उपयोग करके एक तीन-चरणीय पाइपलाइन (NER $\to$ NED $\to$ Entity Typing) पर PASC का मूल्यांकन किया।

कवरेज बनाम दक्षता (Coverage vs. Efficiency): $\alpha=0.1$ $α = 0.1$ के साथ $K=3$ $K = 3$ पर:
- PASC: 96.4% E2E कवरेज प्राप्त किया।
- Bonferroni: 93.4% E2E कवरेज प्राप्त किया।
- Independent CP: 86.5% E2E कवरेज प्राप्त किया।
- महत्वपूर्ण रूप से, सभी विधियों ने एक समान औसत प्रेडिक्शन सेट आकार 1.083 बनाए रखा, जो दर्शाता है कि PASC कवरेज प्रोबेबिलिटी को सेट साइज में बदलने में बेहतर दक्षता रखता है।
डिस्ट्रीब्यूशन शिफ्ट (Distribution Shift): जब CoNLL-2003 पर कैलिब्रेट किया गया और शिफ्टेड डोमेन (WNUT-17, WikiNEuRal) पर टेस्ट किया गया:
- Independent CP का कवरेज गिरकर 59.0% रह गया।
- PASC और Bonferroni ने 100% कवरेज बनाए रखा (शिफ्ट के खिलाफ बफर प्रदान करने वाले रूढ़िवादी थ्रेशोल्ड के कारण)।
$K$ चरणों तक स्केलिंग: $K=6$ $K = 6$ तक स्केलिंग करने वाले सिंथेटिक प्रयोगों में:
- Independent CP का कवरेज गिरकर 0.53 (मल्टीप्लिकेटिव कोलैप्स) हो गया।
- PASC लक्षित कवरेज के करीब रहा, जिससे मल्टीप्लिकेटिव गिरावट से बचाव हुआ।
कंडीशनल कवरेज (Conditional Coverage): PASC ने "कठिन" उप-जनसंख्याओं (जैसे, सबसे कठिन NER कॉन्फिडेंस क्विंटाइल) पर महत्वपूर्ण लाभ दिखाया, जहाँ इसने 82.0% कवरेज प्राप्त किया, जबकि Bonferroni के लिए यह 67.0% और Independent CP के लिए 30.0% था।
रनटाइम (Runtime): PASC अंशांकन Bonferroni और Independent CP की तुलना में 1.7 $\times$ तेज़ है क्योंकि इसमें केवल एक क्वांटाइल की गणना करने की आवश्यकता होती है न कि $K$ की।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि PASC मल्टी-स्टेज NLP सिस्टम के परिनियोजन (deployment) में एक मौलिक अंतर को संबोधित करता है:

प्रत्यक्ष प्रमाणन (Direct Certification): Independent CP (जो स्थानीय चरणों को प्रमाणित करता है लेकिन वैश्विक रूप से विफल रहता है) या Bonferroni (जो वैश्विक रूप से गारंटी देता है लेकिन "कंजर्वेटिज्म टैक्स" चुकाता है) के विपरीत, PASC सीधे सटीक तैनात की जाने वाली घटना (संयुक्त स्वीकृति) को प्रमाणित करता है।
न्यूनतम न्यूनीकरण (Minimal Reduction): मल्टी-स्टेज समस्या से स्केलर समस्या में न्यूनीकरण गणितीय रूप से सरल है (अधिकतम का उपयोग करके) लेकिन यह संयुक्त स्वीकृति घटना के लिए न्यूनतम पर्याप्त मोनोटोन स्केलेराइजेशन (minimal sufficient monotone scalarization) का प्रतिनिधित्व करता है।
व्यावहारिक प्रयोज्यता (Practical Applicability): यह विधि मॉडल संशोधन या भारी इन्फरेंस ओवरहेड की आवश्यकता के बिना किसी भी मल्टी-स्टेज पाइपलाइन (एजेंट वर्कफ़्लो सहित कंपाउंड LLM सिस्टम) के लिए तुरंत लागू करने योग्य है।
मजबूती (Robustness): हालांकि सैद्धांतिक गारंटी एक्सचेंजेंबिलिटी पर निर्भर करती है, प्रयोगात्मक परिणाम बताते हैं कि PASC, Independent CP की तुलना में डिस्ट्रीब्यूशन शिफ्ट के तहत कवरेज बनाए रखने में बेहतर है, हालांकि लेखक नोट करते हैं कि रोबस्ट शिफ्ट हैंडलिंग के लिए वेटेड CP (weighted CP) तक विस्तार करना भविष्य का कार्य है।

लेखक PASC को केवल चरण-विशिष्ट अंशांकन के विकल्प के रूप में नहीं, बल्कि आवश्यक एकत्रीकरण परत (aggregation layer) के रूप में देखते हैं जो पूरे पाइपलाइन आउटपुट की विश्वसनीयता सुनिश्चित करती है, जो कि उच्च-दांव वाले अनुप्रयोगों में डाउनस्ट्रीम निर्णय लेने के लिए महत्वपूर्ण मीट्रिक है।