💬 NLP

Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models

यह शोध पत्र एक अनुकूली कॉन्फॉर्मल प्रेडिक्शन फ्रेमवर्क प्रस्तावित करता है जो प्रॉम्प्ट-डिपेंडेंट कैलिब्रेशन को सक्षम करके बड़े भाषा मॉडल (LLM) के जनरेशन की तथ्यात्मकता को बढ़ाता है ताकि कंडीशनल कवरेज में सुधार किया जा सके और चयनात्मक भविष्यवाणी (सेलेक्टिव प्रेडिक्शन) को समर्थन दिया जा सके, जिससे यह मौजूदा गैर-अनुकूली बेसलाइनों से बेहतर प्रदर्शन करता है।

मूल लेखक: Aleksandr Rubashevskii, Dzianis Piatrashyn, Preslav Nakov, Maxim Panov

प्रकाशित 2026-04-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aleksandr Rubashevskii, Dzianis Piatrashyn, Preslav Nakov, Maxim Panov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान रोबोट सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो निबंध लिख सकता है, सवालों के जवाब दे सकता है और कहानियाँ सुना सकता है। यह अविश्वसनीय रूप से प्रवाहपूर्ण है और बहुत आत्मविश्वासी लगता है। लेकिन यहाँ एक पेच है: यह कभी-कभी झूठ बोलता है। यह आत्मविश्वास के साथ कह सकता है कि चंद्रमा पनीर से बना है या किसी प्रसिद्ध लेखक की मृत्यु उस वर्ष हुई थी जब वे वास्तव में पैदा हुए थे। इसे "हैलुसिनेशन" (hallucination) कहा जाता है।

समस्या यह है कि आप कब भरोसा करें और कब संदेह करें, यह कैसे जानें?

यह शोध पत्र एक नया सुरक्षा जाल प्रस्तावित करता है जिसे एडेप्टिव कॉन्फॉर्मल प्रेडिक्शन (Adaptive Conformal Prediction) कहा जाता है। इसे समझने के लिए, आइए हम कुछ उपमाओं का उपयोग करें।

समस्या: "एक ही आकार सबके लिए" वाला फ़िल्टर (The "One-Size-Fits-All" Filter)

कल्पना कीजिए कि आप एक शिक्षक हैं जो कॉपियाँ जाँच रहे हैं। आप तय करते हैं कि कोई भी कॉपी जिसका स्कोर 80% से कम है उसे "B" या उससे कम ग्रेड मिलेगा, और जो 80% से ऊपर है उसे "A" मिलेगा। यह एक निश्चित नियम (fixed rule) है।

समस्या: कुछ प्रश्न आसान होते हैं (जैसे, "2+2 क्या है?")। लगभग सभी को 100% मिलता है। यदि आप 80% के नियम का उपयोग करते हैं, तो आप बहुत सख्त हो रहे हैं; आप एक सही उत्तर को भी खारिज कर सकते हैं क्योंकि आपका नियम कठोर है।
दूसरी समस्या: कुछ प्रश्न अविश्वसनीय रूप से कठिन होते हैं (जैसे, "ब्लैक होल के क्वांटरल फिजिक्स की व्याख्या करें")। विशेषज्ञों को भी शायद 60% ही मिले। यदि आप उसी 80% के नियम का उपयोग करते हैं, तो आप एक गलत, मनगढ़ंत उत्तर को भी स्वीकार कर सकते हैं क्योंकि छात्र ने अपना सर्वश्रेष्ठ प्रयास किया था, भले ही वह विफल रहा हो।

AI के तथ्यों की जाँच करने वाले मौजूदा तरीके इसी तरह काम करते हैं—जैसे यह निश्चित 80% का नियम। वे AI के आत्मविश्वास को देखते हैं और हर सवाल के लिए एक ही "कट-ऑफ" लाइन लागू करते हैं, चाहे सवाल आसान हो, कठिन हो या अजीब। इससे दो समस्याएँ होती हैं:

ओवर-कवरेज (Over-coverage): वे कठिन सवालों के लिए बहुत सारे गलत जवाबों को अपने पास रखते हैं।
अंडर-कवरेज (Under-coverage): वे आसान सवालों के लिए अच्छे जवाबों को फेंक देते हैं।

समाधान: "स्मार्ट, एडेप्टिव फ़िल्टर" (The "Smart, Adaptive Filter")

लेखक एक ऐसा सिस्टम प्रस्तावित करते हैं जो एक स्मार्ट, एडेप्टिव फ़िल्टर की तरह काम करता है जो पूछे जा रहे विशिष्ट प्रश्न के आधार पर अपने नियमों को बदल देता है।

इसे एक कॉन्सर्ट के सुरक्षा गार्ड की तरह समझें:

पुराना तरीका: गार्ड के पास एक क्लिपबोर्ड है। यदि आप लाल शर्ट पहने हैं, तो आप अंदर जा सकते हैं। यदि आप नीली पहनते हैं, तो आप अंदर जा सकते हैं। इससे कोई फर्क नहीं पड़ता कि आप वीआईपी (VIP) हैं या एक सामान्य प्रशंसक। यह एक कठोर नियम है।
नया तरीका (एडेप्टिव): गार्ड आपको और संदर्भ को देखता है।
- यदि आप एक सरल प्रश्न पूछ रहे हैं (जैसे, "फ्रांस की राजधानी क्या है?"), तो गार्ड जानता है कि AI आमतौर पर सही होता है, इसलिए वे एक ऊँचा मानक (high bar) रखते हैं। वे उत्तर को तभी आगे जाने देते हैं जब AI अत्यधिक आत्मविश्वासी हो। यह AI को लापरवाह होने से रोकता है।
- यदि आप एक जटिल, पेचीदा प्रश्न पूछ रहे हैं (जैसे, "1402 में एक छोटे से गाँव के अज्ञात इतिहास का वर्णन करें?"), तो गार्ड जानता है कि AI संघर्ष कर सकता है। इसलिए, वे मानक को थोड़ा नीचा (lower the bar) कर देते हैं। वे उन उत्तरों को स्वीकार करते हैं जो "काफी अच्छे" हैं, बजाय इसके कि पूर्णता की मांग की जाए, ताकि यह सुनिश्चित हो सके कि आपको खाली हाथ न रहना पड़े।

यह कैसे काम करता है (पर्दे के पीछे का "जादू")

यह शोध पत्र कॉन्फॉर्मल प्रेडिक्शन (Conformal Prediction) नामक तकनीक का उपयोग करता है। यहाँ इसका सरल संस्करण है:

कैलिब्रेशन चरण (The Calibration Phase): AI के आपके सवालों के जवाब देने से पहले, शोधकर्ता एक विशेष कैलकुलेटर को "प्रशिक्षित" करते हैं। वे AI को हजारों प्रश्न देते हैं और जाँचते हैं कि कौन से उत्तर सही थे और कौन से गलत।
"कठिनाई" का पता लगाना (The "Difficulty" Detector): सिस्टम प्रश्न के "वाइब" या "कठिनाई" को पहचानना सीख जाता है। यह प्रश्न के टेक्स्ट का उपयोग (एक फिंगरप्रिंट की तरह) यह अनुमान लगाने के लिए करता है: "क्या यह प्रश्न आसान है या कठिन?"
गतिशील समायोजन (The Dynamic Adjustment): जब एक नया प्रश्न आता है:
- सिस्टम प्रश्न के "फिंगरप्रिंट" को देखता है।
- यह उस विशिष्ट प्रश्न के लिए एक कस्टम थ्रेशोल्ड (custom threshold) की गणना करता है।
- फिर यह AI के उत्तर को फ़िल्टर करता है। यदि AI का कॉन्फिडेंस स्कोर इस कस्टम थ्रेशोल्ड से ऊपर है, तो उत्तर रखा जाता है। यदि नहीं, तो इसे हटा दिया जाता है।

यह क्यों महत्वपूर्ण है

इस शोध पत्र का परीक्षण विभिन्न प्रकार के प्रश्नों पर किया गया, "बल्ब का आविष्कार किसने किया?" (आसान) से लेकर "एक विशिष्ट 18वीं सदी के कवि के जीवन का वर्णन करें" (कठिन) तक।

पुराना तरीका: इसने सभी प्रश्नों के साथ एक जैसा व्यवहार किया। यह आसान सवालों पर बहुत सख्त था (अच्छे जवाबों को फेंक देना) और कठिन सवालों पर बहुत ढीला था (गलत जवाबों को आने देना)।
नया तरीका: इसने हर एक प्रश्न के लिए अपनी सख्ती को समायोजित किया।
- परिणाम: इसने "सुरक्षा गारंटी" (यह अभी भी वादा करता है कि इसके दिए गए 90% उत्तर सही थे) को बनाए रखा, लेकिन इसने यह सुनिश्चित करने में बहुत बेहतर काम किया कि प्रत्येक विशिष्ट प्रकार का प्रश्न उस मानक को पूरा करे।

निचोड़ (The Bottom Line)

यह शोध पत्र हमें AI को उपयोगी बनाए बिना अधिक विश्वसनीय बनाने का एक तरीका देता है। तथ्यों की जाँच करने के लिए एक कुंद हथौड़े का उपयोग करने के बजाय, अब हमारे पास एक स्कैल्पल (scalpel - सूक्ष्म चाकू) है जो कार्य के अनुसार अपनी धार को समायोजित करता है।

उपयोगकर्ता के लिए: आपको ऐसे उत्तर मिलते हैं जिनके सच होने की संभावना अधिक होती है, और आपको आसान सवालों पर कम "मुझे नहीं पता" वाले जवाब मिलते हैं।
AI के लिए: यह कठिन सवालों पर विनम्र होना और आसान सवालों पर आत्मविश्वासी होना सीखता है, जिससे यह अपने स्वयं के हैलुसिनेशन को अधिक प्रभावी ढंग से फ़िल्टर करता है।

संक्षेप में, यह AI के सुरक्षा तंत्र को संदर्भ-जागरूक (context-aware) बनाने के बारे में है, यह सुनिश्चित करना कि सत्य सुरक्षित रहे, चाहे प्रश्न कितना भी जटिल क्यों न हो।

यहाँ शोध पत्र "Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर प्रवाहपूर्ण लेकिन तथ्यात्मक रूप से गलत आउटपुट (hallucinations) उत्पन्न करते हैं, जो चिकित्सा जैसे उच्च-जोखिम वाले क्षेत्रों में महत्वपूर्ण जोखिम पैदा करते हैं। हालाँकि कन्फॉर्मल प्रेडिक्शन (Conformal Prediction - CP) को तथ्यता (factuality) पर सांख्यिकीय गारंटी प्रदान करने के लिए LLMs पर लागू किया गया है (यह सुनिश्चित करना कि वास्तविक उत्तर $1-\alpha$ की प्रायिकता के साथ भविष्यवाणी सेट के भीतर है), मौजूदा विधियाँ एक गंभीर सीमा से ग्रस्त हैं: प्रॉम्प्ट अनुकूलनशीलता का अभाव (lack of prompt adaptivity)।

समस्या: मानक CP विधियाँ सभी टेस्ट प्रॉम्प्ट्स पर समान रूप से एक एकल, वैश्विक अंशांकन थ्रेशोल्ड (global calibration threshold/quantile) लागू करती हैं, चाहे प्रॉम्प्ट की कठिनाई, अस्पष्टता या डोमेन कुछ भी हो।
परिणाम: इससे सीमांत कवरेज (marginal coverage) (औसत पर सही) तो मिलता है, लेकिन सशर्त कवरेज (conditional coverage) खराब रहता है।
- "आसान" प्रॉम्प्ट्स के लिए, विधि अत्यधिक रूढ़िवादी (over-conservative) हो सकती है (over-coverage), जिससे बहुत कम आइटम फ़िल्टर होते हैं और अनावश्यक शोर बना रहता है।
- "कठिन" प्रॉम्प्ट्स के लिए, विधि अपर्याप्त रूप से सख्त (insufficiently strict) हो सकती है (under-coverage), जिससे मतिभ्रम (hallucinations) को रोकने में विफलता होती है।
लक्ष्य: लेखक एक ऐसी विधि विकसित करने का लक्ष्य रखते हैं जो विशिष्ट इनपुट प्रॉम्प्ट के आधार पर कॉन्फिडेंस थ्रेशोल्ड को अनुकूलित करे, जिससे कठोर मार्जिनल गारंटी बनाए रखते हुए सशर्त कवरेज में सुधार हो सके।

2. कार्यप्रणाली (Methodology)

शोध पत्र एक एडेप्टिव कन्फॉर्मल प्रेडिक्शन (Adaptive Conformal Prediction) फ्रेमवर्क प्रस्तावित करता है जो LLMs के लिए 'कन्फॉर्मल स्कोर ट्रांसफॉर्मेशन' विधियों का विस्तार करता है। मुख्य विचार यह है कि वैश्विक थ्रेशोल्ड की गणना करने से पहले इनपुट प्रॉम्प्ट की विशेषताओं के आधार पर नॉन-कन्फॉर्मिटी स्कोर (nonconformity scores) को सामान्यीकृत (normalize) किया जाए।

A. मुख्य फ्रेमवर्क (Core Framework)

नॉन-कन्फॉर्मिटी स्कोर ( $V$ ):
- लॉन्ग-फॉर्म QA: मॉडल परमाणविक दावों (atomic claims) का एक सेट उत्पन्न करता है। $V(x, y)$ को अधिकतम अनिश्चितता थ्रेशोल्ड के रूप में परिभाषित किया गया है ताकि सभी रिटेंड दावे तथ्यात्मक रूप से सही हों (ग्राउंड ट्रुथ $y$ के विरुद्ध सत्यापित)।
- मल्टीपल-चॉइस QA: इसमें 'लीस्ट एम्बिगअस क्लासिफायर' (Least Ambiguous Classifier - LAC) स्कोर का उपयोग किया जाता है, जहाँ $V(x, y) = 1 - p(x)_y$ (वास्तविक क्लास की अनुमानित प्रायिकता में से 1 घटाना) है।
स्कोर ट्रांसफॉर्मेशन (अनुकूलनशीलता):
- कच्चे स्कोर $V(x, y)$ के बजाय, विधि उन्हें एक इनपुट-डिपेंडेंट फंक्शन का उपयोग करके ट्रांसफॉर्म करती है: $\tilde{V}(x, y) = V(x, y) / \hat{\tau}(x)$ ।
- यहाँ, $\hat{\tau}(x)$ मूल स्कोर के कंडीशनल $(1-\alpha)$ -क्वांटाइल का एक अनुमान है, जो प्रॉम्प्ट $x$ के दिए होने पर निकाला गया है।
- यह ट्रांसफॉर्मेशन प्रभावी रूप से स्कोर को इस तरह रीस्केल करता है कि उनके कंडीशनल डिस्ट्रीब्यूशन विभिन्न इनपुट्स के बीच लगभग अपरिवर्तनीय (invariant) हो जाते हैं।
कंडीशनल क्वांटाइल एस्टिमेशन:
- लेखक $\hat{\tau}(x)$ का अनुमान लगाने के लिए एम्बेडिंग-कंडीशन्ड क्वांटाइल रिग्रेशन (embedding-conditioned quantile regression) का उपयोग करते हैं।
- प्रॉम्प्ट एम्बेडिंग्स (जो एक मल्टीलिंगुअल सेंटेंस एनकोडर से प्राप्त होते हैं) एक मल्टी-लेयर पर्सेप्ट्रॉन (MLP) के लिए इनपुट फीचर्स के रूप में कार्य करते हैं, जिसे नॉन-क conformidad स्कोर के क्वांटाइल की भविष्यवाणी करने के लिए प्रशिक्षित किया गया है।
दो-चरणीय अंशांकन (Two-Stage Calibration):
- $D_{cal1}$ : कंडीशनल क्वांटाइल एस्टिमेटर $\hat{\tau}(x)$ को प्रशिक्षित करने के लिए उपयोग किया जाता है।
- $D_{cal2}$ : ट्रांसफॉर्म किए गए स्कोर $\tilde{V}$ की गणना करने और अंतिम ग्लोबल थ्रेशोल्ड $Q_{1-\alpha}$ निर्धारित करने के लिए उपयोग किया जाता है।
- $D_{test}$ : इन्फरेंस के समय, यदि किसी दावे का नॉर्मलाइज्ड अनसर्टेन्टी स्कोर $s(c)/\hat{\tau}(x)$ कैलिब्रेटेड थ्रेशोल्ड से नीचे है, तो उसे फ़िल्टर कर दिया जाता है।

B. सैद्धांतिक गारंटी (Theoretical Guarantee)

यह विधि स्प्लिट कन्फॉर्मल प्रेडिक्शन की फाइनाइट-सैंपल मार्जिनल कवरेज गारंटी को सुरक्षित रखती है:
$P(\text{True answer} \in \text{Filtered Set}) \geq 1 - \alpha$
साथ ही, यह कंडीशनल कवरेज में महत्वपूर्ण सुधार करती है, यह सुनिश्चित करती है कि गारंटी विविध प्रॉम्प्ट श्रेणियों के लिए अधिक सुसंगत रूप से लागू हो।

3. मुख्य योगदान (Key Contributions)

नया एडेप्टिव फ्रेमवर्क: एम्बेडिंग-कंडीशन्ड क्वांटाइल रिग्रेशन का उपयोग करके LLM मतिभ्रम (hallucination) डिटेक्शन के लिए एक प्रॉम्प्ट-एडेप्टिव कन्फॉर्मल प्रेडिक्शन दृष्टिकोण प्रस्तावित करता है।
सैद्धांतिक वैधता: यह प्रदर्शित करता है कि यह विधि मानक कन्फॉर्मल प्रेडिक्शन की कठोर मार्जिनल कवरेज गारंटी को बनाए रखते हुए बेहतर सशर्त कवरेज प्राप्त करती है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): विविध मॉडल्स (Mistral, Llama, Gemma) और डोमेन में लॉन्ग-फॉर्म जनरेशन और मल्टीपल-चॉइस QA दोनों में मौजूदा बेसलाइन्स (जैसे Conformal Factuality) की तुलना में महत्वपूर्ण प्रदर्शन लाभ दिखाता है।
सिलेक्टिव प्रेडिक्शन: यह दृष्टिकोण स्वाभाविक रूप से सिलेक्टिव प्रेडिक्शन का समर्थन करता है, जिससे सांख्यिकीय वैधता से समझौता किए बिना डाउनस्ट्रीम अनुप्रयोगों में अविश्वसनीय दावों या उत्तर विकल्पों को फ़िल्टर किया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Mistral-7B, Llama-3.1-8B, और Gemma-3-12B का उपयोग करके लॉन्ग-फॉर्म QA की 8 श्रेणियों (जैसे आविष्कार, जीवनी) और मल्टीपल-चॉइस QA की 16 श्रेणियों (MMLU डेटासेट) पर अपने मेथड का मूल्यांकन किया।

क्लेम स्कोरिंग: अनसर्टेन्टी क्वांटिफिकेशन के विभिन्न तरीकों (एन्ट्रॉपी, परप्लेक्सिटी, आदि) में से, दावों को फ़िल्टर करने के लिए क्लेम कंडीशनड प्रोबेबिलिटी (CCP) सबसे प्रभावी पाया गया।
कंडीशनल कवरेज:
- लॉन्ग-फॉर्म QA: "Inventions" (जटिल) बनाम "Biographies" (सरल) के बीच तुलना करने वाले प्रयोगों में, मानक CP ने Inventions के लिए ओवर-कवरेज और Biographies के लिए अंडर-कवरेज दिखाया। एडेप्टिव मेथड ने दोनों श्रेणियों के लिए लक्षित कवरेज (0.80) के करीब कवरेज प्राप्त किया।
- मल्टीपल-चॉइस QA: 16 MMLU श्रेणियों में भी इसी तरह के सुधार देखे गए। एडेप्टिव मेथड ने कवरेज एरर के वेरिएंस को कम किया, जिसमें Dolan-Moré परफॉरमेंस प्रोफाइल ने दिखाया कि यह सभी $\alpha$ स्तरों पर ग्लोबल बेसलाइन से लगातार बेहतर प्रदर्शन करता है।
दक्षता (Efficiency): एडेप्टिव मेथड ने अक्सर लक्षित कवरेज बनाए रखते हुए हटाए गए दावों के अंश (फॉल्स नेगेटिव) को कम किया, जो मॉडल की जनरेशन क्षमताओं के अधिक कुशल उपयोग को दर्शाता है।

5. महत्व (Significance)

यह कार्य LLM इनपुट्स की विषम प्रकृति को लागू करने में कन्फॉर्मल प्रेडिक्शन की एक मौलिक कमजोरी को संबोधित करता है। ग्लोबल से प्रॉम्प्ट-एडेप्टिव थ्रेशोल्ड की ओर बढ़कर, यह शोध पत्र निम्नलिखित के लिए एक व्यावहारिक समाधान प्रदान करता है:

विश्वसनीयता (Reliability): यह सुनिश्चित करना कि तथ्यता की गारंटी केवल औसत पर ही नहीं, बल्कि विशिष्ट, कठिन या दुर्लभ प्रश्नों के लिए भी बनी रहे।
सुरक्षा (Safety): इनपुट जटिलता के आधार पर कॉन्फिडेंस थ्रेशोल्ड को गतिशील रूप से समायोजित करके महत्वपूर्ण क्षेत्रों में LLMs के सुरक्षित परिनियोजन (deployment) को सक्षम बनाना।
स्केलेबिलिटी (Scalability): यह प्रदर्शित करना कि सीखे गए रिप्रेजेंटेशन्स (एम्बेडिंग्स) एडेप्टिविटी प्राप्त करने के लिए हैंड-क्राफ्टेड ग्रुपिंग या फीचर इंजीनियरिंग को प्रभावी ढंग से बदल सकते हैं।

प्रस्तावित फ्रेमवर्क सैद्धांतिक सांख्यिकीय गारंटी और वास्तविक दुनिया के LLM प्रॉम्प्टिंग की व्यावहारिक, परिवर्तनशील कठिनाई के बीच के अंतर को पाटता है, जो मतिभ्रम डिटेक्शन और सिलेक्टिव जनरेशन के लिए एक मजबूत उपकरण प्रदान करता है।