📊 statistics

Domain-Shift-Aware Conformal Prediction for Large Language Models

यह शोध पत्र डोमेन-शिफ्ट-अवेयर कॉन्फॉर्मल प्रेडिक्शन (DS-CP) का प्रस्ताव देता है, जो एक नवीन ढांचा है जो टेस्ट प्रॉम्प्ट्स के साथ अपनी निकटता के आधार पर कैलिब्रेशन सैंपल्स को व्यवस्थित रूप से पुन: भारित (reweighting) करके डोमेन शिफ्ट के तहत लार्ज लैंग्वेज मॉडल्स के लिए अनिश्चितता परिमाणीकरण की विश्वसनीयता को बढ़ाता है, जिससे वैध कवरेज गारंटी सुरक्षित रहते हुए अनुकूलन क्षमता में सुधार होता है।

मूल लेखक: Zhexiao Lin, Yuanyuan Li, Neeraj Sarna, Yuanyuan Gao, Michael von Gablenz

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhexiao Lin, Yuanyuan Li, Neeraj Sarna, Yuanyuan Gao, Michael von Gablenz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (लार्ज लैंग्वेज मॉडल, या LLM) है जिसने वर्षों तक किताबों के एक विशिष्ट सेट (ट्रेनिंग डेटा) का अध्ययन किया है। वह उन किताबों के बारे में सवालों के जवाब देने में माहिर है। हालाँकि, यदि आप अचानक उससे किसी पूरी तरह से अलग विषय के बारे में सवाल पूछते हैं जिसे उसने पहले कभी नहीं देखा है ("डोमेन शिफ्ट"), तो वह अभी भी उसी आत्मविश्वास के साथ उत्तर दे सकता है, भले ही वह मनगढ़ंत बातें बना रहा हो। इसे "हैलुसिनेशन" (hallucination) कहा जाता है, और यह तब खतरनाक होता है जब आपको उत्तर का 100% सही होना आवश्यक हो।

इसे ठीक करने के लिए, सांख्यिकीविद् (statisticians) एक सुरक्षा जाल के रूप में कॉन्फ़ॉर्मल प्रेडिक्शन (Conformal Prediction) का उपयोग करते हैं। इसे एक "कॉन्फिडेंस नेट" (विश्वास का जाल) के रूप में सोचें। केवल एक उत्तर देने के बजाय, यह जाल संभावित उत्तरों की एक छोटी सूची देता है। लक्ष्य यह सुनिश्चित करना है कि सही उत्तर उस सूची के भीतर 90% बार (या आप जो भी सुरक्षा स्तर चुनें) मौजूद हो।

समस्या: जब दुनिया बदलती है, तो जाल टूट जाता है
मानक सुरक्षा जाल तब पूरी तरह काम करता है जब लाइब्रेरियन से उन्हीं विषयों पर सवाल पूछे जाते हैं जिनका उसने अध्ययन किया है। लेकिन वास्तविक दुनिया में, सवाल बदल जाते हैं। यदि लाइब्रेरियन को 19वीं सदी के इतिहास पर प्रशिक्षित किया गया है लेकिन आप उससे आधुनिक AI के बारे में पूछते हैं, तो मानक जाल विफल हो जाता है। यह बहुत संकीर्ण हो जाता है, यह सोचकर कि वह उत्तर जानता है जबकि वास्तव में वह नहीं जानता, और सही उत्तर उन छेदों से फिसल जाता है।

समाधान: DS-CP (एक "स्मार्ट ट्रांसलेटर" नेट)
लेखक एक नया तरीका प्रस्तावित करते हैं जिसे डोमेन-शिफ्ट-अवेयर कॉन्फ़ॉर्मल प्रेडिक्शन (DS-CP) कहा जाता है। यह कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:

1. "सिमेंटिक मैप" (एम्बेडिंग्स)

LLMs शब्दों के साथ काम करते हैं, जो अरबों किताबों वाले एक विशाल, अराजक पुस्तकालय की तरह हैं। हर किताब की दूसरी हर किताब से सीधे तुलना करना असंभव है।

उदाहरण: कल्पना कीजिए कि हर सवाल को एक विशाल, सरल मानचित्र पर एक निर्देशांक (coordinate) में बदल दिया जाता है। इस मानचित्र पर, "बिल्लियों" के बारे में सवाल एक-दूसरे के करीब हैं, और "क्वांटम फिजिक्स" के बारे में सवाल बहुत दूर हैं।
वे क्या करते हैं: वे इन जटिल सवालों को इन निर्देशांकों (जिन्हें "एम्बेडिंग्स" कहा जाता है) में अनुवादित करने के लिए एक टूल का उपयोग करते हैं। इससे यह देखना संभव हो जाता है कि एक नया सवाल उन सवालों के कितने "करीब" है जिनका अध्ययन लाइब्रेरियन ने किया था।

2. "वेटेड क्राउड" (डेंसिटी रेशियो)

अब, सिस्टम को यह तय करने की आवश्यकता है: "हमें इस विशिष्ट नए सवाल के लिए लाइब्रेरियन के पिछले उत्तरों पर कितना भरोसा करना चाहिए?"

उदाहरण: कल्पना कीजिए कि लाइब्रेरियन लोगों की एक भीड़ के बीच खड़ा है जिन्होंने उसे प्रशिक्षित करने में मदद की थी। यदि आप "बिल्लियों" के बारे में सवाल पूछते हैं, तो भीड़ में मौजूद वे लोग जो बिल्लियों के बारे में जानते हैं, उनकी आवाज़ तेज़ होनी चाहिए (उच्च भार/high weight), जबकि वे लोग जो केवल "कारों" के बारे में जानते हैं, उन्हें धीरे बोलना चाहिए (कम भार/low weight)।
वे क्या करते हैं: सिस्टम मानचित्र को देखता है। यदि नया सवाल "बिल्ली" के क्लस्टर के करीब है, तो यह प्रशिक्षण डेटा के "बिल्ली विशेषज्ञों" की बात अधिक सुनता है। यदि नया सवाल उस सब से बहुत दूर है जो लाइब्रेरियन जानता है, तो सिस्टम महसूस करता है, "हमारे पास यहाँ पर्याप्त विशेषज्ञ नहीं हैं," और वह बहुत सावधान हो जाता है।

3. "सेफ्टी ब्रेक" (रेगुलराइजेशन)

एक जोखिम है: यदि नया सवाल उस सब से बहुत अलग है जो लाइब्रेरियन जानता है, तो सिस्टम भ्रमित हो सकता है और कह सकता है, "ठीक है, चूंकि हम कुछ नहीं जानते, इसलिए उत्तर कुछ भी हो सकता है!" यह उत्तरों की एक बेकार, विशाल सूची बना देता है।

उदाहरण: यह कार के क्रूज कंट्रोल की तरह है। यदि सड़क बहुत खड़ी हो जाती है और इंजन उसे संभाल नहीं पाता, तो कार बस अनियंत्रित नहीं होती; वह धीरे से एक सुरक्षित, रूढ़िवादी गति पर धीमी हो जाती है।
वे क्या करते हैं: लेखक एक "ब्रेक" (रेगुलराइजेशन) जोड़ते हैं। यदि सिस्टम यह पता लगाता है कि लाइब्रेरियन जो जानता है और जो आप पूछ रहे हैं उसके बीच एक बड़ा अंतर है, तो यह स्वचालित रूप से सुरक्षा जाल को इतना चौड़ा कर देता है कि वह सुरक्षित रहे, लेकिन इतना भी नहीं कि वह बेकार हो जाए।

परिणाम: एक बेहतर सुरक्षा जाल

लेखकों ने ट्रिविया के एक विशाल सेट (MMLU) पर परीक्षण किया जिसमें 17 अलग-अलग विषय (जैसे कानून, जीव विज्ञान और इतिहास) शामिल थे। उन्होंने लाइब्रेरियन को एक विषय पर प्रशिक्षित किया और दूसरे पर उसका परीक्षण किया।

मानक विधि: जब विषय बदला, तो सुरक्षा जाल अक्सर विफल हो गया, जिससे सही उत्तर छूट गया (अंडर-कवरेज)।
DS-CP विधि: नए तरीके ने विषय के बदलाव को पहचान लिया। वह घबराया नहीं; उसने बस सही उत्तर को फिर से पकड़ने के लिए जाल को बस इतना ही चौड़ा कर दिया।
ट्रेड-ऑफ (समझौता): कभी-कभी जाल को थोड़ा बड़ा करना पड़ा (कुछ और संभावनाओं को सूचीबद्ध करना), लेकिन यह 90% बार सही होने के बदले में एक छोटा सा मूल्य है, न कि आत्मविश्वास के साथ गलत होने के।

सारांश में
यह पेपर AI सुरक्षा जालों का उपयोग करने का एक स्मार्ट तरीका पेश करता है। AI के आत्मविश्वास पर आँख मूंदकर भरोसा करने के बजाय, नया तरीका (DS-CP) यह देखता है कि नया सवाल उस चीज़ से कितना समान है जो AI ने सीखा है। यदि सवाल परिचित है, तो यह एक सटीक और सीमित उत्तर देता है। यदि सवाल पराया है, तो यह सुनिश्चित करने के लिए कि उत्तर अभी भी पकड़ा जाए, यह धीरे से सुरक्षा जाल को चौड़ा कर देता है, जिससे AI के आत्मविश्वास के साथ गलत होने (हैलुसिनेट करने) से बचाव होता है।

तकनीकी सारांश: लार्ज लैंग्वेज मॉडल्स के लिए डोमेन-शिफ्ट-अवेयर कॉन्फॉर्मल प्रेडिक्शन (Domain-Shift-Aware Conformal Prediction)

समस्या विवरण (Problem Statement)
लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर अत्यधिक आत्मविश्वासी लेकिन तथ्यात्मक रूप से गलत आउटपुट (hallucinations) उत्पन्न करते हैं, जो स्वास्थ्य सेवा और वित्त जैसे उच्च-जोखिम वाले क्षेत्रों में महत्वपूर्ण जोखिम पैदा करते हैं। जबकि कॉन्फॉर्मल प्रेडिक्शन (CP) परिमित-नमूना (finite-sample), वितरण-मुक्त कवरेज गारंटी के साथ अनिश्चितता मात्रा निर्धारण (uncertainty quantification - UQ) के लिए एक सिद्धांतवादी ढांचा प्रदान करता है, मानक CP एक्सचेंजेबिलिटी धारणा (exchangeability assumption) पर निर्भर करता है। यह धारणा आवश्यक है कि कैलिब्रेशन और टेस्ट डेटा एक ही वितरण से लिए गए हों। वास्तविक दुनिया के उपयोग में, डोमेन शिफ्ट (domain shift) सर्वव्यापी है; विकसित होते उपयोगकर्ता व्यवहार या इनपुट वितरण के कारण टेस्ट प्रॉम्प्ट्स अक्सर ऐतिहासिक कैलिब्रेशन डेटा से काफी भिन्न होते हैं। ऐसी स्थितियों में, मानक CP अक्सर अंडर-कवरेज (under-coverage) से ग्रस्त होता है, जिससे ऐसे प्रेडिक्शन सेट्स बनते हैं जो वास्तविक उत्तर को समाहित करने के लिए बहुत संकीर्ण होते हैं, जिससे विश्वसनीय अनिश्चितता गारंटी प्रदान करने में विफलता होती है।

कार्यप्रणाली: DS-CP फ्रेमवर्क (Methodology: DS-CP Framework)
लेखक डोमेन-शिफ्ट-अवेयर कॉन्फॉर्मल प्रेडिक्शन (DS-CP) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे बिना लेबल वाले टार्गेट डेटा की आवश्यकता के, डोमेन शिफ्ट के तहत LLMs को CP के अनुकूल बनाने के लिए डिज़ाइन किया गया है। यह विधि उच्च-आयामी, असंरचित प्रॉम्प्ट स्पेस में डेंसिटी रेश्यो (density ratios) के अनुमान की अव्यवहारिकता को निम्नलिखित चरणों के माध्यम से संबोधित करती है:

सिमेंटिक एम्बेडिंग (Semantic Embedding): रॉ टोकन स्पेस में काम करने के बजाय, यह फ्रेमवर्क एक प्री-ट्रेंड एम्बेडिंग मॉडल $h: \mathcal{X} \to \mathcal{Z}$ का उपयोग करके प्रॉम्प्ट्स को एक निम्न-आयामी सिमेंटिक स्पेस में प्रोजेक्ट करता है। यह क्रॉस-डोमेन समानता को कैप्चर करता है, जिससे डोमेन शिफ्ट को एम्बेडिंग वितरण में बदलाव के रूप में वर्णित किया जा सकता है।
डेंसिटी रेश्यो एस्टीमेशन (Density Ratio Estimation): एम्बेडिंग स्पेस में, एक डोमेन क्लासिफायर को सोर्स (कैलिब्रेशन) और टार्गेट (टेस्ट) प्रॉम्प्ट्स के बीच अंतर करने के लिए प्रशिक्षित किया जाता है। यह क्लासिफायर डेंसिटी रेश्यो $\tilde{r}(z) = \frac{dP'_Z}{dP_Z}(z)$ का अनुमान लगाता है, जो टार्गेट डोमेन के करीब होने के आधार पर कैलिब्रेशन नमूनों के लिए एक वेट (weight) के रूप में कार्य करता है।
रेगुलराइज्ड वेटिंग (Regularized Weighting): प्रेडिक्शन सेट्स को पूरे आउटपुट स्पेस में विकृत होने से बचाने के लिए (एक जोखिम जो तब होता है जब बड़े शिफ्ट या छोटे सैंपल साइज के कारण डेंसिटी रेश्यो अत्यधिक असंतुलित हो जाते हैं), लेखक एक रेगुलराइजेशन स्टेप पेश करते हैं। यहाँ टेस्ट पॉइंट को दिया गया वेट एक रेगुलराइज्ड पैरामीटर $\lambda$ $λ$ द्वारा प्रतिस्थापित किया जाता है जो केवल कैलिब्रेशन डेटा पर निर्भर करता है।
- एम्पीरिकल स्कोर डिस्ट्रीब्यूशन को इस प्रकार बनाया जाता है:
  $\hat{\mu}_n = \sum_{i=1}^n \frac{\hat{w}_i}{\sum \hat{w}_j + \lambda} \delta_{S_i} + \frac{\lambda}{\sum \hat{w}_j + \lambda} \delta_{\infty}$
  जहाँ $\hat{w}_i$ कैलिब्रेशन नमूनों के अनुमानित डेंसिटी रेश्यो हैं, और $\lambda$ को (आमतौर पर $\max_i \hat{w}_i$ के रूप में) वैधता और अनुकूलता (adaptivity) को संतुलित करने के लिए चुना जाता है।
प्रेडिक्शन सेट निर्माण (Prediction Set Construction): एक नए प्रॉम्प्ट के लिए अंतिम प्रेडिक्शन सेट इस वेटेड एम्पीरिकल डिस्ट्रीब्यूशन के $(1-\alpha)$ -क्वांटाइल द्वारा परिभाषित किया जाता है।

सैद्धांतिक गारंटी (Theoretical Guarantees)
यह पेपर DS-CP के लिए परिमित-नमूना कवरेज बाउंड्स स्थापित करता है:

लोअर बाउंड (Lower Bound): कवरेज प्रोबेबिलिटी गारंटीकृत रूप से $1 - \alpha$ माइनस एक गैप टर्म के बराबर होती है। यह गैप नॉर्मलाइज्ड वेट्स और एम्बेडिंग स्पेस में स्कोर डिस्ट्रीबशंस के बीच टोटल वेरिएशन डिस्टेंस पर निर्भर करता है।
स्मूथनेस कंडीशन (Smoothness Condition): लेखक दिखाते हैं कि यदि नॉन-कॉन्फॉर्मिटी स्कोर सिमेंटिक एम्बेडिंग के संबंध में सुचारू रूप से (smoothly) बदलता है, तो कवरेज गैप छोटा रहता है, भले ही रॉ प्रॉम्प्ट डिस्ट्रीब्यूशन अलग हों।
कंजर्वेटिवनेस (Conservativeness): एक अपर बाउंड प्रदान किया गया है, जो दिखाता है कि रेगुलराइजेशन टर्म $\lambda$ एक नियंत्रित स्तर की कंजर्वेटिवनेस (ओवर-कवरेज) पेश करता है जब प्रासंगिक कैलिब्रेशन डेटा का प्रभावी सैंपल साइज कम होता है।
स्टैंडर्ड CP की रिकवरी (Recovery of Standard CP): एक्सचेंजेंजेबिलिटी कंडीशन (कोई डोमेन शिफ्ट नहीं) के तहत, यह विधि ठीक से मानक CP में बदल जाती है, जो आदर्श सेटिंग में वैधता के नुकसान को सुनिश्चित करती है।

प्रायोगिक परिणाम (Experimental Results)
फ्रेमवर्क का मूल्यांकन MMLU बेंचमार्क पर किया गया, जिसमें डोमेन शिफ्ट को सिम्युलेट करने के लिए विभिन्न विषय श्रेणियों को अलग-अलग डोमेन माना गया। प्रयोग 9 मॉडल फैमिली के 16 ओपन-सोर्स LLMs पर किए गए।

कवरेज (Coverage): मानक CP अक्सर लक्षित 90% कवरेज प्राप्त करने में विफल रहा, और जब कैलिब्रेशन और टेस्ट डोमेन अलग हुए तो यह स्तर से काफी नीचे गिर गया। DS-CP ने लगातार कवरेज में सुधार किया, सभी मॉडल्स और डोमेन पेयर्स में इसे लक्षित स्तर के करीब बनाए रखा।
सेट साइज (Set Size): हालांकि DS-CP ने शिफ्ट की भरपाई के लिए मानक CP की तुलना में थोड़े बड़े प्रेडिक्शन सेट्स बनाए, लेकिन यह वृद्धि मामूली थी। यह वैधता को बहाल करने और दक्षता बनाए रखने के बीच एक सफल ट्रेड-ऑफ को प्रदर्शित करता है।
अनुकूलता (Adaptivity): विश्लेषण से पता चला कि DS-CP कठिन मामलों में अंडर-कवरेज को चुनिले ढंग से ठीक करता है (जहाँ मानक CP विफल होता है), जबकि उन मामलों में न्यूनतम समायोजन करता है जहाँ मानक CP पहले से ही वैध है, जो यह सिद्ध करता है कि यह केवल एक यूनिफॉर्म सेट एनलार्जमेंट नहीं है।

महत्व और दावे (Significance and Claims)
यह पेपर दावा करता है कि यह वास्तविक दुनिया के उपयोग में LLMs के लिए विश्वसनीय अनिश्चितता मात्रा निर्धारण (trustworthy uncertainty quantification) की दिशा में एक व्यावहारिक कदम है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

एक्सचेंजेबिलिटी से परे CP का विस्तार: यह डोमेन शिफ्ट को संभालने के लिए एक व्यवस्थित, सैद्धांतिक रूप से आधारित तरीका प्रदान करता है, जो एक ऐसी स्थिति है जहाँ मानक CP विफल हो जाता है।
सिमेंटिक अडैप्टेशन: रॉ टेक्स्ट के बजाय सिमेंटिक एम्बेडिंग्स का लाभ उठाकर, यह उच्च-आयामी LLM इनपुट्स के लिए डेंसिटी रेश्यो एस्टीमेशन को संभव बनाता है।
संतुलित विश्वसनीयता: यह सांख्यिकीय वैधता (कवरेज गारंटी बनाए रखना) और अनुकूलता (विशिष्ट टार्गेट डोमेन के अनुसार प्रेडिक्शन सेट्स को तैयार करना) के बीच संतुलन प्राप्त करता है, जो सुरक्षा-महत्वपूर्ण अनुप्रयोगों में अविश्वसनीय भविष्यवाणियों के महत्वपूर्ण मुद्दे को संबोधित करता है।

लेखक सीमाओं का उल्लेख करते हैं, जिनमें एम्बेडिंग और डेंसिटी रेश्यो एस्टिमेटर्स की गुणवत्ता पर निर्भरता, बिना लेबल वाले टार्गेट प्रॉम्प्ट्स की आवश्यकता, और वर्तमान में ओपन-एंडेड जनरेशन के बजाय मल्टीपल-चॉइस टास्क पर ध्यान केंद्रित करना शामिल है। हालांकि, वे तर्क देते हैं कि DS-CP विशेष रूप से डोमेन शिफ्ट के तहत LLM प्रॉम्प्ट्स की उच्च-आयामी, असंरचित प्रकृति के लिए तैयार किया गया कॉन्फॉर्मल प्रेडिक्शन का एक सिद्धांतवादी अनुकूलन है।

1. "सिमेंटिक मैप" (एम्बेडिंग्स)

2. "वेटेड क्राउड" (डेंसिटी रेशियो)

3. "सेफ्टी ब्रेक" (रेगुलराइजेशन)

परिणाम: एक बेहतर सुरक्षा जाल

तकनीकी सारांश: लार्ज लैंग्वेज मॉडल्स के लिए डोमेन-शिफ्ट-अवेयर कॉन्फॉर्मल प्रेडिक्शन (Domain-Shift-Aware Conformal Prediction)

इसी तरह के और पेपर