💬 NLP

Retrieval-Augmented Linguistic Calibration

यह शोधपत्र रिट्रीवल-ऑगमेंटेड लिंग्विस्टिक कैलिब्रेशन (RALC) प्रस्तुत करता है, जो एक पोस्ट-हॉक फ्रेमवर्क है जो भाषाई आत्मविश्वास को एक संभाव्यता वितरण के रूप में मॉडल करता है और विविध लार्ज लैंग्वेज मॉडल्स में प्राकृतिक भाषा के कथनों की निष्ठा और अंशांकन (कैलिब्रेशन) में महत्वपूर्ण सुधार करने के लिए रिट्रीवल-ऑगमेंटेड रीराइटिंग का उपयोग करता है।

मूल लेखक: Yi-Fan Yeh, Linwei Tao, Minjing Dong, Tao Huang, Jialin Yu, Philip Torr, Chang Xu

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yi-Fan Yeh, Linwei Tao, Minjing Dong, Tao Huang, Jialin Yu, Philip Torr, Chang Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन कभी-कभी अति-आत्मविश्वासी रोबोट से सलाह मांग रहे हैं। कभी-कभी रोबोट सही होता है, लेकिन वह कहता है "मुझे 100% यकीन है!" जबकि वास्तव में वह केवल अनुमान लगा रहा होता है। अन्य समय में, वह सही होता है लेकिन कहता है "मुझे वास्तव में यकीन नहीं है," जिससे आप एक सही उत्तर पर भी संदेह करने लगते हैं। यह कैलिब्रेशन (calibration) की समस्या है: यह सुनिश्चित करना कि रोबोट का आत्मविश्वास वास्तविकता से मेल खाता हो।

यह शोध पत्र, जिसका शीर्षक "रिट्रीवल-ऑगमेंटेड लिंग्विस्टिक कैलिब्रेशन" (RALC) है, इस रोबोट के आत्मविश्वास को ठीक करने का एक नया तरीका पेश करता है, जो विशेष रूप रूप से इसके गणित के बजाय इसके द्वारा उपयोग किए जाने वाले शब्दों पर केंद्रित है।

यहाँ उनके समाधान का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: शब्द अव्यवस्थित हैं, संख्याएँ बहुत सरल हैं

आमतौर पर, जब हम यह मापने की कोशिश करते हैं कि एक रोबोट कितना आश्वस्त है, तो हम एक एकल संख्या देखते हैं (जैसे "85% निश्चित")। लेकिन मनुष्य एकल संख्याओं में नहीं सोचते। हम "शायद," "संभवतः," "मुझे लगता है," या "निश्चित रूप से" जैसे शब्दों का उपयोग करते हैं।

लेखकों ने महसूस किया कि यदि आप इन शब्दों को केवल एक संख्या में बदल देते हैं, तो आप उनकी सूक्ष्मता खो देते हैं।

उपमा: कल्पना कीजिए कि आप मौसम का वर्णन करने की कोशिश कर रहे हैं। यदि आप केवल कहते हैं "बारिश की 70% संभावना है," तो वह एक संख्या है। लेकिन यदि आप कहते हैं "बारिश होने की संभावना है," तो यह कहने कि "शायद बारिश हो रही है," से अलग महसूस होता है। अलग-अलग लोग "संभावना" और "शायद" की व्याख्या अलग-अलग तरह से करते हैं। कुछ सोचते हैं कि "संभावना" का अर्थ 80% है, अन्य 60% समझते हैं।
शोध पत्र का अंतर्दृष्टि (Insight): इन शब्दों को एक संख्या में बदलने के बजाय, लेखक आत्मविश्वास को संभावनाओं के एक बादल (cloud of possibilities) के रूप में देखते हैं। वे कल्पना करते हैं कि लोगों का एक पूरा समूह रोबोट के उत्तर को पढ़ रहा है और पूछ रहा है, "आपको क्या लगता है कि रोबमान कितना आश्वस्त है?" परिणाम एक संख्या नहीं, बल्कि एक वितरण (distribution) (विचारों का प्रसार) है। यह इस तथ्य को पकड़ता है कि भाषा व्यक्तिपरक होती है।

2. नया मीट्रिक: "फेथफुलनेस" (आस्था/विश्वसनीयता) (सरप्राइज टेस्ट)

पेपर एक नया तरीका पेश करता है जिससे यह जांचा जा सके कि रोबोट ईमानदार है या नहीं, जिसे फेथफुलनेस (Faithfulness) कहा जाता है।

उपमा: कल्पना कीजिए कि एक मौसम विज्ञानी है।
- परिदृश्य A: वे कहते हैं, "कल निश्चित रूप से बारिश होगी," लेकिन बारिश नहीं होती। आप हैरान रह जाते हैं! यह एक "उच्च आश्चर्य" (high surprise) है।
- परिदृश्य B: वे कहते हैं, "शायद बारिश हो सकती है," और बारिश नहीं होती। आप बिल्कुल भी आश्चर्यचकित नहीं होते।
- शोध पत्र का बिंदु: एक अच्छा आत्मविश्वास तंत्र को केवल "औसत रूप से सही" नहीं होना चाहिए। इसे परिदृश्य A से बचना चाहिए। यदि रोबोट बहुत आत्मविश्वासी है (उनके गणित में उच्च "एकाग्रता") लेकिन गलत है, तो यह एक बड़ी विफलता है। नया मीट्रिक, फेथफुलनेस डाइवर्जेंस (Faithfulness Divergence), ठीक उसी मात्रा को मापता है कि सच्चाई सामने आने पर दर्शकों को कितना "आश्चर्य" महसूस होता है। जितना कम आश्चर्य होगा, रोबोट उतना ही अधिक "फेथफुल" (विश्वसनीय) होगा।

3. समाधान: RALC (द "रीराइट" पाइपलाइन)

लेखकों ने RALC (रिट्रीवल-ऑगमेंटेड लिंग्विस्टिक कैलिब्रेशन) नामक एक प्रणाली बनाई है। इसे रोबोट के उत्तरों के लिए तीन-चरणीय संपादन प्रक्रिया के रूप में समझें।

चरण 1: निदान (सिग्नल स्पेस)
सबसे पहले, सिस्टम रोबोट के कच्चे उत्तर को देखता है और संभावनाओं के एक बादल (ऊपर बताए गए वितरण) का उपयोग करके उसके "वास्तविक" आत्मविश्वास की गणना करता है। इसे एहसास होता है, "ओह, रोबोट सोचता है कि वह 90% आश्वस्त है, लेकिन पिछले डेटा के आधार पर, वह वास्तव में केवल 60% बार ही सही होता है।"

चरण 2: समायोजन (कैलिब्रेशन)
सिस्टम रोबोट के आंतरिक आत्मविश्वास नंबर को अधिक सटीक बनाने के लिए एक त्वरित गणितीय सुधार (जिसे प्लैट स्केलिंग कहा जाता है) करता है। अब, सिस्टम जानता है कि रोबोट को वास्तव में 60% आश्वस्त महसूस करना चाहिए।

चरण 3: पुनर्लेखन (भाषाई नियंत्रण)
यह सबसे चतुर हिस्सा है। सिस्टम केवल संख्या नहीं बदलता; यह शब्दों को बदलता है।

उपमा: कल्पना कीजिए कि रोबोट ने लिखा: "आकाश नीला है।" (बहुत अधिक आत्मविश्वासी)।
सिस्टम के पास एक विशाल शब्दकोश (लेक्सिकन) है जो शब्दों को आत्मविश्वास के स्तरों से जोड़ता है। यह जानता है कि "आकाश नीला है" 90% आत्मविश्वास से मेल खाता है, लेकिन "आकाश संभवतः नीला है" 60% आत्मविश्वास से मेल खाता है।
सिस्टम रिट्रीवल (एक सर्च इंजन की तरह) का उपयोग करता है ताकि सही "हेजिंग" (hedging) शब्द (जैसे "संभवतः," "शायद," "मुझे लगता है") खोजे जा सकें जो नए, सुधारे गए आत्मविश्वास स्तर से मेल खाते हों।
इसके बाद यह दूसरे AI को उन विशिष्ट शब्दों का उपयोग करके वाक्य को फिर से लिखने के लिए कहता है।
परिणाम: उत्तर बन जाता है "आकाश संभवतः नीला है।" अर्थ वही है, लेकिन लहजा अब ईमानदार और कैलिब्रेटेड है।

4. उन्होंने क्या पाया

लेखकों ने पांच अलग-अलग प्रकार के AI मॉडल और तीन अलग-अलग प्रश्न-उत्तर परीक्षणों (जैसे सामान्य ज्ञान और पठन बोध) पर इसका परीक्षण किया।

परिणाम: RALC ने रोबोटों को वास्तविकता के साथ अपने आत्मविश्वास को मिलाने में बहुत बेहतर बनाया।
- इसने फेथफुलनेस (आश्चर्य के कारक को कम करना) में 66% तक सुधार किया।
- इसने कैलिब्रेशन (आत्मविश्वास की सटीकता) में 58% तक सुधार किया।
तुलना: यह केवल रोबोट को "अधिक सावधान रहने" के लिए कहने (जिसे प्रॉम्प्टिंग कहा जाता है) या अन्य "ब्लैक बॉक्स" विधियों की तुलना में बेहतर काम कर गया।
सबसे अच्छा सिग्नल: दिलचस्प बात यह है कि सिस्टम तब सबसे अच्छा काम करता है जब यह "सेमेंटिक अनसर्टेंटी" (यह जांचना कि क्या रोबोट एक ही प्रश्न को अलग-अलग तरीकों से पूछने पर अलग-अलग उत्तर देता है) का उपयोग अपने मार्गदर्शक के रूप में करता है, न कि केवल रोबोट द्वारा शुरू में उपयोग किए गए शब्दों को देखने के रूप में।

सारांश

यह शोध पत्र एक तरीका प्रस्तावित करता है जिससे AI अधिक मानवीय और ईमानदार लग सके। केवल एक संख्या या एक आत्मविश्वासी अनुमान देने के बजाय, सिस्टम अनिश्चितता को मापता है, गणित को समायोजित करता है, और फिर वाक्य को सही "शायद" या "संभवतः" शब्दों का उपयोग करके फिर से लिखता है ताकि यह सुनिश्चित हो सके कि रोबोट बहुत अधिक आत्मविश्वासी या बहुत कम आत्मविश्वासी न हो। यह रोबोट को आपसे बोलने से पहले एक "टोन चेक" देने जैसा है।

तकनीकी सारांश: रिट्रीवल-ऑगमेंटेड लिंग्विस्टिक कैलिब्रेशन (RALC)

समस्या विवरण

मानवीय निर्णय लेने की प्रक्रियाओं में लार्ज लैंग्वेज मॉडल्स (LLMs) के विश्वसनीय परिनियोजन के लिए सटीक आत्मविश्वास अनुमान अत्यंत महत्वपूर्ण है। जबकि मौजूदा विधियाँ विश्वास को स्केलर संभाव्यता मानों (जैसे कि टोकन-स्तरीय प्रायिकता या मौखिक स्कोर) के रूप में दर्शाती हैं, मनुष्य संख्यात्मक संभावनाओं के साथ सटीक तर्क देने में संघर्ष करते हैं। इसके परिणामस्वरूप, भाषाई संकेत (जैसे कि "संभवतः", "हो सकता है") एक प्राकृतिक इंटरफेस के रूप में पसंद किए जाते हैं। हालाँकि, इन संकेतों को स्केलर मानने से उनकी अंतर्निहित व्यक्तिपरकता का त्याग हो जाता है: विभिन्न पाठक एक ही अभिव्यक्ति को अलग-अलग कथित संभाव्यता मूल्यों के रूप में मैप करते हैं। इसके अतिरिक्त, सह-घटित होने वाले भाषाई सुराग और प्रासंगिक भिन्नताएँ ऐसी अनूठी चुनौतियाँ पेश करती हैं जिन्हें स्केलर प्रतिनिधित्व पकड़ने में विफल रहता है। वर्तमान पोस्ट-हॉक अंशांकन (कैलिब्रेशन) विधियाँ पूरी तरह से संख्यात्मक स्थान में संचालित होती हैं, जिनमें स्वाभाविक भाषा में अंशांकित संकेतों को वापस प्रसारित करने के तंत्र का अभाव होता है, जबकि मौजूदा भाषाई रणनीतियाँ अक्सर बिना किसी सिद्धांत आधारित नियंत्रण के ब्लैक-बॉक्स प्रक्रियाओं के रूप में कार्य करती हैं।

कार्यप्रणाली

1. भाषाई विश्वास का वितरण संबंधी मॉडलिंग (Distributional Modeling)

लेखक भाषलीय विश्वास को केवल एक एकल स्केलर के रूप में नहीं, बल्कि इस बात के वितरण (डिस्ट्रीब्यूशन) के रूप में मॉडल करते हैं कि कोई कथन सत्य होने की कितनी संभावित कथित संभाव्यता है।

औपचारिकता (Formalism): विश्वास को एक बीटा वितरण (Beta distribution), $S = \text{Beta}(\alpha, \beta)$ $S = Beta (α, β)$ के रूप में दर्शाया गया है।
- माध्य $\mu = \alpha/(\alpha+\beta)$ पाठकों के बीच कथित विश्वास के केंद्रीय रुझान को दर्शाता है।
- एकाग्रता (Concentration) $\kappa = \alpha + \beta$ पाठकों के बीच सहमति (विचरण) की शक्ति को कूटबद्ध करता है।
अनुमान (Estimation): एक कॉन्फिडेंस एस्टिमेटर $g$ , प्रतिक्रिया $R$ को बीटा वितरण में मैप करता है। यह एक मानव दर्शक सरोगेट के रूप में काम करने वाले LLMs के समूह द्वारा उत्पन्न स्कोरों पर फिट करके पैरामीट्राइज किया जाता है, जो कई भाषाई संकेतों और संदर्भ के परस्पर प्रभाव को कैप्चर करता है।

2. फेथफुलनेस डायवर्जेंस (Faithfulness Divergence - FD)

जनसंख्या-स्तर के अंशांकन (एक्स्पेक्टेड कैलिब्रेशन एरर, ECE) से परे विश्वास का मूल्यांकन करने के लिए, पेपर फेथफुलनेस (विश्वसनीयता) को एक इंस्टेंस-लेवल आयाम के रूप में प्रस्तुत करता है।

परिभाषा: फेथफुलनेस दर्शकों के विश्वास में जमीनी सच्चाई प्रकट होने पर उत्पन्न होने वाले "आश्चर्य" (Surprise) को मापता है।
मेट्रिक: फैथफुलनेस डायवर्जेंस (FD) को एक कंसंट्रेशन-वेटेड बायेसियन अपडेटिंग लागत के रूप में परिभाषित किया गया है:
$FD_i := (\alpha_i + \beta_i) \cdot \text{KL}(S^*_i \parallel S_i)$
जहाँ $S_i$ पूर्व वितरण (prior distribution) है और $S^*_i$ ग्राउंड-ट्रुथ लेबल $y_i$ के साथ अपडेट किया गया पश्च वितरण (posterior) है।
तर्क: FD सूचना-सैद्धांतिक आश्चर्य (information-theoretic surprise) को मात्रात्मक बनाता है, जहाँ KL डाइवर्जेंस को सांद्रता (concentration) द्वारा भारित किया जाता है। उच्च-सांद्रता वाला गलत संरेखण (misalignment), निम्न-सांद्रता वाले संरेखण की तुलना में अधिक दंड (surprising) अर्जित करता है, जो इस सहज बोध को दर्शाता है कि दृढ़ता से पकड़े गए गलत विश्वास अधिक आश्चर्यजनक होते हैं।

3. रिट्रीवल-ऑगमेंटेड लिंग्विस्टिक कैलिब्रेशन (RALC)

RALC एक हल्का, पोस्ट-हॉक पाइपलाइन है जो कच्चे LLM रिस्पॉन्स को सीधे भाषाई स्पेस में अंशांकित और निष्ठावान आउटपुट में बदल देता है। यह पाइपलाइन तीन चरणों से बनी है:

सिग्नल-स्पेस कैलिब्रेशन: अनुमानित कॉन्फिडेंस डिस्ट्रीब्यूशन मीन को बाइनरी करेक्टनेस लेबल्स के विरुद्ध प्लेट स्केलिंग (लॉजिस्टिक्स रिग्रेशन) का उपयोग करके अंशांकित किया जाता है। कंसंट्रेशन पैरामीटर को संरक्षित रखा जाता है, क्योंकि यह लक्ष्य के बजाय सहमति की मजबूती का प्रतिनिधित्व करता है।
लेक्सिकन निर्माण: एक प्री-बिल्ट लेक्सिकन हेजिंग अभिव्यक्तियों (जैसे कि "झुकाव होना", "निश्चित रूप से") को उनके अनुरूप धारणात्मक विश्वास के बीटा वितरणों से मैप करता है। ये वितरण विशिष्ट हेजिंग क्यूज़ वाले पुनर्गठित गैर-सत्यापन योग्य कथनों का LLM एन्सेम्बल द्वारा मूल्यांकन करके प्राप्त किए जाते हैं।
रिट्रीवल-ऑगमेंटेड रीराइटिंग: अंशांकित वितरण एक रिट्रीवल सिग्नल के रूप में कार्य करता है। सिस्टम दो-चरणीय KNN सर्च करता है:
- शॉर्टलिस्टिंग: अंशांकित मीन और लेक्सिकन एंट्री मीन्स के बीच पूर्ण दूरी (absolute distance) के आधार पर।
- रैंकिंग: वितरण के केंद्रीय रुझान और प्रसार (concentrations) दोनों से मेल खाने के लिए 1-वॉसरस्टीन डिस्टेंस (1-Wasserstein distance) के आधार पर।
- रीराइटिंग: शीर्ष- $k$ रिट्रीव्ड हेजिंग एक्सप्रेशन को मूल रिस्पॉन्स के साथ एक 'LLM एडिटर' को भेजा जाता है ताकि टेक्स्ट को फिर से लिखा जा सके, जिससे यह सुनिश्चित हो सके कि नया रिस्पॉन्स अंशांकित सिग्नल के अनुकूल कथित विश्वास को प्रदर्शित करे।

यह पाइपलाइन विविध अपस्ट्रीम सिग्नल्स के साथ संगत है, जिसमें भाषाई विश्वास, टोकन प्रोबेबिलिटी, और सिमेंटिक अनसर्टेन्टी (सेल्फ-कंसिस्टेंसी सैंपलिंग से व्युत्पन्न) शामिल हैं।

मुख्य योगदान

डिस्ट्रीब्यूशनल फ्रेमवर्क: डिस्क्रीट मैपिंग और स्केलर क्वांटिफिकेशन से आगे बढ़ते हुए, रीडर व्याख्या की परिवर्तनशीलता और कुओं (cues) के परस्पर प्रभाव को पकड़ने के लिए भाषीय विश्वास को बीटा वितरण के रूप में औपचारिक बनाना।
फेथफुलनेस मेट्रिक: एक नए, इंस्टेंस-लेवल मूल्यांकन आयाम के रूप में फैथफुलनेस डायवर्जेंस (FD) को पेश करना, जो वितरण सेटिंग्स में स्कैलर मैट्रिक्स जैसे ब्रायर स्कोर और NLL की सीमाओं को संबोधित करते हुए, सत्य प्रकटीकरण पर सूचना-सैद्धांतिक आश्चर्य को मात्रात्मक बनाता है।
RALC पाइपलाइन: रिट्रीवल-ऑगमेंटेड रीराइटिंग के माध्यम से भाषाई स्पेस में विश्वास को अंशांकित करने के लिए एक सामान्यीकरण योग्य, पोस्ट-हॉक ढांचा प्रस्तावित करना, जो विभिन्न विश्वास अनुमान सिग्नल्स के साथ संगत है।

प्रयोगात्मक परिणाम

इस ढांचे का मूल्यांकन पाँच LLM परिवारों (GPT-OSS-20B, Llama-3.1-8B, Qwen3-8B, Mistral-7B, Gemma-4-31B) और तीन बेंचमार्क्स (MMLU, SQuAD 2.0, TruthfulQA) पर किया गया।

प्रदर्शन लाभ: RALC ने प्री-कैलिब्रेशन बेसलाइन्स की तुलना में इन-डोमेन फेथफुलनेस में 66% तक सुधार और अंशांकन (सामान्यीकृत ECE) में 58% तक वृद्धि दर्ज की।
तुलना: RALC ने ब्लैक-बॉक्स बेसलाइन्स (हेज्ड QA, जो बिना अंशांकित संकेतों के हेजिंग के लिए प्रॉम्प्ट करता है) और ग्रे-बॉक्स बेसलाइन्स (डायरेक्ट बीटा-गाइडेड रीराइट, जिसमें स्ट्रक्चर्ड लेक्सिकन रिट्रीवल का अभाव है) दोनों को पीछे छोड़ दिया।
सिग्नल रोबस्टनेस: सिमेंटिक अनसर्टेन्टी सबसे मजबूत कॉन्फिडेंस सिग्नल बनकर उभरा, जिसने सभी डोमेन में अंशांकन और फेथफुलनेस दोनों में सबसे मजबूत सुधार प्रदान किया।
क्रॉस-डोमेन ट्रांसफर: पाइपलाइन ने उत्कृष्ट स्थानांतरणीयता दिखाई; कुछ मामलों में, क्रॉस-डोमेन कैलिब्रेटर्स उन इन-डोमेन कैलिब्रेटर्स से बेहतर प्रदर्शन कर सकते थे जिनका लक्षित डोमेन कमजोर मिसकैलिब्रेशन बायस रखता था, जिससे वह स्रोत जिसे अधिक निर्णायक सुधार की आवश्यकता थी, उसे सीखने में सक्षम हुआ।
मैट्रिक वैलिडेशन: प्रयोगों ने पुष्टि की कि FD सफलतापूर्वक सर्प्राइज़ लेवल को रैंक करता है जो डिस्ट्रिब्यूशनल प्रोफाइल के अनुरूप है (उच्च-संकेंद्रण विसंगतियों को दंडित करता है), जबकि KL डाइवर्जेंस, ब्रायर स्कोर और NLL इस क्रम को रिकवर करने में विफल रहे।

महत्व

पेपर का तर्क है कि भाषाई विश्वास स्वभावतः वितरणात्मक है क्योंकि इसकी व्याख्या व्यक्तिपरक होती है। इस वितरण को मॉडल करके और विश्वसनीयता (फाथफुलनेस) को एक पूरक मूल्यांकन आयाम के रूप में पेश करके, यह कार्य एक व्यवस्थित तरीका प्रदान करता है कि कैसे किसी मॉडल का व्यक्त विश्वास वास्तविकता के साथ व्यक्तिगत स्तर पर संरेखित होता है। RALC पाइपलाइन यह सिद्ध करती है कि अंशांकित विश्वास संकेतों को रिट्रीवल-ऑगमेंटेड रीराइटिंग के माध्यम से प्राकृतिक भाषा में प्रभावी ढंग से संचारित किया जा सकता है, जो मॉडल के आंतरिक भाग तक पहुँचने या पुनः प्रशिक्षण (retraining) की आवश्यकता के बिना एलएलएम्स (LLMs) की विश्वसनीयता बढ़ाने के लिए एक स्केलेबल, पोस्ट-हॉक समाधान प्रदान करता है। परिणाम बताते हैं कि अंशांकित विश्वास को संरेखित करने के लिए अनियंत्रित जनरेशन की तुलना में संरचित लेक्सिकन रिट्रीवल श्रेष्ठ है।