🤖 machine learning

Reading Calibrated Uncertainty from Language Model Trajectories

यह शोध पत्र प्रति-परत (per-layer) एमएलपी अपडेट प्रक्षेप पथों (MLP update trajectories) से स्केल-इनवेरिएंट ज्यामितीय विशेषताओं को निकालकर और उन्हें एक स्पार्स लीनियर प्रोब में फीड करके भाषा मॉडल अनिश्चितता परिमाणीकरण (language model uncertainty quantification) को सुधारने की एक विधि प्रस्तावित करता है, जो मानक मैक्सिमम सॉफ्टमैक्स प्रोबेबिलिटी दृष्टिकोण से बेहतर प्रदर्शन करता है और साथ ही यह अंतर्दृष्टि प्रदान करता है कि मॉडल की गहराई में त्रुटियां कैसे और कहाँ विकसित होती हैं।

मूल लेखक: Aliai Eusebi, Alexander Herzog, Xiaoyu Liang, Marie Vasek, Enrico Mariconti, Lorenzo Cavallaro

प्रकाशित 2026-05-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aliai Eusebi, Alexander Herzog, Xiaoyu Liang, Marie Vasek, Enrico Mariconti, Lorenzo Cavallaro

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़े भाषा मॉडल (LLM) की कल्पना एक बहुत ही बुद्धिमान, लेकिन कभी-कभी अति-आत्मविश्वासी छात्र के रूप में करें जो एक बहुविकल्पीय परीक्षा दे रहा है। जब छात्र एक प्रश्न पूरा करता है, तो वह आमतौर पर आपको एक "कॉन्फिडेंस स्कोर" देता है (जैसे कि कहना, "मैं इस उत्तर के प्रति 95% सुनिश्चित हूँ")। यह वह मानक तरीका है जिससे हम जाँचते हैं कि मॉडल सही है या गलत।

हालाँकि, यह शोध पत्र तर्क देता है कि यह कॉन्फिडेंस स्कोर अक्सर एक झूठ होता है। मॉडल "95% सुनिश्चित" कह सकता है भले ही वह पूरी तरह से गलत हो। यह उस छात्र की तरह है जो बेतरतीब ढंग से अनुमान लगाता है लेकिन अपने अनुमान के प्रति बहुत आश्वस्त महसूस करता है।

समस्या: मंज़िल को देखना, यात्रा को नहीं

AI की आत्मविश्वास की जाँच करने के अधिकांश तरीके केवल अंतिम उत्तर (मंज़िल) को देखते हैं। वे मॉडल की सोचने की प्रक्रिया को अंत में लिए गए एक एकल स्नैपशॉट के रूप में देखते हैं।

इस शोध पत्र के लेखक कहते हैं: "रुकिए! यह समझने के लिए कि कोई वास्तव में कितना आश्वस्त है, आपको केवल उनके अंतिम उत्तर को नहीं देखना चाहिए। आपको यह देखना चाहिए कि वे वहाँ कैसे पहुँचे।"

वे मॉडल की आंतरिक सोच की तुलना पहाड़ पर चढ़ने वाले एक हाइकर (पर्वतारोही) से करते हैं:

मानक विधि (MSP): केवल हाइकर को शिखर पर पहुँचने पर देखती है। यदि वह ऊपर खुश दिखता है, तो हम मान लेते हैं कि उसकी चढ़ाई आसान और सीधी थी।
नई विधि (ट्रैजेक्टरी): हाइकर के पूरे रास्ते को देखती है। क्या उसने एक सीधी रेखा में चला? क्या वह किसी खाई के किनारे भटक गया और फिर वापस मुड़ने के लिए संघर्ष किया? क्या वह शिखर पर पहुँचने से पहले ज़िगज़ैग तरीके से इधर-उधर भटकता रहा?

शोध पत्र का दावा है कि भले ही दो हाइकर एक ही शिखर पर समान खुशी के भाव के साथ पहुँचें, लेकिन उनके रास्ते हमें बहुत अलग कहानियाँ बता सकते हैं। एक की यात्रा एक सहज, आत्मविश्वासी चढ़ाई हो सकती थी (संभवतः सही), जबकि दूसरा पूरे समय खोया हुआ, भ्रमित और हवा से लड़ता हुआ रहा होगा (संभवतः गलत), भले ही वे दोनों अंत में मुस्कुराते हुए शिखर पर पहुँच जाएँ।

समाधान: "मोशन डिटेक्टर"

शोधकर्ताओं ने एक उपकरण बनाया है जो मॉडल की आंतरिक सोच के लिए एक मोशन डिटेक्टर की तरह काम करता है।

चरणों को ट्रैक करना: जैसे-जैसे मॉडल एक प्रश्न को प्रोसेस करता है, वह न्यूरॉन्स (जैसे कि एक इमारत की मंजिलें) के कई स्तरों से गुजरता है। प्रत्येक मंजिल पर, मॉडल अपने उत्तर में एक छोटा सा समायोजन करता है।
नक्शा बनाना: केवल अंतिम परिणाम को देखने के बजाय, यह उपकरण उस पथ का नक्शा बनाता है जिसे मॉडल ने इन मंजिलों के माध्यम से तय किया है।
आकार को मापना: यह उपकरण इस पथ के बारे में 11 विशिष्ट चीजों को मापता है, जैसे कि:
- सुगमता (Smoothness): क्या मॉडल ने अचानक अपना विचार बदल दिया?
- दिशा (Direction): क्या मॉडल ने एक ही दिशा में आगे बढ़ना जारी रखा, या उसने अपने पिछले विचारों के विरुद्ध संघर्ष किया?
- दक्षता (Efficiency): क्या मॉडल ने सीधा रास्ता लिया, या वह चक्कर काटते हुए भटक गया?

परिणाम: एक स्मार्ट "स्टॉप" बटन

इस "मोशन मैप" का उपयोग करके, शोधकर्ताओं ने त्रुटियों की भविष्यवाणी करने के लिए एक सरल, पारदर्शी प्रणाली (एक "स्पार्स लीनियर प्रोब") को प्रशिक्षित किया।

मानक से बेहतर: यह नई प्रणाली मॉडल के झूठ बोलने की पहचान करने में बहुत बेहतर है। परीक्षणों में, इसने मानक विधि की तुलना में "उच्च-आत्मविश्वास वाली गलतियों" को काफी कम कर दिया।
"सिलेक्टिव एब्स्टेंशन" (चयनात्मक परहेज) का तरीका: क्योंकि यह प्रणाली परेशानी को पहचानने में इतनी अच्छी है, इसलिए यह मॉडल को बता सकती है: "हे, तुम्हें लगता है कि तुम 95% आश्वस्त हो, लेकिन तुम्हारा आंतरिक पथ अव्यवस्थित था। मैं तुम्हें रुकने और उत्तर न देने के लिए कहूँगी।" यह मॉडल को आत्मविश्वास के साथ गलत उत्तर देने से रोकता है।
"क्यों" का कारक: सबसे शानदार बात यह है कि क्योंकि यह उपकरण सरल ज्यामितीय मापों (जैसे कि "पथ कितना घुमावदार था?") का उपयोग करता है, हम वास्तव में देख सकते हैं कि इसने त्रुटि को क्यों चिह्नित किया। यह हमें बता सकता है, "मॉडल शुरू में आत्मविश्वासी था, फिर बीच की परतों में अचानक अपना विचार बदल दिया, और फिर मूल विचार पर वापस जाने के लिए मजबूर करने की कोशिश की।" यह एक डॉक्टर के होने जैसा है जो कह सकता है, "मरीज केवल बीमार नहीं है; उनका हृदय गति दोपहर 2 बजे बढ़ी और तापमान 3 बजे गिर गया," बजाय इसके कि केवल यह कहे कि "मरीज बीमार है।"

सारांश

संक्षेप में, यह शोध पत्र हमें मॉडल के अंतिम "मैं आश्वस्त हूँ!" वाले बयान पर भरोसा करना छोड़ने की शिक्षा देता है। इसके बजाय, हमें मॉडल ने समस्या को कैसे सोचा, उसके मूवी (चलचित्र) को देखना चाहिए। इसकी आंतरिक चरणों के "मोशन" और "आकार" को देखकर, हम उन आत्मविश्वासी त्रुटियों को पकड़ सकते हैं जो अन्यथा बच निकल जातीं, जिससे बिना किसी महंगे या जटिल नए सिस्टम के AI अधिक सुरक्षित और विश्वसनीय बन जाता है।

तकनीकी सारांश: भाषा मॉडल प्रक्षेपवक्र (Trajectories) से कैलिब्रेटेड अनिश्चितता को पढ़ना

1. समस्या विवरण

संरचित आउटपुट वाले लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए अनिश्चितता परिमाणीकरण (Uncertainty Quantification - UQ) के वर्तमान दृष्टिकोणों में कम्प्यूटेशनल दक्षता और कैलिब्रेशन के बीच एक ट्रेड-ऑफ (संतुलन की चुनौती) बना रहता है। डिफ़ॉल्ट विधि, मैक्सिमम सॉफ्टमैक्स प्रोबेबिलिटी (MSP), कम्प्यूटेशनल रूप से मुफ्त है लेकिन अक्सर गलत भविष्यवाणियों के लिए उच्च आत्मविश्वास (confidence) असाइन करके मिसकैलिब्रेटेड रहती है। इसके विपरीत, मौजूदा विधियाँ जो आंतरिक एक्टिवेशन्स (internal activations) की जांच करती हैं, वे आमतौर पर हिडन स्टेट्स को स्थिर स्नैपशॉट्स (या तो एक एकल परत या औसत के रूप में) मानती हैं, जिससे लेयर-वार प्रक्षेपवक्र (layer-wise trajectory) लुप्त हो जाता है जिसके द्वारा एक प्रतिनिधित्व (representation) निर्मित होता है। यह स्थिर दृष्टिकोण इस बात की अनदेखी करता है कि नेटवर्क की गहराई के माध्यम से साक्ष्य (evidence) कैसे संचित, सुदृढ़ या विपरीत होते हैं, जो अंतिम आउटपुट वितरण में मौजूद अनिश्चितता संकेतों को छिपा सकता है।

2. कार्यप्रणाली (Methodology)

लेखक एक ऐसी विधि प्रस्तावित करते हैं जो मॉडल एक्टिवेशन्स को स्थिर अवस्थाओं के बजाय प्रतिनिधित्व प्रक्षेपवक्रों (representational trajectories) के रूप में देखती है। इस दृष्टिकोण में तीन मुख्य घटक शामिल हैं:

2.1. आधार (Substrate): MLP राइट-वेक्टर्स (Write-Vectors)

कच्चे हिडन स्टेट्स के विश्लेषण के बजाय, यह विधि प्रत्येक ट्रांसफार्मर ब्लॉक के मल्टी-लेयर परसेप्ट्रॉन (MLP) द्वारा रेसिडुअल स्ट्रीम (residual stream) में दिए गए MLP राइट-वेक्टर्स ( $m_\ell$ ) पर ध्यान केंद्रित करती है। मेकेनिस्टिक इंटरप्रिटेबिलिटी का पिछला कार्य सुझाव देता है कि MLPs तथ्यात्मक ज्ञान भंडारण के लिए महत्वपूर्ण स्थल हैं।

यह विधि एकल फॉरवर्ड पास के दौरान अंतिम प्रॉम्प्ट स्थिति (रीडआउट पोजीशन) पर इन वेक्टर्स के अनुक्रम को कैप्चर करती है।
यह इन वेक्टर्स के संचयी योग (cumulative sum) की गणना करके प्रतिनिधित्व स्थान में एक विविक्त प्रक्षेपवक्र (discrete trajectory) बनाती है: $s_\ell = \sum_{k \le \ell} m_k$ ।
प्रक्षेपवक्र को प्रारंभिक अवस्था ( $s_0 = 0$ ) से अंतिम एंडपॉइंट ( $s_L$ ) तक परिभाषित किया गया है।

2.2. ज्यामितीय फीचर निष्कर्षण (Geometric Feature Extraction)

प्रक्षेपवक्र को प्रति परत ग्यारह स्केल-इनवेरिएंट ज्यामितीय फीचर्स का उपयोग करके संक्षिप्त किया जाता है, जिन्हें चार श्रेणियों में समूहित किया गया है:

डेप्थ डिस्ट्रीब्यूशन (Depth Distribution): यह मापता है कि कम्प्यूटेशनल प्रयास (अपडेट परिमाण) परतों में कैसे वितरित है (जैसे, फ्रंट-लोडिंग बनाम बैक-लोडिंग)।
लोकल प्रक्षेपवक्र आकार (Local Trajectory Shape): यह दिशात्मक निरंतरता (consecutive cosine), अचानक परिवर्तन (curvature), और यह कि अपडेट पूर्व स्थिति को सुदृढ़ करते हैं या उसका विरोध करते हैं (update-state alignment), को कैप्चर करता है।
एंडपॉइंट के साथ संबंध (Relation to Endpoint): यह मापता है कि परतें अंतिम दिशा से कैसे संबंधित हैं, जिसमें अभिसरण (final की ओर दिशा), व्यक्तिगत अपडेट का संरेखण (final के प्रति अपडेट), और उन परतों की पहचान शामिल है जो सक्रिय रूप से एंडपॉइंट का विरोध करती हैं (contradictory support)।
दक्षता (Efficiency): यह शुद्ध विस्थापन (net displacement) और कुल पथ लंबाई (cumulative coherence) के अनुपात को मापता है, जो यह दर्शाता है कि प्रक्षेपवत्र कितनी सीधे तौर पर अपने एंडपॉइंट तक पहुँचता है।

2.3. स्पार्स लीनियर प्रोब (Sparse Linear Probe)

इन फीचर्स को त्रुटि की संभावना की भविष्यवाणी करने के लिए एक स्पार्स लीनियर प्रोब (स्पार्स लॉजिस्टिक रिग्रेशन) में फीड किया जाता है।

इनपुट: प्रति परत 11 फीचर्स का वेक्टर ( $\phi(x)$ ) और मॉडल का MSP स्कोर ( $p_{msp}$ )।
इंटरैक्शन: मॉडल में फीचर्स और MSP के बीच इंटरैक्शन टर्म्स शामिल हैं, जो प्रोब को बेसलाइन कॉन्फिडेंस के आधार पर ज्यामितीय संकेतों को अलग तरह से वजन (weigh) करने की अनुमति देता है।
प्रशिक्षण: प्रोब को एरर इंडिकेटर के विरुद्ध क्लास-बैलेंस्ड बाइनरी क्रॉस-एन्ट्रॉपी को कम करने के लिए प्रशिक्षित किया जाता है, जिसे स्पर्सिटी सुनिश्चित करने के लिए इलास्टिक-नेट पेनल्टी के साथ नियमित (regularize) किया जाता है। यह मॉडल को एक अलग चयन चरण के बिना सीधे भविष्य कहने योग्य फीचर्स की पहचान करने की अनुमति देता है।

3. मुख्य योगदान

ट्रैजेक्टरी-आधारित UQ: लेखक नेटवर्क की गहराई के माध्यम से प्रतिनिधित्व के विकास का वर्णन करने वाले एक संक्षिप्त ज्यामितीय फीचर्स के सेट का प्रस्ताव करते हैं। जब इसे स्पार्स लीनियर प्रोब को दिया जाता है, तो यह चयनात्मक त्याग (selective abstention) के तहत MSP से बेहतर प्रदर्शन करता है, जहाँ प्रदर्शन लाभ बेसलाइन के मिसकैलिब्रेशन (21 AURC पॉइंट्स तक सुधार) के साथ बढ़ता है।
एंड-टू-एंड इंटरप्रिटेबिलिटी: कच्चे एक्टिवेशन्स पर डेंस प्रोब्स की अपारदर्शी प्रकृति के विपरीत, प्रत्येक फीचर का एक क्लोज्ड-फॉर्म ज्यामितीय अर्थ है। प्रोब के गुणांक (coefficients) यह प्रकट करते हैं कि त्रुटियाँ कैसे होती हैं: यह पहचानना कि कौन सी परतें समय से पहले प्रतिबद्ध (commit) होती हैं, कौन सी रनिंग स्टेट का विरोध करती हैं, और कहाँ प्रक्षेपवक्र एंडपॉइंट से भटक जाते हैं।
व्यापक अनुभवजन्य मूल्यांकन: इस विधि का मूल्यांकन 9 विभिन्न इंस्ट्रक्शन-ट्यून्ड LLMs (Qwen, Llama, DeepSeek परिवार, 3B से 72B पैरामीटर्स तक) पर पांच विविध NLP कार्यों (MMLU, CosmosQA, HellaSwag, HaluDial, HaluSum) पर किया गया।

4. प्रयोगात्मक परिणाम

प्रदर्शन: प्रोब ने 41 of 45 मॉडल-डेटासेट जोड़ों पर MSP से बेहतर प्रदर्शन किया। लाभ वहां सबसे महत्वपूर्ण थे जहां MSP का प्रदर्शन सबसे खराब था (उच्च मिसकैलिब्रेशन), जिससे सबसे कठिन कॉन्फ़िगरेशन में AURC (Area Under the Risk-Coverage curve) में 11.45 से 21.83 पॉइंट्स की कमी आई।
बेसलाइन के साथ तुलना: प्रोब ने 24 कॉन्फ़िगरेशन में एक उच्च-क्षमता वाले "रॉ-एक्टिवेशन प्रोब" (जो पूर्ण हिडन स्टेट्स पर प्रशिक्षित है) की बराबरी की या उससे बेहतर प्रदर्शन किया और अन्य 6 में 2 AURC पॉइंट्स के भीतर रहा, जबकि इसमें केवल 11 स्केलर फीचर्स का उपयोग किया गया था।
चयनात्मकता (Selectivity): प्रोब सुचारू, मोनोटोन रिस्क-कवरेज कर्व्स उत्पन्न करता है, जिससे MSP के साथ दिखने वाले अस्थिर लो-कवरेज स्पाइक्स से बचा जा सकता है। यह समान MSP कॉन्फिडेंस स्कोर होने पर भी सही और गलत भविष्यवाणियों को प्रभावी ढंग से अलग करता है।
इंटरप्रिटेबिलिटी निष्कर्ष:
- सही बनाम गलत: समान MSP स्कोर वाली भविष्यवाणियाँ विशिष्ट प्रक्षेपवक्र सिग्नेचर प्रदर्शित करती हैं। उदाहरण के लिए, गलत भविष्यवाणियाँ अक्सर शुरुआती परतों में अंतिम दिशा के साथ समय से पहले संरेखण (premature alignment) दिखाती हैं, जिसके बाद "डबल बैक" या विचलन होता है।
- कार्य विशिष्टता (Task Specificity): त्रुटियों के ज्यामितीय सिग्नेचर कार्य के अनुसार भिन्न होते हैं। HaluSum पर, त्रुटियाँ समय से पहले प्रतिबद्धता के बाद एक देर से होने वाले, स्टेट-ब्रेकिंग सुधार के रूप में प्रकट हुईं। CosmosQA पर, त्रुटियाँ उत्तर की दिशा के लंबवत (orthogonal) मिड-डेप्थ ड्रिफ्ट के रूप में दिखाई दीं।
- गुणांक विश्लेषण (Coefficient Analysis): प्रोब के गुणांक त्रुट तंत्रों को स्थानीयकृत (localize) करते हैं। उदाहरण के लिए, HaluSum पर, त्रुटि संकेत नेटवर्क के अंतिम चौथाई भाग में केंद्रित थे, जबकि CosmosQA पर, वे गहराई में फैले हुए थे।

5. महत्व और दावे

यह पेपर दावा करता है कि एक्टिवेशन्स को स्थिर स्नैपशॉट के बजाय गति (motion) के रूप में देखना, डेंस प्रोब्स की अपारदर्शिता और MSP के सीमित सिग्नल के बीच एक "व्यवहार्य मध्य मार्ग" प्रदान करता है।

ऑडिटेबल अनिश्चितता: क्योंकि फीचर्स संरचनात्मक रूप से व्याख्या योग्य (interpretable) हैं, परिणामी कॉन्फिडेंस सिग्नल अभ्यासकर्ताओं को न केवल यह निरीक्षण करने की अनुमति देता है कि मॉडल अनिश्चित है, बल्कि यह भी कि उसकी गणना में अनिश्चितता कहाँ से उत्पन्न होती है (जैसे, विशिष्ट परतें या ज्यामितीय विचलन)।
दक्षता: यह विधि अनुमान (inference) के समय नगण्य कम्प्यूटेशनल लागत जोड़ती है, जिसके लिए केवल एक फॉरवर्ड पास और सरल ज्यामितीय गणनाओं की आवश्यकता होती है, जिससे सैंपलिंग-आधारित या एन्सेम्बल दृष्टिकोणों की उच्च लागत से बचा जा सकता है।
सीमाएँ: लेखक नोट करते हैं कि उनका विश्लेषण असतत-विकल्प (discrete-choice) सेटिंग्स (बहु-विकल्पीय प्रश्न) तक सीमित है, और प्रोब वर्तमान में प्रति (मॉडल, कार्य) फिट किया जाता है, जिससे मॉडलों और कार्यों के बीच स्थानांतरणीयता (transferability) एक खुला प्रश्न बना हुआ है।

संक्षेप में, यह कार्य प्रदर्शित करता है कि कैसे एक भाषा मॉडल एक भविष्यवाणी को कैसे संकलित करता है, इसकी ज्यामिति में समृद्ध, व्याख्या योग्य संकेत होते हैं जो अंतिम आउटपुट वितरण में अदृश्य होते हैं, जिससे अधिक विश्वसनीय और ऑडिट करने योग्य चयनात्मक भविष्यवाणी सक्षम होती है।