💬 NLP

SAGE: Answer-Conditioned Uncertainty Targets for Verbal Uncertainty Alignment

यह शोध पत्र SAGE का प्रस्ताव करता है, जो एक सिमेंटिक-आंसर गाइडेड एंट्रॉपी टारगेट और ग्रुप-अनसर्टेन्टी प्रेफरेंस ऑप्टिमाइजेशन (GUPO) का संयोजन है, ताकि बड़े भाषा मॉडलों (LLMs) की मौखिक अनिश्चितता अभिव्यक्तियों को उनके वास्तविक सैम्पल्ड व्यवहार के साथ संरेखित किया जा सके, जिससे विविध तर्क कार्यों में अंशांकन (कैलिब्रेशन) में सुधार हो सके और अति-आत्मविश्वास को कम किया जा सके।

मूल लेखक: Kaiwen Shi, Zheyuan Zhang, Yanfang Ye

प्रकाशित 2026-06-11

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kaiwen Shi, Zheyuan Zhang, Yanfang Ye

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "SAGE: Answer-Conditioned Uncertainty Targets for Verbal Uncertainty Alignment" पेपर का सरल भाषा में अनुवाद दिया गया है:

बड़ी समस्या: आत्मविश्वासी झूठा (The Confident Liar)

कल्पना कीजिए कि आप एक बहुत बुद्धिमान लेकिन थोड़े घबराए हुए रोबोट से एक सवाल पूछते हैं। कभी-कभी, रोबोट को जवाब पूरी तरह से पता होता है। अन्य समय में, वह केवल अनुमान लगा रहा होता है, लेकिन उसे यह एहसास नहीं होता कि वह अनुमान लगा रहा है।

समस्या केवल यह नहीं है कि रोबोट गलतियाँ करता है; समस्या यह है कि जब वह गलत होता है, तब भी वह उतना ही आत्मविश्वास के साथ बोलता है जितना कि सही होने पर। वह कह सकता है, "मुझे 100% यकीन है कि फ्रांस की राजधानी लंदन है," उसी सहज लहजे में जिसका उपयोग वह तब करता है जब वह वास्तव में सही होता है। यह खतरनाक है क्योंकि उपयोगकर्ता रोबोट पर भरोसा करते हैं, जिससे गलत निर्णय लिए जा सकते हैं।

शोधकर्ता रोबोट को यह सिखाना चाहते हैं कि जब वह अनिश्चित हो, तो कहे, "मुझे यकीन नहीं है।" लेकिन आप एक रोबोट को उसकी अपनी उलझन के बारे में ईमानदार होना कैसे सिखा सकते हैं?

पुराना तरीका: रोबोट को अनुमान लगाने के लिए कहना

पहले, शोधकर्ताओं ने रोबोट को "ईमानदार" उत्तरों के उदाहरण दिखाकर प्रशिक्षित करने की कोशिश की। वे कहते थे, "जब तुम अनिश्चित हो, तो कहो 'मुझे यकीन नहीं है'।"

खामी: यह एक छात्र को केवल एक विशिष्ट टेस्ट प्रश्न दिखाकर यह सिखाने जैसा है कि "मुझे नहीं पता" कब कहना है। यदि छात्र को ऐसा प्रश्न दिखता है जिसके बारे में उसे लगता है कि उसे उत्तर पता है, तो वह फिर भी आत्मविश्वास के साथ अनुमान लगा सकता है। पुराने तरीकों ने इस बात पर ध्यान नहीं दिया कि रोबोट का बड़ा चित्र (big picture) कैसा है। उन्होंने केवल एक उत्तर को देखा और उसे ठीक करने की कोशिश की, इस तथ्य को नजरअंदाज कर दिया कि रोबोट अंदरूनी रूप से सिक्का उछालकर (coin flip) निर्णय ले रहा हो सकता है।

नया विचार: "ग्रुप रोलआउट" (The "Group Rollout")

लेखकों ने महसूस किया कि यह जानने के लिए कि क्या एक रोबोट वास्तव में अनिश्चित है, आपको उसे एक ही सवाल 20 बार पूछना होगा और देखना होगा कि क्या होता है।

स्थिर समूह (Stable Group): यदि आप रोबोट से 20 बार पूछते हैं, और वह 20 बार एक ही उत्तर देता है, तो वह आश्वस्त है। उसे कहना चाहिए, "मुझे यकीन है।"
बिखरा हुआ समूह (Dispersed Group): यदि आप 20 बार पूछते हैं, और वह 20 अलग-अलग उत्तर देता है (या 10 अलग-अलग उत्तर), तो वह भ्रमित है। उसे कहना चाहिए, "मुझे यकीन नहीं है।"

इसे ग्रुप रोलआउट कहा जाता है। यह एक समिति (committee) के 20 लोगों से एक ही सवाल पूछने जैसा है। यदि वे सभी सहमत हैं, तो समूह आश्वस्त है। यदि वे बहस कर रहे हैं, तो समूह अनिश्चित है।

जाल: "खराब स्कोरकार्ड" (The "Bad Scorecard")

यहीं पर पेपर बहुत चतुर हो जाता है। केवल 20 उत्तरों का समूह होना पर्याप्त नहीं है। आपको उस समूह को स्कोर (score) देने के लिए एक तरीके की आवश्यकता है जो रोबोट को बता सके कि उसे कितना अनिश्चित होना चाहिए। लेखकों ने पाया कि मौजूदा स्कोरिंग तरीके दोषपूर्ण थे:

"सटीक मिलान" स्कोर (MAF): यह तरीका केवल यह गिनता है कि कितनी बार ठीक वही शब्द आया।
- उपमा: कल्पना कीजिए कि एक समिति रंग पर वोट दे रही है। यदि 10 लोग "लाल" कहते हैं और 10 लोग "क्रिमसन" कहते हैं, तो यह स्कोरकार्ड सोचता है कि वे पूरी तरह से विभाजित हैं (50/50) क्योंकि शब्द अलग हैं। लेकिन वे वास्तव में रंग पर सहमत हैं! यह स्कोरकार्ड बहुत सख्त है और बारीकियों को समझने में विफल रहता है।
"सिमेंटिक क्लस्टर" स्कोर (SE): यह समान अर्थों को एक साथ समूह में रखता है।
- उपमा: यह बेहतर है, लेकिन यह एक क्लब के बाउंसर जैसा है जिसके पास एक कठोर सूची है। यदि आप सूची से थोड़ा भी अलग हैं, तो आपको तुरंत "हाँ" समूह से बाहर फेंक दिया जाता है और "नहीं" समूह में डाल दिया जाता है। स्कोर एक टूटे हुए लिफ्ट की तरह ऊपर-नीचे होता है, जिससे रोबोट के लिए सुचारू रूप से सीखना कठिन हो जाता है।
"जेनेरिक सिमिलैरिटी" स्कोर (KLE): यह देखता है कि वाक्य सुनने में कितने समान हैं।
- उपमा: यह सबसे खतरनाक वाला है। कल्पना कीजिए कि एक समिति गणित की समस्या पर वोट दे रही है। एक व्यक्ति कहता है "52", दूसरा कहता है "53"। एक सामान्य कान के लिए, ये संख्याएँ बहुत समान लगती हैं। यह स्कोरकार्ड सोचता है, "ओह, वे लगभग एक जैसे हैं, इसलिए समूह आश्वस्त है!" लेकिन गणित में, 52 और 53 पूरी तरह से अलग उत्तर हैं। यह स्कोरकार्ड रोबोट को धोखा देता है कि वह आश्वस्त है, जबकि वह वास्तव में गलत है।

समाधान: SAGE (द स्मार्ट स्कोरकार्ड)

लेखकों ने SAGE (Semantic-Answer Guided Entropy) नामक एक नया स्कोरिंग सिस्टम बनाया।

SAGE को एक स्मार्ट स्कोरकार्ड के रूप में सोचें जो एक साथ दो चीजों को समझता है:

वाइब (The Vibe): यह देखता है कि वाक्य सुनने में कैसे लगते हैं (भाषाई समानता)।
सत्य (The Truth): यह जाँचता है कि क्या वास्तविक उत्तर संगत हैं (उत्तर समानता)।

यह कैसे काम करता है:

यदि समिति कहती है "लाल" और "क्रिमसन", तो SAGE देखता है कि उनका अर्थ एक ही है और वह कम अनिश्चितता स्कोर देता है (अच्छा!)।
यदि समिति कहती है "52" और "53", तो SAGE देखता है कि भले ही वे सुनने में समान हों, लेकिन वे गणितीय रूप से भिन्न हैं। यह उच्च अनिश्चितता स्कोर देता (अच्छा!)।
यह इसे सुचारू रूप से करता है, ताकि रोबोट को एक स्पष्ट, स्थिर संकेत मिले कि उसे अपने आत्मविश्वास को कैसे समायोजित करना है, न कि एक झटकेदार, भ्रमित करने वाले संकेत की तरह।

प्रशिक्षण विधि: GUPO

एक बार जब उनके पास यह परफेक्ट स्कोरकार्ड (SAGE) हो जाता है, तो वे एक नई प्रशिक्षण विधि GUPO का उपयोग करते हैं।

रोबोट के पूरे उत्तर (कहानी, तर्क और अंतिम तथ्य) को ठीक करने के बजाय, GUPO केवल आत्मविश्वास वाले हिस्से पर ध्यान केंद्रित करता है।

उपमा: एक शिक्षक द्वारा छात्र के निबंध को सुधारने की कल्पना करें। पूरी कहानी को फिर से लिखने के बजाय, शिक्षक केवल उस वाक्य को घेरता है जहाँ छात्र कहता है "मुझे 100% यकीन है" और कहता है, "वास्तव में, अपने अन्य ड्राफ्ट देखें। आप अनुमान लगा रहे थे। इसे बदलकर 'मुझे यकीन नहीं है' कर दें।"
GUPO बिल्कुल यही करता है। यह रोबंत के तर्क और तथ्यों को अकेला छोड़ देता है लेकिन रोबोट को अपने "अनिश्चितता कथन" को समूह की वास्तविकता के अनुरूप बदलने के लिए प्रशिक्षित करता है।

परिणाम

लेखकों ने तीन प्रकार के कार्यों पर इसका परीक्षण किया:

तथ्य (Facts): (जैसे, "यह पुस्तक किसने लिखी?")
गणित (Math): (जैसे, "52 + 3 क्या है?")
बहुविकल्पीय (Multiple Choice): (जैसे, "क्या उत्तर A, B, C या D है?")

सभी मामलों में, SAGE और GUPO के साथ प्रशिक्षित रोबोट अनिश्चित होने के बारे में बहुत बेहतर हो गए। वे अति-आत्मविश्वासी झूठे बनने से रुक गए। वे सीख गए कि जब समूह का उत्तर अव्यवस्थित हो तो "मुझे नहीं पता" कहना है, और जब समूह सहमत हो तो "मुझे पता है" कहना है।

सारांश

यह पेपर तर्क देता है कि रोबोट को उसकी अनिश्चितता के बारे में ईमानदार होने के लिए सिखाने के लिए, आप केवल एक उत्तर को नहीं देख सकते। आपको उत्तरों के एक समूह को देखना होगा। लेकिन आपके पास एक विशेष "स्कोरकार्ड" (SAGE) भी होना चाहिए जो समझता हो कि "लाल" और "क्रिमसन" एक ही हैं, लेकिन "52" और "53" नहीं हैं। इस स्मार्ट स्कोरकार्ड के साथ, रोबोट अपने आत्मविश्वास को अपनी वास्तविक क्षमता के अनुरूप ढालना सीख जाता है, जिससे वह एक अधिक विश्वसनीय साथी बनता है।

तकनीकी सारांश: SAGE – मौखिक अनिश्चितता संरेखण के लिए उत्तर-आधारित अनिश्चितता लक्ष्य (Answer-Conditioned Uncertainty Targets for Verbal Uncertainty Alignment)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर तब भी प्रवाहपूर्ण और विश्वसनीय टेक्स्ट उत्पन्न करते हैं जब अंतर्निहित उत्तर अनिश्चित या असमर्थित होता है, जिससे वास्तविक दुनिया में गंभीर परिणाम भुगतने वाली 'hallucinations' (भ्रम) की स्थिति पैदा हो सकती है। जबकि शोधकर्ताओं ने अनिश्चितता का अनुमान लगाने के लिए आंतरिक संकेतों (जैसे टोकन प्रोबेबिलिटी) और सैंपलिंग-आधारित संकेतों का अन्वेषण किया है, मौखिक अनिश्चितता (verbal uncertainty)—जहाँ मॉडल स्पष्ट रूप से अपना आत्मविश्वास व्यक्त करता है (जैसे, "मैं 80% आश्वस्त हूँ")—उपयोगकर्ताओं के लिए एक सीधा और व्याख्या योग्य संकेत प्रदान करती है।

हालाँकि, मौखिक अनिश्चितता संरेखण (verbal uncertainty alignment) में एक महत्वपूर्ण अंतराल मौजूद है: व्यक्त की गई अनिश्चितता अक्सर मॉडल की वास्तविक व्यवहारिक विश्वसनीयता को प्रतिबिंबित करने में विफल रहती है। मौजूदा दृष्टिकोण अनिश्चितता अंशांकन (calibration) को एक रिस्पॉन्स-लेवल समस्या के रूप में देखते हैं (जैसे, एकल आउटपुट पर सुपरवाइज्ड फाइन-ट्यूनिंग या पेयरवाइज प्रिफरेंस ऑप्टिमाइजेशन)। लेखक तर्क देते हैं कि यह मौलिक रूप से अपर्याप्त है क्योंकि एक एकल रिस्पॉन्स यह प्रकट नहीं कर सकता कि मॉडल का प्रोबेबिलिटी मास उस उत्तर पर केंद्रित है या विभिन्न संभावित विकल्पों में बिखरा हुआ है। यह एक "वितरण संबंधी अंधापन" (distributional blindness) पैदा करता है जहाँ मॉडल अनिश्चितता अभिव्यक्तियों की नकल करना तो सीख जाता है, लेकिन उन्हें अपने स्वयं के रिस्पॉन्स डिस्ट्रीब्यूशन की स्थिरता के साथ संरेखित करना नहीं सीख पाता।

इसके अतिरिक्त, जबकि ग्रुप-लेवल लक्ष्य (group-level targets) (अनिश्चितता का अनुमान लगाने के लिए बार-बार रोलआउट का उपयोग करना) सैद्धांतिक रूप से सुदृढ़ हैं, मौजूदा विधियाँ एक "रिवॉर्ड-सिग्नल बॉटलनेक" (reward-signal bottleneck) से ग्रस्त हैं:

मैक्सिमम आंसर फ्रीक्वेंसी (MAF): यह उत्तर की स्थिरता के प्रति वफादार है लेकिन बहुत ही मोटा (coarse) है; यह सिमेंटिक दूरी और रीजनिंग विविधताओं को अनदेखा करता है, जिससे यदि बहुमत की संख्या समान हो, तो अलग-अलग समूहों को समान स्कोर मिलता है।
सिमेंटिक एंट्रॉपी (SE): यह हार्ड सिमेंटिक क्लस्टरिंग के माध्यम से पैराफ्रेज को संभालता है, लेकिन असंतत (discontinuous) और मोटे रिवॉर्ड उत्पन्न करता है। एक क्लस्टर के भीतर छोटे बदलाव कोई सिग्नल नहीं देते, जबकि क्लस्टर सीमा पार करने पर डिस्क्रीट जंप आते हैं।
कर्नेल लैंग्वेज एंट्रॉपी (KLE): यह निरंतर एम्बेडिंग समानता के माध्यम से स्मूथ सिग्नल प्रदान करता है, लेकिन कार्य-महत्वपूर्ण उत्तरों के अंतर को बनाए रखने में विफल रहता है। यह जेनेरिक एम्बेडिंग ज्योमेट्री के कारण परस्पर अनन्य विकल्पों (जैसे, "A" बनाम "B") या विशिष्ट संख्यात्मक मानों को अत्यधिक समान मान सकता है, जिससे अनिश्चितता का कम आकलन हो सकता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र इन सीमाओं को दूर करने के लिए दो भागों वाले ढांचे का प्रस्ताव करता है: लक्ष्य निर्माण के लिए SAGE (Semantic-Answer Guided Entropy) और प्रशिक्षण के लिए GUPO (Group-Uncertainty Preference Optimization)।

1. SAGE: सिमेंटिक-आंसर गाइडेड एंट्रॉपी

SAGE एक ग्रुप-लेवल सेल्फ-अनिश्चितता लक्ष्य है जिसे एक उत्तर-आधारित अनिश्चितता ज्यामिति (answer-conditioned uncertainty geometry) बनाने के लिए डिज़ाइन किया गया है। इसका लक्ष्य एक साथ उत्तर-वफादार, रिवॉर्ड-स्मूथ और स्केल-प्रिजर्विंग होना है।

भाषाई कर्नेल (Linguistic Kernel): यह प्रतिक्रियाओं के उत्तर-युक्त सामग्री $z_i$ पर आधारित एक निरंतर सिमेंटिक समानता कर्नेल $K_{ling}$ के साथ शुरू होता है, जो स्मूथ सिमेंटिक समानता को मापता है।
उत्तर-तुल्यता कर्नेल (Answer-Equivalence Kernel): जेनेरिक एम्बेडिंग्स को कार्य-महत्वपूर्ण अंतरों को धुंधला करने से रोकने के लिए, SAGE एक कार्य-विशिष्ट बाइनरी उत्तर-तुल्यता कर्नेल $K_{ans}^{bin}$ पेश करता है। यह कर्नेल समकक्ष उत्तरों (जैसे, समान मल्टीपल-चॉइस लेबल, सामान्यीकृत संख्यात्मक मान, या सत्यापित प्रतीकात्मक अभिव्यक्ति) को 1 का मान देता है और अन्यथा 0 देता है।
सॉफ्ट फ्लोर (Soft Floor): हार्ड क्लस्टरिंग की असंततता से बचने के लिए, SAGE एक "सॉफ्ट फ्लोर" तंत्र का उपयोग करता है:
$K_{ans}^{soft}(a_i, a_j) = c + (1-c)K_{ans}^{bin}(a_i, a_j)$
जहाँ $c \in [0, 1]$ उत्तर पृथक्करण की डिग्री को नियंत्रित करता है। $c=0$ कठोर पृथक्करण लागू करता है, जबकि $c=1$ शुद्ध भाषाई समानता को पुनः प्राप्त करता है।
संयुक्त कर्नेल (Combined Kernel): अंतिम कर्नेल भाषाई और उत्तर-जागरूक समानताओं को जोड़ता है:
$K_A(y_i, y_j) = (K_{ling}(y_i, y_j))^\alpha \cdot (K_{ans}^{soft}(a_i, a_j))^\beta$
एंट्रॉपी गणना: कर्नेल मैट्रिक्स को डेंसिटी मैट्रिक्स $P_A$ में सामान्यीकृत किया जाता है, और SAGE को $P_A$ की सामान्यीकृत वॉन न्यूमैन एंट्रॉपी के रूप में परिभाषित किया गया है। कम एंट्रॉपी केंद्रित प्रतिक्रियाओं (कम अनिश्चितता) को दर्शाती है, जबकि उच्च एंट्रॉपी अर्थों, रीजनिंग पथों या अंतिम उत्तरों के बीच फैलाव को दर्शाती है।

2. GUPO: ग्रुप-अनिश्चितता प्रिफरेंस ऑप्टिमाइजेशन

GUPO एक प्रशिक्षण ढांचा है जो सुपरविजन सिग्नल के रूप में SAGE का उपयोग करता है। मानक तरीकों के विपरीत जो पूरे रिस्पॉन्स को ऑप्टिमाइज़ करते हैं, GUPO केवल रिस्पॉन्स $y_i = (z_i, v_i)$ के अनिश्चितता चैनल ( $v_i$ ) को ऑप्टिमाइज़ करता है।

प्रिफरेंस निर्माण: $K$ सैंपल्ड रिस्पॉन्स के एक समूह के लिए, रिवॉर्ड $r_i$ को व्यक्त की गई अनिश्चितता $\hat{u}(v_i)$ और SAGE लक्ष्य $t(G_x)$ के बीच की दूरी के आधार पर गणना किया जाता है।
ऑप्टिमाइजेशन: GUPO समूह के भीतर अनिश्चितता अभिव्यक्तियों पर एक प्रिफरेंस डिस्ट्रीब्यूशन लागू करता है, जो पॉलिसी को उन अनिश्चितता अभिव्यक्तियों के लॉग-लाइक्लीहुड को अधिकतम करने के लिए ऑप्टिमाइज़ करता है जो समूह-स्तरीय लक्ष्य के साथ बेहतर ढंग से मेल खाते हैं। इसे इस प्रकार सूत्रित किया गया है:
$L_{GUPO} = -\mathbb{E}_{x, G_x} \left[ \sum_{i=1}^K \text{stopgrad}(p_i^{cal}) \cdot \log \pi_\theta(v_i | x, z_i) \right]$
जहाँ $p_i^{cal}$ रिवॉर्ड स्कोर से प्राप्त प्रिफरेंस प्रोबेबिलिटी है।

मुख्य योगदान

समस्या का सूत्रण: लेखकों ने मौखिक अनिश्चितता संरेखण को एक वितरण संबंधी अंशांकन समस्या (distributional calibration problem) के रूप में पहचाना और उन मौजूदा ग्रुप-लेवल लक्ष्यों (MAF, SE, KLE) के "रिवॉर्ड-सिग्नल बॉटलनेक" को रेखांकित किया जो उनकी प्रभावशीलता को सीमित करते हैं।
SAGE लक्ष्य: उन्होंने SAGE पेश किया है, जो एक अभिनव एंट्रॉपी लक्ष्य है जो रिस्पॉन्स ज्योमेट्री में उत्तर-जागरूक संरचना इंजेक्ट करता है। यह स्मूथनेस को बनाए रखता है जबकि जेनेरिक मेट्रिक्स की विफलता को ठीक करता है जो असंगत उत्तरों (जैसे, अलग-अलग विकल्प लेबल या भिन्न संख्यात्मक मान) के बीच अंतर करने में विफल रहते हैं।
GUPO ढांचा: वे GUPO का प्रस्ताव करते हैं, जो एक अनिश्चितता-चैनल प्रिफरेंस ऑप्टिमाइजेशन ढांचा है जो पूर्ण रिस्पॉन्स कंटेंट के अनुकूलन से मौखिक अनिश्चितता के अंशांकन को अलग करता है।
अनुभवजन्य सत्यापन: इस दृष्टिकोण को तीन अलग-अलग उत्तर प्रारूपों में मान्य किया गया है: तथ्यात्मक QA (TriviaQA), गणितीय तर्क (MATH-500), और मल्टीपल-चॉइस रीजनिंग (MMLU-Pro)।

परिणाम

प्रयोगों से पता चलता है कि GUPO + SAGE मौजूदा बेसलाइन्स (Direct Verbalized, CoT, CSFT, और LoVeC-DPO सहित) और वैकल्पिक ग्रुप लक्ष्यों (MAF, SE, KLE) को लगातार पछाड़ता है।

अंशांकन (Calibration): यह विधि सभी बेंचमार्क पर सबसे कम ब्रायर स्कोर (Brier scores) और एक्सपेक्टेड कैलिब्रेशन एरर (ECE) प्राप्त करती है। उदाहरण के लिए, MMLU-Pro पर, GUPO+SAGE ने ECE को घटाकर 0.113 कर दिया, जबकि अगले सर्वश्रेष्ठ बेसलाइन के लिए यह 0.179 था।
अनिश्चितता रैंकिंग: यह स्पियरमैन सहसंबंध (Spearman correlation) में महत्वपूर्ण सुधार करता है, जो यह दर्शाता है कि मॉडल की व्यक्त की गई अनिश्चितता वास्तव में उनकी विश्वसनीयता द्वारा उदाहरणों को बेहतर ढंग से रैंक करती है।
चयनात्मक सटीकता (Selective Accuracy): यह ढांचा उच्च-विश्वास उपसमुच्चय सटीकता (जैसे, विभिन्न कॉन्फिडेंस थ्रेसहोल्ड पर MMLU-Pro पर +22.4 से +33.0 प्रतिशत अंक) में पर्याप्त लाभ प्रदान करता है, जो यह सिद्ध करता है कि कम अनिश्चितता वाले अनुमानों के सही होने की संभावना अधिक होती है।
स्थानांतरणीयता (Transferability): सुधार विभिन्न मॉडल स्केल्स (Qwen2.5-1.5B, 3B, और 7B) में बने रहते हैं, जो सुझाव देते हैं कि यह विधि किसी विशिष्ट बैकबोन क्षमता पर निर्भर नहीं है।

महत्व और दावे

शोध पत्र का दावा है कि ग्रुप-लेवल व्यवहारिक अनिश्चितता को एकल-रिस्पॉन्स अनिश्चितता अभिव्यक्तियों में केवल तभी डिस्टिल किया जा सकता है जब लक्ष्य निर्माण और ऑप्टिमाइजेशन चैनल दोनों को ठीक से डिज़ाइन किया गया हो।

लक्ष्य अंतराल को संबोधित करना: लेखक तर्क देते हैं कि SAGE जैसे विश्वसनीय, उत्तर-जागरूक लक्ष्य के बिना, रिवॉर्ड सिग्नल शोर या शॉर्टकट में सिमट जाते हैं, जिससे ऑप्टिमाइज़र कैलिब्रेटेड अनिश्चितता को सतही पैटर्न से अलग करने में विफल रहता है।
व्यवहारिक संरेखण: यह कार्य अनिश्चितता को "कहने" (say) सीखने से बदलकर, मॉडल के अपने सैंपलिंग व्यवहार की स्थिरता को "प्रतिबिंबित" (reflect) करने के लिए सीखने की ओर एक बदलाव है।
व्यावहारिक उपयोगिता: मौखिक अनिश्चितता के क्रम और पैमाने में सुधार करके, यह ढांचा अधिक प्रभावी डाउनस्ट्रीम निर्णय लेने में सक्षम बनाता है, जैसे कि मॉडल आउटपुट पर भरोसा करना, सत्यापन करना या उससे बचना।

सीमाएँ: लेखक विनम्रतापूर्वक नोट करते हैं कि उनकी विधि मौखिक अनिश्चितता को व्यवहारिक आत्म-अनिश्चितता (सैंपलिंग की स्थिरता) के साथ संरेखित करती है, न कि अनिवार्य रूप से बाहरी सत्यता (external correctness) के साथ। एक मॉडल स्थिर लेकिन गलत हो सकता है। इसलिए, SAGE को शुद्धता-आधारित अंशांकन और बाहरी सत्यापन के पूरक के रूप में प्रस्तुत किया गया है, न कि उसके विकल्प के रूप में, विशेष रूप से चिकित्सा या कानून जैसे उच्च-जोखिम वाले क्षेत्रों में जहाँ डोमेन-विशिष्ट साक्ष्य की आवश्यकता होती है। इसके अतिरिक्त, लक्ष्य की गुणवत्ता उत्तर निष्कर्षण (answer extraction) और तुल्यता मॉड्यूल (equivalence modules) की विश्वसनीयता पर निर्भर करती है।

बड़ी समस्या: आत्मविश्वासी झूठा (The Confident Liar)

पुराना तरीका: रोबोट को अनुमान लगाने के लिए कहना

नया विचार: "ग्रुप रोलआउट" (The "Group Rollout")

जाल: "खराब स्कोरकार्ड" (The "Bad Scorecard")

समाधान: SAGE (द स्मार्ट स्कोरकार्ड)

प्रशिक्षण विधि: GUPO

परिणाम

सारांश

तकनीकी सारांश: SAGE – मौखिक अनिश्चितता संरेखण के लिए उत्तर-आधारित अनिश्चितता लक्ष्य (Answer-Conditioned Uncertainty Targets for Verbal Uncertainty Alignment)

समस्या विवरण

कार्यप्रणाली (Methodology)

1. SAGE: सिमेंटिक-आंसर गाइडेड एंट्रॉपी

2. GUPO: ग्रुप-अनिश्चितता प्रिफरेंस ऑप्टिमाइजेशन

मुख्य योगदान

परिणाम

महत्व और दावे

इसी तरह के और पेपर