🤖 AI

Scaling with Confidence: Calibrating Confidence of LLMs for Adaptive Test Time Scaling

यह शोध पत्र C3RL को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) एल्गोरिदम है जो बड़े भाषा मॉडलों की सटीकता और अंशांकन (कैलिब्रेशन) दोनों में सुधार करता है, और इन सुव्यवस्थित आत्मविश्वास स्कोर का लाभ उठाकर CAS को संचालित करता है, जो एक अनुकूलित टेस्ट-टाइम स्केलिंग रणनीति है जो मौजूदा तरीकों से बेहतर प्रदर्शन करते हुए इन्फरेंस लागत को काफी कम कर देती है।

मूल लेखक: Xuqing Yang, Yi Yuan, Shanzhe Lei, Xuhong Wang

प्रकाशित 2026-07-03

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Xuqing Yang, Yi Yuan, Shanzhe Lei, Xuhong Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली लेकिन अति-आत्मविश्वासी छात्र है जो एक बहुत कठिन परीक्षा दे रहा है। यह छात्र, जो एक AI है, समस्याओं को हल करने में बहुत कुशल है, लेकिन उसकी एक बुरी आदत है: जब उसे उत्तर का पता नहीं होता, तो वह फिर भी अनुमान लगा लेता है और पूरे आत्मविश्वास के साथ कहता है, "मैं 100% निश्चित हूँ!"। AI की दुनिया में, इसे "हैलुसिनेशन" (hallucination) कहा जाता है। यह बिल्कुल वैसा ही है जैसे कोई छात्र आत्मविश्वास के साथ लिखे "फ्रांस की राजधानी लंदन है" और गलत हो जाए।

आपने जो पेपर साझा किया है, वह इस छात्र के व्यवहार को सुधारने और उनके अध्ययन के समय को अधिक कुशल बनाने के लिए एक दो-चरणीय प्रणाली पेश करता है।

चरण 1: "ईमानदारी कोच" (C3RL)

समाधान का पहला भाग एक नई प्रशिक्षण विधि है जिसे C3RL (Correctness and Confidence Calibration Reinforcement Learning) कहा जाता है। इसे एक सख्त लेकिन निष्पक्ष कोच के रूप में समझें जो छात्र को एक साथ दो चीजें सिखाता है:

उत्तर सही प्राप्त करें। (सिर्फ अनुमान न लगाएं।)
इस बात पर ईमानदार रहें कि आप कितने आश्वस्त हैं। (यदि आप अनुमान लगा रहे हैं, तो स्वीकार करें।)

आमतौर पर, जब हम AI को प्रशिक्षित करते हैं, तो हम उन्हें केवल सही उत्तर देने के लिए पुरस्कृत करते हैं। यह उन्हें सही होने के लिए व्याकुल बनाता है, जिससे वे अपने आत्मविश्वास के बारे में झूठ बोलने लगते हैं। C3RL नियमों को बदल देता है। यह छात्र को तब "गोल्ड स्टार" देता है जब वह उत्तर सही देता है और कहता है कि वह सुनिश्चित है। यह उसे "गोल्ड स्टार" देता है यदि वह गलत होता है लेकिन स्वीकार करता है कि वह अनिश्चित है।

हालाँकि, यह उसे "बड़ा लाल F" देता है यदि वह गलत होता है लेकिन दावा करता है कि वह 100% निश्चित है। यह भी उसे "बड़ा लाल F" देता है यदि वह सही होता है लेकिन दावा करता है कि उसे बिल्कुल भी कुछ पता नहीं है।

परिणामस्वरूप, AI यह कहना सीख जाता है, "मुझे इस बारे में पक्का नहीं पता," जब वह वास्तव में अनुमान लगा रहा होता है, और "मैं बहुत आश्वस्त हूँ," जब वह उत्तर जानता है। यह "आत्मविश्वास से झूठ बोलने" की आदत को रोक देता है।

चरण 2: "स्मार्ट बजट मैनेजर" (CAS)

एक बार जब छात्र ने ईमानदारी से व्यवहार करना सीख लिया है, तो सिस्टम का दूसरा भाग सक्रिय हो जाता है। इसे CAS (Confidence-based Adaptive Test Time Scaling) कहा जाता है।

कल्पना कीजिए कि आप शिक्षक हैं जो इस परीक्षा का मूल्यांकन कर रहे हैं, लेकिन आपके पास समय और ऊर्जा का एक सीमित बजट है। आप हर एक प्रश्न पर 10 घंटे खर्च नहीं कर सकते।

पुराना तरीका (Majority Voting): आप छात्र से हर प्रश्न का 64 बार उत्तर देने के लिए कहते हैं और सबसे सामान्य उत्तर चुनते हैं। यह सटीक है लेकिन बेहद बर्बादी भरा है। यह एक छात्र से एक गणित की समस्या को 64 बार हल करने के लिए कहने जैसा है ताकि वह सुनिश्चित हो सके।
नया तरीका (CAS): आप छात्र को एक बार उत्तर देने के लिए कहते हैं।
- यदि छात्र कहता है, "मुझे 90% यकीन है कि यह A है," तो आप उन पर तुरंत भरोसा करते हैं, उत्तर लिख लेते हैं, और आगे बढ़ जाते हैं। आपने समय बचा लिया!
- यदि छात्र कहता है, "मैं केवल 40% आश्वस्त हूँ," तो आप जानते हैं कि वह संघर्ष कर रहा है। इसलिए, आप उसे फिर से प्रयास करने के लिए कहते हैं, और फिर से, और फिर से, जब तक कि वह आश्वस्त न हो जाए या आपने पर्याप्त बार प्रयास न कर लिया हो।

क्योंकि छात्र (AI) अब चरण 1 के कारण अपनी आत्मीयता के बारे में ईमानदार है, इसलिए आप उनके "मैं निश्चित हूँ" के संकेतों पर भरोसा कर सकते हैं। यह आपको आसान प्रश्नों पर समय बर्बाद करने के बजाय अपना पूरा ध्यान केवल कठिन प्रश्नों पर केंद्रित करने की अनुमति देता है।

बड़ा परिणाम

पेपर दिखाता है कि यह संयोजन अद्भुत काम करता है:

बेहतर ईमानदारी: AI यह जानने में बहुत बेहतर हो गया कि उसे कब उत्तर नहीं पता, बिना वास्तव में समस्याओं को हल करने की क्षमता कम किए।
भारी बचत: "स्मार्ट बजट मैनेजर" का उपयोग करके, सिस्टम ने कंप्यूटिंग शक्ति की एक विशाल मात्रा बचाई। कुछ परीक्षणों में, इसने पुराने तरीके की तुलना में 12 गुना कम कंप्यूटिंग संसाधनों का उपयोग किया जबकि समान (या बेहतर) परिणाम प्राप्त किए।

संक्षेप में, यह पेपर AI को यह सिखाता है कि वह जो जानता है उसके बारे में दिखावा करना बंद करे, और फिर उस ईमानदारी का उपयोग करके समय और पैसा बचाने के लिए केवल तभी कड़ी मेहनत करे जब वास्तव में आवश्यक हो।

तकनीकी सारांश: आत्मविश्वास के साथ स्केलिंग (Scaling with Confidence)

समस्या विवरण (Problem Statement)

यद्यपि सुदृढीकरण शिक्षण (Reinforcement Learning - RL) ने तर्क (reasoning) और प्रश्न-उत्तर में लार्ज लैंग्वेज मॉडल्स (LLMs) को महत्वपूर्ण रूप से उन्नत किया है, प्रचलित RL रिवॉर्ड डिज़ाइन आमतौर पर प्रतिक्रिया की शुद्धता (correctness) को प्राथमिकता देते हैं और आत्मविश्वास अंशांकन (confidence calibration) की उपेक्षा करते हैं। यह चूक एक गंभीर विफलता मोड की ओर ले जाती है: मॉडल अक्सर अनिश्चित होने पर अपने गलत आउटपुट (hallucinations) में अत्यधिक आत्मविश्वासी हो जाते हैं। मौजूदा अंशांकन विधियों को तीन प्राथमिक सीमाओं का सामना करना पड़ता है:

मोटे दाने वाली सूक्ष्मता (Coarse Granularity): वे अक्सर अंशांकन को एक बाइनरी वर्गीकरण (निश्चित बनाम अनिश्चित) तक सीमित कर देते हैं, जिससे सूक्ष्म अनिश्चितता को पकड़ने में विफलता होती है।
सटीकता-अंशांकन व्यापार-बंद (Accuracy-Calibration Trade-off): अंशांकन में सुधार अक्सर सटीकता की कीमत पर आता है, क्योंकि मॉडल अंशांकन हानि (calibration loss) को कम करने के लिए जानबूझकर कम-आत्मविश्वास वाले गलत उत्तर देने सीख सकते हैं।
अल्प-उपयोग (Underutilization): अंशांकित आत्मविश्वास का डाउनस्ट्रीम निर्णय लेने, जैसे कि अनुकूली अनुमान (adaptive inference) और संसाधन आवंटन के लिए शायद ही कभी उपयोग किया जाता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक एकीकृत ढांचे का प्रस्ताव करता है जिसमें दो मुख्य घटक शामिल हैं: C3RL (प्रशिक्षण) और CAS (अनुमान/inference)।

1. शुद्धता और आत्मविश्वास अंशांकन सुदृढीकरण शिक्षण (C3RL)

C3RL एक अभिनव RL एल्गोरिदम है जिसे प्रदर्शन से समझौता किए बिना शुद्धता और अंशांकन को संयुक्त रूप से अनुकूलित करने के लिए डिज़ाइन किया गया है। यह तीन अलग-अलग भागों वाले एक मिश्रित रिवॉर्ड फंक्शन ( $R_{C3RL}$ ) का उपयोग करता है:

शुद्धता रिवॉर्ड ( $R_{correctness}$ ): एक मानक संकेतक रिवॉर्ड ( $+1$ सही के लिए, $0$ गलत के लिए) जो यह सुनिश्चित करता है कि मॉडल तथ्यात्मक सटीकता की दिशा में अपडेट हो, जिससे "अंशांकित लेकिन गलत" शॉर्टकटों को रोका जा सके।
अंशांकन रिवॉर्ड ( $R_{calibration}$ ): यह घटक मौखिक रूप से व्यक्त आत्मविश्वास और वास्तविक शुद्धता के बीच संरेखण को प्रोत्साहित करता है। थ्रेशोल्ड $t=5$ का उपयोग करते हुए, मॉडल को "निश्चित सही" और "अनिश्चित गलत" प्रतिक्रियाओं के लिए पुरस्कृत ( $\beta$ ) किया जाता है, और "निश्चित गलत" एवं "अनिश्चित सही" प्रतिक्रियाओं के लिए दंडित ( $-\beta$ ) किया जाता है।
संदर्भ सटीकता रिवॉर्ड ( $R_{reference}$ ): उन प्रश्नों पर मॉडल को मतिभ्रम (hallucination) करने से रोकने के लिए जहाँ मूल रूप से इसकी सही होने की संभावना अधिक थी, यह रिवॉर्ड डेटासेट-सूचित संदर्भ टैग का उपयोग करता है।
- यदि कोई प्रश्न मूल रूप से "सभी गलत" (बेस मॉडल सैंपलिंग के आधार पर) था लेकिन मॉडल सही उत्तर देता है, तो उसे सकारात्मक रिवॉर्ड ( $+\alpha$ ) मिलता है।
- यदि कोई प्रश्न मूल रूप से "सभी सही" था लेकिन मॉडल गलत उत्तर का मतिभ्रम (hallucinate) करता है, तो उसे नकारात्मक रिवॉर्ड ( $-\alpha$ ) मिलता है।

प्रशिक्षण डेटा निर्माण: लेखकों ने गणित, विज्ञान और तर्क शक्ति डोमेन से एक उच्च-गुणवत्ता वाला डेटासेट बनाया। प्रत्येक प्रशिक्षण नमूने के लिए, बेस मॉडल संदर्भ सटीकता टैग ("सभी सही," "आंशिक रूप रूप से सही," या "सभी गलत") असाइन करने के लिए 10 प्रतिक्रियाएं उत्पन्न करता है।

2. आत्मविश्वास-आधारित अनुकूली टेस्ट टाइम स्केलिंग (CAS)

C3RL द्वारा उत्पादित अच्छी तरह से अंशांकित मौखिक आत्मविश्वास का लाभ उठाते हुए, लेखक CAS पेश करते हैं, जो एक अनुमान-समय (inference-time) रणनीति है जो कंप्यूटेशनल संसाधनों को गतिशील रूप से आवंटित करती है।

तंत्र (Mechanism): आवृत्ति (frequency) या एंट्रॉपी (entropy) पर निर्भर रहने के बजाय (जो अक्सर अंशांकित नहीं होते), CAS अद्वितीय उत्तरों के लिए मौखिक आत्मविश्वास स्कोर के योग का उपयोग करता है।
स्टॉपिंग मानदंड (Stopping Criterion): एल्गोरिदम बीटा-डिस्ट्रीब्यूशन-आधारित फॉर्मूला का उपयोग करके यह गणना करता है कि सबसे आत्मविश्वासी उत्तर ( $c_1$ $c_{1}$ ) दूसरे सबसे आत्मविश्वासी उत्तर ( $c_2$ $c_{2}$ ) पर कितना हावी है।
- यदि $Prob(c_1, c_2) \geq P_{stop}$ (यह संकेत देता है कि शीर्ष उत्तर अत्यधिक प्रभावी है), तो सैंपलिंग जल्दी समाप्त हो जाती है।
- अन्यथा, सैंपलिंग जारी रहती है।
संसाधन आवंटन: यह रणनीति कंप्यूटिंग बजट को उच्च-आत्मविश्वास वाले नमूनों (जिन्हें पुष्टि करने के लिए कम नमूनों की आवश्यकता होती है) से निम्न-आत्मविश्वास वाले नमूनों (जो अतिरिक्त सैंपलिंग से अधिक लाभान्वित होते हैं) की ओर प्रभावी ढंग से स्थानांतरित करती है।

प्रमुख योगदान (Key Contributions)

C3RL एल्गोरिदम: एक अभिनव RL दृष्टिकोण जो समग्र प्रदर्शन को बनाए रखते हुए शुद्धता और अंशांकन को एक साथ सुधारता है। यह सीखने को स्थिर करने के लिए रिवॉर्ड फंक्शन में संदर्भ सटीकता जानकारी को एकीकृत करने वाला पहला मॉडल है।
CAS रणनीति: टेस्ट-टाइम स्केलिंग के लिए एक अर्ली-स्टॉपिंग तंत्र जो अनिश्चित नमूनों के लिए अधिक गणना समर्पित करने हेतु अंशांकित आत्मविश्वास का उपयोग करता है।
एकीकृत ढांचा: C3RL और CAS के बीच तालमेल एक सुसंगत पाइपलाइन बनाता है जो LLMs को अंशांकित आत्मविश्वास व्यक्त करने और अनुमान लागत को अनुकूलित करने में सक्षम बनाता है।

प्रयोगात्मक परिणाम (Experimental Results)

इस ढांचे का मूल्यांकन Qwen2.5VL-7B-Instruct और Llama-3.2-3B-Instruct का उपयोग करके 8 टेक्स्ट और मल्टीमॉडल डेटासेट्स (AGIEval, MMLU, MMMU, और MathVista सहित) पर किया गया।

अंशांकन बनाम सटीकता: C3RL प्रदर्शन और विश्वसनीयता को संतुलित करने में वर्तमान अत्याधुनिक RL विधि (RLCR) और अन्य बेसलाइन्स (SaySelf, RLVR) को पछाड़ देता है। आउट-ऑफ-डोमेन (OOD) डेटासेट्स पर, C3RL बेहतर अंशांकन (कम अपेक्षित अंशांकन त्रुटि/Expected Calibration Error) प्राप्त करता है जबकि RLCR की सटीकता को बनाए रखता है या उससे आगे निकल जाता है। विशेष रूप से, C3RL अन्य अंशांकन-केंद्रित विधियों में देखी गई सटीकता की गिरावट से बचता है।
अनुमान दक्षता (Inference Efficiency): टेस्ट-टाइम स्केलिंग प्रयोगों में, CAS मानक मेजॉरिटी वोटिंग (MV) की तुलना में सटीकता से मेल खाने के लिए आवश्यक अनुमान बजट को काफी कम कर देता है।
- CAS ने OOD टेक्स्ट डेटासेट्स पर MV की तुलना में आवश्यक नमूनों की संख्या को 12.33 गुना तक कम कर दिया।
- CAS ने लगातार एडेप्टिव-कंसिस्टेंसी (AC) को पछाड़ते हुए, OOD टेक्स्ट कार्यों पर AC के आधे से भी कम सैंपलिंग बजट का उपयोग करते हुए प्रतिस्पर्धी सटीकता बनाए रखी।
स्तरीकरण विश्लेषण (Stratification Analysis): प्रयोगों ने पुष्टि की कि निम्न-आत्मविश्वास वाले नमूने उच्च-आत्मविश्वास वाले नमूनों (जिन्होंने नगण्य लाभ दिखाया) की तुलना में अधिक सैंपलिंग (लगभग 49% से ~54.5% सटीकता तक उछलकर) से काफी अधिक लाभान्वित होते हैं, जो CAS के संसाधन-शिफ्टिंग तर्क को प्रमाणित करता है।

महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि उनका कार्य मॉडल प्रदर्शन और विश्वसनीयता के बीच महत्वपूर्ण अंतर को संबोधित करता है। शुद्धता, अंशांकन और संदर्भ सटीकता को एकीकृत करके, C3RL मॉडल्स को अपनी सही उत्तर देने की क्षमता से समझौता किए बिना "अनिश्चित होने पर निम्न आत्मविश्वास का संकेत देने" में सक्षम बनाता है।

इस कार्य का महत्व प्रशिक्षण और अनुमान के बीच तालमेल में निहित है:

C3RL आवश्यक "सु well-calibrated मौखिक आत्मविश्वास" प्रदान करता है।
CAS संसाधन उपयोग को अनुकूलित करने के लिए इस सिग्नल का कुशलतापूर्वक लाभ उठाता है।

शोध पत्र निष्कर्ष निकालता है कि यह एकीकृत पाइपलाइन अधिक विश्वसनीय और संसाधन-कुशल LLMs को तैनात करने का मार्ग प्रशस्त करती है, विशेष रूप से सुरक्षा-महत्वपूर्ण डोमेन में जहाँ अत्यधिक आत्मविश्वासी मतिभ्रम (hallucinations) से बचना सर्वोपरि है। लेखक सीमाओं का भी उल्लेख करते हैं, जिसमें विज्ञान डोमेन में डेटा की कमी के कारण संभावित प्रशिक्षण पूर्वाग्रह और यह तथ्य शामिल है कि C3RL का अंशांकन, हालांकि सटीकता-केंद्रित RL विधियों की तुलना में बेहतर है, फिर भी अकेले SaySelf जैसे शुद्ध अंशांकन विधियों से पीछे है।