🤖 AI

Confidence-Aware Alignment Makes Reasoning LLMs More Reliable

यह शोध पत्र CASPO को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन के माध्यम से टोकन-स्तरीय आत्मविश्वास को तार्किक शुद्धता के साथ संरेखित करके और कॉन्फिडेंस-अवेयर थॉट (CaT) तंत्र के माध्यम से अनिश्चित रीजनिंग शाखाओं की गतिशील छंटाई को सक्षम करके बड़े रीजनिंग मॉडलों की विश्वसनीयता और दक्षता को बढ़ाता है।

मूल लेखक: Kejia Chen, Jiawen Zhang, Yihong Wu, Kewei Gao, Jian Lou, Zunlei Feng, Mingli Song, Ruoxi Jia

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kejia Chen, Jiawen Zhang, Yihong Wu, Kewei Gao, Jian Lou, Zunlei Feng, Mingli Song, Ruoxi Jia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बेहद प्रतिभाशाली लेकिन अति-आत्मविश्वासी छात्र को जटिल गणित की समस्याएँ हल करना सिखा रहे हैं। मान लीजिए उस छात्र का नाम "रीजनिंग बॉट" (Reasoning Bot) है। वह सही अंतिम उत्तर प्राप्त करने में तो माहिर है, लेकिन अक्सर वह गलत रास्ते पर निकल जाता है, फिर उसे एहसास होता है, और फिर वह बिना अपनी उलझन को स्वीकार किए जादुई रूप से खुद को सुधार लेता है। या इससे भी बुरा, वह पूरे आत्मविश्वास के साथ एक ऐसे रास्ते पर चल पड़ता है जो बंद गली है, यह सोचकर कि वह सही है, और फिर केवल किस्मत के सहारे सही उत्तर तक पहुँच जाता है।

समस्या केवल यह नहीं है कि वह उत्तर सही देता है या गलत; समस्या यह है कि उसे यह पता नहीं चलता कि वह कब अनिश्चित है। वह किसी ऐसे कदम के बारे में 99% आश्वस्त हो सकता है जो वास्तव में निरर्थक है, या किसी ऐसे कदम के बारे में 10% आश्वस्त हो सकता है जो पूरी तरह से तार्किक है। यह उसे अविश्वसनीय बनाता है, खासकर चिकित्सा या वित्त जैसे उच्च-जोखिम वाले क्षेत्रों में, जहाँ आपको केवल मंजिल ही नहीं, बल्कि यात्रा के हर कदम पर भरोसा करने की आवश्यकता होती है।

यह शोध पत्र एक नई प्रशिक्षण पद्धति पेश करता है जिसे CASPO (कॉन्फिडेंस-अवेयर स्टेप-वाइज प्रेफरेंस ऑप्टिमाइज़ेशन) कहा जाता है और सोचने का एक नया तरीका पेश करता है जिसे CaT (कॉन्फिडेंस-अवेयर थॉट) कहा जाता है। यह कैसे काम करता है, इसे सरल उपमाओं (analogies) का उपयोग करके समझते हैं।

समस्या: "नकली आत्मविश्वास" का जाल

वर्तमान में, ये AI मॉडल उन अभिनेताओं की तरह हैं जिन्होंने स्क्रिप्ट रट ली है। यदि कोई संवाद सुनने में सुरीला और प्रवाहपूर्ण लगता है, तो अभिनेता उसे पूरे आत्मविश्वास के साथ बोलता है, भले ही उस संवाद का कोई तार्किक अर्थ न निकलता हो।

दोष: मॉडल "प्रवाहपूर्ण सुनाई देने" को "सही होने" के साथ भ्रमित कर देता है।
परिणाम: यह तर्कसंगतता की लंबी और विश्वसनीय श्रृंखलाएं उत्पन्न करता है जो वास्तव में तार्किक खामियों से भरी होती हैं।

समाधान: CASPO (एक "ईमानदार कोच")

लेखकों चाहते थे कि मॉडल को अपनी अनिश्चितता के बारे में ईमानदार होना सिखाया जाए। उन्होंने एक प्रशिक्षण प्रणाली बनाई है जो एक सख्त कोच की तरह काम करती है जो न केवल छात्र के अंतिम टेस्ट स्कोर को ग्रेड देता है, बल्कि छात्र द्वारा किए गए हर एक कदम पर नज़र रखता है।

यह कैसे काम करता है:

"ईमानदारी" का मीट्रिक: बाहरी विशेषज्ञ से हर कदम की जाँच करने के बजाय (जो धीमा और महंगा है), सिस्टम मॉडल की अपनी आंतरिक "आवाज़" को सुनता है। यह मापता है कि मॉडल कितना "हिचकिचा" (इसे एन्ट्रॉपी नामक अवधारणा का उपयोग करके) रहा है।
- उपमा: यदि मॉडल एक वाक्य बना रहा है और अगले शब्द को लेकर बहुत सुनिश्चित है, तो उसकी आंतरिक "हिचकिचाहट" कम है। यदि वह कई शब्दों के बीच अनुमान लगा रहा है, तो उसकी हिचकिचाहट अधिक है।
प्रशिक्षण का खेल: सिस्टम दो रास्तों की तुलना करके एक खेल बनाता है:
- पथ A: एक सही कदम जहाँ मॉडल आश्चर्यजनक रूप से अनिश्चित (उच्च हिचकिचाहट) था।
- पथ B: एक गलत कदम जहाँ मॉडल पूरी तरह से आश्वस्त (कम हिचकिचाहट) था।
- सबक: मॉडल को सही कदम चुनने के लिए पुरस्कृत किया जाता है, भले ही वह अनिश्चित था, और गलत कदम चुनने के लिए दंडित किया जाता है जब वह अत्यधिक आत्मविश्वासी था।
लक्ष्य: समय के साथ, मॉडल कैलिब्रेट (calibrate) होना सीख जाता है। वह सीखता है कि "उच्च आत्मविश्वास" केवल तभी होना चाहिए जब तर्क वास्तव में ठोस हो, और "कम आत्मविश्वास" तब होना चाहिए जब तर्क कमजोर हो।

परिणाम: CaT (एक "स्मार्ट नेविगेटर")

एक बार जब मॉडल को अपने आत्मविश्वास के प्रति ईमानदार होने के लिए प्रशिक्षित कर दिया जाता है, तो लेखक समस्या-समाधान के दौरान इसका उपयोग करने का एक नया तरीका पेश करते हैं, जिसे CaT कहा जाता है।

कल्पना कीजिए कि आप खजाना (उत्तर) खोजने के लिए एक घने जंगल (तर्क प्रक्रिया) के माध्यम से हाइकिंग कर रहे हैं।

पुराना तरीका (सेल्फ-कंसिस्टेंसी): आप 100 हाइकर्स को यादृच्छिक (random) रास्तों पर भेजते हैं। आप सभी के खत्म करने का इंतज़ार करते हैं, फिर उस उत्तर को चुनते हैं जो अधिकांश लोगों को मिला। यह धीमा और महंगा है।
CaT का तरीका: आप कुछ हाइकर्स भेजते हैं। चलते समय, वे अपने आंतरिक दिशा-सूचक यंत्र (compass) की जाँच करते हैं (कैलिब्रेटेड कॉन्फिडेंस)।
- यदि एक हाइकर किसी मोड़ पर पहुँचता है और उसका दिशा-सूचक यंत्र पागलों की तरह घूमने लगता है (कम आत्मविश्वास), तो CaT तुरंत उन्हें रुकने और वापस लौटने के लिए कहता है।
- यदि एक हाइकर सहजता से आगे बढ़ रहा है और उसका दिशा-सूचक यंत्र स्थिर है (उच्च आत्मविश्वास), तो CaT उन्हें आगे बढ़ने देता है।

यह एक बड़ी बात क्यों है:

गति: यह मृत अंत (dead ends) को खोजने में समय बर्बाद नहीं करता है। यह खराब रास्तों को जल्दी काट देता है।
दक्षता: यह उन तरीकों की तुलना में बेहतर परिणाम प्राप्त करता है जो हजारों उत्तर उत्पन्न करने का प्रयास करते हैं, लेकिन यह लगभग बिना किसी अतिरिक्त कंप्यूटिंग पावर के ऐसा करता है।
विश्वसनीयता: क्योंकि मॉडल को केवल तभी आत्मविश्वासी होने के लिए प्रशिक्षित किया गया है जब वह सही हो, इसलिए जो रास्ते वह चुनता है उनके तार्किक रूप से सही होने की संभावना बहुत अधिक होती है।

प्रमाण

शोधकर्ताओं ने दस अलग-अलग बेंचमार्क पर इसका परीक्षण किया, जिसमें कठिन गणित प्रतियोगिताएं (जैसे AIME) और तर्क पहेलियाँ शामिल हैं।

परिणाम: CASPO-प्रशिक्षित मॉडल अन्य शीर्ष तरीकों की तुलना में लगातार बेहतर स्कोर प्राप्त करते हैं।
आश्चर्य: बिना किसी बाहरी "रिवॉर्ड मॉडल" (जो महंगे मानव ग्रेडर्स की तरह होते हैं) का उपयोग किए भी, मॉडल ने अपने आंतरिक आत्मविश्वास संकेतों पर भरोसा करना सीख लिया।
स्केलेबिलिटी: यह विधि छोटे मॉडलों और बहुत बड़े, शक्तिशाली मॉडलों (जैसे Qwen3) दोनों पर अच्छी तरह से काम करती है, जो साबित करता है कि यह भविष्य के लिए एक मजबूत उपकरण है।

संक्षेप में

यह शोध पत्र तर्क देता है कि AI तर्क को विश्वसनीय बनाने के लिए, हमें केवल इसे सही उत्तर प्राप्त करना ही नहीं सिखाना चाहिए। हमें इसे यह भी सिखाना चाहिए कि कब वह जानता है और कब वह नहीं जानता। मॉडल को उसके आंतरिक आत्मविश्वास को तार्किक सत्य के साथ संरेखित (align) करने के लिए प्रशिक्षित करके, हम एक ऐसा AI बना सकते हैं जो केवल सही उत्तर का अनुमान नहीं लगाता, बल्कि एक स्थिर, ईमानदार दिशा-सूचक यंत्र के साथ पथ पर चलता है।

तकनीकी सारांश: कॉन्फिडेंस-अवेयर अलाइनमेंट (Confidence-Aware Alignment) रीजनिंग LLMs को अधिक विश्वसनीय बनाता है

1. समस्या विवरण (Problem Statement)

लार्ज रीजनिंग मॉडल्स (LRMs) जैसे कि OpenAI-o1 और Qwen-3 ने स्टेप-बाय-स्टेप जनरेशन के माध्यम से गणितीय और वैज्ञानिक समस्या-समाधान में महत्वपूर्ण क्षमताएं प्रदर्शित की हैं। हालांकि, एक गंभीर भेद्यता (vulnerability) मौजूद है: ये मॉडल अक्सर तार्किक रूप से त्रुटिपूर्ण मध्यवर्ती चरणों (intermediate steps) के माध्यम से सही अंतिम उत्तर तक पहुँचते हैं। यह अंतिम सटीकता और रीजनिंग विश्वसनीयता के बीच एक विसंगति पैदा करता है।

इसका मूल कारण मॉडल के आंतरिक आत्मविश्वास (टोकन-लेवल प्रोबेबिलिटी) और तार्किक शुद्धता के बीच मिसअलाइनमेंट है। वर्तमान LRMs अक्सर सिंटैक्टिक रूप से वैध लेकिन तार्किक रूप से गलत चरणों (hallucinations) में उच्च आत्मविश्वास दिखाते हैं, जबकि कठोर लेकिन अपरिचित व्युत्पत्तियों (derivations) में कम आत्मविश्वास दिखाते हैं। मौजूदा अलाइनमेंट रणनीतियाँ, जैसे कि प्रोसेस रिवॉर्ड मॉडल्स (PRMs) या व्यापक सैंपलिंग (जैसे Self-Consistency), बाहरी सत्यापनकर्ताओं (verifiers) या कम्प्यूटेशनल रूप से महंगे सर्च पर निर्भर करती हैं, जो स्केलेबिलिटी को सीमित करती हैं और मॉडल के आंतरिक अनिश्चितता (intrinsic uncertainty) का उपयोग करके स्वयं-सत्यापन करने में विफल रहती हैं।

2. कार्यप्रणाली (Methodology): CASPO फ्रेमवर्क

लेखक CASPO (Confidence-Aware Step-wise Preference Optimization) का प्रस्ताव करते हैं, जो एक एकीकृत फ्रेमवर्क है जो टोकन-लेवल कॉन्फिडेंस को स्टेप-वाइज लॉजिकल करेक्टनेस के साथ अलाइन करता है। यह फ्रेमवर्क दो परस्पर जुड़े चरणों में कार्य करता है:

A. प्रशिक्षण (Training): कॉन्फिडेंस-अवेयर स्टेप-वाइज प्रेफरेंस ऑप्टिमाइजेशन

केवल ट्राजेक्टरी की शुद्धता के लिए अनुकूलन करने के बजाय, CASPO स्टेप लेवल पर मॉडल की अनिश्चितता को कैलिब्रेट करने पर ध्यान केंद्रित करता है।

अनसर्टेन्टी मेट्रिक (Uncertainty Metric): फ्रेमवर्क आंतरिक अनिश्चितता के एक रेफरेंस-फ्री माप के रूप में टोकन-लेवल डिस्ट्रीब्यूशन के शैनन एंट्रॉपी (Shannon entropy) का उपयोग करता है। उच्च एंट्रॉपी कम आत्मविश्वास का संकेत देती है।
डेटा निर्माण (Data Construction): एक ऑफलाइन स्ट्रॉन्ग मॉडल (इवैल्यूएटर) रीजनिंग स्टेप्स की शुद्धता को सत्यापित करता है। प्रेफरेंस पेयर्स को शुद्धता और कॉन्फिडेंस के बीच के संबंध के आधार पर निर्मित किया जाता है:
- सही लेकिन अनसर्टेन (Correct but Uncertain): यदि कोई स्टेप सही है लेकिन उसमें कॉन्फिडेंस कम है, तो इसे एक उच्च-कॉन्फिडेंट प्रतिस्पर्धी कैंडिडेट के ऊपर 'पसंदीदा रिस्पॉन्स' ( $y_w$ ) के रूप में माना जाता है।
- गलत लेकिन कॉन्फिडेंट (Incorrect but Confident): यदि कोई स्टेप गलत है, तो मॉडल के गलत जनरेशन के ऊपर सही उत्तर को प्राथमिकता दी जाती है।
- सही और कॉन्फिडेंट (Correct and Confident): इन स्टेप्स को अनावश्यक लर्निंग से बचने के लिए छोड़ दिया जाता है।
ऑप्टिमाइजेशन (Optimization): मॉडल को इटरेटिव डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) का उपयोग करके प्रशिक्षित किया जाता है। टारगेट मॉडल $\pi_\theta$ को पिछले इटरेशन के मॉडल को रेफरेंस ( $\pi_{ref}$ ) के रूप में उपयोग करते हुए, पसंदीदा स्टेप्स की सापेक्ष संभावना (relative likelihood) बढ़ाने के लिए ऑप्टिमाइज़ किया जाता है। यह मॉडल की क्षमता को बूटस्ट्रैप करता है ताकि वह बिना किसी अलग रिवॉर्ड मॉडल के, अपने कॉन्फिडेंस मिसकैलिब्रेशन को स्वयं ठीक कर सके।

B. इन्फरेंस (Inference): कॉन्फिडेंस-अवेयर थॉट (CaT)

इन्फरेंस के दौरान, कैलिब्रेटेड कॉन्फिडेंस का उपयोग डायनेमिक रूप से रीजनिंग स्पेस को नेविगेट करने के लिए किया जाता है।

मैकेनिज्म (Mechanism): मॉडल एक रीजनिंग ट्री को एक्सप्लोर करता है जहाँ प्रत्येक नोड एक आंशिक ट्राजेक्टरी (partial trajectory) को दर्शाता है। प्रत्येक स्टेप के नॉर्मलाइज्ड कॉन्फिडेंस को गुणा करके एक संचयी कॉन्फिडेंस स्कोर $C(z_{1:t})$ की गणना की जाती है।
प्रूनिंग (Pruning): पथों (paths) को केवल तभी विस्तारित किया जाता है यदि उनका संचयी कॉन्फिडेंस एक थ्रेशोल्ड $\tau$ से अधिक हो। कम-कॉन्फिडेंस वाले ब्रांचेस को जल्दी काट (prune) दिया जाता है।
दक्षता (Efficiency): यह रणनीति कंप्यूटेशनल बजट को आशाजनक पथों की ओर पुनर्वितरित करती है, जो एक आंतरिक स्व-सुधार फिल्टर के रूप में कार्य करती है। इसमें नगण्य लेटेंसी ओवरहेड ( $O(V)$ , जहाँ $V$ वोकैबुलरी साइज है) होता है, जिससे बाहरी प्रोसेस रिवॉर्ड मॉडल्स की $O(L^2d)$ जटिलता से बचा जा सकता है।

3. मुख्य योगदान (Key Contributions)

CASPO फ्रेमवर्क: एक एकीकृत दृष्टिकोण जो इटरेटिव DPO के माध्यम से आंतरिक टोकन-लेवल एंट्रॉपी को लॉजिकल करेक्टनेस के साथ अलाइन करता है, जिससे इन्फरेंस के दौरान बाहरी इवैल्यूएटर्स पर निर्भरता समाप्त हो जाती है।
CaT स्ट्रैजी: एक डिकोडिंग स्ट्रैजी जो अनिश्चित रीजनिंग ब्रांचेस को डायनेमिक रूप से प्रून करने के लिए कैलिब्रेटेड कॉन्फिडेंस का लाभ उठाती है, जिससे दक्षता और विश्वसनीयता में सुधार होता है।
स्टेप-वाइज डेटासेट: सूक्ष्म विश्लेषण के लिए कॉन्फिडेंस एनोटेशन के साथ एक स्टेप-वाइज डेटासेट का विमोचन।
स्केलेबिलिटी (Scalability): यह प्रदर्शन करना कि यह विधि बिना किसी रिवॉर्ड-मॉडल डेटा के स्ट्रॉन्ग बेस मॉडल्स (जैसे Qwen3-8B-Base) तक स्केल होती है और ट्री-सर्च बेसलाइन्स से बेहतर प्रदर्शन करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दस बेंचमार्क (MATH500, AIME'24, AIME'25, OlympiadBench और कोड जनरेशन एवं रीडिंग कॉम्प्रिहेन्शन जैसे गैर-गणितीय कार्यों सहित) और कई मॉडल फैमिली (Qwen2.5, Llama-3.1) पर CASPO का मूल्यांकन किया।

प्रदर्शन लाभ (Performance Gains): Qwen2.5-7B-Instruct पर, CASPO ने औसत सटीकता को 44.4% से बढ़ाकर 50.6% कर दिया। CaT इन्फरेंस स्ट्रैजी के साथ, सटीकता 56.1% तक पहुँच गई।
बेसलाइन्स पर श्रेष्ठता: CASPO ने लगातार ट्राजेक्टरी-लेवल ऑप्टिमाइजेशन बेसलाइन्स (GRPO, Simple-RL-Zero, PURE-VR, DPO-VP) और इन्फरेंस-टाइम मेथड्स (CoT, Self-Consistency) को पछाड़ दिया।
स्केलेबिलिटी: Qwen3-8B-Base पर, CASPO ने AIME'24 और AIME'25 पर rStar-Math और Satori जैसे ट्री-सर्च बेसलाइन्स को पीछे छोड़ दिया, जबकि इसमें शून्य रिवॉर्ड-मॉडल डेटा का उपयोग किया गया था।
कैलिब्रेशन क्वालिटी: पोस्ट-ट्रेनिंग, MATH-500 पर एक्सपेक्टेड कैलिब्रेशन एरर (ECE) बेसलाइन के 0.184 से घटकर CASPO के 0.081 हो गया, जो दर्शाता है कि अब उच्च प्रेडिक्टिव कॉन्फिडेंस सख्ती से वैध लॉजिकल स्टेप्स के साथ सह-संबंधित है।
दक्षता: CaT ने Self-Consistency की तुलना में काफी कम लेटेंसी (Qwen2.5-7B-Instruct पर 2.8s/query बनाम 12.5s/query) के साथ उच्च सटीकता प्राप्त की।
सामान्यीकरण (Generalization): इस पद्धति ने कोड जनरेशन (HumanEval) और रीडिंग कॉम्प्रिहेन्शन (RACE) सहित गैर-गणितीय डोमेन में मजबूत ट्रांसफर दिखाया, जो सुझाव देता है कि कॉन्फिडेंस और करेक्टनेस का अलाइनमेंट एक मौलिक रीजनिंग क्षमता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि CASPO केवल बेंचमार्क स्कोर को बढ़ाने के बजाय रीजनिंग प्रक्रिया की सत्यनिष्ठा (faithfulness) को मौलिक रूप से बढ़ाता है। बाहरी पर्यवेक्षण से कॉन्फिडेंस को अलग करके और आंतरिक टोकन-लेवल अनसर्टेन्टी का उपयोग करके, यह फ्रेमवर्क मॉडल्स को सक्षम बनाता है:

स्वायत्त रूप से तार्किक विसंगतियों (logical inconsistencies) को पहचानने और सुधारने में।
बाहरी जजों या भारी सैंपलिंग के कम्प्यूटेशनल बोझ के बिना विश्वसनीय रीजनिंग प्राप्त करने में।
रीजनिंग विश्वसनीयता में सुधार के लिए एक स्केलेबल और पारदर्शी फ्रेमवर्क प्रदान करने में।

लेखक जोर देते हैं कि उनका दृष्टिकोण वर्तमान रीजनिंग रिसर्च में "ग्रैनुलैरिटी गैप" को संबोधित करता है, जो ट्राजेक्टरी-लेवल रिवॉर्ड से स्टेप-वाइज कॉन्फिडेंस कैलिब्रेशन की ओर बढ़ता है। वे नोट करते हैं कि हालांकि यह विधि प्रारंभिक डेटा निर्माण के लिए एक ऑफलाइन इवैल्यूएटर पर निर्भर करती है, लेकिन मुख्य लर्निंग सिग्नल मॉडल की अपनी एंट्रॉपी से प्राप्त होता है, जो यह सुनिश्चित करता है कि यदि इवैल्यूएटर कभी-कभी पथों को गलत लेबल करता है, तो भी स्थिरता बनी रहे। यह कार्य सुझाव देता है कि आंतरिक प्रोबेबिलिटी को बाहरी शुद्धता के साथ अलाइन करना उच्च-जोखिम वाले डोमेन में सत्यापन योग्य रूप से सुदृढ़ रीजनिंग ट्राजेक्टरीज की ओर एक व्यवहार्य मार्ग है।