💬 NLP

CARE-RFT: Confidence-Anchored Reinforcement Finetuning for Reliable Reasoning in Large Language Models

यह शोधपत्र CARE-RFT को प्रस्तुत करता है, जो एक नवीन सुदृढीकरण फाइनट्यूनिंग (reinforcement finetuning) विधि है जो तर्क क्षमता (reasoning performance) और मॉडल की विश्वसनीयता (trustworthiness) के बीच के संतुलन को हल करने के लिए स्क्यू रिवर्स KL डाइवर्जेंस (skew reverse KL divergence) का उपयोग करती है, जिससे अनियंत्रित RFT की उच्च तर्क क्षमताओं को प्राप्त करते हुए बेस मॉडल के अंशांकन (calibration) और विश्वसनीयता को बनाए रखा जा सकता है।

मूल लेखक: Shuozhe Li, Jincheng Cao, Bodun Hu, Aryan Mokhtari, Leqi Liu, Amy Zhang

प्रकाशित 2026-02-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shuozhe Li, Jincheng Cao, Bodun Hu, Aryan Mokhtari, Leqi Liu, Amy Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, सुशिक्षित छात्र (AI मॉडल) को जटिल पहेलियाँ हल करना सिखा रहे हैं। आप चाहते हैं कि वह एक कुशल तर्ककर्ता (master reasoner) बने, जो चरण-दर-चरण सोचने और रचनात्मक समाधान खोजने में सक्षम हो। हालाँकि, आप यह भी चाहते हैं कि वह ईमानदार बना रहे और अनिश्चित होने पर तथ्य न गढ़े।

यह शोध पत्र, CARE-RFT, एक विशिष्ट समस्या को संबोधित करता है जो तब उत्पन्न होती है जब हम इन छात्रों को "रीइन्फोर्समेंट फाइनट्यूनिंग" (RFT) नामक एक विधि का उपयोग करके प्रशिक्षित करने का प्रयास करते हैं।

समस्या: "अति-आत्मविश्वासी स्वप्नद्रष्टा" बनाम "सतर्क नौकरशाह"

लेखकों ने पाया कि वर्तमान प्रशिक्षण विधियाँ आपको दो बुरे विकल्पों में से एक को चुनने के लिए मजबूर करती हैं:

अनियंत्रित दृष्टिकोण (The Overconfident Dreamer - अति-आत्मविश्वासी स्वप्नद्रष्टा):
यदि आप छात्र को सख्त नियमों के बिना केवल परीक्षण और त्रुटि (trial and error) के माध्यम से सीखने देते हैं, तो वे कठिन पहेलियों को हल करने में बहुत अच्छे हो जाते हैं। वे लीक से हटकर सोचना शुरू कर देते हैं! लेकिन, वे भ्रम (hallucinate) भी करने लगते हैं। वे अपने उत्तरों के प्रति इतने आश्वस्त हो जाते हैं कि वे आत्मविश्वास के साथ फर्जी तथ्य गढ़ने या उन चीजों के बारे में झूठ बोलने लगते हैं जिन्हें वे नहीं जानते। वे अपनी "कैलिब्रेशन" खो देते हैं, जिसका अर्थ है कि उनका आत्मविश्वास उनकी वास्तविक सटीकता से मेल नहीं खाता।
- उपमा: यह एक ऐसे छात्र की तरह है जिसने गणित की परीक्षा के लिए उत्तर कुंजी (answer key) रट ली है लेकिन गणित को समझा नहीं है। यदि परीक्षा में थोड़ा सा बदलाव होता है, तो वह बस बेतहाशा और आत्मविश्वास के साथ अनुमान लगाने लगता है, जिससे वह भाग्य से सही उत्तर तो प्राप्त कर लेता है लेकिन विश्वसनीय नहीं रह जाता।
RKL-प्रतिबंधित दृष्टिकोण (The Cautious Bureaucrat - सतर्क नौकरशाह):
झूठ बोलने से रोकने के लिए, शोधकर्ता आमतौर पर एक "सुरक्षा पट्टे" के रूप में रिवर्स KL (RKL) नामक एक नियम जोड़ते हैं। यह छात्र को उनके मूल, पूर्व-प्रशिक्षित व्यक्तित्व के बहुत करीब रहने के लिए मजबूर करता है। यह उन्हें ईमानदार और तथ्यात्मक रखता है।
- चुनौती: पट्टा बहुत कसकर बंधा हुआ है। यह छात्र को कुछ भी नया या अलग करने के लिए दंडित करता है। क्योंकि वे सुरक्षित पथ से विचलित होने से डरते हैं, इसलिए वे जटिल पहेलियों को हल करना बंद कर देते हैं। वे ईमानदार तो रहते हैं, लेकिन वे बुद्धिमान होना छोड़ देते हैं।

समाधान: CARE-RFT (The "Confidence-Anchored" Coach - "आत्मविश्वास-आधारित" कोच)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे CARE-RFT कहा जाता है। इसे एक स्मार्ट कोच के रूप में समझें जो जानता है कि पट्टे को कब ढीला करना है और कब कसना है।

एक एकल, कठोर नियम के बजाय, CARE-RFT एक विशेष उपकरण का उपयोग करता है जिसे Skew Reverse KL कहा जाता है। यहाँ बताया गया है कि यह एक सरल रूपक का उपयोग करके कैसे काम करता है:

"एंकर" (Anchor) की अवधारणा: कल्पना करें कि छात्र एक नाव है, और मूल, अच्छी तरह से प्रशिक्षित मॉडल एक भारी लंगर (anchor) है।
मानक RKL (पुराना तरीका): लंगर एक विशाल, अटूट जंजीर है। यदि नाव थोड़ा भी नए, अनछुए क्षेत्रों (नए तर्क पथों) में जाने की कोशिश करती है, तो जंजीर उसे हिंसक रूप से वापस खींच लेती है। नाव सुरक्षित रहती है लेकिन कभी भी अन्वेषण नहीं कर पाती।
Unconstrained RFT (दूसरा तरीका): लंगर काट दिया गया है। नाव कहीं भी जा सकती है, लेकिन वह चट्टानों से टकरा सकती है (भ्रम/hallucinations) या खाई में गिर सकती है (मिसकैलिब्रेशन)।
CARE-RFT (नया तरीका): लंगर एक स्मार्ट, समायोज्य बंधन (adjustable tether) है।
- जब छात्र अनिश्चित होता है: यदि नाव धुंधले, अनिश्चित पानी में बह रही है, तो बंधन उसे जोर से खींचता है, जिससे छात्र बेस मॉडल के सुरक्षित, तथ्यात्मक ज्ञान में स्थिर रहता है। यह भ्रम (hallucinations) को रोकता है।
- जब छात्र आत्मविश्वासी और पुरस्कृत होता है: यदि छात्र एक नया रास्ता आज़माता है और वह सफल होता है (उसे उच्च पुरस्कार मिलता है), तो बंधन ढीला हो जाता है। यह छात्र को और अधिक अन्वेषण करने और जटिल तर्क सीखने के लिए दूर तक जाने की अनुमति देता है, लेकिन केवल इसलिए क्योंकि उन्होंने साबित कर दिया है कि वे सही रास्ते पर हैं।

जब आप CARE-RFT का उपयोग करते हैं तो क्या होता है?

शोधपत्र ने विभिन्न AI मॉडलों (जैसे Qwen2.5) पर प्रयोग चलाए और पाया कि CARE-RFT "दोनों दुनियाओं का सर्वश्रेष्ठ" प्राप्त करता है:

यह "स्वप्नद्रष्टा" की बुद्धिमत्ता बनाए रखता है: मॉडल अनियंत्रित, भ्रम-प्रवण मॉडलों की तरह ही कठिन गणित और तर्क समस्याओं को हल करने में उतने ही अच्छे हो गए।
यह "नौकरशाह" की ईमानदारी बनाए रखता है: मॉडल सतर्क, पट्टे वाले मॉडलों की तरह ही उतने ही भरोसेमंद और तथ्यात्मक रूप से सटीक रहे। उन्होंने तथ्य बनाना बंद कर दिया और उनके आत्मविश्वास का स्तर उनके वास्तविक प्रदर्शन से मेल खाता था।

"एंट्रॉपी" (Entropy) का रहस्य

लेखकों ने प्रशिक्षण के दौरान मॉडलों की "एंट्रॉपी" (अनिश्चितता का एक माप) का भी अध्ययन किया।

Unconstrained मॉडल "भंगुर" (brittle) हो गए—उनकी अनिश्चितता बहुत तेज़ी से शून्य हो गई, जिससे वे अति-आत्मविश्वासी और त्रुटियों के प्रति संवेदनशील हो गए।
RKL मॉडल बहुत अधिक "धुंधले" और अनिश्चित रहे जिससे वे कठिन कार्य सीखने में असमर्थ रहे।
CARE-RFT ने एक "गोल्डिलॉक्स ज़ोन" (Goldilocks zone) खोजा। इसने मॉडलों को कठिन समस्याओं को हल करने के लिए पर्याप्त आत्मविश्वासी बनने की अनुमति दी, लेकिन इतना आत्मविश्वासी नहीं कि वे खुद पर संदेह करना छोड़ दें।

सारांश

संक्षेप में, CARE-RFT एक नई प्रशिक्षण तकनीक है जो एक स्मार्ट सुरक्षा जाल की तरह कार्य करती है। यह बड़े भाषा मॉडलों (LLMs) को वास्तविकता से अपना संपर्क खोए बिना नई, जटिल तर्क रणनीतियों का अन्वेषण करने की अनुमति देता है। यह सिद्ध करता है कि आपको एक शानदार तर्ककर्ता और एक भरोसेमंद तथ्य-जांचकर्ता होने के बीच चयन करने की आवश्यकता नहीं है; सही "आत्मविश्वास-आधारित" दृष्टिकोण के साथ, आप दोनों हो सकते हैं।

तकनीकी सारांश: CARE-RFT

समस्या विवरण (Problem Statement)

रीइन्फोर्समेंट फाइनट्यूनिंग (RFT) लार्ज लैंग्वेज मॉडल्स (LLMs) में उभरती हुई तर्क क्षमता (emergent reasoning capabilities) को अनलॉक करने के लिए एक महत्वपूर्ण प्रतिमान (paradigm) के रूप में उभरा है, जैसा कि DeepSeek-R1-Zero जैसे मॉडल्स द्वारा प्रदर्शित किया गया है। हालांकि, लेखक तर्क प्रदर्शन (reasoning performance) और मॉडल विश्वसनीयता (model trustworthiness) के बीच एक महत्वपूर्ण ट्रेड-ऑफ की पहचान करते हैं:

अप्रतिबंधित RFT (Unconstrained RFT): जबकि बिना किसी बाधा के ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) जैसे एल्गोरिदम बेहतर तर्क सटीकता प्राप्त करते हैं, वे मॉडल की विश्वसनीयता से गंभीर समझौता करते हैं। बाधाओं (constraints) को हटाने से "अंधाधुंध सुदृढीकरण" (indiscriminate reinforcement) होता है, जहाँ मॉडल पूरे 'चेन ऑफ थॉट' (तार्किक रूप से त्रुटिपूर्ण मध्यवर्ती चरणों सहित) को सुदृढ़ कर देता है यदि अंतिम परिणाम सही हो। इसके परिणामस्वरूप मतिभ्रम (hallucination) की दर बढ़ जाती है, रिट्रीवल बेंचमार्क पर तथ्यात्मकता (factuality) कम हो जाती है, और खराब कैलिब्रेशन (उच्च Expected Calibration Error, या ECE) होता है।
RKL-प्रतिबंधित RFT (RKL-Constrained RFT): मतिभ्रम को कम करने के लिए, मानक दृष्टिकोण प्रशिक्षित पॉलिसी ( $\pi_\theta$ ) को एक संदर्भ पॉलिसी ( $\pi_{ref}$ ) के करीब रखने के लिए रिवर्स कुलबैक-लीब्लर (RKL) डाइवर्जेंस पेनल्टी लागू करता है। हालांकि यह कैलिब्रेशन और तथ्यात्मकता को बनाए रखता है, लेकिन RKL पेनल्टी अनबाउंडेड (unbounded) होती है। यह उन टोकन पर अनंत दंड लगाता है जहाँ संदर्भ मॉडल कम संभावना (low probability) देता है, जिससे बेस मॉडल से विचलित होने वाले नवीन, उच्च-पुरस्कार वाले तर्क पथों (reasoning paths) की खोज बाधित होती है। फलस्वरूप, अनकन्स्ट्रेंड RFT की तुलना में तर्क लाभ सीमित हो जाते हैं।

मुख्य चुनौती एक ऐसा रेगुलराइजेशन मेथड डिजाइन करने की है जो तर्क के लिए आवश्यक अन्वेषण (exploration) की अनुमति दे, जबकि उन अनियंत्रित विचलन (unanchored deviations) को रोक सके जो मतिभ्रम और मिसकैलिब्रेशन का कारण बनते हैं।

कार्यप्रणाली: CARE-RFT

लेखक CARE-RFT (कॉन्फिडेंस-एंकोर्ड रेगुलराइज्ड रीइन्फोर्समेंट फाइनट्यूनिंग) प्रस्तावित करते हैं, जो मानक RKL पेनल्टी को स्क्यू रिवर्स KL (SRKL) डाइवर्जेंस से बदल देता है।

सैद्धांतिक आधार (Theoretical Foundation)

मानक RKL डाइवर्जेंस ( $D_{RKL}$ ) उन विचलन को दंडित करता है जहाँ $\pi_\theta$ उन टोकन को संभाव्यता देता है जिन्हें $\pi_{ref}$ कम संभावित मानता है। यह दंड $\pi_{ref}(o_t) \to 0$ होने पर अनबाउंडेड हो जाता है, जो मॉडल को कम-संभावित लेकिन संभावित रूप से सही तर्क रणनीतियों की खोज करने से रोकता है।

CARE-RFT एक मिश्रण वितरण (mixture distribution) को परिभाषित करने के लिए एक स्क्यू पैरामीटर $\alpha \in (0, 1)$ पेश करता है। SRKL डाइवर्जेंस को इस प्रकार परिभाषित किया गया है:
$D_{SRKL}^\alpha (\pi_{ref} \| \pi_\theta) = \sum_{o_t \in V} \pi_\theta(o_t) \log \frac{\pi_\theta(o_t)}{\alpha \pi_\theta(o_t) + (1-\alpha)\pi_{ref}(o_t)}$

मुख्य तंत्र (Key Mechanisms)

कॉन्फिडेंस-एंकोर्ड पेनल्टी (Confidence-Anchored Penalty): SRKL पेनल्टी कॉन्फिडेंस-सेंसिटिव है।
- अपवर्ड डेविएशन (Exploration): जब मॉडल आश्वस्त होता ( $\pi_\theta$ उच्च होता) है और लगातार पुरस्कृत होता है, तो किसी टोकन पर संभाव्यता बढ़ाने के लिए दंड बाउंडेड (bounded) होता है। $\log(1/\alpha)$ शब्द एक परिमित ऊपरी सीमा (finite upper bound) के रूप में कार्य करता है। यह मॉडल को संदर्भ मॉडल की कम संभाव्यता द्वारा दबाए बिना, नवीन, उच्च-पुरस्कार वाले तर्क पैटर्न पर संभाव्यता द्रव्यमान (probability mass) जमा करने की अनुमति देता है।
- डाउनवर्ड डेविएशन (Preservation): जब मॉडल उन टोकन पर संभाव्यता कम करने का प्रयास करता है जिन्हें संदर्भ मॉडल पसंद करता है (या जब मॉडल अनिश्चित होता है), तो दंड अनबाउंडेड रहता है (अनुपात 0 के करीब पहुँचने पर $-\infty$ की ओर जाता है)। यह सुनिश्चित करता है कि मॉडल बेस मॉडल के अच्छी तरह से कैलिब्रेटेड प्रायर्स (priors) से दूर न जाए, जिससे तथ्यात्मक आधार सुरक्षित रहता है।
ग्रेडिएंट स्थिरता (Gradient Stability): SRKL के लिए ग्रेडिएंट गुणांक ऊपर की ओर बढ़ने (upward moves) के लिए बाउंडेड है, जो उस "ग्रेडिएंट ब्लो-अप" और एस्टीमेटर वेरिएंस को कम करता है जो अक्सर मानक RKL के साथ देखा जाता है जब संदर्भ मॉडल द्वारा सैंपल किए गए टोकन को शून्य के करीब संभाव्यता दी जाती है।

प्रयोगात्मक सेटअप (Experimental Setup)

लेखकों ने कई मॉडल स्केल्स (Qwen2.5-3B और 7B) और तीन विशिष्ट RFT एल्गोरिदम के माध्यम से CARE-RFT का मूल्यांकन किया:

GRPO: फाउंडेशनल ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन।
DAPO: एक आक्रामक, बाधा-मुक्त संस्करण।
GSPO: एक हालिया सीक्वेंस-लेवल ऑप्टिमाइज़ेशन दृष्टिकोण।

बेंचमार्क्स:

तर्क (Reasoning): MATH और GSM8K (Pass@4 द्वारा मापा गया)।
विश्वसनीयता/तथ्यात्मकता (Trustworthiness/Factuality): TruthfulQA और SelfAware (Pass@1 द्वारा मापा गया)।
कैलिब्रेशन (Calibration): TruthfulQA पर अपेक्षित कैलिब्रेशन एरर (ECE)।

मुख्य परिणाम (Key Results)

प्रयोगों से पता चलता है कि CARE-RFT सफलतापूर्वक सटीकता-कैलिब्रेशन ट्रेड-ऑफ को तोड़ता है:

तर्क प्रदर्शन (Reasoning Performance): CARE-RFT अनकन्स्ट्रेंड RFT के तर्क प्रदर्शन से मेल खाता है। उदाहरण के लिए, Qwen2.5-3B का उपयोग करते हुए GRPO पर, CARE-RFT ने MATH स्कोर 0.600 प्राप्त किया, जो अनकन्स्ट्रेंड वर्जन (0.610) के लगभग समान है और RKL-प्रतिबंधित GRPO (0.510) से काफी अधिक है।
विश्वसनीयता और कैलिब्रेशन (Trustworthiness and Calibration): अनकन्स्ट्रेंड RFT के विपरीत, जिसमें TruthfulQA सटीकता में भारी गिरावट और उच्च ECE देखी गई, CARE-RFT ने बेस मॉडल की विश्वसनीयता को पुनः प्राप्त कर लिया।
- TruthfulQA: CARE-GRPO ने 0.465 स्कोर किया, जो बेस मॉडल (0.489) और RKL-GRPO (0.480) के करीब है, जबकि अनकन्स्ट्रेंड GRPO 0.350 तक गिर गया।
- ECE: CARE-RFT ने निम्न ECE (0.132) बनाए रखा, जो RKL-प्रतिबंधित तरीकों (0.125) के तुलनीय है और अनकन्स्ट्रेंड तरीकों (0.210) की तुलना में काफी बेहतर है।
ट्रेनिंग डायनेमिक्स (Training Dynamics): टोकन एंट्रॉपी के विश्लेषण से पता चला कि अनकन्स्ट्रेंड RFT एंट्रॉपी में विनाशकारी गिरावट (ओवरकॉन्फिडेंस) की ओर ले जाता है, जबकि RKL उच्च एंट्रॉपी बनाए रखता है लेकिन शार्पनिंग को सीमित करता है। CARE-RFT एक नियंत्रित एंट्रॉपी रिडक्शन प्राप्त करता है, जिससे मॉडल को ओवरकॉन्फिडेंस में गिरे बिना तर्क के लिए डिस्ट्रीब्यूशन को शार्प करने की अनुमति मिलती है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि सावधानीपूर्वक, कॉन्फिडेंस-अवेयर रेगुलराइजेशन ही सक्षम और विश्वसनीय तर्क मॉडल बनाने की कुंजी है।

ट्रेड-ऑफ का समाधान: CARE-RFT एक एकतरफा, बाउंडेड पेनल्टी पेश करके अन्वेषण (तर्क अनलॉक करने के लिए) और नियंत्रण (मतिभ्रम रोकने के लिए) के बीच के तनाव को हल करता है।
सामान्यीकरण (Generalizability): इस पद्धति को एक "ड्रॉप-इन" रेगुलराइजेशन लेयर के रूप में प्रस्तुत किया गया है जो विभिन्न RFT एल्गोरिदम (GRPO, DAPO, GSPO) और मॉडल स्केल्स के साथ संगत है।
मैकेनिस्टिक अंतर्दृष्टि (Mechanistic Insight): यह कार्य स्थापित करता है कि अनकन्स्ट्रेंड RFT की विफलता केवल बाधाओं की कमी नहीं है, बल्कि विशेष रूप से आउटकम-लेवल रिवार्ड्स की अंधाधुंध प्रकृति है। टोकन-लेवल, कॉन्फिडेंस-एंकोर्ड बाधाओं की ओर शिफ्ट होकर, मॉडल बेस मॉडल के तथ्यात्मक प्रायर्स से समझौता किए बिना जटिल तर्क पैटर्न सीख सकता है।

लेखक निष्कर्ष निकालते हैं कि उनका दृष्टिकोण मॉडल्स को उच्च-जोखिम वाले अनुप्रयोगों के लिए आवश्यक विश्वसनीयता बनाए रखते हुए, उभरते तर्क के "अहा मोमेंट" (aha moment) को प्राप्त करने में सक्षम बनाता है, बिना उन अनबाउंडेड पेनल्टी के जो पारंपरिक RKL-प्रतिबंधित RFT में लर्निंग को बाधित करती हैं।