🤖 machine learning

Probability-Entropy Calibration: An Elastic Indicator for Adaptive Fine-tuning

यह शोधपत्र RankTuner को प्रस्तुत करता है, जो एक फाइन-ट्यूनिंग फ्रेमवर्क है जो 'रिलेटिव रैंक इंडिकेटर' नामक एक नवीन 'प्रोबेबिलिटी-एन्ट्रॉपी कैलिब्रेशन' सिग्नल का उपयोग करता है, जो टोकन को गतिशील रूप से पुन: भारित (reweight) करने के लिए नियोजित किया जाता है, जिससे अंतर्निहित अनिश्चितता को ध्यान में रखते हुए वास्तव में कम सीखे गए टोकन पर ध्यान केंद्रित करके गणितीय तर्क, कोड जनरेशन और आउट-ऑफ-डिस्ट्रीब्यूशन ट्रांसफर में सुधार किया जाता है।

मूल लेखक: Wenhao Yu, Shaohang Wei, Jiahong Liu, Yifan Li, Minda Hu, Aiwei Liu, Hao Zhang, Irwin King

प्रकाशित 2026-05-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenhao Yu, Shaohang Wei, Jiahong Liu, Yifan Li, Minda Hu, Aiwei Liu, Hao Zhang, Irwin King

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जो किसी छात्र के होमवर्क को ग्रेड दे रहे हैं। छात्र ने सैकड़ों शब्दों वाला एक लंबा निबंध लिखा है। आपका लक्ष्य उसे अगली बार सुधार करने में मदद करना है।

पुराना तरीका: "एक ही आकार सबके लिए" (One-Size-Fits--All) ग्रेडिंग
पारंपरिक रूप से, जब AI मॉडल (जैसे वे जो कोड लिखते हैं या गणित की समस्याओं को हल करते हैं) को प्रशिक्षित किया जाता है, तो कंप्यूटर छात्र के उत्तर के प्रत्येक शब्द को समान रूप से महत्वपूर्ण मानता है। यह कहता है, "यदि आपने यह शब्द गलत लिखा, तो मैं आपको बड़ा लाल निशान दूँगा। यदि आपने यह वाला सही लिखा, तो मैं आपको एक गोल्ड स्टार दूँगा।"

लेकिन यह अक्षम है।

"शोर" (Noise) की समस्या: कभी-कभी छात्र एक फिलर शब्द जैसे "um" या "basically" लिख देता है। ये शब्द बदले जा सकते हैं। यदि छात्र ने "essentially" के बजाय "basically" लिखा है, तो इससे कोई खास फर्क नहीं पड़ता। लेकिन पुराने तरीके भ्रमित हो सकते हैं क्योंकि AI निश्चित नहीं था कि उसे इनमें से कौन सा चुनना चाहिए, इसलिए वह इस छोटे, महत्वहीन अंतर को "ठीक" करने में समय बर्बाद करता है।
"महत्वपूर्ण त्रुटि" (Critical Error) की समस्या: कभी-कभी छात्र गणित की समस्या के अंतिम अंक में एक बड़ी गलती करता है। यह एक गंभीर विफलता है। पुराना तरीका इस त्रुटि को व्याकरण की मामूली चूक के समान ही भार दे सकता है, या इससे भी बुरा, यह "शोर" वाले शब्दों से विचलित हो सकता है और बड़ी गलती को मिस कर सकता है।

नया तरीका: रैंकट्यूनर (RankTuner - "स्मार्ट ग्रेडर")
यह पेपर RankTuner नामक एक नई विधि पेश करता है। केवल यह देखने के बजाय कि AI को सही शब्द के लिए कितनी संभावना (likelihood) लगी, या वह कितना भ्रमित था, RankTuner प्रत्येक शब्द पर कितना ध्यान देना है, यह तय करने के लिए दो चीजों को एक साथ देखता है:

इसे ग्रेडिंग के लिए एक दो-आयामी मानचित्र (two-dimensional map) की तरह सोचें:

अक्ष 1: आत्मविश्वास (संभावना/Probability)
- प्रश्न: "AI इस बात को लेकर कितना आश्वस्त था कि यह शब्द सही था?"
- उपमा: यदि AI 99% सुनिश्चित था कि उत्तर "5" है, लेकिन उसने "6" लिखा, तो यह एक स्पष्ट, आत्मविश्वासी गलती है।
अक्ष 2: भ्रम (एन्ट्रॉपी/Entropy)
- प्रश्न: "AI अन्य कितने विकल्पों पर विचार कर रहा था?"
- उपमा: यदि AI "5", "6", "7", और "8" के बीच फंसा हुआ था, तो वह बहुत भ्रमित (उच्च एन्ट्रॉपी) था। यदि वह "essentially" और "basically" के बीच फंसा था, तो वह भी भ्रमित था, लेकिन यह एक "सॉफ्ट" भ्रम था क्योंकि दोनों शब्दों का अर्थ समान है।

जादुई तत्व: "सापेक्ष रैंक" (Relative Rank)
RankTuner इन दोनों अक्षों को सापेक्ष रैंक संकेतक (Relative Rank Indicator) नामक एक एकल स्कोर में जोड़ता है।

कल्पना कीजिए कि AI एक अनुमान लगाने वाला खेल खेल रहा है। उसके पास संभावित शब्दों की एक सूची है, जो "सबसे संभावित" से "सबसे कम संभावित" के क्रम में रैंक की गई है।

वास्तविक उत्तर: इस सूची में सही शब्द वास्तव में कहाँ पहुँचा? (जैसे: क्या वह #1 था? #5 था? #100 था?)
अपेक्षित अनुमान: यदि AI को अपने भ्रम के आधार पर अंधे होकर अनुमान लगाना पड़ता, तो सही शब्द खोजने में आमतौर पर कितने अनुमान लेने पड़ते?

RankTuner इन दोनों संख्याओं की तुलना करता है।

परिदृश्य A ("शोर" ज़ोन): AI भ्रमित है (उच्च एन्ट्रॉपी) क्योंकि वह "basically" और "essentially" जैसे समानार्थी शब्दों के बीच चयन कर रहा है। सही शब्द सूची में #5 पर है, लेकिन AI ने उम्मीद की थी कि वह #5 के आसपास ही होगा।
- RankTuner का निर्णय: "यह कोई बड़ी बात नहीं है। AI बस लचीला (flexible) हो रहा था। इस पर दोबारा प्रशिक्षण (retraining) में समय बर्बाद न करें।" (यह इस शब्द को कम भार देता है)।
परि сцена B ("महत्वपूर्ण" ज़ोन): AI को गणित की समस्या हल करनी है। वह बहुत आत्मविश्वासी (कम एन्ट्रॉपी) है कि उत्तर "5" है, लेकिन उसने "6" लिखा। सही शब्द "5" सूची में #1 पर है, लेकिन AI ने गलत शब्द लिखा।
- RankTuner का निर्णय: "यह एक वास्तविक विफलता है! AI जानता था लेकिन उसने गलत लिखा। अपनी सारी ऊर्जा यहाँ लगाएँ!" (यह इस शब्द को उच्च भार देता है)।

यह क्यों मायने रखता है
इस पेपर ने गणित की समस्याओं और कोड जनरेशन पर इसका परीक्षण किया। उन्होंने यह पाया:

बेहत्तर गणित स्कोर: RankTuner के साथ प्रशिक्षित मॉडलों ने पुराने तरीकों के मुकाबले अधिक कठिन गणितीय समस्याओं को सही ढंग से हल किया।
कम "ओवर-करेक्शन": मॉडल हानिरहित, बदले जाने योग्य शब्दों को ठीक करने की कोशिश में भ्रमित नहीं हुए। उन्होंने वास्तविक त्रुटियों पर ध्यान केंद्रित किया।
सामान्यीकरण (Generalization): भले ही मॉडलों को ऐसी नई प्रकार की समस्याओं का सामना करना पड़ा जिन्हें उन्होंने पहले नहीं देखा था (जैसे शुद्ध गणित के बजाय तर्क पहेलियाँ), वे बेहतर प्रदर्शन करते रहे क्योंकि उन्होंने केवल विशिष्ट शब्दों को याद नहीं किया, बल्कि 'कैसे सीखना है' यह सीखा।

संक्षेप में
RankTuner एक ऐसे शिक्षक की तरह है जो यह अंतर जानता है कि एक छात्र लापरवाह है (एक ऐसी गलती करना जब उसे उत्तर पता था) और एक छात्र अनिश्चित है (एक कठिन अवधारणा के साथ संघर्ष करना या समान शब्दों के बीच चयन करना)। यह अनिश्चितता पर समय बर्बाद करने के बजाय अपनी ऊर्जा लापरवाही को ठीक करने पर केंद्रित करता है, जिससे अधिक स्मार्ट और अधिक सक्षम AI बनता है।

तकनीकी सारांश: अनुकूली फाइन-ट्यूनिंग के लिए प्रायिकता-एन्ट्रॉपी अंशांकन (Probability-Entropy Calibration)

1. समस्या विवरण

टोकन-स्तरीय पुनर्रचना (reweighting) लार्ज लैंग्वेज मॉडल्स (LLMs) के सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) को नियंत्रित करने के लिए एक स्थापित तंत्र है। हालाँकि, मौजूदा दृष्टिकोण एक-आयामी संकेतकों पर निर्भर करते हैं जो टोकन के महत्व की पूर्ण जटिलता को पकड़ने में विफल रहते हैं:

प्रायिकता-प्रधान वेटिंग (Prob-Dominant Weighting): यह डाउनस्ट्रीम अलाइनमेंट को दर्शाने के लिए ग्राउंड-ट्रुथ प्रायिकता ( $p_t$ ) पर निर्भर करता है। यह कार्य अलाइनमेंट के लिए प्रभावी होने के बावजूद, उन टोकनों के बीच अंतर करने में विफल रहता है जो वास्तव में कठिन हैं और वे जो स्वाभाविक रूप से अस्पष्ट या प्रतिस्थापनीय (जैसे "essentially" बनाम "basically" जैसे समानार्थी शब्द) हैं। इससे भाषाई लचीलेपन को नुकसान पहुँचाते हुए, अर्थपूर्ण रूप से लचीले स्थानों को अत्यधिक दंडित किया जा सकता है।
एन्ट्रॉपी-प्रधान वेटिंग (Entropy-Dominant Weighting): यह प्री-ट्रेनिंग प्रायर्स द्वारा प्रेरित अंतर्निहित अनिश्चितता को दर्शाने के लिए प्रेडिक्टिव एन्ट्रॉपी ( $H_t$ ) पर निर्भर करता है। हालांकि अनिश्चितता की पहचान करने के लिए उपयोगी है, लेकिन उच्च-एन्ट्रॉपी वाले टोकन अक्सर शोर भरे फिलर शब्दों या अप्रासंगिक सामग्री को शामिल करते हैं। इन टोकनों को अधिक वेट देने से अनफॉर्मेटिव ग्रेडिएंट्स बढ़ सकते हैं और डाउनस्ट्रीम कार्य के साथ अलाइनमेंट बिगड़ सकता है।

मुख्य समस्या यह है कि $p_t$ (अलाइनमेंट) और $H_t$ (अंतर्निहित अनिश्चितता) को अलग-थलग मानने से सीखने के लिए महत्वपूर्ण टोकनों की गलत पहचान होती है। शोर वाले टोकन उच्च एन्ट्रॉपी के कारण अधिक वेट प्राप्त कर सकते हैं, जबकि प्रतिस्थापनीय टोकन कम प्रायिकता के कारण अत्यधिक दंडित किए जा सकते हैं, भले ही वे महत्वपूर्ण त्रुटियां न हों। यह शोध पत्र एक कैलिब्रेटेड सिग्नल का तर्क देता है जो अंतर्निहित अनिश्चितता के संदर्भ में संभावना (likelihood) को व्यवस्थित करता है।

2. कार्यप्रणाली: RankTuner

लेखक RankTuner प्रस्तावित करते हैं, जो एक रैंक-आधारित विविक्तीकरण (discretization) के माध्यम से प्रायिकता-एन्ट्रॉपी अंशांकन सिग्नल पेश करता है। मुख्य विचार मॉडल के प्रेडिक्शन डिस्ट्रीब्यूशन के तहत ग्राउंड-ट्रुथ टोकन की वास्तविक रैंक की तुलना उसकी अपेक्षित रैंक से करना है।

2.1. सैद्धांतिक आधार

यह विधि गेसिंग प्रॉब्लम (Massey, 1994) फ्रेमवर्क का उपयोग करके प्रायिकता और एन्ट्रॉपी के बीच के अंतर को पाटती है:

रैंक ( $R_t$ ): घटते क्रम में प्रायिकता द्वारा सॉर्ट किए गए उम्मीदवारों में ग्राउंड-ट्रुथ टोकन का स्थान।
अपेक्षित रैंक ( $E[R_t]$ ): लक्ष्य टोकन को खोजने के लिए आवश्यक अनुमानित प्रयासों की संख्या, जिसकी गणना $\sum \hat{i} \cdot p_{\hat{i}}$ के रूप में की जाती है।
सीमाएँ (Bounds): लेखक इन रैंक-आधारित मात्राओं को प्रायिकता और एन्ट्रॉपी से जोड़ने वाले कड़े सैद्धांतिक संबंध स्थापित करते हैं:
- $R_t \leq 1/p_t$ (रैंक-प्रायिकता सीमा)
- $E[R_t] \geq s(H_t)$ (अपेक्षित रैंक-एन्ट्रॉपी सीमा, जहाँ $s(H_t)$ एन्ट्रॉपी से व्युत्पन्न एक फलन है)।

2.2. सापेक्ष रैंक संकेतक (Relative Rank Indicator - $I_t$ )

यह विधि अनिश्चितता के सापेक्ष टोकन-स्तरीय प्रदर्शन को मापने के लिए एक सापेक्ष रैंक संकेतक ( $I_t$ ) को परिभाषित करती है:
$I_t = g(f(R_t) - f(E[R_t]))$
जहाँ $f(x) = \frac{1}{\log_2(x+1)}$ और $g(x) = 2^x$ है।

व्याख्या: $I_t$ घटता है जैसे-जैसे वास्तविक रैंक $R_t$ बढ़ती है (कम सटीकता), लेकिन बढ़ता है जैसे-जैसे अपेक्षित रैंक $E[R_t]$ बढ़ती है (उच्च कठिनाई)।
अंशांकन (Calibration): यह संकेतक प्रभावी रूप से टोकनों को विभिन्न श्रेणियों में विभाजित करता है:
- प्राथमिकता प्राप्त (Prioritized): कम $R_t$ और कम $E[R_t]$ (आसान, सही)।
- नगण्य (Negligible): उच्च $R_t$ और उच्च $E[R_t]$ (कठिन, लेकिन कठिन होने की अपेक्षा थी)।
- शोर क्षेत्र (Noise Region): उच्च $H_t$ लेकिन कम $p_t$ (शोर/प्रतिस्थापनीय), जिसे कम महत्व दिया जाता है।

2.3. सापेक्ष स्केल ( $S_t$ ) और लॉस रीवेटिंग

फाइन-ट्यूनिंग के लिए, विधि संकेतक के व्युत्क्रम का उपयोग करती है, जिसे सापेक्ष स्केल ( $S_t = I_t^{-1}$ ) कहा जाता है, एक टोकन-वार वेटिंग गुणांक के रूप में।

तंत्र: वे टोकन जहाँ मॉडल अपेक्षित कठिनाई के सापेक्ष खराब प्रदर्शन करता है (कम $I_t$ ), उन्हें उच्च वेट प्राप्त होते हैं। जो टोकन स्वाभाविक रूप से अनिश्चित या प्रतिस्थापनीय हैं (उच्च $E[R_t]$ ), उन्हें ओवर-ऑप्टिमाइजेशन से बचने के लिए कम वेट दिया जाता है।
कार्यान्वयन: प्रशिक्षण के दौरान पूर्ण वोकैबुलरी पर स्पष्ट रैंक गणना से बचने के लिए स्केल को सैद्धांतिक सीमाओं का उपयोग करके अनुमानित किया जाता है:
$S_t \approx (p_t \cdot s(H_t))^{-K(\xi_t)}$
जहाँ $K(\xi_t)$ कॉची मीन वैल्यू थ्योरम के माध्यम से प्राप्त एक गुणांक है, जिसे आमतौर पर रीजनिंग टोकन के लिए लगभग 0.5 के आसपास अनुमानित किया जाता है। अंतिम लॉस $\mathcal{L} = \sum -w_t \cdot S_t \log p_t$ है।

3. मुख्य योगदान

एक-आयामी सीमाओं का विश्लेषण: शोध पत्र प्रदर्शित करता है कि प्रोब-डोमिनेंट और एंट्रॉपी-डोमिनेंट वेटिंग स्कीम्स "शोर वाले" टोकन (उच्च एन्ट्रॉपी, कम मूल्य) और "प्रतिस्थापनीय" टोकन (कम प्रायिकता, उच्च अस्पष्टता) के बीच अंतर करने में विफल रहते हैं, जिससे सब-ऑप्टिमल फाइन-ट्यूनिंग सिग्नल मिलते हैं।
रैंक-आधारित अंशांकन: सापेक्ष रैंक संकेतक का परिचय, जो ग्राउंड-ट्रुथ रैंक की अपेक्षित रैंक के साथ तुलना करके प्रायिकता और एन्ट्रॉपी को एकीकृत करता है। यह एक अनिश्चितता-जागरूक अनुकूली रीवेटिंग योजना प्रदान करता है।
अनुभवजन्य सत्यापन (Empirical Validation): कई बैकबोन्स (Qwen2.5-Math, Qwen3, Llama-3.1) और रीजनिंग बेंचमार्क्स पर व्यापक प्रयोगों में निरंतर सुधार दिखाया गया है।

4. प्रयोगात्मक परिणाम

लेखकों ने गणितीय तर्क और कोड जनरेशन कार्यों पर RankTuner का मूल्यांकन किया:

गणितीय तर्क (Mathematical Reasoning): MATH-OAI, Minerva Math, OlympiadBench, AIME 2024, और AMC 2023 जैसे बेंचमार्क्स पर, RankTuner लगातार मानक SFT और मजबूत बेसलाइन्स (OverTone, DFT, TALR, EAFT) से बेहतर प्रदर्शन करता है।
- Pass@1 (सिंगल-सैंपल सटीकता) और Pass@16 (मल्टी-सैंपल कवरेज) में उल्लेखनीय लाभ देखे गए, जो विविधता से समझौता किए बिना बेहतर सटीकता का संकेत देते हैं।
- AIME 2024 जैसे कठिन बेंचमार्क्स पर, जहाँ अन्य विधियों में गिरावट देखी गई, RankTuner ने मजबूत प्रदर्शन बनाए रखा।
आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सामान्यीकरण: ARC-C और GPQA बेंचमार्क्स पर, RankTuner ने सर्वश्रेष्ठ Pass@1 स्कोर प्राप्त किया, जो प्रशिक्षण वितरण से परे मजबूत ट्रांसफर प्रदर्शित करता है।
कोड जनरेशन: HumanEval और HumanEval+ पर, RankTuner ने निरंतर सुधार दिखाया, विशेष रूप से छोटे मॉडल्स (Qwen2.5-Coder-3B) पर प्रदर्शन को बनाए रखते हुए जहाँ मानक SFT अक्सर क्षमताओं को कम कर देता है।
एब्लेशन अध्ययन (Ablation Studies): प्रायिकता या एन्ट्रॉपी में से किसी एक को हटाने से प्रदर्शन गिर गया, जो दोनों सिग्नल्स की पूरक प्रकृति की पुष्टि करता है। एक्सपोनेंट $K(\xi_t)$ का डायनेमिक अनुकूलन फिक्स्ड एक्सपोनेंट्स की तुलना में बेहतर पाया गया।

5. महत्व और दावे

शोध पत्र का दावा है कि प्रायिकता-एन्ट्रॉपी अंशांकन अनुकूली फाइन-ट्यूनिंग के लिए एक सरल लेकिन प्रभावी सिद्धांत प्रदान करता है।

मुख्य दावा: प्रायिकता और एन्ट्रॉपी को एक तुलनीय रैंक-आधारित जोड़ी में विविक्त (discretize) करके, RankTuner अपडेट को "वास्तव में कम-सीखे गए" महत्वपूर्ण टोकनों पर केंद्रित करता है, जबकि शोर वाले या प्रतिस्थापनीय स्थानों को कम वेट देता है।
मजबूती (Robustness): यह विधि अर्थपूर्ण रूप से लचीले शब्दों को अत्यधिक दंडित करने या शोर को बढ़ाने के खतरों से बचती है, जिससे अधिक स्थिर प्रशिक्षण और बेहतर सामान्यीकरण मिलता है।
दायरा: लेखक स्पष्ट रूप से कहते हैं कि उनके अनुभवजन्य साक्ष्य सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) सेटिंग में सबसे मजबूत हैं। हालांकि वे सुझाव देते हैं कि यह सिद्धांत RL-शैली के पोस्ट-ट्रेनिंग (जैसे PPO/GRPO) और मल्टीमॉडल कार्यों तक विस्तारित हो सकता है, लेकिन वे इस कार्य में इन विस्तारों को सत्यापित नहीं करते हैं।
सामान्यीकरण क्षमता: यह दृष्टिकोण केवल टोकन-स्तरीय प्रेडिक्टिव स्टैटिस्टिक्स पर निर्भर करता है, जो LLM पर्सनलाइजेशन, एम्बॉडीड AI और जनरेटिव इंफॉर्मेशन एक्सट्रैक्शन के लिए संभावित अनुप्रयोग का सुझाव देता है, हालांकि ये भविष्य के कार्य के विषय हैं।

शोध पत्र निष्कर्ष निकालता है कि यह परिप्रेक्ष्य व्यापक कार्यों और प्रशिक्षण प्रतिमानों में सामान्य करने के लिए एक आशाजनक दिशा है, जो समाधान विविधता को कोलैप्स किए बिना सटीकता में सुधार करने के लिए एक तंत्र प्रदान करता है।