🤖 machine learning

Beyond Post-Hoc Temperature Scaling: Bilevel Optimization for LLM Calibration

यह शोध पत्र एक व्यावहारिक बाइलेवल ऑप्टिमाइज़ेशन फ्रेमवर्क प्रस्तावित करता है जो लार्ज लैंग्वेज मॉडल्स को कैलिब्रेट करने के लिए प्रशिक्षण के दौरान प्रेडिक्टिव एंट्रॉपी को अधिकतम करता है, जो पारंपरिक पोस्ट-हॉक टेम्परेचर स्केलिंग की डोमेन सीमाओं को प्रभावी ढंग से दूर करता है और आउट-ऑफ-डोमेन सामान्यीकरण में सुधार करता है।

मूल लेखक: Ruochen Jin, Zhanliang Wang, Zongyu Dai, Jiancong Xiao, Bojian Hou

प्रकाशित 2026-08-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ruochen Jin, Zhanliang Wang, Zongyu Dai, Jiancong Xiao, Bojian Hou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र को पढ़ा रहे हैं जिसने पुस्तकालय की हर किताब पढ़ ली है। यह छात्र एक लार्ज लैंग्वेज मॉडल (LLM) है, जो एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जो कहानियाँ लिख सकता है, गणित की समस्याएँ हल कर सकता है और इंसान की तरह बात कर सकता है। लेकिन, इसमें एक पेंच है: यह अपने ज्ञान का आकलन करने में बहुत बुरा है। यदि उन्हें किसी प्रश्न का उत्तर नहीं पता होता है, तो वे कह सकते हैं, "मुझे 99% यकीन है कि मैं सही हूँ!" जबकि वास्तव में वे गलत होते हैं। वास्तविक दुनिया में, यह खतरनाक है। यदि कोई मेडिकल एआई किसी निदान (diagnosis) के बारे में 99% सुनिश्चित है लेकिन गलत है, तो लोगों को चोट लग सकती है।

इसे ठीक करने के लिए, वैज्ञानिकों ने "टेम्परेचर स्केलिंग" (Temperature Scaling) नामक एक तरकीब आजमाई है। टेम्परेचर स्केलिंग को एक स्टीरियो पर वॉल्यूम नॉब की तरह समझें। यदि संगीत बहुत तेज़ और विकृत (बहुत अधिक आत्मविश्वासी) है, तो आप उसे धीमा करने और अधिक यथार्थवादी बनाने के लिए नॉब को घुमाते हैं। यह तब अच्छा काम करता है जब आप केवल एक गाना (एक विशिष्ट डेटासेट) सुन रहे हों। लेकिन समस्या यह है कि एक रॉक गाने के लिए जो "वॉल्यूम नॉब" सेटिंग काम करती है, वह जैज़ गाने के लिए काम नहीं करती है। यदि आप उसी सेटिंग का उपयोग किसी अलग प्रकार के प्रश्न के लिए करते हैं, तो एआई या तो बहुत तेज़ हो जाता है या बहुत धीमा। पुराना तरीका एक पूरे शहर के लिए केवल एक डायल से रेडियो ट्यून करने जैसा है; यह हर जगह काम नहीं करता।

यहीं पर एक नया अध्ययन, जो COLM 2026 में एक कॉन्फ्रेंस पेपर के रूप में प्रकाशित हुआ है, एक चतुर नए विचार के साथ आता है। केवल यह तय करने के बजाय कि छात्र के पढ़ाई खत्म करने के बाद वॉल्यूम नॉब को कैसे घुमाया जाए, शोधकर्ताओं ने यह तय किया कि छात्र शुरुआत से ही कैसे सीखता है। उन्होंने एक विशेष प्रशिक्षण विधि बनाई जिसे CALM (Bilevel Optimization के माध्यम से Large Models के लिए Calibration) कहा जाता है।

CALM कैसे काम करता है, इसे एक सरल उपमा का उपयोग करके समझते हैं: कल्पना कीजिए कि एक कोच एक एथलीट को प्रशिक्षित कर रहा है।

पुराना तरीका (Post-Hoc Scaling): एथलीट दौड़ लगाता है, थक जाता है, और फिर कोच कहता है, "ठीक है, अगली बार, थोड़ा धीरे दौड़ना।" कोच घटना के बाद गति को समायोजित करने की कोशिश करता है। लेकिन यदि इलाके (एक अलग डेटासेट) बदल जाते हैं, तो पुराना सुझाव फिट नहीं बैठता।
CALM का तरीका (Bilevel Optimization): कोच एक दो-स्तरीय प्रशिक्षण शिविर आयोजित करता है।
- स्तर 1 (एथलीट): एथलीट तेज़ और स्मार्ट बनने के लिए दौड़ने का अभ्यास करता है (यह मॉडल का प्रश्नों के उत्तर सीखने का तरीका है)।
- स्तर 2 (कोच): जबकि एथलीट दौड़ रहा होता है, कोच देखता है और वास्तविक समय (real-time) में प्रशिक्षण के नियमों को समायोजित करता है। कोच का लक्ष्य केवल एथलीट को तेज़ बनाना नहीं है; बल्कि यह सुनिश्चित करना है कि एथलीट को पता हो कि वह कितनी तेज़ दौड़ रहा है। यदि एथलीट बहुत ज्यादा डींगें मारने लगता है ("मैं सबसे तेज़ हूँ!"), तो कोच उसे धीरे से थोड़ा विनम्र और यथार्थवादी होने के लिए प्रेरित करता है।

शोधकर्ताओं ने पाया कि इस "दो-स्तरीय" प्रणाली के साथ मॉडल को प्रशिक्षित करके, एआई स्वाभाविक रूप से आत्मविश्वासी बनता है लेकिन अति-आत्मविश्वासी नहीं। उन्होंने चार अलग-अलग लोकप्रिय एआई मॉडलों (जैसे Llama-3.1, Vicuna, OLMo, और Mistral) और दो प्रकार के परीक्षणों पर इसका परीक्षण किया: बहुविकल्पीय प्रश्न और ओपन-एंडेड रचनात्मक लेखन।

परिणाम काफी उत्साहजनक थे। जब एआई का परीक्षण उन प्रश्नों पर किया गया जिन्हें उसने पहले कभी नहीं देखा था (एक रॉक-प्रशिक्षित छात्र के लिए जैज़ गाने जैसा "आउट-ऑफ-डोमेन" टेस्ट), तो CALM पुराने "वॉल्यूम नॉब" तरीके की तुलना में बहुत बेहतर काम कर रहा था। पुराना तरीका अक्सर नए विषयों पर एआई को और अधिक भ्रमित या अति-आत्मविश्वासी बना देता था। हालाँकि, CALM ने एआई के आत्मविश्वास को नियंत्रण में रखा। उदाहरण के लिए, Mistral-7B नामक एक मॉडल पर, पुराने तरीके ने एआई को 0.335 की कैलिब्रेशन त्रुटि (बहुत अधिक आत्मविश्वासी) के साथ छोड़ दिया, जबकि CALM इसे घटाकर 0.0822 ले आया (जो बहुत अधिक सटीक है)।

महत्वपूर्ण रूप से, शोधकर्ताओं ने दिखाया कि इससे एआई "बेवकूफ" नहीं हुआ। मॉडल अभी भी प्रश्नों के सही उत्तर दे रहे थे; वे बस यह झूठ बोलना बंद कर दिए कि वे कितने सुनिश्चित थे। यह पेपर सुझाव देता है कि यह दृष्टिकोण एक मजबूत कदम है, खासकर उन स्थितियों के लिए जहाँ एआई को अप्रत्याशित प्रश्नों को संभालने की आवश्यकता होती है बिना हर बार अपने सेटिंग्स को मैन्युअल रूप से बदलने की आवश्यकता के। यह एआई को विनम्र, ईमानदार और विश्वसनीय बनना सिखाने का एक तरीका है, चाहे वह किसी भी विषय पर चर्चा कर रहा हो।

तकनीकी सारांश: पोस्ट-हॉक टेम्परेचर स्केलिंग से परे: LLM कैलिब्रेशन के लिए बाइलेवल ऑप्टिमाइज़ेशन

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs), विशेष रूप से जो RLHF या DPO के माध्यम से अलाइन (aligned) किए गए हैं, अक्सर खराब कैलिब्रेशन प्रदर्शित करते हैं, जो अत्यधिक आत्मविश्वास (overconfidence) के रूप में प्रकट होता है। हालांकि आत्मविश्वास का उपयोग विश्वसनीयता के प्रॉक्सी के रूप में किया जाता है, लेकिन उच्च-जोखिम वाले डोमेन (जैसे स्वास्थ्य सेवा, कानूनी क्षेत्र) में गलत कैलिब्रेटेड मॉडल गलत भरोसे और खराब निर्णय लेने का कारण बन सकते हैं।

मौजूदा समाधान मुख्य रूप से पोस्ट-हॉक टेम्परेचर स्केलिंग (TS) पर निर्भर करते हैं, जहाँ ट्रेनिंग के बाद वैलिडेशन सेट पर एक सिंगल स्केलर तापमान (scalar temperature) को फिट किया जाता है ताकि लॉजिट्स (logits) को रीस्केल किया जा सके। हालाँकि, यह पेपर एक महत्वपूर्ण सीमा की पहचान करता है: TS स्वाभाविक रूप से डेटासेट-निर्भर (dataset-dependent) है। एक डोमेन के लिए अनुकूलित तापमान अक्सर अन्य डोमेन में विफल हो जाता है, जिससे एक "यूनिवर्सल" तापमान खोजना कठिन हो जाता है जो विविध कार्यों में अच्छी तरह से कैलिब्रेट कर सके। इसके अलावा, पोस्ट-हॉक विधियाँ मॉडल पैरामीटर्स को स्थिर छोड़ देती हैं, जिससे उस अवसर को खो दिया जाता है जहाँ एक ऐसा मॉडल सीखा जा सके जो आंतरिक रूप से कैलिब्रेशन के लिए अधिक अनुकूल हो।

कार्यप्रणाली: CALM (बाइलेवल ऑप्टिमाइज़ेशन के माध्यम से बड़े मॉडल्स के लिए कैलिब्रेशन)

लेखक CALM प्रस्तावित करते हैं, जो एक ट्रेनिंग-टाइम फ्रेमवर्क है जो कैलिब्रेशन को एक बाइलेवल ऑप्टिमाइज़ेशन समस्या के रूप में पुनर्गठित करता है। पोस्ट-हॉक पैरामीटर को एडजस्ट करने के बजाय, CALM मॉडल पैरामीटर्स और "टेम्परेचर-जैसे" लॉस हाइपरपैरामीटर्स को संयुक्त रूप से अनुकूलित करता है ताकि प्रेडिक्टिव एंट्रॉपी (predictive entropy) को अधिकतम किया जा सके और टास्क परफॉरमेंस को सुरक्षित रखा जा सके।

1. बाइलेवल फॉर्मूलेशन (Bilevel Formulation)

समस्या को इस प्रकार संरचित किया गया है:

लोअर लेवल (टास्क ऑप्टिमाइज़ेशन): ट्रेनिंग सेट $S_T$ पर मानक पैरामीट्रिक लॉस (क्रॉस-एंट्रॉपी) को कम करने के लिए मॉडल पैरामीटर्स $\theta$ को प्रशिक्षित करता है, जो हाइपरपैरामीटर्स $\alpha$ का एक सेट है।
$\theta(\alpha) \in \arg\min_{\theta'} \mathcal{L}_{tr}(\theta'; \alpha)$
अप्पर लेवल (कैलिब्रेशन ऑप्टिमाइज़ेशन): हाइपरपैरामीटर्स $\alpha$ को इस शर्त के साथ कैलिब्रेशन सेट $S_V$ पर प्रेडिक्टिव डिस्ट्रीब्यूशन की एंट्रॉपी को अधिकतम करने के लिए अनुकूलित करता है, बशर्ते कि $\theta$ लोअर-लेवल टास्क के लिए इष्टतम बना रहे।
$\min_{\alpha} \mathcal{L}_{ent}(\alpha, \theta(\alpha))$

हाइपरपैरामीटर्स $\alpha$ , टेम्परेचर स्केलिंग की अवधारणा को सामान्यीकृत करते हैं। एक सिंगल स्केलर $\tau$ के बजाय, CALM एक उच्च-आयामी (higher-dimensional) पैरामीटर $\alpha = (l, \tau)$ का उपयोग करता है, जहाँ $l \in \mathbb{R}^K$ एडिटिव लॉग-शिफ्ट्स पेश करता है और $\tau \in \mathbb{R}^K_{>0}$ क्लास-डिपेंडेंट टेम्परेचर प्रदान करता है। यह ग्लोबल रीस्केलिंग के बजाय प्रति-वोकैबुलरी (per-vocabulary) समायोजन की अनुमति देता है।

2. ऑब्जेक्टिव फंक्शन्स (Objective Functions)

अप्पर-लेवल ऑब्जेक्टिव: प्रेडिक्टिव डिस्ट्रीब्यूशन की शैनन एंट्रॉपी $H(f_{\alpha, \theta}(\cdot | x))$ को अधिकतम करता है ताकि अत्यधिक केंद्रित (overconfident) भविष्यवाणियों को रोका जा सके। यह मॉडल को ओवरकॉन्फिडेंस से अंडरकॉन्फिडेंस की ओर ले जाने के लिए एक नियंत्रणीय दिशा प्रदान करता है, जिससे संभावित रूप से वह बिंदु मिलता है जहाँ आत्मविश्वास सटीकता (accuracy) से मेल खाता है।
लोअर-लेवल कंस्ट्रेंट: यह सुनिश्चित करता है कि मॉडल डेटा पर क्रॉस-एंट्रॉपी को कम करके अपने डिस्क्रिमिनेटिव सामर्थ्य को बनाए रखे।

3. कुशल फर्स्ट-ऑर्डर एप्रोक्सिमेशन (Efficient First-Order Approximation)

सटीक बाइलेवल ऑप्टिमाइज़ेशन के लिए सेकंड-ऑर्डर डेरिवेटिव्स (हेसियन इनवर्स) शामिल हाइपरग्रेडिएंट्स की गणना करने की आवश्यकता होती है, जो अरबों पैरामीटर्स वाले LLMs के लिए अत्यधिक महंगा है। इसे संबोधित करने के लिए, CALM BOME (Bilevel Optimization Made Easy) से प्रेरित एक फर्स्ट-ऑर्डर एप्रोक्सिमेशन अपनाता है:

यह समस्या को संयुक्त वेरिएबल $u = (\alpha, \theta)$ पर एक कंस्ट्रेंड ऑप्टिमाइज़ेशन के रूप में पुनर्गठित करता है।
यह वर्तमान $\theta$ से $T$ इनर ग्रेडिएंट स्टेप्स चलाकर लोअर-लेवल वैल्यू फंक्शन को अनुमानित करता है ताकि एक सरोगेट $\tilde{\theta}$ बनाया जा सके।
यह एक "प्लग-इन रेसिडुअल" कंस्ट्रेंट का निर्माण करता है और केवल फर्स्ट-ऑर्डर डेरिवेटिव्स का उपयोग करके एक संयुक्त अपडेट दिशा की गणना करता है, जिससे स्पष्ट हेसियन इनवर्जन से बचा जा सके।

मुख्य योगदान (Key Contributions)

ट्रेनिंग-टाइम परिप्रेक्ष्य: यह पेपर कैलिब्रेशन के प्रतिमान को पोस्ट-हॉक डेटासेट-विशिष्ट समायोजन से बदलकर ट्रेनिंग-टाइम ऑप्टिमाइज़ेशन की ओर ले जाता है, जिसका लक्ष्य ऐसे मॉडल सीखना है जो विभिन्न डेटासेट्स पर सामान्य कैलिब्रेशन समायोजन को स्वीकार कर सकें।
बाइलेवल लॉस डिज़ाइन: यह कैलिब्रेशन-ओरिएंटेड लॉस डिज़ाइन को एक बाइलेवल समस्या के रूप में तैयार करता है जहाँ अपर लेवल एंट्रॉपी-आधारित ऑब्जेक्टिव का उपयोग करके टेम्परेचर-जैसे हाइपरपैरामीटर्स को अनुकूलित करता है, और लोअर लेवल मॉडल को प्रशिक्षित करता है।
एंट्रॉपी मैक्सिमाइजेशन: लेखक अतिरिक्त हार्ड लेबल्स या ऑक्सिलरी हेड्स की आवश्यकता के बिना अलाइन्ड LLMs में ओवरकॉन्फिडेंस को कम करने के लिए एक एंट्रॉपी-मैक्सिमाइजेशन अपर-लेवल ऑब्जेक्टिव का प्रस्ताव करते हैं।
स्केलेबल फ्रेमवर्क: वे एक कुशल फर्स्ट-ऑर्डर बाइलेवल ऑप्टिमाइज़ेशन स्कीम (CALM) पेश करते हैं जो महंगे सेकंड-ऑर्डर कंप्यूटेशन से बचता है, जिससे यह बड़े पैमाने पर LLM फाइन-ट्यूनिंग के लिए व्यावहारिक बन जाता है।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन चार अलाइन्ड LLMs (Llama-3.1-Tulu-8B, Vicuna-7B, OLMo-2-7B, Mistral-7B) पर मल्टीपल-चॉइस QA (MCQA) और ओपन-एंडेड जेनेरेटिव QA पर किया गया।

आउट-ऑफ-डोमेन (OOD) जनरलाइजेशन

बेहतर कैलिब्रेशन: CALM ने चार में से तीन मॉडल्स में OOD सेटिंग में सर्वश्रेष्ठ कॉन्फिडेंस ECE (conf-ECE) प्राप्त किया, जो बेसलाइन्स की तुलना में एरर को काफी कम करता है। उदाहरण के लिए, Llama-3.1 पर, इसने conf-ECE को 0.1784 से घटाकर 0.1050 कर दिया।
एक्यूरेसी का संरक्षण: कुछ एब्लेशन (जैसे, बिना बाइलेवल कंस्ट्रेंट के "Iterate" या "Regularization") के विपरीत, जो विनाशकारी एक्यूरेसी कोलैप्स से जूझते हैं, CALM ने उच्च टास्क एक्यूरेसी बनाए रखते हुए कैलिब्रेशन में सुधार किया।
मजबूती (Robustness): ओपन-एंडेड जेनेरेटिव QA (PopQA और TriviaQA के बीच क्रॉस-डोमेन ट्रांसफर) में, CALM ने सबसे कम मीन सेमेंटिक-ECE (0.0671) प्राप्त किया, जो अनकैलिब्रेटेड बेसलाइन और स्ट्रॉन्ग ट्रेनिंग-टाइम बेसलाइन्स जैसे CFT को भी पीछे छोड़ देता है।

इन-डोमेन (ID) परफॉरमेंस

ID सेटिंग में, जहाँ ट्रेनिंग और इवैल्यूएशन डिस्ट्रीब्यूशन समान होते हैं, टेम्परेचर स्केलिंग ECE पर सबसे अच्छा प्रदर्शन करती है (जैसा कि अपेक्षित है)। हालांकि, CALM एकमात्र ट्रेनिंग-आधारित विधि थी जिसने सभी चार मॉडल्स में बेसलाइन की तुलना में एक्यूरेसी और कैलिब्रेशन दोनों में सुधार किया।

एब्लेशन स्टडीज (Ablation Studies)

बाइलेवल स्ट्रक्चर: बाइलेवल कंस्ट्रेंट (Regularization) या कपलिंग टर्म (Iterate) को हटाने से या तो खराब कैलिब्रेशन या महत्वपूर्ण एक्यूरेसी लॉस हुआ, जो दर्शाता है कि टास्क परफॉरमेंस और कैलिब्रेशन के बीच का कपलिंग आवश्यक है।
पैरामीटराइजेशन: एक कोलैप्स्ड स्केलर पैरामीटर (लर्न किया गया TS) की तुलना में प्रति-वोकैबुलरी वेक्टर पैरामीटर्स ( $d_y, l_y$ ) का उपयोग करना कहीं अधिक बेहतर था, जो उत्तर विकल्पों में एसिमेट्रिक मिसकैलिब्रेशन को संभालने के लिए सूक्ष्म समायोजन की आवश्यकता को उजागर करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि CALM अलाइन्ड LLMs में ओवरकॉन्फिडेंस की समस्या के लिए एक मजबूत, ट्रेनिंग-टाइम समाधान प्रदान करता है। इसका प्राथमिक महत्व है:

जनरलाइजेशन: पोस्ट-हॉक TS के विपरीत, CALM एक ऐसा कैलिब्रेशन मैकेनिज्म सीखता है जो डोमेन के पार सामान्य होता है, जो "डेटासेट डिपेंडेंस" की वर्तमान समस्याओं को संबोधित करता है।
ट्रेड-ऑफ मैनेजमेंट: यह एक बेहतर एक्यूरेसी-कैलिब्रेशन ट्रेड-ऑफ प्राप्त करता है, जो सरल रेगुलराइजेशन के माध्यम से कैलिब्रेशन में सुधार करने के प्रयास में होने वाले यूटिलिटी कोलैप्स से बचता है।
व्यावहारिकता: फर्स्ट-ऑर्डर एप्रोक्सिमेशन का उपयोग करके, यह बाइलेवल ऑप्टिमाइज़ेशन को आधुनिक LLMs के लिए व्यवहार्य बनाता है, जो "कैलिब्रेटेड-बाय-पोस्ट-प्रोसेसिंग" के बजाय "कैलिब्रेटेड-बाय-डिज़ाइन" मॉडल्स के लिए एक मार्ग प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि उनकी विधि विशेष रूप से आउट-ऑफ-डोमेन सेटिंग्स में फायदेमंद है, जहाँ वैकल्पिक विधियाँ अक्सर अस्थिर हो जाती हैं या पर्याप्त यूटिलिटी लॉस झेलती हैं, जो इसे विविध, वास्तविक दुनिया के परिदृश्यों में विश्वसनीय LLMs को तैनात करने के लिए एक व्यवहार्य दृष्टिकोण बनाती है।