📊 statistics

Online Reasoning Calibration: Test-Time Training Enables Generalizable Conformal LLM Reasoning

यह शोध पत्र ऑनलाइन रीजनिंग कैलिब्रेशन (ORCA) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो कॉन्फॉर्मल प्रेडिक्शन को टेस्ट-टाइम ट्रेनिंग के साथ जोड़ता है ताकि लार्ज लैंग्वेज मॉडल सैंपलिंग को गतिशील रूप से कैलिब्रेट किया जा सके, जिससे इन-डिस्ट्रीब्यूशन और आउट-ऑफ-डोमेन दोनों रीजनिंग कार्यों में सैद्धांतिक जोखिम गारंटी बनाए रखते हुए कम्प्यूटेशनल दक्षता और सामान्यीकरण में महत्वपूर्ण सुधार होता है।

मूल लेखक: Cai Zhou, Zekai Wang, Menghua Wu, Qianyu Julie Zhu, Flora C. Shi, Chenyu Wang, Ashia Wilson, Tommi Jaakkola, Stephen Bates

प्रकाशित 2026-04-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Cai Zhou, Zekai Wang, Menghua Wu, Qianyu Julie Zhu, Flora C. Shi, Chenyu Wang, Ashia Wilson, Tommi Jaakkola, Stephen Bates

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बेहद बुद्धिमान लेकिन ज़रूरत से ज़्यादा सतर्क जासूस (एक लार्ज लैंग्वेज मॉडल, या LLM) को एक जटिल रहस्य सुलझाने के लिए काम पर रख रहे हैं।

समस्या:
यह जासूस अविश्वसनीय रूप से स्मार्ट है, लेकिन इसकी एक बुरी आदत है: इसे यह पता नहीं चलता कि इसने केस सुलझा लिया है।

अगर रहस्य आसान है, तो भी यह "पक्का होने के लिए" 50 पन्नों की रिपोर्ट लिखने में 10 घंटे बिता सकता है।
अगर रहस्य कठिन है, तो यह भ्रमित होकर बहुत जल्दी हार मान सकता है।
इससे भी बुरा यह है कि यह अपने आत्मविश्वास का सही अंदाज़ा लगाने में भी बुरा है। यह कह सकता है, "मुझे 99% यकीन है कि यही कातिल है!" जबकि वास्तव में यह केवल एक अनुमान लगा रहा होता है, या "मुझे कुछ नहीं पता" कह सकता है जब वास्तव में इसके पास उत्तर मौजूद हो।

इससे बहुत अधिक समय और कंप्यूटर पावर (पैसा) बर्बाद होता है। वर्तमान तरीके इसे ठीक करने के लिए एक कठोर नियम पुस्तिका (rulebook) देने की कोशिश करते हैं: "10 स्टेप्स के बाद रुक जाओ" या "रुक जाओ यदि तुम 80% आश्वस्त महसूस करते हो।" लेकिन यह नियम पुस्तिका स्थिर (static) है। यह नहीं बदलती यदि जासूस थक गया हो, या यदि केस अजीब हो, या यदि सुराग उन सुरागों से अलग हों जिन पर उसने अभ्यास किया था।

समाधान: ORCA (ऑनलाइन रीजनिंग कैलिब्रेशन)
लेखकों ने एक सिस्टम बनाया है जिसे ORCA कहा जाता है। ORCA को एक स्मार्ट, अडैप्टिव कोच की तरह समझें जो जासूस के काम करने के दौरान उसके ठीक बगल में बैठा रहता है।

ORCA कैसे काम करता है, इसे एक सरल उपमा (analogy) से समझते हैं:

1. "फास्ट" कोच बनाम "स्लो" कोच

ORCA दो प्रकार के कोचिंग का उपयोग करता है, जो टेस्ट-टाइम ट्रेनिंग (Test-Time Training) नामक एक अवधारणा से प्रेरित है।

स्लो कोच (द आउटर लूप): जासूस के काम शुरू करने से पहले, यह कोच हजारों पिछले मामलों का अध्ययन करता है। यह इस बात के सामान्य नियम सीखता है कि एक जासूस का दिमाग कैसे काम करता है। यह समझता है, "ठीक है, आमतौर पर, जब जासूस रुकता है और सबूतों को देखता है, तो वह उत्तर के करीब होता है।" यह मेटा-लर्निंग (meta-learning) वाला हिस्सा है। यह एक अच्छा शुरुआती बिंदु निर्धारित करता है।
फास्ट कोच (द इनर लूप): यह जादू वाला हिस्सा है। जैसे ही जासूस इस विशिष्ट मामले पर काम करता है, फास्ट कोच जासूस के हर एक विचार को देखता है।
- यदि जासूस अप्रासंगिक विवरणों के बारे में बड़बड़ा रहा है, तो फास्ट कोच कहता है, "हे, तुम अभी भी भ्रमित हो, चलते रहो।"
- यदि जासूस अचानक से "यूरेका!" क्षण का अनुभव करता है और तर्क स्पष्ट हो जाता है, तो फास्ट कोच तुरंत जासूस के सोचने के पैटर्न में आए बदलाव को पहचान लेता है और कहता है, "रुक जाओ! तुम्हें उत्तर मिल गया है!"

फास्ट कोच तुरंत सीखता है (learns on the fly)। यह वर्तमान केस के विशिष्ट सुरागों के आधार पर अपने निर्णय को ढालता है, न कि केवल सामान्य नियम पुस्तिका के आधार पर।

2. "सेफ्टी नेट" (कॉन्फॉर्मल प्रेडिक्शन)

आपको चिंता हो सकती है: "क्या होगा अगर फास्ट कोच गलत हो जाए और जासूस को बहुत जल्दी रोक दे?"

यहीं पर सेफ्टी नेट (Safety Net) काम आता है। यह सिस्टम कॉन्फॉर्मल प्रेडिक्शन (Conformal Prediction) नामक एक सांख्यिकीय विधि का उपयोग करता है।

कल्पना कीजिए कि आप कार के लिए गति सीमा (speed limit) निर्धारित कर रहे हैं। आप केवल अनुमान नहीं लगाते; आप पहले एक ट्रैक पर कार का परीक्षण करते हैं।
ORCA अपने "रुकने" (Stop) के संकेत का परीक्षण अभ्यास समस्याओं के एक सेट पर करता है। यह एक ऐसा थ्रेशोल्ड (threshold) कैलकुलेट करता है जो गारंटी देता है: "यदि हम तब रुकते हैं जब कोच कहता है 'रुक जाओ', तो हम 10% से कम बार गलत होंगे।"
यह गारंटी तब भी बनी रहती है जब नया केस उन अभ्यास मामलों से बिल्कुल अलग हो (जैसे कि एक जासूस जो केवल बैंक डकैती के मामलों पर अभ्यास करने के बाद साइबर-क्राइम सुलझा रहा हो)।

3. परिणाम: यह क्यों मायने रखता है

पेपर में, उन्होंने उपलब्ध सबसे स्मार्ट AI मॉडल्स (जैसे Qwen और Llama) पर इसका परीक्षण किया।

ORCA से पहले: मॉडल अक्सर "ज़रूरत से ज़्यादा सोचते" (overthink) थे। वे सुरक्षित रहने के लिए लंबे, अनावश्यक तर्क (reasoning chains) लिखते थे।
ORCA के साथ: मॉडल ठीक उसी समय रुक गए जब उन्हें ज़रूरत थी।
- आसान समस्याओं पर, वे 47% जल्दी रुक गए, जिससे भारी मात्रा में कंप्यूटिंग पावर की बचत हुई।
- कठिन, अपरिचित समस्याओं पर (जहाँ अन्य सिस्टम विफल रहे), ORCA ने पुराने तरीकों की तुलना में 67% समय बचाया।
- सबसे महत्वपूर्ण बात यह है कि उन्होंने अधिक गलतियाँ नहीं कीं। "सेफ्टी नेट" ने यह सुनिश्चित किया कि त्रुटि दर (error rate) कम रहे।

बड़ी तस्वीर (The Big Picture)

ORCA को एक AI को आत्म-जागरूकता की रिफ्लेक्स (self-awareness reflex) देने के रूप में देखें।

एक स्क्रिप्ट का आँख मूंदकर पालन करने वाले रोबोट के बजाय, ORCA AI को यह करने की अनुमति देता है:

वास्तविक समय में अपने विचारों को सुनना।
विशिष्ट स्थिति के आधार पर अपने आत्मविश्वास को समायोजित करना।
बिना समय बर्बाद किए, सांख्यिकीय रूप से सही होने की गारंटी के साथ, ठीक यह जानना कि कब रुकना है।

यह एक ऐसे छात्र के बीच का अंतर है जो उस परीक्षा के लिए 5 घंटे पढ़ता है जिसके उत्तर उसे पहले से पता हैं, बनाम एक ऐसे छात्र के बीच जो केवल तब तक पढ़ता है जब तक वह आश्वस्त न हो जाए, फिर रुक जाता है और घर चला जाता है। ORCA AI को दूसरे प्रकार का छात्र बनना सिखाता है: कुशल, आत्मविश्वासी और विश्वसनीय।

यहाँ शोध पत्र "Online Reasoning Calibration: Test-Time Training Enables Generalizable Conformal LLM Reasoning" (ORCA) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) ने टेस्ट-टाइम कंप्यूट (जैसे कि Chain-of-Thought, पैरेलल सैंपलिंग, या ट्री सर्च के माध्यम से) को स्केल करके उल्लेखनीय रीजनिंग क्षमताएं प्रदर्शित की हैं। हालाँकि, वर्तमान दृष्टिकोण दो महत्वपूर्ण अक्षमताओं का सामना करते हैं:

मिसकैलिब्रेशन (Miscalibration): पोस्ट-ट्रेन्ड LLMs अक्सर अपने मध्यवर्ती रीजनिंग स्टेट्स (intermediate reasoning states) और अंतिम उत्तरों की शुद्धता के संबंध में खराब कैलिब्रेटेड होते हैं। इससे "ओवरथिंकिंग" (आसान समस्याओं पर कंप्यूट बर्बाद करना) या कठिन समस्याओं पर समय से पहले रुक जाना (premante stopping) जैसी स्थितियाँ उत्पन्न होती हैं।
स्थिर ह्यूरिस्टिक्स (Static Heuristics): मौजूदा दक्षता रणनीतियाँ निश्चित, हस्तनिर्मित मापदंडों (जैसे कि रोलआउट्स की एक स्थिर संख्या या एक निश्चित स्टॉपिंग थ्रेशोल्ड) पर निर्भर करती हैं। ये डिस्ट्रीब्यूशन शिफ्ट (distribution shifts) के अनुकूल होने में विफल रहती हैं, जैसे कि एक ही लंबे चेन-ऑफ-थॉट के भीतर रीजनिंग पैटर्न में भिन्नता या ट्रेनिंग और डिप्लॉयमेंट प्रॉम्प्ट डिस्ट्रीब्यूशन (Out-of-Distribution, OOD) के बीच अंतर।
गारंटी का अभाव (Lack of Guarantees): अधिकांश विधियों में अर्ली स्टॉपिंग लागू करने पर आउटपुट की गुणवत्ता पर सांख्यिकीय गारंटी का अभाव होता है, जिससे वे जोखिम-संवेदनशील अनुप्रयोगों के लिए अविश्वसनीय हो जाते हैं।

2. कार्यप्रणाली: ऑनलाइन रीजनिंग कैलिब्रेशन (ORCA)

ORCA एक फ्रेमवर्क है जो टेस्ट-टाइम ट्रेनिंग (TTT) को कॉन्फॉर्मल प्रेडिक्शन (Conformal Prediction) (विशेष रूप से लर्न-देन-टेस्ट (Learn-Then-Test/LTT) फ्रेमवर्क) के साथ जोड़ता है ताकि एक अनुकूलन योग्य, जोखिम-नियंत्रित रीजनिंग सिस्टम बनाया जा सके।

मुख्य आर्किटेक्चर (Core Architecture)

यह फ्रेमवर्क एक बाइलेवल ऑप्टिमाइज़ेशन संरचना के माध्यम से संचालित होता है:

इनर लूप (ऑनलाइन एडैप्टेशन / फास्ट वेट्स):
- प्रत्येक रीजनिंग स्टेप $t$ पर, बेस LLM एक हिडन रिप्रेजेंटेशन $\phi_t$ जनरेट करता है।
- एक हल्का प्रोब मॉड्यूल (probe module) जिसमें "फास्ट वेट्स" $W_t$ होते हैं, इस रिप्रेजेंटेशन को प्रोसेस करता है ताकि कॉन्फिडेंस स्कोर $s_t$ आउटपुट किया जा सके।
- सेल्फ-सुपरवाइज्ड अपडेट: इन्फरेंस के दौरान, प्रोब अपने वेट्स को एक सेल्फ-सुपरवाइज्ड ऑब्जेक्टिव (जैसे कि नॉन-स्टॉपिंग स्टेप्स के लिए सूडो-लेबल $C_t=0$ के विरुद्ध ब्रियर स्कोर को मिनिमाइज करना) का उपयोग करके ऑनलाइन अपडेट करता है। यह प्रोब को वर्तमान इंस्टेंस की विशिष्ट रीजनिंग डायनेमिक्स के अनुकूल होने की अनुमति देता है।
- प्रोटोकॉल: प्रोब वर्तमान स्टेप को स्कोर करता है, और फिर अगले स्टेप पर जाने से पहले अपने वेट्स को अपडेट करता है।
आउटर लूप (मेटा-लर्निंग / स्लो वेट्स):
- "स्लो वेट्स" (इनिशियलाइजेशन $W_0$ , फीचर प्रोजेक्शन $\theta_{Q,K}$ , और लर्निंग रेट $\eta$ ) को एक विविध डेटासेट पर मेटा-ट्रेनिंग के माध्यम से सीखा जाता है।
- लक्ष्य एक ऐसा इनिशियलाइजेशन और अपडेट डायनेमिक्स सीखना है जो विभिन्न कार्यों और प्रॉम्प्ट डिस्ट्रीब्यूशन में सामान्यीकृत (generalize) हो सके, जिससे यह सुनिश्चित हो सके कि इनर-लूप अपडेट स्थिर और ट्रांसफ़रेबल बने रहें।

लर्न-देन-टेस्ट (LTT) के माध्यम से जोखिम नियंत्रण

एक स्थिर स्कोर थ्रेशोल्ड को कैलिब्रेट करने के बजाय, ORCA संपूर्ण तैनात प्रक्रिया (deployed procedure) (जिसमें ऑनलाइन वेट अपडेट और स्टॉपिंग रूल शामिल हैं) को कैलिब्रेट करता है।

कैलिब्रेशन फेज: एक होल्ड-आउट कैलिब्रेशन सेट पर थ्रेशोल्ड्स का एक ग्रिड $\Lambda$ टेस्ट किया जाता है।
हाइपोथीसिस टेस्टिंग: प्रत्येक थ्रेशोल्ड $\lambda$ के लिए, सिस्टम बाइनोमियल p-वैल्यू का उपयोग करके नल हाइपोथीसिस $H_j: \text{Risk}(\lambda) \ge \delta$ का परीक्षण करता है।
चयन: फिक्स्ड-सीक्वेंस टेस्टिंग (FST) का उपयोग करते हुए, सिस्टम सबसे आक्रामक थ्रेशोल्ड $\lambda^*$ चुनता है जो परिमित-नमूना गारंटी (finite-sample guarantees) के साथ जोखिम बाधा $P(\text{Risk} \le \delta) \ge 1 - \epsilon$ को संतुष्ट करता है।
इन्फरेंस: मॉडल रीजनिंग ट्राजेक्टरी को चलाता है, वेट्स को ऑनलाइन अपडेट करता है। यदि प्रोब स्कोर $s_t \ge \lambda^*$ है, तो सिस्टम रुक जाता है और वर्तमान उत्तर आउटपुट करता है।

3. प्रमुख योगदान (Key Contributions)

नया फ्रेमवर्क: ORCA पेश करता है, जो LLM रीजनिंग के लिए ऑनलाइन टेस्ट-टाइम ट्रेनिंग को सीधे कॉन्फॉर्मल कैलिब्रेशन के साथ एकीकृत करने वाला पहला फ्रेमवर्क है। यह कैलिब्रेशन को एक एडेप्टिव प्रेडिक्शन समस्या के रूप में मानता है।
सैद्धांतिक गारंटी: डिस्ट्रीब्यूशन शिफ्ट के तहत परिमित-नमूना जोखिम नियंत्रण (finite-sample risk control) की गारंटी प्रदान करता है। महत्वपूर्ण रूप से, लेखक सिद्ध करते हैं कि यदि प्रक्रिया प्रत्येक इंस्टेंस के बीच अपने स्टेट को रीसेट करती है, तो इंट्रा-इंस्टेंस ऑनलाइन अपडेट LTT के लिए आवश्यक एक्सचेंजैबिलिटी धारणाओं को अमान्य नहीं करते हैं।
डिस्ट्रीब्यूशन शिफ्ट के प्रति मजबूती: प्रत्येक इंस्टेंस के लिए वेट्स को ऑनलाइन एडैप्ट करके, ORCA ज़ीरो-शॉट OOD सेटिंग्स में प्रभावी रहता है जहाँ स्टैटिक प्रोब्स मिसमैच्ड रीजनिंग पैटर्न के कारण विफल हो जाते हैं।
लेबल दक्षता: यह प्रदर्शित करता है कि फ्रेमवर्क कंसिस्टेंट लेबल्स (मध्यवर्ती उत्तरों की तुलना पूर्ण-बजट वाले उत्तर से करना) के साथ प्रभावी ढंग से काम करता है, जिसके लिए ग्राउंड-ट्रुथ लेबल्स की आवश्यकता नहीं है, जिससे यह उन परिदृश्यों में लागू करने योग्य हो जाता है जहाँ सुपरविजन कम है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Qwen2.5-32B, QwQ-32B, और Llama-3.3-70B को MATH-500, GPQA, और AIME जैसे बेंचमार्क पर ORCA के माध्यम से मूल्यांकित किया।

इन-डिस्ट्रीब्यूशन दक्षता:
- एक लक्षित जोखिम स्तर $\delta=0.1$ पर, ORCA (सुपरवाइज्ड) ने Qwen2.5-32B पर 47.5% कंप्यूट बचत हासिल की, जबकि स्टैटिक बेसलाइन के लिए यह 38.0% थी।
- कंसिस्टेंट लेबल्स (बिना ग्राउंड ट्रुथ के) के साथ, बचत 40.7% थी, जो स्टैटिक बेसलाइन (34.5%) की तुलना में एक महत्वपूर्ण सुधार है।
आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) जनरलाइजेशन:
- ORCA ने ज़ीरो-शॉट OOD सेटिंग्स में भारी लाभ दिखाया। MATH-500 पर, बचत स्टैटिक बेसलाइन (24.8%) से सुधरकर ORCA (सुपरवाइज्ड लेबल्स के साथ) के लिए 67.0% हो गई।
- यह दर्शाता है कि ऑनलाइन एडैप्टेशन मॉडल को अनदेखे प्रॉम्प्ट डिस्ट्रीब्यूशन को प्रभावी ढंग से संभालने की अनुमति देता है।
क्रॉस-मॉडल प्रदर्शन: विधि ने सभी परीक्षण किए गए मॉडल परिवारों में लगातार स्टैटिक बेसलाइन्स को पछाड़ दिया, जो इसकी मॉडल-अग्नोस्टिक प्रकृति की पुष्टि करता है।
एब्लेशन स्टडीज (Ablation Studies):
- मेटा-लर्निंग आवश्यक है: TTT मेटा-लर्निंग के बिना प्रोब के मानक सुपरवाइज्ड ट्रेनिंग, 'नो-QK' वेरिएंट में स्टैटिक बेसलाइन से मेल खाने में विफल रहा।
- ऑनलाइन अपडेट महत्वपूर्ण हैं: इन्फरेंस के दौरान ऑनलाइन अपडेट को हटाने से प्रदर्शन में काफी गिरावट आई।
- आर्किटेक्चर: सरल "नो-QK" (लीनियर प्रोब) वेरिएंट अक्सर सबसे कुशल था, हालांकि QK प्रोजेक्शन विशिष्ट मामलों में बेहतर OOD जनरलाइजेशन प्रदान करते थे।

5. महत्व (Significance)

दक्षता बनाम विश्वसनीयता का ट्रेड-ऑफ: ORCA त्रुटि दरों पर सांख्यिकीय गारंटी प्रदान करके कंप्यूट बचाने और उत्तर की गुणवत्ता बनाए रखने के बीच के तनाव को हल करता है। यह उपयोगकर्ताओं को स्पष्ट रूप से जोखिम सहिष्णुता ( $\delta$ ) सेट करने और उसके अनुसार कंप्यूट उपयोग को स्वचालित रूप से समायोजित करने की अनुमति देता है।
पैराडाइम शिफ्ट: यह LLM रीजनिंग के लिए स्टैटिक ह्यूरिस्टिक्स से आगे बढ़ता है। कैलिब्रेशन मॉड्यूल को एक एडेप्टिव सिस्टम के रूप में मानकर जो इन्फरेंस के दौरान सीखता है, यह डिस्ट्रीब्यूशन शिफ्ट के प्रति वर्तमान LLMs की भंगुरता (brittleness) को संबोधित करता है।
व्यावहारिक परिनियोजन (Practical Deployment): यह फ्रेमवर्क मौजूदा रीजनिंग रणनीतियों (पैरेलल सैंपलिंग, ट्री सर्च) के साथ संगत है और इसके लिए बेस LLM को फिर से प्रशिक्षित करने की आवश्यकता नहीं है, जो इसे तैनात रीजनिंग एजेंट्स की दक्षता में सुधार के लिए एक व्यावहारिक ड्रॉप-इन समाधान बनाता है।

संक्षेप में, ORCA प्रदर्शित करता है कि टेस्ट-टाइम ट्रेनिंग के माध्यम से कैलिब्रेशन मॉड्यूल को गतिशील रूप से अपडेट करना LLM रीजनिंग की विश्वसनीयता और दक्षता को महत्वपूर्ण रूप से बढ़ाता है, जो गैर-स्थिर डेटा डिस्ट्रीब्यूशन वाले वास्तविक दुनिया के परिनियोजन के लिए एक मजबूत समाधान प्रदान करता है।