🤖 AI

Confidence-Calibrated Small-Large Language Model Collaboration for Cost-Efficient Reasoning

यह शोध पत्र COREA को प्रस्तुत करता है, जो एक लागत-कुशल तर्क प्रणाली है जो एक बड़े भाषा मॉडल के साथ एक छोटे भाषा मॉडल को कैस्केड करती है और आत्मविश्वास स्कोर (confidence scores) को कैलिब्रेट करने के लिए सुदृढीकरण शिक्षण (reinforcement learning) का उपयोग करती है, जिससे उच्च सटीकता बनाए रखते हुए अनुमान लागत (inference costs) में काफी कमी आती है।

मूल लेखक: Chuang Zhang, Zizhen Zhu, Yihao Wei, Bing Tian, Junyi Liu, Henan Wang, Xavier Wang, Yaxiao Liu

प्रकाशित 2026-03-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chuang Zhang, Zizhen Zhu, Yihao Wei, Bing Tian, Junyi Liu, Henan Wang, Xavier Wang, Yaxiao Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त, उच्च श्रेणी का रेस्तरां चलाते हैं। आपके पास दो शेफ हैं:

"स्पीडी सूस-शेफ" (SLM): यह शेफ तेज़ है, इसे काम पर रखना सस्ता है और यह ग्रिल्ड चीज़ या सलाद जैसे सरल व्यंजन बनाने में माहिर है। हालाँकि, वे कभी-कभी जटिल रेसिपी (जैसे कि 10-कोर्स मॉलिक्यूलर गैस्ट्रोनॉमी मील) को लेकर भ्रमित हो सकते हैं और आपको आत्मविश्वास के साथ जला हुआ व्यंजन भी परोस सकते हैं।
"मास्टर शेफ" (LLM): यह शेफ एक जीनियस है। यह कुछ भी पूरी तरह से बना सकता है। लेकिन, यह अविश्वसनीय रूप से महंगा, धीमा है, और इसका समय सीमित है। आप हर एक ऑर्डर के लिए इसे इस्तेमाल नहीं कर सकते।

समस्या:
AI की दुनिया में, हम मास्टर शेफ का उपयोग करके कठिन समस्याओं (जैसे गणित या विज्ञान) को हल करना चाहते हैं, लेकिन हर चीज़ के लिए उनका उपयोग करने में बहुत अधिक पैसा खर्च होता है। यदि हम सब कुछ करने के लिए स्पीडी शेफ का उपयोग करते हैं, तो हम पैसे बचाते हैं, लेकिन गलत उत्तर प्राप्त करते हैं।

समाधान: COREA (स्मार्ट वेटर सिस्टम)
लेखकों ने COREA नामक एक सिस्टम बनाया है। इसे एक सुपर-स्मार्ट वेटर के रूप में समझें जो ग्राहक और रसोई के बीच खड़ा होता है।

यह इस प्रकार काम करता है, चरण-दर-चरण:

1. "कॉन्फिडेंस चेक" (आत्मविश्वास की जाँच)

जब कोई ग्राहक किसी व्यंजन का ऑर्डर देता है (एक प्रश्न), तो स्पीडी सूस-शेफ पहले उसे बनाने की कोशिश करता है। लेकिन यहाँ एक जादुई ट्रिक है: स्पीडी शेफ को यह जानने के लिए प्रशिक्षित किया गया है कि वह क्या नहीं जानता।

व्यंजन परोसने से पहले, स्पीडी शेफ को ज़ोर से कहना होगा: "मुझे 90% यकीन है कि यह एकदम सही है" या "मुझे केवल 20% यकीन है, यह जोखिम भरा लग रहा है।"

पुराना तरीका: स्पीडी शेफ अक्सर कहते थे, "मैं 100% सुनिश्चित हूँ!" भले ही वे गलत होते थे। इसे "ओवरकॉन्फिडेंट" (अति-आत्मविश्वासी) होना कहा जाता है।
COREA का तरीका: एक विशेष प्रशिक्षण प्रक्रिया (रीइन्फोर्समेंट लर्निंग) के माध्यम से, स्पीडी शेफ ईमानदार होना सीखता है। यदि व्यंजन कठिन है, तो वे स्वीकार करते हैं, "मुझे विश्वास नहीं है।"

2. निर्णय द्वार (The Decision Gate)

स्मार्ट वेटर (सिस्टम) उस कॉन्फिडेंस स्कोर को सुनता है:

यदि शेफ कहता है "मैं आश्वस्त हूँ (70% से ऊपर)": वेटर तुरंत व्यंजन परोस देता है। परिणाम: आपको एक तेज़, सस्ता उत्तर मिलता है।
यदि शेफ कहता है "मैं आश्वस्त नहीं हूँ (70% से नीचे)": वेटर कहता है, "ठहरिए, यह बहुत पेचीदा है।" वे ऑर्डर को मास्टर शेफ को सौंप देते हैं। परिणाम: आपको एक सटीक उत्तर मिलता है, लेकिन इसमें अधिक लागत आती है।

3. प्रशिक्षण (द टेस्ट ऑफ टेस्ट/स्वाद परीक्षण)

उन्होंने स्पीडी शेफ को ईमानदार कैसे बनाया?
उन्होंने उन्हें केवल यह नहीं बताया कि वे अच्छे बनें। उन्होंने प्रशिक्षण के दौरान एक "रिवॉर्ड सिस्टम" (पुरस्कार प्रणाली) का उपयोग किया:

सही होने पर पुरस्कार: यदि उत्तर सही है, तो शेफ को एक पॉइंट मिलता है।
ईमानदार होने पर पुरस्कार: यदि शेफ कहता है "मुझे 50% यकीन है" और वे वास्तव में 50% बार सही होते हैं, तो उन्हें बोनस मिलता है। यदि वे कहते हैं "मैं 100% सुनिश्चित हूँ" लेकिन गलत होते हैं, तो उन्हें पेनल्टी (दंड) मिलती है।

इसने स्पीडी शेफ को अपने आत्मविश्वास को अपनी वास्तविक क्षमता के साथ जोड़ने के लिए मजबूर किया। उन्होंने सीखा कि जब वे वास्तव में नहीं जानते, तो "मुझे नहीं पता" कहना है।

परिणाम: एक विन-विन (जीत-जीत की स्थिति)

पेपर में इस सिस्टम का परीक्षण हजारों गणित और तर्क संबंधी समस्याओं पर किया गया। यहाँ क्या हुआ:

लागत बचत: स्पीडी शेफ को आसान चीजें संभालने देकर (जो कि अधिकांश समय होता है), उन्होंने मास्टर शेफ का उपयोग करने की तुलना में 16% से 21% तक पैसे बचाए।
सटीकता: सिस्टम अभी भी लगभग उतना ही सटीक था जितना कि अकेले मास्टर शेफ का उपयोग करना (केवल लगभग 2% कम सटीक)।
दक्षता: यह एक ऐसी टीम की तरह है जहाँ जूनियर स्टाफ 60% काम संभालता है, और सीनियर स्टाफ केवल कठिन 40% के लिए हस्तक्षेप करता है।

एनालॉजी सारांश (उपमा सारांश)

कल्पना कीजिए कि आप एक परीक्षा दे रहे छात्र हैं।

COREA के बिना: या तो आप हर गणित के सवाल के लिए कैलकुलेटर का उपयोग करते हैं (महंगा/धीमा) या आप हर चीज़ पर अनुमान लगाते हैं (तेज़ लेकिन गलत)।
COREA के साथ: आप पहले समस्या को अपने दिमाग में हल करने की कोशिश करते हैं। यदि आप आत्मविश्वासी महसूस करते हैं, तो आप उत्तर लिख देते हैं। यदि आप अटक गए हैं या अनिश्चित हैं, तो आप तुरंत हाथ उठाकर शिक्षक (मास्टर शेफ) से मदद मांगते हैं।

यह पेपर साबित करता है कि यदि आप अपने "छात्र" (छोटे AI) को उनके ज्ञान के बारे में ईमानदार होने के लिए प्रशिक्षित करते हैं, तो आप एक ऐसा सिस्टम बना सकते हैं जो सस्ता, तेज़ और स्मार्ट तीनों एक साथ है।

यह पेपर सिद्ध करता है कि यदि आप अपने "छात्र" (छोटे AI) को उनके ज्ञान के बारे में ईमानदार होने के लिए प्रशिक्षित करते हैं, तो आप एक ऐसा सिस्टम बना सकते हैं जो सस्ता, तेज़ और स्मार्ट सभी एक साथ है।

यहाँ पेपर "Confidence-Calibrated Small-Large Language Model Collaboration for Cost-Efficient Reasoning" (COREA) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) स्मॉल लैंग्वेज मॉडल्स (SLMs) की तुलना में बेहतर रीजनिंग क्षमताओं (जैसे गणित और कोडिंग में) का प्रदर्शन करते हैं, जिसका मुख्य कारण स्पष्ट चेन-ऑफ-थॉट (CoT) रीजनिंग ट्रेसेस उत्पन्न करने की उनकी क्षमता है। हालाँकि, इस क्षमता के साथ अत्यधिक उच्च इन्फरेंस लागत (inference costs) और विलंबता (latency) आती है।

मौजूदा समाधान एक ट्रेड-ऑफ का सामना करते हैं:

केवल SLMs: लागत प्रभावी हैं लेकिन इनमें रीजनिंग मजबूती की कमी होती है और ये अक्सर अति-आत्मविश्वास (overconfidence) प्रदर्शित करते हैं (वे यह नहीं जानते कि वे क्या नहीं जानते), जिससे जटिल कार्यों पर खराब सटीकता होती है।
केवल LLMs: उच्च सटीकता लेकिन उच्च परिचालन लागत।
वर्तमान सहयोग/रूटिंग (Collaboration/Routing): जो विधियाँ क्वेरीज़ को मॉडल्स के बीच रूट करती हैं, वे अक्सर बाहरी क्लासिफायर, ह्यूरिस्टिक्स, या टोकन-प्रोबेबिलिटी औसत पर निर्भर करती हैं, जो मॉडल के आंतरिक रीजनिंग कॉन्फिडेंस को सटीक रूप से पकड़ने में विफल रहती हैं या अतिरिक्त सैंपलिंग ओवरहेड की आवश्यकता होती है।

मुख्य चुनौती: यह कैसे सक्षम किया जाए कि एक SLM अपनी सीमाओं को सटीक रूप से पहचान सके (स्व-जागरूकता) और कठिन समस्याओं को गतिशील रूप से एक LLM को सौंप सके, जिससे बिना किसी बाहरी रूटिंग मॉड्यूल के सटीकता और लागत के बीच संतुलन बनाया जा सके।

2. कार्यप्रणाली: COREA फ्रेमवर्क (Methodology: COREA Framework)

लेखक COREA (COllaborative REAsoner) का प्रस्ताव करते हैं, जो एक कैस्केडेड सिस्टम है जहाँ एक SLM पहली रक्षा पंक्ति के रूप में कार्य करता है, और केवल अनिश्चित क्वेरीज़ को ही अधिक शक्तिशाली LLM को सौंपता है।

A. सिस्टम आर्किटेक्चर (System Architecture)

इन्फरेंस फ्लो (Inference Flow): एक दी गई क्वेरी के लिए, SLM को निम्नलिखित उत्पन्न करने के लिए प्रेरित किया जाता है:
- रीजनिंग स्टेप्स (Reasoning steps)।
- एक अंतिम उत्तर।
- एक वर्बलाइज्ड कॉन्फिडेंस स्कोर ( $y_c \in [0, 1]$ )।
निर्णय तर्क (Decision Logic):
- यदि $y_c \geq T$ (एक पूर्व-निर्धारित थ्रेशोल्ड, जो आमतौर पर LLM की बेसलाइन सटीकता होती है), तो SLM के उत्तर को स्वीकार कर लिया जाता है।
- यदि $y_c < T$ , तो क्वेरी को अंतिम उत्तर के लिए LLM को सौंप दिया जाता है।

B. प्रशिक्षण: कॉन्फिडेंस कैलिब्रेशन के साथ सुदृढीकरण सीखना (Training: Reinforcement Learning with Confidence Calibration - RLCC)

मुख्य नवाचार SLM को न केवल शुद्धता (correctness) के लिए, बल्कि कैलिब्रेटेड कॉन्फिडेंस (calibrated confidence) के लिए प्रशिक्षित करना है। लेखक एक मिश्रित रिवॉर्ड फंक्शन के साथ ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करते हैं:

$R = R_{correct} + R_{format} + R_{confidence}$

शुद्धता रिवॉर्ड ( $R_{correct}$ ): बाइनरी रिवॉर्ड ($1 $यदि उत्तर ग्राउंड ट्रुथ से मेल खाता है, अन्यथा$ 0$)।
फॉर्मेट रिवॉर्ड ( $R_{format}$ ): यह सुनिश्चित करता है कि मॉडल रीजनिंग, एक विशिष्ट बॉक्स में उत्तर, और आवश्यक फॉर्मेट में कॉन्फिडेंस स्कोर आउटपुट करे।
कॉन्फिडेंस रिवॉर्ड ( $R_{confidence}$ ): यह एक नवीन घटक है। यह मॉडल के अनुमानित कॉन्फिडेंस ( $y_c$ $y_{c}$ ) और वास्तविक शुद्धता की संभावना ( $p$ $p$ ) के बीच की दूरी को दंडित (penalize) करता है।
- चूंकि इन्फरेंस के दौरान $p$ अज्ञात होता है, इसलिए इसे प्रशिक्षण के दौरान उसी प्रश्न के लिए $N$ सैंपल रिस्पॉन्स से प्राप्त ग्रुप एक्यूरेसी ( $\hat{p}$ ) का उपयोग करके अनुमानित किया जाता है।
- पेपर कई डिस्टेंस मेट्रिक्स (L1, L2, KL) का मूल्यांकन करता है और पाता है कि L1 डिस्टेंस ( $R_{L1} = -|p - y_c|$ ) सबसे अच्छा संतुलन प्रदान करता है।

मुख्य अंतर: पिछले तरीकों के विपरीत, जो एक सिंगल सैंपल की शुद्धता के आधार पर कॉन्फिडेंस का अनुमान लगाते हैं, COREA ग्रुप के प्रदर्शन के आधार पर "वास्तविक" संभावना $p$ का अनुमान लगाता है, जिससे मॉडल को ऐसा कॉन्फिडेंस स्कोर आउटपुट करने के लिए प्रोत्साहित किया जाता है जो उस विशिष्ट प्रकार के प्रश्न की अपेक्षित सटीकता को दर्शाता है।

3. प्रमुख योगदान (Key Contributions)

COREA फ्रेमवर्क: एक व्यावहारिक SLM-LLM सहयोग प्रणाली जो SLM के स्व-कैलिब्रेटेड कॉन्फिडेंस का लाभ उठाकर उच्च सटीकता के साथ काफी कम लागत प्राप्त करती है।
RLCC प्रशिक्षण एल्गोरिदम: एक नवीन सुदृढीकरण शिक्षण (Reinforcement Learning) दृष्टिकोण जो रीजनिंग क्षमता में सुधार करने और कॉन्फिडेंस स्कोर को कैलिब्रेट करने के साथ-साथ काम करता है। यह एक ग्रुप-लेवल कॉन्फिडेंस रिवॉर्ड पेश करता है जो SLM के वर्बलाइज्ड कॉन्फिडेंस को उसकी वास्तविक शुद्धता की संभावना के साथ संरेखित करता है।
व्यापक मूल्यांकन: विविध डेटासेट्स (Math, Science, Commonsense) और मॉडल बैकबोन (Qwen, Llama) पर व्यापक प्रयोग जो प्रदर्शित करते हैं कि यह विधि अच्छी तरह से सामान्यीकृत (generalize) होती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने कई बेंचमार्क (DeepMath, Math500, GSM8K, GPQA, CommonsenseQA) पर Qwen2.5-7B (SLM) और Qwen2.5-32B (LLM) का उपयोग करके COREA का मूल्यांकन किया।

लागत दक्षता (Cost Efficiency): केवल LLM का उपयोग करने की तुलना में, COREA ने इन्फरेंस लागत को कम किया:
- OOD (Out-of-Domain) Math डेटासेट्स पर 21.5%
- OOD Non-Math डेटासेट्स पर 16.8%
- In-Domain Math (DeepMath500) पर 6.7%
सटीकता संरक्षण (Accuracy Preservation): सिस्टम ने स्टैंडअलोन LLM बेसलाइन के भीतर 2% के भीतर Pass@1 स्कोर बनाए रखा, जो अन्य सहयोगी विधियों की तुलना में एक महत्वपूर्ण सुधार है जो लागत बचाने की कोशिश में अक्सर बड़े गिरावट (जैसे 5-10% की गिरावट) का शिकार हो जाते हैं।
कैलिब्रेशन प्रदर्शन (Calibration Performance):
- प्रस्तावित L1-SLM ने परीक्षण किए गए सभी तरीकों में सबसे कम एक्सपेक्टेड कैलिब्रेशन एरर (ECE) (0.12) और उच्चतम AUROC (0.72) प्राप्त किया।
- मानक RL प्रशिक्षण (RLVR) ने रीजनिंग में सुधार किया लेकिन कॉन्फिडेंस को कैलिब्रेट करने में विफल रहा (मॉडल्स अति-आत्मविश्वासी बने रहे)।
एब्लेशन स्टडीज (Ablation Studies):
- रिवॉर्ड फंक्शन्स: L1 रिवॉर्ड ने सटीकता और कैलिब्रेशन को संतुलित करने में L2 और KL से बेहतर प्रदर्शन किया।
- मॉडल साइज: विधि विभिन्न SLM साइज (1.5B, 7B, 8B) में प्रभावी थी, हालांकि छोटे मॉडल्स (1.5B) बड़े मॉडल्स की तुलना में थोड़ी कम स्व-जागरूकता दिखाते हैं।
- रोलआउट साइज: विधि रोलआउट साइज के प्रति मजबूत है; यहाँ तक कि एक छोटा रोलआउट साइज (4 या 8) भी मजबूत परिणाम देता है, जिससे प्रशिक्षण कुशल बनता है।

5. महत्व और प्रभाव (Significance and Impact)

व्यावहारिक तैनाती (Practical Deployment): COREA उच्च-रीजनिंग AI सिस्टम को लागत-संवेदनशील वास्तविक दुनिया के परिदृश्यों में तैनात करने के लिए एक व्यवहार्य मार्ग प्रदान करता है। यह महंगे बाहरी राउटर या जटिल आर्किटेक्चरल परिवर्तनों की आवश्यकता को समाप्त करता है।
"ओवरकॉन्फिडेंस" की समस्या का समाधान: यह पेपर वर्तमान LLMs/SLMs की एक महत्वपूर्ण खामी को संबोधित करता है—यह न जान पाना कि वे कब गलत हैं। कॉन्फिडेंस कैलिब्रेशन के लिए स्पष्ट रूप से प्रशिक्षित करके, सिस्टम एक "स्व-जागरूक" एजेंट बनाता है जो जानता है कि मदद कब मांगनी है।
स्केलेबिलिटी: यह दृष्टिकोण मॉडल-अज्ञेयवादी (model-agnostic) है और इसे विभिन्न SLM-LLM जोड़ियों पर लागू किया जा सकता है, जो "रीजनिंग इकोनॉमी" के लिए एक सामान्य रणनीति प्रदान करता है।

निष्कर्षतः, CORE_A यह प्रदर्शित करता है कि कैलिब्रेटेड कॉन्फिडेंस अलग-अलग स्केल के मॉडल्स के बीच कुशल सहयोग को सक्षम करने के लिए एक शक्तिशाली तंत्र है, जो कंप्यूटेशनल लागत को काफी कम करते हुए इष्टतम सटीकता प्राप्त करता है।