Let the Model Distribute Its Doubt: Confidence Estimation through Verbalized Probability Distribution

यहाँ शोध पत्र "Let the Model Distribute Its Doubt: Confidence Estimation through Verbalized Probability Distribution" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग उच्च-जोखिम वाले डोमेन (जैसे, स्वास्थ्य सेवा, कानून, वित्त) में तेजी से किया जा रहा है, फिर भी वे अनिवार्य रूप से गलतियाँ करते हैं। उनके परिनियोजन (deployment) में एक महत्वपूर्ण कमी सुव्यवस्थित आत्मविश्वास अनुमान (well-calibrated confidence estimates) का अभाव है।

• समस्या: टोकन संभावनाओं (token probabilities) पर निर्भर पारंपरिक तरीके अक्सर विफल हो जाते हैं क्योंकि आधुनिक LLMs (विशेष रूप से RLHF के साथ फाइन-ट्यून किए गए) उपयोगकर्ता के निर्देशों का बेहतर पालन करने के लिए अंशांकन (calibration) का त्याग कर सकते हैं, जिससे अति-आत्मविश्वास (overconfidence) पैदा होता है।
• वर्तमान समाधानों की सीमाएँ:
  • मौखिक आत्मविश्वास (Verbalized Confidence): मॉडल से एक एकल आत्मविश्वास स्कोर बताने के लिए कहना अक्सर अति-आत्मविश्वास का परिणाम देता है क्योंकि मॉडल विकल्पों पर विचार करने के बजाय एक एकल अनुमान पर ध्यान केंद्रित करता है।
  • मौखिक Top-$k$ (Verbalized Top-$k$): $k$ अनुमानों के लिए पूछना अंशांकन में सुधार करता है लेकिन अक्सर एक वैध संभाव्यता वितरण (probability distribution) को लागू करने में विफल रहता है (उदाहरण के लिए, संभावनाओं का योग 100% से अधिक हो सकता है), जिससे अविश्वसनीय आत्मविश्वास मात्रा निर्धारण होता है।
• अनुसंधान अंतराल (Research Gap): यह स्पष्ट नहीं है कि कौन सी विशिष्ट तर्क रणनीतियाँ सटीक आत्मविश्वास अनुमान निकालने में प्रभावी होती हैं। विशेष रूप से, मॉडल को संभावनाओं के संपूर्ण स्थान के बारे में सोचने के लिए मजबूर करने से उसके अनिश्चितता अनुमान पर क्या प्रभाव पड़ता है, यह अभी भी कम खोजा गया विषय है।

2. कार्यप्रणाली: मौखिक संभाव्यता वितरण (Methodology: Verbalized Probability Distribution)

लेखक मौखिक संभाव्यता वितरण (Verbalized Probability Distribution) का प्रस्ताव करते हैं, जो एक प्रॉम्प्टिंग रणनीति है जो LLM को एक एकल भविष्यवाणी पर ध्यान केंद्रित करने के बजाय पूरे उत्तर स्थान (answer space) पर अपने विश्वास की स्थिति को व्यक्त करने के लिए मजबूर करती है।

मुख्य तंत्र:

1. प्रॉम्प्टिंग (Prompting): मॉडल को निर्देश दिया जाता है कि वह:
   • सभी संभावित उत्तरों (या प्रतिनिधियों के एक सेट) की पहचान करे।
   • प्रत्येक उम्मीदवार को एक आत्मविश्वास स्कोर प्रदान करे।
   • यह सुनिश्चित करे कि सभी आत्मविश्वास स्कोर का योग 1.0 के बराबर हो (एक वैध संभाव्यता वितरण)।
2. ओपन-सेट कार्यों को संभालना (Handling Open-Set Tasks): उन कार्यों के लिए जहाँ सभी उत्तरों को सूचीबद्ध करना असंभव है (ओपन-सेट), इस पद्धति में एक "उपरोक्त में से कोई नहीं" (None of the above) विकल्प शामिल है। यह कम संभावना वाले उम्मीदवारों के संभाव्यता द्रव्यमान (probability mass) को एकत्रित करता है, जिससे वितरण वैध बना रहता है।
3. RL के माध्यम से अनुकूलन (Optimization via RL): लेखक कैलिब्रेशन रिवॉर्ड्स के साथ सुदृढीकरण शिक्षण (Reinforcement Learning with Calibration Rewards - RLCR) का उपयोग करके इस प्रक्रिया को अनुकूलित करने की खोज करते हैं।
   • रिवॉर्ड फंक्शन (Reward Function): ब्रायर स्कोर ($r = y - (c-y)^2$) पर आधारित, जहाँ $y$ शुद्धता है और $c$ आत्मविश्वास है।
   • प्रतिबंध (Constraint): यदि आउटपुट का योग 1 के बराबर नहीं है, तो एक सख्त दंड ($r = -1$) लागू किया जाता है, जो प्रशिक्षण के दौरान संभाव्यता वितरण प्रतिबंध को लागू करता है।

बेसलाइन के साथ तुलना:

• मौखिक आत्मविश्वास (Verbalized Confidence): एकल अनुमान + एकल स्कोर (अति-आत्मविश्वास की ओर प्रवृत्त)।
• मौखिक Top-$k$ (Verbalized Top-$k$): $k$ अनुमान + स्कोर (अति-आत्मविश्वास को कम करता है लेकिन वितरण संबंधी कठोरता का अभाव है)।
• मौखिक वितरण (Verbalized Distribution): पूर्ण विश्वास अवस्था + सामान्यीकृत स्कोर (विकल्पों पर विचार करने और तार्किक निरंतरता के लिए मजबूर करता है)।

3. मुख्य योगदान (Key Contributions)

1. नवीन प्रॉम्प्टिंग रणनीति: एक ऐसी विधि पेश की गई जिसमें LLM को संभावित उत्तरों पर एक सामान्यीकृत संभाव्यता वितरण उत्पन्न करने की आवश्यकता होती है, जो प्रभावी रूप से मॉडल को एक एकल परिकल्पना पर टिके रहने के बजाय अपनी अनिश्चितता को "वितरित" करने के लिए मजबूर करती है।
2. व्यवस्थित मूल्यांकन: कई LLMs (Qwen3 श्रृंखला, GPT-4.1, DeepSeek-V3, Llama-3) और विविध कार्यों (क्लोज्ड-सेट: MedQA, MMLU-Pro; ओपन-सेट: HotpotQA, MedCaseReasoning) में व्यापक प्रयोग किए गए।
3. RL अनुकूलन: यह प्रदर्शित किया गया कि सुदृढीकरण शिक्षण (Reinforcement Learning) इस पद्धति को और अधिक परिष्कृत कर सकता है, जिससे अन्य मौखिक विधियों की तुलना में तेज़ अभिसरण (convergence) और बेहतर आउट-ऑफ-डोमेन सामान्यीकरण (out-of-domain generalization) प्राप्त होता है।
4. दक्षता विश्लेषण: दिखाया गया कि प्रस्तावित विधि अनुमान-समय स्केलिंग (inference-time scaling) के दौरान काफी कम कंप्यूटेशनल लागत (कम टोकन) के साथ बेहतर आत्मविश्वास अनुमान प्राप्त करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

पेपर प्रदर्शन का मूल्यांकन AUROC (विभेदन), ECE (अंशांकन त्रुटि), और ब्रायर स्कोर (संभाव्यता अनुमानों की समग्र सटीकता) का उपयोग करके करता है।

• ट्रेनिंग-फ्री प्रॉम्प्टिंग (Training-Free Prompting):
  • Verbalized Distribution ने सभी मॉडलों और कार्यों में Verbalized Confidence और Verbalized Top-$k$ को लगातार पछाड़ दिया।
  • इसने सबसे कम ब्रायर स्कोर और ECE प्राप्त किया, जो बेहतर अंशांकन का संकेत देता है।
  • छोटे मॉडल सबसे अधिक लाभान्वित हुए: छोटे LLMs (जैसे, Qwen3-4B) ने सबसे महत्वपूर्ण लाभ दिखाया, जिससे पता चलता है कि यह विधि छोटे मॉडलों को अनिश्चितता के बारे में अधिक प्रभावी ढंग से तर्क करने में मदद करती है।
• सुदृढीकरण शिक्षण (Reinforcement Learning - RL):
  • RL प्रशिक्षण ने सभी विधियों में सुधार किया, लेकिन Verbalized Distribution अग्रणी बना रहा।
  • इसने प्रशिक्षण के दौरान तेज़ अभिसरण (faster convergence) प्रदर्शित किया (कम चरणों में इष्टतम प्रदर्शन तक पहुँचना)।
  • इसने आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) कार्यों पर मजबूत प्रदर्शन दिखाया (जैसे, MedQA पर प्रशिक्षण, MMLU-Pro पर परीक्षण)।
• अनुमान-समय स्केलिंग (Inference-Time Scaling):
  • जब उत्तर निरंतरता (multiple trajectories को सैंपल करना) के साथ विधियों को मिलाया जाता है, तो Verbalized Distribution सबसे अधिक सैंपल-कुशल (sample-efficient) था।
  • इसने MMLU-Pro पर सबसे मजबूत बेसलाइन के ब्रायर स्कोर को लगभग 6$\times$ कम गणना के साथ प्राप्त किया।
• एब्लेशन अध्ययन (Ablation Studies):
  • "उपरोक्त में से कोई नहीं" विकल्प को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, विशेष रूप से ओपन-सेट कार्यों में।
  • सामान्यीकरण आवश्यकता (योग=1) को हटाने से अंशांकन खराब हो गया, जो सिद्ध करता है कि मॉडल को सापेक्ष संभावनाओं के बारे में तर्क करने के लिए मजबूर करने हेतु यह प्रतिबंध अत्यंत महत्वपूर्ण है।

5. महत्व और सीमाएँ (Significance and Limitations)

महत्व:

• विश्वसनीय AI (Trustworthy AI): यह LLMs को महत्वपूर्ण अनुप्रयोगों में अधिक विश्वसनीय बनाने के लिए एक व्यावहारिक, ट्रेनिंग-फ्री (या हल्की प्रशिक्षित) तंत्र प्रदान करता है, जिससे वे सटीक रूप से संकेत दे पाते हैं कि वे कब अनिश्चित हैं।
• तर्क तंत्र (Reasoning Mechanism): यह प्रकट करता है कि संभाव्यता को वितरित करने की क्रिया मॉडल को गहरे तर्क में संलग्न होने, विकल्पों पर विचार करने और एक एकल प्रारंभिक अनुमान के "डूबी हुई लागत" (sunk cost) से बचने के लिए मजबूर करती है।
• दक्षता: यह उच्च-गुणवत्ता वाले आत्मविश्वास अनुमान के लिए एक कंप्यूटेशनल रूप से कुशल मार्ग प्रदान करता है, जो LLM अनुप्रयोगों को स्केल करने के लिए महत्वपूर्ण है।

सीमाएँ:

• कार्य निर्भरता (Task Dependency): यह उन कार्यों के लिए संघर्ष करता है जहाँ उत्तर स्थान स्वाभाविक रूप से एकल या नियतात्मक (deterministic) होता है (जैसे, सख्त गणितीय तर्क), जहाँ "अनिश्चितता को वितरित करना" कम स्वाभाविक है।
• टोकन ओवरहेड (Token Overhead): एक एकल पास में एक एकल उत्तर की तुलना में पूर्ण वितरण उत्पन्न करने में अधिक टोकन खर्च होते हैं, हालांकि यह बार-बार सैंपलिंग करने की तुलना में अधिक कुशल है।
• प्रॉम्प्ट संवेदनशीलता (Prompt Sensitivity): प्रभावशीलता कार्य के अनुसार भिन्न होती है; भविष्य के कार्य के रूप में कार्य की विशेषताओं के आधार पर प्रॉम्प्टिंग रणनीतियों के स्वचालित चयन का सुझाव दिया गया है।

निष्कर्ष

यह शोध पत्र स्थापित करता है कि Verbalized Probability Distribution एक श्रेष्ठ दृष्टिकोण है। LLMs को पूरे उत्तर स्थान में अपनी अनिश्चितता को स्पष्ट रूप से मॉडल करने और संभाव्यता नियमों का पालन करने के लिए मजबूर करके, यह विधि अंशांकन और तर्क प्रभावकारिता में महत्वपूर्ण सुधार करती है, विशेष रूप से छोटे मॉडलों और जटिल तर्क कार्यों के लिए।