Always Tell Me The Odds: Fine-grained Conditional Probability Estimation

तकनीकी सारांश: Always Tell Me The Odds: Fine-grained Conditional Probability Estimation

प्रकाशित: COLM 2025

1. समस्या का विवरण (Problem Statement)

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) नियतात्मक तर्क (deterministic reasoning) में उत्कृष्ट हैं, लेकिन वे अनिश्चितता के तहत संभाव्य तर्क (probabilistic reasoning under uncertainty) करने में संघर्ष करते हैं। वास्तविक दुनिया का ज्ञान स्वाभाविक रूप से संभाव्य होता है, फिर भी अनिश्चितता अनुमान (uncertainty estimation) के वर्तमान LLM दृष्टिकोण तीन प्राथमिक दोषों से ग्रस्त हैं:

• कोर्सनेस (Coarseness): मौखिक रूप से व्यक्त किया गया आत्मविश्वास अक्सर कुछ ही असतत (discrete) मानों तक सीमित रहता है (जैसे, "75%" या "50%")।
• गलत अंशांकन (Miscalibration): लॉजिट-आधारित संभावनाएँ अक्सर अति-आत्मविश्वासी या पक्षपाती होती हैं।
• सूक्ष्म परिशुद्धता का अभाव (Lack of Fine-grained Precision): मौजूदा मॉडल अक्सर छोटे एनकोडर-आधारित आर्किटेक्चर पर निर्भर होते हैं जो आधुनिक बड़े पैमाने के डिकोडर-ओनली LLMs की गहरी विश्व-ज्ञान और तर्क क्षमताओं का लाभ उठाने में विफल रहते हैं।

लेखकों का लक्ष्य ऐसे मॉडल बनाने का लक्ष्य है जो सूक्ष्म-स्तरीय सशर्त संभाव्यता (fine-grained conditional probability) $P(\text{proposition} \mid \text{context})$ का अनुमान लगा सकें—जो सरल श्रेणीगत लेबल के बजाय सटीक, निरंतर-समान (continuous-like) अनुमान प्रदान कर सकें।

2. कार्यप्रणाली (Methodology)

लेखक उच्च-परिशुद्धता प्रतिगमन (high-precision regression) के लिए आधुनिक डिकोडर-आधारित LLMs को प्रशिक्षित करने के लिए एक बहु-चरणीय पाइपलाइन का प्रस्ताव करते हैं।

A. सिंथेटिक डेटा निर्माण (Pseudo-labeling):
उच्च-गुणवत्ता वाले संभाव्य मानव एनोटेशन की कमी को दूर करने के लिए, लेखक एक परिष्कृत सिंथेटिक पाइपलाइन का उपयोग करते हैं:

1. रीजनिंग-ऑगमेंटेड प्रॉम्प्टिंग (Reasoning-Augmented Prompting): कई LLMs तर्क श्रृंखलाओं (reasoning chains) के साथ संभाव्यता अनुमान उत्पन्न करते हैं।
2. सहमति-आधारित फ़िल्टरिंग (Agreement-Based Filtering): वे मामले जहाँ विभिन्न LLMs में उच्च विसंगति (discrepancy) देखी जाती है, उन्हें चिह्नित किया जाता है।
3. LLM-as-a-Judge: उच्च-विसंगति वाले नमूनों के लिए, एक शक्तिशाली LLM जज तर्क श्रृंखलाओं की गुणवत्ता का मूल्यांकन करता है और प्रत्येक को एक कॉन्फिडेंस स्कोर असाइन करता है।
4. वितरण एकत्रीकरण (Distribution Aggregation): इन स्कोर का उपयोग एक भारित मिश्रण वितरण (weighted mixture distribution) बनाने के लिए किया जाता है, जो किसी भी एकल LLM द्वारा प्रदान किए गए एकल स्कोर की तुलना में अधिक सुदृढ़ "स्यूडो-लेबल" प्रदान करता है।

B. मॉडल फाइन-ट्यूनिंग (Decoder-based Regression):
मानक वर्गीकरण के बजाय, लेखक इस समस्या को एक विशेष प्रतिगमन (regression) कार्य के रूप में देखते हैं:

• एक्सपेक्टेड लेबल स्कोरिंग रूल (Expected Label Scoring Rule): अंतराल $[0, 1]$ को $N$ असतत बिनों (bins) में विभाजित किया जाता है, जिनमें से प्रत्येक को एक विशेष टोकन दिया जाता है। सूक्ष्म-परिशुद्धता प्राप्त करने के लिए, मॉडल को लक्षित संभाव्यता के केंद्र में एक क्वांटाइज्ड गॉसियन वितरण (quantized Gaussian distribution) की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। अंतिम अनुमान इन बिनों पर अपेक्षा (expectation) है: $\hat{y} = \sum f(b_j) \cdot p(t_j \mid x)$।
• हाइब्रिड ट्रेनिंग ऑब्जेक्टिव्स (Hybrid Training Objectives): मॉडल को एक मिश्रित लॉस फंक्शन का उपयोग करके अनुकूलित किया जाता है:
  $$\mathcal{L} = \mathcal{L}_{\text{Direct}}(\text{Human}) + \beta_1 \mathcal{L}_{\text{Direct}}(\text{Synthetic}) + \beta_2 \mathcal{L}_{\text{Rank}}(\text{Pairwise})$$
  • $\mathcal{L}_{\text{Direct}}$: लक्षित वितरण से मेल खाने के लिए फॉरवर्ड KL-डाइवर्जेंस।
  • $\mathcal{L}_{\text{Rank}}$: एक मार्जिन लॉस यह सुनिश्चित करने के लिए कि मॉडल जोड़ों (pairs) के बीच निरंतर सापेक्ष रैंकिंग बनाए रखता है (उदाहरण के लिए, यदि $A$, $B$ से अधिक संभावित है, तो मॉडल के अनुमानित स्कोर इस संबंध को दर्शाने चाहिए)।

3. प्रमुख योगदान (Key Contributions)

• नया प्रशिक्षण ढांचा (Novel Training Framework): अपेक्षित लेबल स्कोरिंग नियम का उपयोग करके डिकोडर-ओनली LLMs को सटीक निरंतर प्रतिगमनकर्ता (continuous regressors) में बदलने की एक विधि।
• उन्नत डेटा पाइपलाइन (Advanced Data Pipeline): LLM एन्सेम्बल और "LLM-as-a-judge" शोधन का उपयोग करके उच्च-गुणवत्ता वाली संभाव्य पर्यवेक्षण (probabilistic supervision) उत्पन्न करने का एक स्केलेबल दृष्टिकोण।
• व्यापक मूल्यांकन सूट (Comprehensive Evaluation Suite): एक त्रि-स्तरीय मूल्यांकन ढांचा जो आंतरिक (लेबल के साथ संरेखण), तुलना (प्लाउज़िबिलिटी रैंकिंग), और संरचनात्मक (Maieutic और BIRD जैसे जटिल तर्क वृक्षों में अनिश्चितता प्रसार) कार्यों को कवर करता है।

4. परिणाम (Results)

• श्रेष्ठ प्रदर्शन (Superior Performance): प्रस्तावित मॉडल लगभग सभी बेंचमार्क पर मौजूदा फाइन-ट्यून्ड एनकोडर मॉडल्स (जैसे RoBERTa) और ज़ीरो-शॉट प्रॉम्प्टिंग विधियों (जैसे GPT-4o) को लगातार पछाड़ते हैं।
• स्केलिंग लॉज़ (Scaling Laws): जैसे-जैसे मॉडल का आकार बढ़ता है (जैसे, 7B से 14B पैरामीटर्स तक जाना), प्रदर्शन में महत्वपूर्ण सुधार होता है।
• सामान्यीकरण (Generalization): सिंथेटिक डेटा के समावेश से दूर के डोमेन (जैसे चिकित्सा पाठ या ब्लॉग पोस्ट) तक मॉडल की सामान्यीकरण करने की क्षमता में काफी सुधार होता है।
• मानव संरेखण (Human Alignment): मॉडल "मानव-समान" अनिश्चितता प्रदर्शित करते हैं, जहाँ मानवीय राय विभाजित होती है (जैसा कि ChaosNLI विश्लेषण में दिखाया गया है) वहां मल्टी-मोडल वितरण उत्पन्न करते हैं।
• निर्णय समर्थन (Decision Support): मॉडल संरचित तर्क ढांचे (Maieutic Prompting और BIRD) को महत्वपूर्ण रूप से बढ़ाते हैं, यह दिखाते हुए कि बेहतर स्थानीय संभाव्यता अनुमान बेहतर वैश्विक तर्क सटीकता की ओर ले जाता है।

5. महत्व (Significance)

यह कार्य LLMs में अनिश्चितता के प्रतिमान को "मौखिक आत्मविश्वास" (verbalized confidence) से "सूक्ष्म-स्तरीय संभाव्य अनुमान" (fine-grained probabilistic estimation) की ओर स्थानांतरित करता है। LLMs को सटीकता के साथ "हमें संभावना बताने" (tell us the odds) में सक्षम बनाकर, यह शोध अधिक विश्वसनीय AI एजेंटों के लिए मार्ग प्रशस्त करता है जो उच्च-दांव वाले, अनिश्चित और अस्पष्ट वास्तविक दुनिया के वातावरण में सूक्ष्म निर्णय लेने में सक्षम हैं।