Think Through Uncertainty: Improving Long-Form Generation Factuality via Reasoning Calibration

):** मॉडल एक विचार प्रक्रिया (chain of thought) उत्पन्न करता है जहाँ वह स्पष्ट रूप से संभावित दावों की पहचान करता है और प्राकृतिक भाषा में अनिश्चितता व्यक्त करता है (जैसे, "मैं इस तारीख के बारे में निश्चित नहीं हूँ")। 2. **विघटन (`):** मॉडल परमाणु दावों (atomic claims) की एक संरचित सूची आउटपुट करता है, जिसमें प्रत्येक के साथ एक स्पष्ट संख्यात्मक आत्मविश्वास अनुमान ($p_i \in [0, 1]$) जुड़ा होता है।

• परमाणु दावे (Atomic Claims): प्रत्येक दावा एक अर्थपूर्ण रूप से सुसंगत, स्वतंत्र रूप से सत्यापन योग्य इकाई है (जैसे, "डेविड बोवी का जन्म 1947 में हुआ था")।
• स्पष्ट आत्मविश्वास: मॉडल प्रत्येक दावे को एक आत्मविश्वास स्कोर प्रदान करता है, जो दावे की शुद्धता में उसके आंतरिक विश्वास को दर्शाता है।

B. बहु-चरणीय प्रशिक्षण पाइपलाइन (Multi-Stage Training Pipeline)

सत्यता (correctness) के अनुकूलन और अंशांकन (calibration) के अनुकूलन के बीच संघर्ष को रोकने के लिए (जो अक्सर उच्च एकसमान आत्मविश्वास जैसे क्षीण समाधानों की ओर ले जाता है), CURE एक विच्छेदित, बहु-चरणीय प्रशिक्षण पाइपलाइन का उपयोग करता है:

1. चरण 1: व्यवहार्यता प्रेरण (SFT + GRPO):

   • सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): यह मॉडल को संरचित तर्क प्रोटोकॉल का पालन करने के लिए आरंभ करता है। उच्च गुणवत्ता वाले प्रायोर (priors) सुनिश्चित करने के लिए एक बाहरी सत्यापनकर्ता (VeriScore) और एक LLM का उपयोग करके आत्मविश्वास लेबल को सुधारा जाता है।
   • ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO): व्यवहार्यता बाधाओं (प्रासंगिकता, सत्यापन क्षमता और निष्ठा) को लागू करता है ताकि यह सुनिश्चित हो सके कि मॉडल अच्छी तरह से निर्मित, सत्यापन योग्य दावे उत्पन्न करता है जो तर्क पथ (reasoning trace) का सख्ती से पालन करते हैं।

2. चरण 2: अंशांकन अनुकूलन (Calibration Optimization - DPO):

   • लक्ष्य: मॉडल के अनुमानित आत्मविश्वास ($p_i$) को दावों की अनुभवजन्य शुद्धता ($z_i$) के साथ संरेखित करना।
   • विधि: डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) का उपयोग करता है। सिस्टम ऐसे प्राथमिकता युग्म (preference pairs) बनाता है जहाँ एक "पसंदीदा" प्रतिक्रिया ($y_w$) में आत्मविश्वास स्कोर को ग्राउंड ट्रुथ से मेल खाने के लिए सुधारा गया है (सही दावों के लिए उच्च आत्मविश्वास, गलत दावों के लिए कम), जबकि "अस्वीकृत" प्रतिक्रिया ($y_l$) में आत्मविश्वास बेमेल है।
   • DPO क्यों? लेखकों ने पाया कि केवल अंशांकन के लिए GRPO का उपयोग करना विफल रहता है क्योंकि रिवॉर्ड सिग्नल सामग्री भिन्नता (दावे सही हैं या नहीं) द्वारा हावी हो जाते हैं, न कि अंशांकन की गुणवत्ता द्वारा। DPO आत्मविश्वास संरेखण के लिए लर्निंग सिग्नल को अलग करता है।

3. चरण 3: तथ्यात्मकता अनुकूलन (Factuality Optimization - GRPO):

   • लक्ष्य: सीखे गए अंशांकित आत्मविश्वास को बाधित किए बिना तथकीय सटीकता को अधिकतम करना।
   • विधि: टोकन-मास्क्ड रिवॉर्ड के साथ GRPO का उपयोग करता है। रिवॉर्ड की गणना दावे की शुद्धता के आधार पर की जाती है लेकिन यह केवल दावे की सामग्री का प्रतिनिधित्व करने वाले टोकन पर लागू होती है, जो आत्मविश्वास तर्क टोकन को मास्क कर देती है। यह सुनिश्चित करता है कि मॉडल अपनी अनिश्चितता अनुमानों को फिर से सीखे या भ्रष्ट किए बिना तथ्यात्मकता में सुधार करे।

C. अनुमान के दौरान चयनात्मक भविष्यवाणी (Selective Prediction at Inference)

अनुमान के दौरान, मॉडल अंशांकित आत्मविश्वास स्कोर के साथ दावे उत्पन्न करता है। उन दावों को फ़िल्टर करने के लिए एक थ्रेशोल्ड $\tau$ लागू किया जाता है जहाँ $p_i < \tau$ है। अंतिम प्रतिक्रिया केवल उच्च-आत्मविश्वास वाले दावों से निर्मित होती है, जिससे मॉडल अनिश्चित जानकारी से परहेज (abstain) कर सकता है, जिससे समग्र विश्वसनीयता बढ़ जाती है।

3. मुख्य योगदान

• दावा-स्तरीय अंशांकन (Claim-Level Calibration): एक ऐसा प्रोटोकॉल पेश किया गया जो वैश्विक प्रतिक्रिया आत्मविश्वास से आगे बढ़कर सूक्ष्म, परमाणु दावा-स्तरीय अनिश्चितता अनुमान की ओर बढ़ता है।
• विच्छेदित प्रशिक्षण रणनीति (Decoupled Training Strategy): प्रदर्शित किया गया कि तथ्य और अंशांकन को संयुक्त रूप से अनुकूलित करने से अत्यधिक आत्मविश्वास (overconfidence) होता है। एक नया पाइपलाइन प्रस्तावित किया गया जो संरचनात्मक रूप से अंशांकन (DPO के माध्यम से) को तथ्य अनुकूलन (मास्क्ड GRPO के माध्यम से) से अलग करता है।
• चयनात्मक भविष्यवाणी: एक तंत्र सक्षम किया गया जिससे मॉडल अनुमान के समय रिकॉल (recall) और प्रिसिजन (precision) के बीच गतिशील रूप से ट्रेड-ऑफ कर सकता है, जो मानक RL बेसलाइन में अनुपस्थित है।
• नया बेंचमार्किंग: चार विविध लॉन्ग-फॉर्म फैक्टुअलिटी बेंचमार्क (FactBench, LongFact, Biography, FactRbench) पर दृष्टिकोण को मान्य किया गया।

4. प्रयोगात्मक परिणाम

प्रयोग Llama3.1-8B-Instruct और Qwen3-4B पर किए गए।

• तथ्यात्मक सटीकता: CURE ने सभी बेंचमार्क में अत्याधुनिक (state-of-the-art) परिणाम प्राप्त किए।
  • Biography: बेस मॉडल की तुलना में दावा-स्तरीय सटीकता में 39.9% का सुधार किया और मजबूत RL बेसलाइन L2RF से काफी बेहतर प्रदर्शन किया।
  • FactBench: 84.4% सटीकता प्राप्त की (L2RF के 77.1% के मुकाबले)।
  • LongFact: 90.2% सटीकता प्राप्त की।
• अंशांकन गुणवत्ता (Calibration Quality):
  • CURE ने AUROC (Area Under the ROC Curve) में महत्वपूर्ण सुधार किया, जो सही और गलत दावों के बीच अंतर करने की क्षमता को मापने वाला एक मीट्रिक है। FactBench पर, AUROC 0.541 (Base) से बढ़कर 0.667 (CURE) हो गया।
  • विच्छेदित दृष्टिकोण ने संयुक्त अनुकूलन बेसलाइन में देखी गई "ओवरकॉन्फिडेंस कोलैप्स" को सफलतापूर्वक रोका।
• एब्लेशन अध्ययन (Ablation Studies):
  • संयुक्त अनुकूलन विफलता: GRPO के माध्यम से अंशांकन और तथ्य को संयुक्त रूप से अनुकूलित करने के प्रयास (यहाँ तक कि भारित Brier स्कोर के साथ भी) खराब अंशांकन (AUROC ~0.62) और गंभीर अत्यधिक आत्मविश्वास (95% भविष्यवाणियाँ > 0.9) में परिणत हुए।
  • विच्छेदन की आवश्यकता: चरणबद्ध दृष्टिकोण (SFT → DPO के माध्यम से अंशांकन → GRPO के माध्यम से तथ्य) उच्च सटीकता और उच्च अंशांकन दोनों प्राप्त करने के लिए आवश्यक था।
  • व्यवहार्यता RL: प्रारंभिक व्यवहार्यता चरण एक विश्वसनीय तर्क स्थान स्थापित करने के लिए महत्वपूर्ण था; इसके बिना, तथ्य रिवॉर्ड unverifiable दावों के कारण शोर युक्त (noisy) हो गए।

5. महत्व

CURE LLM तथ्यकारिता में सुधार के लिए एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है। दावा-स्तर पर अनिश्चितता को स्पष्ट रूप से मॉडल करके और अंशांकन को शुद्धता अनुकूलन से अलग करके, यह आत्मविश्वासी मतिभ्रम (hallucinations) के मूल कारण को संबोधित करता है।

• विश्वसनीयता: यह उपयोगकर्ताओं को अनिश्चितता के पारदर्शी संकेत प्रदान करता है, जिससे वे एक लंबे उत्तर के भीतर विशिष्ट तथ्यों की विश्वसनीयता का आकलन कर सकते हैं।
• नियंत्रणीयता: चयनात्मक भविष्यवाणी तंत्र उपयोगकर्ताओं को मॉडल को पुन: प्रशिक्षित किए बिना कवरेज (रिकॉल) और सटीकता (प्रिसिजन) के बीच ट्रेड-ऑफ को ट्यून करने की अनुमति देता है।
• सामान्यीकरण (Generalizability): यह ढांचा विभिन्न मॉडल आर्किटेक्चर (ट्रांसफॉर्मर-आधारित LLMs और रीजनिंग-विशेषज्ञ मॉडल) में प्रभावी है, जो जनरेटिव AI में मतिभ्रम की व्यापक चुनौती के लिए एक मजबूत समाधान का सुझाव देता है।