तकनीकी सारांश: BALTO – मतिभ्रम (Hallucination) न्यूनीकरण के लिए संतुलित टोकन-स्तरीय नीति अनुकूलन

1. समस्या विवरण

ज्ञान-गहन सेटिंग्स में लार्ज लैंग्वेज मॉडल्स (LLMs) को फिथफुलनेस मतिभ्रम (faithfulness hallucinations)—अर्थात ऐसी सामग्री उत्पन्न करना जिसमें तथ्यात्मक समर्थन की कमी हो या जो प्रदान किए गए साक्ष्यों का खंडन करती हो—के कारण महत्वपूर्ण चुनौतियों का सामना करना पड़ता है। जबकि सुदृढीकरण शिक्षण (Reinforcement Learning - RL) एक आशाजनक मार्ग प्रदान करता है, वर्तमान दृष्टिकोणों में ग्रैनुलैरिटी मिसमैच (granularity mismatch) की समस्या है।

अधिकांश मौजूदा RL विधियाँ रिस्पॉन्स-लेवल रिवॉर्ड्स (response-level rewards) का उपयोग करती हैं, जो पूरे आउटपुट को एक एकल स्केलर स्कोर प्रदान करती हैं। यह मोटा-स्तर (coarse-grained) का पर्यवेक्षण एक ही प्रतिक्रिया के भीतर मतिभ्रम वाली स्पैन (spans) और विश्वसनीय सामग्री के बीच अंतर करने में विफल रहता है। फलस्वरूप, एक स्थानीय त्रुटि (जैसे कि एक गलत तिथि या इकाई) पूरी प्रतिक्रिया के लिए समान नकारात्मक दंड को ट्रिगर कर सकती है, जिससे सही जानकारी भी गलत तरीके से दब जाती है और "रिवॉर्ड हैकिंग" व्यवहार उत्पन्न होता है जहाँ मॉडल दंड से बचने के लिए छोटी, अत्यधिक रूढ़िवादी प्रतिक्रियाएँ उत्पन्न करते हैं।

हालिया सूक्ष्म-स्तरीय दृष्टिकोण (जैसे क्लेम-लेवल या टोकन-लेवल रिवॉर्ड्स) पहचान तो करते हैं, लेकिन अक्सर क्रेडिट असाइनमेंट (credit assignment) की समस्या को हल करने में विफल रहते हैं। असंतुलित टोकन-स्तरीय रिवॉर्ड्स वर्बोसिटी (verbosity) या लंबाई के प्रति पूर्वाग्रह पैदा कर सकते हैं, जबकि वैश्विक प्रतिक्रिया-स्तरीय लाभ (global response-level advantages) से जुड़े तरीके अभी भी वैश्विक सिग्नल के शोर से प्रभावित होते हैं। मुख्य समस्या एक ऐसे तंत्र की कमी है जो सटीक रूप से मतिभ्रम वाले टोकन को दंडित करे और साथ ही उसी प्रतिक्रिया के भीतर विश्वसनीय टोकन की भरपाई करे, जिससे यह सुनिश्चित हो सके कि मॉडल केवल जनरेशन को दबाने के बजाय सत्यनिष्ठा (truthfulness) की ओर संभाव्यता द्रव्यमान (probability mass) को पुनर्वितरित करता है।

2. कार्यप्रणाली: BALTO फ्रेमवर्क

लेखक BALTO (Balanced Token-Level Policy Optimization) का प्रस्ताव करते हैं, जो एक सुदृढीकरण शिक्षण फ्रेमवर्क है जिसे मतिभ्रम को स्थानीयकृत करने और टोकन स्तर पर संतुलित क्रेडिट असाइन करने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क दो प्राथमिक चरणों में कार्य करता है:

A. सूक्ष्म-स्तरीय मतिभ्रम टोकन पहचान

BALTO नमूनाकृत प्रतिक्रियाओं को संसाधित करने के लिए एक LLM-आधारित विश्वासता मूल्यांकनकर्ता (faithfulness evaluator) का उपयोग करता है:

1. दावा निष्कर्षण (Claim Extraction): सिस्टम प्रतिक्रिया से जांच योग्य तथ्यात्मक दावों (जैसे संस्थाएं, संख्याएं, तिथियां, संबंध) को निकालता है।
2. सत्यापन (Verification): प्रत्येक दावे को संदर्भ संदर्भ (संदर्भ दस्तावेजों) के विरुद्ध सत्यापित किया जाता है। दावों को विश्वसनीय ($C^+$) और मतिभ्रमयुक्त ($C^-$) सेटों में विभाजित किया जाता है।
3. टोकन प्रोजेक्शन (Token Projection):
   • विश्वसनीय दावों के टोकन को विश्वसनीय ($F$) के रूप में लेबल किया जाता है।
   • मतिभ्रमयुक्त दावों के लिए, सिस्टम त्रुटि के लिए जिम्मेदार न्यूनतम त्रुटिपूर्ण टोकन उपसमूह ($e_{i,m}$) को स्थानीयकृत करने का प्रयास करता है (उदाहरण के लिए, पूरे वाक्य के बजाय केवल गलत संख्या "11.4%")। यदि अलगाव असंभव है, तो पूरे क्लेम स्पैन को दंडित किया जाता है। इन टोकनों को मतिभ्रमयुक्त ($H$) के रूप में लेबल किया जाता है।
   • जांच योग्य दावों से बाहर के टोकन या मतिभ्रमयुक्त क्लेम के भीतर के विश्वसनीय टोकन (जहाँ त्रुटि को अलग नहीं किया जा सकता) को तटस्थ ($N$) के रूप में लेबल किया जाता है।

B. संतुलित टोकन-स्तरीय क्रेडिट असाइनमेंट

मानक GRPO के विपरीत, जो सभी टोकनों को एक एकल एडवांटेज प्रसारित करता है, BALTO टोकन लेबल के आधार पर विशिष्ट एडवांटेज ($A^{bal}_{i,t}$) असाइन करता है:

• मतिभ्रमयुक्त टोकन ($H$): -1 का नकारात्मक एडवांटेज प्राप्त करते हैं।
• विश्वसनीय टोकन ($F$): $N^-_i / N^+_i$ का सकारात्मक क्षतिपूर्ति एडवांटेज प्राप्त करते हैं, जहाँ $N^-$ और $N^+$ क्रमशः मतिभ्रमयुक्त और विश्वसनीय टोकनों की गणना है।
• तटस्थ टोकन ($N$): 0 एडवांटेज प्राप्त करते हैं।

मुख्य तंत्र: यह डिज़ाइन एक इंट्रा-रिस्पॉन्स ज़ीरो-सम प्रॉपर्टी सुनिश्चित करता है: $\sum A^{bal}_{i,t} = 0$। मतिभ्रम से प्राप्त कुल नकारात्मक सिग्नल को विश्वसनीय सामग्री से प्राप्त सकारात्मक सिग्नल द्वारा ठीक से संतुलित किया जाता है। यह नीति को मतिभ्रमयुक्त सामग्री से विश्वसनीय सामग्री की ओर संभाव्यता द्रव्यमान को पुनर्वितरित करने के लिए प्रोत्साहित करता है, न कि पूरी प्रतिक्रिया को दबाने के लिए।

C. अनुकूलन उद्देश्य (Optimization Objective)

BALTO नीति को एक कलिप्ड ऑब्जेक्टिव (clipped objective) का उपयोग करके अनुकूलित करता है जो GRPO के समान है लेकिन केवल तथ्यात्मक टोकनों ($H \cup F$) तक सीमित है। ऑब्जेक्टिव फंक्शन अपेक्षित संतुलित एडवांटेज को अधिकतम करता है, जो तथ्यात्मक टोकनों की संख्या ($Z_i = \max(1, |H| + |F|)$) द्वारा सामान्यीकृत होता है।

3. सैद्धांतिक विश्लेषण

पेपर में प्रमाण प्रस्तुत किए गए हैं जो रिस्पॉन्स-लेवल GRPO पर BALTO की श्रेष्ठता को दर्शाते हैं:

• वेरिएंस रिडक्शन (वैरिएंस में कमी) (Theorem 1): रिस्पॉन्स-लेवल GRPO में ग्रेडिएंट वेरिएंस कुल प्रतिक्रिया लंबाई ($O(T)$) के साथ रैखिक रूप से बढ़ता है। इसके विपरीत, BALTO वेरिएंस को केवल मतिभ्रमयुक्त टोकनों की संख्या ($O(N^-)$) के साथ सीमित करता है। चूंकि मतिभ्रम विरल (sparse) होते हैं, इसलिए यह ग्रेडिएंट शोर को काफी कम करता है और प्रशिक्षण को स्थिर करता है।
• अनुकूलन दक्षता (Optimization Efficiency) (Theorem 2):
  • कोल्ड स्टार्ट ($p \to 0$): रिस्पॉन्स-लेवल GRPO "ग्रेडिएंट स्टार्वेशन" से ग्रस्त होता है क्योंकि जब विश्वसनीय प्रतिक्रियाएं दुर्लभ होती हैं, तो नॉर्मलाइजेशन गुणांक लुप्त हो जाता है। BALTO मजबूत, बाउंडेड स्थानीय सिग्नल ($O(1)$) बनाए रखता है, जिससे कुशल प्रारंभिक-चरण अन्वेषण सुनिश्चित होता है।
  • अभिसरण (Convergence) ($p \to 1$): रिस्पॉन्स-लेवल GRPO दुर्लभ त्रुटियों के लिए अनबाउंडेड डायवर्जेंट दंड ($A^- \to -\infty$) को ट्रिगर करता है, जो देर-चरण अभिसरण को अस्थिर करता है। BALTO सख्ती से बाउंडेड एडवांटेज ($[-1, 1]$) बनाए रखता है, जिससे स्थिर और सुचारू अभिसरण सुनिश्चित होता है।

4. प्रयोगात्मक परिणाम

प्रयोग तीन बेंचमार्क पर किए गए: ConFiQA (काउंटरफैक्चुअल QA), RAGTruth (RAG मतिभ्रम संग्रह), और FinLLM-Eval (वित्तीय डोमेन QA)। उपयोग किए गए मॉडल्स में Qwen3-8B और Qwen3-4B शामिल थे।

मुख्य निष्कर्ष:

• विश्वसनीयता (Faithfulness): BALTO ने सभी छह मॉडल-बेंचमार्क सेटिंग्स में उच्चतम विश्वसनीयता स्कोर प्राप्त किया, जो रिस्पॉन्स-लेवल बेसलाइन्स (GRPOB, GRPOD) और टोकन-लेवल बेसलाइन्स (FSPO) से बेहतर प्रदर्शन करता है।
• Q-स्कोर: BALTO ने लगातार उच्चतम Q-स्कोर (परिभाषित: विश्वसनीयता $\times$ सूचनात्मकता) प्राप्त किया, जो शुद्धता और सूचना प्रतिधारण के बीच एक बेहतर संतुलन प्रदर्शित करता है।
  • सबसे मजबूत पोस्ट-ट्रेनिंग बेसलाइन की तुलना में, BALTO ने औसत 2.7 अंक (4.9 तक) और विश्वसनीयता में 3.1 अंक (6.7 तक) का सुधार किया।
• प्रशिक्षण गतिशीलता (Training Dynamics):
  • ग्रेडिएंट नॉर्म्स: BALTO ने रिस्पॉन्स-लेवल विधियों की तुलना में एक क्रम (order of magnitude) छोटा और अधिक केंद्रित ग्रेडिएंट नॉर्म प्रदर्शित किया, जो कम वेरिएंस की पुष्टि करता है।
  • पैरामीटर अपडेट: BALTO ने काफी कम पैरामीटर अपडेट (~12% बनाम ~17% GRPOB के लिए) के साथ उच्च विश्वसनीयता प्राप्त की, जो प्रासंगिक मापदंडों पर केंद्रित अधिक कुशल शिक्षण का संकेत देता है।
• एब्लेशन स्टडीज (Ablation Studies): विश्वसनीय टोकन के लिए सकारात्मक क्षतिपूर्ति एडवालेज को हटाने (PA=0 सेट करने) से विश्वसनीयता और सूचनात्मकता दोनों में पर्याप्त गिरावट आई, जो संतुलित क्रेडिट तंत्र की आवश्यकता को प्रमाणित करता है।

5. महत्व और दावे

पेपर का दावा है कि BALTO मतिभ्रम न्यूनीकरण में एक महत्वपूर्ण अंतराल को संबोधित करता है: संतुलित, सूक्ष्म-स्तरीय क्रेडिट असाइनमेंट की आवश्यकता।

• परिशुद्धता (Precision): त्रुटियों को विशिष्ट टोकनों तक स्थानीयकृत करके और रिवॉर्ड सिग्नल को संतुलित करके, BALTO रिस्पॉन्स-लेवल RL के "सब-या-कुछ-नहीं" दंड से बचता है, जिससे प्रतिक्रिया की सूचनात्मकता सुरक्षित रहती है।
• स्थिरता (Stability): सैद्धांतिक और प्रयोगात्मक साक्ष्य बताते हैं कि संतुलित टोकन-स्तरीय असाइनमेंट अधिक स्थिर प्रशिक्षण प्रक्षेपवक्र और उच्च अनुकूलन दक्षता की ओर ले जाता है, विशेष रूप से प्रशिक्षण के शुरुआती चरणों और अभिसरण के दौरान।
• ट्रेड-ऑफ (Trade-off): परिणाम दर्शाते हैं कि अत्यधिक रूढ़िवादी या अत्यधिक विस्तृत जनरेशन में गिरे बिना मतिभ्रम को काफी कम करना संभव है, जिससे पूर्ववर्ती पोस्ट-ट्रेनिंग दृष्टिकोणों की तुलना में एक मजबूत विश्वसनीयता-सूचनात्मकता ट्रेड-ऑफ प्राप्त होता है।

लेखक सीमाओं को नोट करते हैं, मुख्य रूप से यह कि विधि दावा निष्कर्षण और सत्यापन के लिए एक बाहरी LLM-आधारित मूल्यांकनकर्ता पर निर्भर करती है, जिसका अर्थ है कि इसका प्रदर्शन मूल्यांकनकर्ता की सटीकता द्वारा सीमित है। इसके अतिरिक्त, फ्रेमवर्क को रिट्रीवल-ग्राउंडेड सेटिंग्स के लिए डिज़ाइन किया गया है जहाँ संदर्भ दस्तावेज़ उपलब्ध हैं।