तकनीकी सारांश: MAVEN - दीर्घ-संदर्भ तर्क के लिए साक्ष्य-अवस्था पुरस्कार (Evidence-State Rewards)

1. समस्या विवरण

उन्नत लार्ज लैंग्वेज मॉडल्स (LLMs) तेजी से लंबे संदर्भ विंडो (long context windows) का समर्थन कर रहे हैं, फिर भी लंबे इनपुट को स्वीकार करने की क्षमता प्रभावी तर्क (reasoning) की गारंटी नहीं देती है। मॉडल अक्सर "बीच में खो जाने" (lost in the middle) की घटनाओं, आंशिक साक्ष्य पर समयपूर्व निर्भरता, और वितरित सूचनाओं को संश्लेषित करने में असमर्थता से जूझते हैं।

दीर्घ-संदर्भ तर्क के लिए मौजूदा सुदृढीकरण शिक्षण (Reinforcement Learning - RL) दृष्टिकोण आमतौर पर परिणाम-मात्र पुरस्कारों (अंतिम उत्तर को सत्यापित करना) या स्थिर साक्ष्य-पहचान पुरस्कारों (स्वर्ण खंडों/gold chunks के चयन को पुरस्कृत करना) पर निर्भर करते हैं। लेखक तर्क देते हैं कि ये विधियाँ अपर्याप्त हैं क्योंकि वे साक्ष्य को अलग-थलग टुकड़ों या एक अंतिम निकाले गए सेट के रूप में मानती हैं। वे गतिशील, अवस्था-निर्भर प्रकृति (dynamic, state-dependent nature) को पकड़ने में विफल रहती हैं, जहाँ:

• एक खंड केवल तभी मूल्यवान हो सकता है जब दूसरा पाया जाए।
• एक संभावित दस्तावेज़ को बाद में मिले साक्ष्य द्वारा भटकाव (distractor) के रूप में प्रकट होने पर हटाया जा सकता है।
• व्यक्तिगत रूप से अपर्याप्त टुकड़े संयुक्त रूप से एक तर्क अंतराल को पाट सकते हैं।

वर्तमान पुरस्कार विकसित होते साक्ष्य राज्य (evidence state) के निर्माण, संशोधन और संश्लेषण की पुनरावृत्ति प्रक्रिया के बजाय, स्थानीय रूप से प्रशंसनीय साक्ष्य पथों पर समयपूर्व प्रतिबद्धता को प्रोत्साहित करते हैं।

2. कार्यप्रणाली: MAVEN

लेखक MAVEN (Marginal-Value Evidence Navigation) प्रस्तावित करते हैं, जो एक सुदृढीकरण शिक्षण ढांचा है जो दीर्घ-संदर्भ तर्क को अवस्था-आधारित साक्ष्य-मेमोरी नेविगेशन (stateful evidence-memory navigation) के रूप में मानता है। अलग-थलग निष्कर्षण को पुरस्कृत करने के बजाय, MAVEN एक उत्तर-सशर्त साक्ष्य-अवस्था मूल्य (answer-conditioned evidence-state value) को परिभाषित करता है और विशिष्ट एक्शन-स्तर के स्टेट ट्रांजिशन (state transitions) को पुरस्कार देता है।

2.1 ढांचा और क्रियाएं (Actions)

पॉलिसी मॉडल $\pi_\theta$ अंतिम उत्तर उत्पन्न करने से पहले एक संपादन योग्य साक्ष्य मेमोरी $E_k$ के साथ इंटरैक्ट करता है। मॉडल उच्च-स्तरीय क्रियाओं का एक प्रक्षेपवक्र (trajectory) उत्पन्न करता है:

1. जोड़ना (<add>): मेमोरी में एक उद्धृत या संदर्भित साक्ष्य स्पैन जोड़ता है।
2. हटाना (<drop>): एक अप्रासंगिक, अनावश्यक, या भ्रामक साक्ष्य टुकड़े को हटाता है।
3. लिंक करना (<link>): यह समझाता है कि दो साक्ष्य टुकड़े मिलकर उत्तर का समर्थन कैसे करते हैं (संश्लेषण)।
4. उत्तर देना (<answer>): अंतिम प्रतिक्रिया उत्पन्न करता है।

2.2 वैल्यू फंक्शन (Value Function)

MAVEN एक फ्रोजन वेरीफायर मॉडल $p_\psi$ का उपयोग करके एक साक्ष्य-अवस्था मूल्य $V_\psi(Q, E)$ की गणना करता है। यह मूल्य प्रश्न $Q$ और वर्तमान साक्ष्य मेमोरी $E$ दिए जाने पर स्वर्ण उत्तर $a^*$ के नेगेटिव लॉग-लाइक्लीहुड (NLL) में सापेक्ष कमी को मापता है, जो बिना किसी साक्ष्य के तुलना में है:
$$V_\psi(Q, E) = \frac{\ell_\psi(Q, \emptyset) - \ell_\psi(Q, E)}{\ell_\psi(Q, \emptyset) + \epsilon}$$
एक सकारात्मक मान इंगित करता है कि साक्ष्य सही उत्तर को अधिक पूर्वानुमानित बनाता है।

2.3 एक्शन-स्तर के पुरस्कार (Action-Level Rewards)

MAVEN GRPO (Group Relative Policy Optimization) ढांचे के भीतर विशिष्ट एक्शन स्पैन के लिए प्रोसेस रिवॉर्ड असाइन करता है:

• जोड़ने का पुरस्कार ($\rho_{add}$): ऑनलाइन कंडीशनल आंसर इंफॉर्मेशन गेन (CAIG) और हाइंडसाइट क्रेडिट (hindsight credit) को जोड़ता है।
  • CAIG: एक नया आइटम जोड़ने पर साक्ष्य अवस्था में तत्काल सुधार को पुरस्कृत करता है।
  • Hindsight Credit: यदि कोई आइटम अंतिम रखे गए साक्ष्य सेट $E_F$ का हिस्सा है, तो उसे इस आधार पर क्रेडिट मिलता है कि यदि उस आइटम को हटाया जाता तो अंतिम मूल्य कितना कम होता (एक शाप्ले-शैली का अनुमान)। यह सुनिश्चित करता है कि मल्टी-हॉप रीजनिंग में शुरुआती, आवश्यक साक्ष्य को कम क्रेडिट न मिले।
• हटाने का पुरस्कार ($\rho_{drop}$): यदि हटाने से उत्तर-सशर्त साक्ष्य अवस्था में सुधार होता है (अर्थात, एक भटकाव को हटाना), तो यह साक्ष्य को हटाने को पुरस्कृत करता है। यह उपयोगी साक्ष्य को हटाने के लिए दंडित करता है।
• लिंक करने का पुरस्कार ($\rho_{link}$): पूरक साक्ष्य के स्पष्ट संश्लेषण को पुरस्कृत करता है। यह एक पेयरवाइज सिनर्जी स्कोर का उपयोग करता है यह मापने के लिए कि क्या दो टुकड़े अलग-अलग होने की तुलना में एक साथ अधिक मूल्यवान हैं।
• उत्तर देने का पुरस्कार ($\rho_{ans}$): ग्राउंड ट्रुथ के साथ सबस्ट्रिंग मिलान पर आधारित एक बाइनरी रिवॉर्ड, जो कार्य की सफलता सुनिश्चित करता है।

2.4 प्रशिक्षण प्रक्रिया

प्रशिक्षण दो चरणों में होता है:

1. कोल्ड-स्टार्ट SFT: वैध एक्शन प्रक्षेपवक्यों पर सुपरवाइज्ड फाइन-ट्यूनिंग ताकि मॉडल को संपादन योग्य मेमोरी इंटरफेस और एक्शन व्याकरण सिखाया जा सके।
2. RL प्रशिक्षण: मॉडल को ऊपर परिभाषित एक्शन-लोकल रिवॉर्ड्स के साथ GRPO का उपयोग करके अनुकूलित किया जाता है। उद्देश्य प्रक्रिया-स्तर के क्रेडिट असाइनमेंट को सुरक्षित रखता है, जिससे एक खराब "ऐड" के बाद एक सुधारात्मक "ड्रॉप" वाले प्रक्षेपवक्र को क्रमशः उचित नकारात्मक और सकारात्मक लाभ प्राप्त करने की अनुमति मिलती है।

3. मुख्य योगदान

1. सीमाओं की पहचान: लेखक पहचानते हैं कि मौजूदा दीर्घ-संदर्भ RL पुरस्कार अक्सर स्थिर साक्ष्य निष्कर्षण को सुपरवाइज करते हैं, न कि साक्ष्य-अवस्था संक्रमणों (evidence-state transitions) को, जिससे गलत पथों पर समयपूर्व एंकरिंग होती है।
2. MAVEN ढांचा: एक संपादन योग्य साक्ष्य-मेमोरी ढांचे का प्रस्ताव करता है जो एक उत्तर-सशर्त साक्ष्य-अवस्था मूल्य को परिभाषित करता है। यह LLMs को अवस्थात्मक, एक्शन-लोकल प्रोसेस रिवॉर्ड्स के माध्यम से जोड़ने, लिंक करने, हटाने और उत्तर देने के लिए प्रशिक्षित करता है।
3. अनुभवजन्य सत्यापन: विभिन्न मॉडल परिवारों (Llama, Qwen) और बेंचमार्क पर निरंतर लाभ प्रदर्शित करता है, जो नैदानिक साक्ष्य प्रदान करता है कि MAVEN साक्ष्य पर्याप्तता (स्वर्ण साक्ष्य का कवरेज) में सुधार करता है और भटकाव प्रतिधारण (misleading evidence रखना) को कम करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने Llama-3.1-8B, Qwen2.5-14B, और Qwen3-30B-A3B को LongBench v2, LongReason, और RULER पर MAVEN के माध्यम से मूल्यांकन किया।

• प्रदर्शन: MAVEN ने सभी बेसलाइन्स को लगातार पछाड़ दिया, जिसमें आउटकम-ओनली RL और आउटकम-प्लस-साक्ष्य-पहचान बेसलाइन्स शामिल हैं। LongBench v2 पर, MAVEN ने मॉडल आकार के आधार पर सबसे मजबूत बेसलाइन से +3.5 से +4.0 अंक का सुधार किया।
• दीर्घ-संदर्भ विशिष्टताएं: लाभ विशेष रूप से लंबे-संदर्भ स्प्लिट्स (जैसे 128K कॉन्टेक्स्ट) में स्पष्ट थे, जो सुझाव देते हैं कि यह विधि तब महत्वपूर्ण है जब उत्तर वितरित सूचनाओं पर निर्भर होते हैं।
• नैदानिक मेट्रिक्स (Diagnostic Metrics):
  • साक्ष्य पर्याप्तता (Evidence Sufficiency): MAVEN ने >85% पर्याप्तता हासिल की, जो बेसलाइन्स से काफी अधिक है।
  • भटकाव प्रतिधारण (Distractor Retention): MAVEN ने रखे गए साक्ष्य के प्रतिशत में उल्लेखनीय कमी की जो भटकावों के अनुरूप था, जो अपनी मेमोरी को संशोधित करने की मॉडल की क्षमता को दर्शाता है।
• एब्लेशन अध्ययन (Ablation Studies):
  • ड्रॉप रिवॉर्ड को हटाने से सबसे अधिक भटकाव प्रतिधारण हुआ।
  • लिंक रिवॉर्ड को हटाने से साक्ष्य पर्याप्तता कम हो गई।
  • ऐड रिवॉर्ड को हटाने से समग्र स्कोर में सबसे बड़ी गिरावट आई।
  • एक संस्करण जिसने केवल अंतिम साक्ष्य सेट से गणना किए गए पुरस्कारों का उपयोग किया (मध्यवर्ती चरणों को अनदेखा करते हुए), काफी खराब प्रदर्शन किया, जो एक्शन-लोकल प्रोसेस रिवॉर्ड्स की आवश्यकता की पुष्टि करता है।
• सामान्यीकरण (Generalization): MMLU-Pro पर मूल्यांकन ने दिखाया कि MAVEN प्रशिक्षण ने सामान्य लघु-संदर्भ तर्क क्षमताओं को कम नहीं किया।

5. महत्व और दावे

पेपर का दावा है कि प्रभावी दीर्घ-संदर्भ RL के लिए केवल साक्ष्य निष्कर्षण को अनुकूलित करने के बजाय साक्ष्य-अवस्था संक्रमणों को अनुकूलित करना आवश्यक है। एक संपादन योग्य मेमोरी के माध्यम से नेविगेशन प्रक्रिया के रूप में तर्क को मानकर, MAVEN मॉडल्स को सक्षम बनाता है:

• भ्रामक साक्ष्य जोड़ने से उबरने के लिए (ड्रॉप रिवॉर्ड्स के माध्यम से)।
• पूरक जानकारी को संश्लेषित करने के लिए (लिंक रिवॉर्ड्स के माध्यम से)।
• यह पहचानने के लिए कि प्रारंभिक साक्ष्य क्यों आवश्यक है भले ही उसका तत्काल मूल्य कम हो (हाइंडसाइट क्रेडिट के माध्यम से)।

लेखक MAVEN को रिट्रीवल (retrieval), एजेंटिक वर्कफ़्लो और आर्किटेक्चरल कॉन्टेक्स्ट एक्सटेंशन के पूरक के रूप में देखते हैं, जो विशेष रूप से तर्क के लिए उपयोग किए जाने वाले साक्ष्य-राज्य को बनाने और संशोधित करने के सीखने के बॉटलनेक को लक्षित करता है।

स्वीकृत सीमाएँ:

• MAVEN प्रशिक्षण के दौरान वेरीफायर-आधारित मूल्यों की गणना करने के लिए गोल्ड आंसर्स पर निर्भर करता है, जो सत्यापन योग्य उत्तरों वाले कार्यों के लिए प्रत्यक्ष अनुप्रयोग को सीमित करता है।
• इंटरफ़ेस यह मानता है कि साक्ष्य को सीमित टेक्स्ट स्पैन के रूप में दर्शाया जा सकता है।
• नियंत्रित विश्लेषण के लिए नैदानिक एनोटेशन बनाए गए थे, और साक्ष्य की गुणवत्ता पर व्यापक मानव मूल्यांकन भविष्य का कार्य बना हुआ है।