Legal$Δ$: Enhancing Legal Reasoning in LLMs via Reinforcement Learning with Chain-of-Thought Guided Information Gain

तकनीकी सारांश: Legal$\Delta$

Legal$\Delta$ एक नवीन सुदृढीकरण शिक्षण (Reinforcement Learning - RL) ढांचा है जिसे बड़े भाषा मॉडलों (LLMs) की कानूनी तर्क क्षमता को बढ़ाने के लिए डिज़ाइन किया गया है। यह विशेष रूप से मौजूदा लीगल एलएलएम (Legal LLMs) की "फास्ट-थिंकिंग" (बिना स्पष्ट तर्क के सीधे उत्तर देना) की प्रवृत्ति को संबोधित करता है, जो जटिल न्यायिक परिदृश्यों में उनकी विश्वसनीयता और व्याख्यात्मकता को सीमित करती है।

1. समस्या: लीगल एलएलएम में सतही तर्क (Superficial Reasoning)

जबकि वर्तमान LegalAI प्रणालियों ने स्वचालन में प्रगति की है, वे दो प्राथमिक चुनौतियों का सामना करती हैं:

• कठोर औचित्य का अभाव: मॉडल अक्सर सीधे उत्तर देने की ओर प्रवृत्त होते हैं, जिससे वे उस बहु-चरणीय चेन-ऑफ-थॉट (CoT) को छोड़ देते जो जटिल कानूनी तर्क के लिए आवश्यक है।
• मौजूदा RLVR की सीमाएं: वर्तमान 'वेरिफिएबल रिवॉर्ड्स के साथ सुदृढीकरण शिक्षण' (RLVR) मुख्य रूप से अंतिम उत्तर की सटीकता पर ध्यान केंद्रित करता है। यह दृष्टिकोण तर्क प्रक्रिया की गुणवत्ता और गहराई की अनदेखी करता है, जिससे संभावित रूप से ऐसे मॉडलों को पुरस्कृत किया जाता है जो त्रुटिपूर्ण या सतही तर्क के माध्यम से सही उत्तर तक पहुँचते हैं।

2. कार्यप्रणाली: सूचना-लाभ निर्देशित सुदृढीकरण शिक्षण (Information-Gain Guided Reinforcement Learning)

लेखक ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) प्रतिमान पर आधारित एक दो-चरणीय प्रशिक्षण पाइपलाइन का प्रस्ताव करते हैं:

• चरण 1: सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): मॉडल को पहले उच्च गुणवत्ता वाले, तर्क-संवर्धित कानूनी डेटासेट (DeepSeek-R1 से डिस्टिल्ड) पर प्रशिक्षित किया जाता है ताकि वह विशेषज्ञ जैसे तर्क व्यवहारों की नकल कर सके।
• चरण 2: सूचना-लाभ के साथ सुदृढीकरण शिक्षण (Reinforcement Learning with Information Gain): यह मुख्य नवाचार है। केवल सही उत्तर को पुरस्कृत करने के बजाय, Legal$\Delta$ एक इन्फॉर्मेशन-गेन एन्हांस्ड रिवॉर्ड ($R_{info}$) पेश करता है।

सूचना-लाभ तंत्र (The Information-Gain Mechanism):
यह ढांचा एक तर्क श्रृंखला (reasoning chain) के "मूल्य" को मॉडल के आंतरिक प्रतिनिधित्व (internal representation) में उत्पन्न होने वाले सिमेंटिक शिफ्ट (semantic shift) को मापकर निर्धारित करता है। यह मॉडल लॉजिट्स (logits) और Q-वैल्यू के बीच गणितीय समानता का लाभ उठाता है:

1. दोहरा मोड तुलना (Dual-Mode Comparison): मॉडल सीधे उत्तर उत्पन्न करते समय बनाम तर्क श्रृंखला ($r$) का उपयोग करते समय अपने आत्मविश्वास (logits) की तुलना करता है।
2. $\Delta Q$ गणना: यह Q-वैल्यू के अंतर की गणना करता है: $\Delta Q(r) = \text{logits}_{\theta}(a|q, r) - \text{logits}_{\theta}(a|q)$।
3. सूचना-सैद्धांतिक व्याख्या (Information-Theoretic Interpretation): इस $\Delta Q$ को दो भागों में विभाजित किया गया है:
   • पॉइंटवाइज म्यूचुअल इंफॉर्मेशन (PMI): यह मापता है कि तर्क प्रक्रिया विशिष्ट उत्तर के साथ कितनी सह-संबंधित है।
   • ग्लोबल कॉन्फिडेंस रेगुलराइज़र: यह मापता है कि क्या तर्क मॉडल की समग्र निर्णायकता (अनिश्चितता को कम करना) को तेज करता है।
4. रिवॉर्ड मॉड्यूलेशन: अंतिम रिवॉर्ड कानूनी शुद्धता ($R_{legal}$) और इस सूचना-लाभ के सिग्मॉइड-स्केल्ड संस्करण का गुणनफल है, जो यह सुनिश्चित करता है कि मॉडल को ऐसे तर्क के लिए पुरस्कृत किया जाए जो सही और सूचनात्मक दोनों हो।

3. प्रमुख योगदान

• नवाचारी रिवॉर्ड डिज़ाइन: एक ऐसा रिवॉर्ड तंत्र पेश किया गया जो तर्क चरणों के सिमेंटिक योगदान को मापने के लिए डिफरेंशियल Q-वैल्यू विश्लेषण का उपयोग करता है।
• CoT अनुकूलन: इसने "वेरिफिएबल करेक्टनेस" से आगे बढ़कर तर्क की प्रक्रिया को अनुकूलित करने में सफलता प्राप्त की, जिससे अनावश्यक या सतही स्पष्टीकरणों को रोका जा सका।
• गणितीय आधार: इसने नेक्स्ट-टोकन प्रेडिक्शन लॉजिट्स और सुदृढीकरण शिक्षण Q-फंक्शंस के बीच एक सैद्धांतिक संबंध प्रदान किया ताकि सूचना-लाभ मीट्रिक को न्यायसंगत बनाया जा सके।

4. प्रयोगात्मक परिणाम

इस ढांचे का परीक्षण विभिन्न LLM स्केल्स (Qwen2.5-7B और 14B) पर कई इन-डोमेन और आउट-ऑफ-डोमेन कानूनी कार्यों (जैसे सजा का पूर्वानुमान, आपराधिक आरोप का पूर्वानुमान और केस विश्लेषण) पर किया गया।

• बेहतर प्रदर्शन: Legal$\Delta$ ने मजबूत बेसलाइन्स (DPO और R1-Distill सहित) को पछाड़ दिया, और कई कार्यों में औसतन लगभग 10% का सुधार हासिल किया।
• सामान्यीकरण (Generalization): मॉडल ने आउट-ऑफ-डोमेन बेंचमार्क पर भी अपने लाभ को बनाए रखा, जिससे सिद्ध हुआ कि इसने केवल पैटर्न को याद करने के बजाय मजबूत कानूनी तर्क सीखा है।
• बढ़ा हुआ आत्मविश्वास और गुणवत्ता: एब्लेशन अध्ययन और लॉजिट विश्लेषण ने पुष्टि की कि Legal$\Delta$:
  • मॉडल के आत्मविश्वास को बढ़ाता है (उच्च औसत लॉजिट्स)।
  • "लीगल टोकन प्रॉमिनेंस" (मॉडल कानूनी रूप से महत्वपूर्ण शब्दों पर अधिक ध्यान देता है) को बढ़ाता है।
  • तर्क श्रृंखलाओं में कम परप्लेक्सिटी (perplexity) उत्पन्न करता है, जो उच्च-गुणवत्ता वाले टेक्स्ट जनरेशन का संकेत है।

5. महत्व

Legal$\Delta$ विश्वसनीय LegalAI की दिशा में एक महत्वपूर्ण कदम है। मॉडलों को अधिक गहराई से "सोचने" के लिए प्रोत्साहित करके और विचार की गुणवत्ता को पुरस्कृत करने का एक गणितीय तरीका प्रदान करके, यह ढांचा न्यायिक निर्णय-सहायता प्रणालियों में व्याख्यात्मकता और कठोरता की महत्वपूर्ण आवश्यकता को संबोधित करता है। यह विशिष्ट, उच्च-जोखिम वाले डोमेन में तर्क को अनुकूलित करने के लिए सूचना-सैद्धांतिक सिद्धांतों को लागू करने का एक ब्लूप्रिंट प्रदान करता है।