Magis-Bench: Evaluating LLMs on Magistrate-Level Legal Tasks

तकनीकी सारांश: मैजिस-बेंच (Magis-Bench)

समस्या विवरण

कानूनी एआई (Legal AI) के मौजूदा बेंचमार्क मुख्य रूप से वकालत-उन्मुख कार्यों (advocacy-oriented tasks) पर केंद्रित हैं, जैसे कि कानूनी तर्क तैयार करना या कानूनी सलाह प्रदान करना। हालाँकि, एक सुचारू रूप से कार्य करने वाली कानूनी प्रणाली उन तर्कों का निर्णय (judge) लेने की क्षमता पर भी समान रूप से निर्भर करती है—प्रतिस्पर्धी दावों को तौलना, तथ्यों पर सिद्धांत लागू करना और तर्कसंगत, निष्पक्ष निर्णय लेना। जबकि वर्तमान मूल्यांकन प्रेरक लेखन (persuasive writing) का परीक्षण करते हैं, वे अक्सर उन विशिष्ट दक्षताओं का आकलन करने में विफल रहते हैं जो मैजिस्ट्रेट-स्तरीय तर्क (magistrate-level reasoning) के लिए आवश्यक हैं, जिसमें व्यापक विश्लेषण और कानून पर आधारित आधिकारिक समाधान की आवश्यकता होती है। ऐसे बेंचमार्क का अभाव है जो एलएलएम (LLMs) का मूल्यांकन उन आधिकारिक प्रमाणन मानदंडों के विरुद्ध करते हों जिनका उपयोग मानव न्यायाधीशों के चयन के लिए किया जाता है।

कार्यप्रणाली

डेटासेट निर्माण (Magis-Bench)

लेखकों ने मैजिस-बेंच (Magis-Bench) का निर्माण किया है, जो ब्राज़ीलियाई प्रतिस्पर्धी न्यायिक परीक्षाओं (सब्स्टीट्यूट जजों) से प्राप्त एक डेटासेट है। ये परीक्षाएँ न्यायिक चयन के दूसरे चरण का प्रतिनिधित्व करती हैं, जिन्हें उम्मीदवारों की परिष्कृत लेखन कार्यों में कानूनी ज्ञान लागू करने की क्षमता का आकलन करने के लिए डिज़ाइन किया गया है।

• क्षेत्र (Scope): इस बेंचमार्क में 2023 और 2025 के बीच आयोजित आठ परीक्षाओं से 74 प्रश्न शामिल हैं (संघीय और राज्य न्यायालयों को कवर करते हुए)।
• कार्य के प्रकार:
  • विवादात्मक कानूनी विश्लेषण (Discursive Legal Analysis) (58 प्रश्न): मल्टी-टर्न प्रश्न जो कानूनी विश्लेषण के लिए तथ्यात्मक परिदृश्यों को प्रस्तुत करते हैं।
  • निर्णय प्रारूपण (Sentence Drafting) (16 प्रश्न): व्यावहारिक अभ्यास जिनमें ब्राज़ीलियाई प्रक्रियात्मक कानून के अनुसार पूर्ण नागरिक (8) और आपराधिक (8) न्यायिक निर्णयों की रचना की आवश्यकता होती है।
• मूल्यांकन मानदंड: प्रत्येक प्रश्न के साथ आधिकारिक मूल्यांकन रूब्रिक्स (evaluation rubrics) दिए गए हैं, जो अपेक्षित कानूनी अवधारणाओं, विश्लेषणात्मक चरणों और संरचनात्मक तत्वों को निर्दिष्ट करते हैं।

मूल्यांकन प्रोटोकॉल

लेखकों ने 23 अत्याधुनिक एलएलएम (LLMs) (जिसमें OpenAI, Anthropic, Google, Maritaca AI और विभिन्न ओपन-सोर्स परिवारों के प्रोप्रायटरी मॉडल शामिल हैं) का LLM-as-a-judge पद्धति का उपयोग करके मूल्यांकन किया।

• जज (Judges): चार स्वतंत्र फ्रंटियर मॉडल मूल्यांकनकर्ताओं के रूप में कार्य करते हैं: GPT-5.1, Gemini-2.5-Pro, Gemini-3-Pro-Preview, और Claude-4.5-Opus।
• स्कोरिंग प्रक्रिया: प्रत्येक प्रतिक्रिया के लिए, जज को मूल प्रश्न, आधिकारिक रूब्रिक और मॉडल द्वारा उत्पन्न आउटपुट दिया गया। जजों ने संक्षिप्त औचित्य के साथ 0 से 10 तक का स्कोर दिया।
• ब्लाइंड इवैल्यूएशन (Blind Evaluation): शैलीगत पूर्वाग्रहों को कम करने के लिए जज उम्मीदवार मॉडल की पहचान से अनभिज्ञ (blinded) रखे गए।
• निरंतरता जाँच (Consistency Checks): मजबूती सुनिश्चित करने के लिए, लेखकों ने केंडल के $W$ (समग्र सामंजस्य) और केंडल के $\tau$ (जोड़ीवार रैंक सहसंबंध) का उपयोग करके इंटर-जज सहमति को मापा। जजों के लिए टेम्परेचर (Temperature) को 0 पर सेट किया गया था ताकि पुनरुत्पादकता (reproducibility) को अधिकतम किया जा सके।

प्रमुख योगदान

1. मैजिस-बेंच डेटासेट: वास्तविक न्यायिक चयन परीक्षाओं से प्राप्त 74 मैजिस्ट्रेट-स्तरीय कानूनी कार्यों का एक बेंचमार्क, जो आधिकारिक मूल्यांकन रूब्रिक्स के साथ पूर्ण है।
2. मल्टी-जज मूल्यांकन ढांचा: चार स्वतंत्र फ्रंटियर मॉडलों को जज के रूप में उपयोग करने वाली एक पद्धति, जो उच्च इंटर-जज सहमति प्रदर्शित करती है और बड़े पैमाने पर ओपन-एंडेड कानूनी लेखन के मूल्यांकन के लिए एक मजबूत तंत्र प्रदान करती है।
3. व्यापक प्रदर्शन बेसलाइन: 23 एलएलएम का एक व्यवस्थित मूल्यांकन, जो न्यायिक लेखन कार्यों के लिए प्रदर्शन पदानुक्रम स्थापित करता है और इस डोमेन में वर्तमान एआई की सीमाओं को प्रकट करता है।

परिणाम

प्रदर्शन पदानुक्रम (Performance Hierarchy)

• शीर्ष प्रदर्शनकर्ता: गूगल के Gemini-3-Pro-Preview ने उच्चतम औसत स्कोर (6.97/10) प्राप्त किया, उसके बाद Gemini-3-Flash-Preview (6.67) और Claude-4.5-Opus (6.46) का स्थान रहा।
• कुल कठिनाई: सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडलों ने भी अधिकतम संभव स्कोर के 70% से नीचे अंक प्राप्त किए। यह इंगित करता है कि मैजिस्ट्रेट-स्तरीय कानूनी तर्क और लेखन वर्तमान एलएलएम के लिए एक महत्वपूर्ण चुनौती बनी हुई है।
• कार्य की कठिनाई: विवादात्मक प्रश्न सबसे आसान थे (औसत स्कोर 4.68), उसके बाद आपराधिक निर्णय प्रारूपण (4.39) आया, जबकि नागरिक निर्णय प्रारूपण सबसे कठिन (3.89) पाया गया।
• मॉडल टियर्स (Model Tiers): एक स्पष्ट पदानुक्रम उभरा, जिसमें फ्रंटियर मॉडल शीर्ष पांच स्थानों पर रहे, मिड-टियर मॉडल (रीजनिंग-एन्हांस्ड मॉडलों सहित) रैंक 6-14 में रहे, और छोटे ओपन-सोर्स मॉडल (मुख्य रूप से Qwen परिवार) निचले स्तर में रहे।

इंटर-जज सहमति (Inter-Judge Agreement)

• उच्च सहमति: चार जज मॉडलों ने उल्लेखनीय उच्च सहमति प्रदर्शित की, जिसका केंडल $W$ 0.984 था। जोड़ीवार सहसंबंध ($\tau$) 0.897 से 0.945 के बीच रहा, जो सभी सांख्यिकीय रूप से महत्वपूर्ण ($p < 10^{-13}$) थे।
• कैलिब्रेशन (Calibration): जब "ओरेकल" प्रतिक्रियाओं (रूब्रिक्स तक पहुंच रखने वाले मॉडल द्वारा उत्पन्न) के विरुद्ध परीक्षण किया गया, तो सभी जजों ने लगभग पूर्ण स्कोर (औसत 9.957) दिए, जो विशिष्ट उच्च-गुणवत्ता वाले आउटपुट और सामान्य मॉडल प्रतिक्रियाओं के बीच अंतर करने की उनकी क्षमता की पुष्टि करता है।
• मजबूती (Robustness): 'लीव-वन-जज-आउट' विश्लेषण ने दिखाया कि किसी भी एक जज को हटाने से समग्र रैंकिंग में महत्वपूर्ण बदलाव नहीं हुआ (कोई भी मॉडल दो से अधिक स्थान नहीं बदला)।

महत्व और दावे

यह पेपर दावा करता है कि मैजिस-बेंच वकालत (advocacy) से ध्यान हटाकर न्यायनिर्णयन तर्क (adjudicative reasoning) पर केंद्रित करके कानूनी एआई मूल्यांकन के एक महत्वपूर्ण अंतर को संबोधित करता है। लेखक इस बात पर जोर देते हैं कि जबकि एलएलएम को कानूनी अनुसंधान और निर्णय सहायता के लिए विचार किया जा रहा है, उनकी एक निष्पक्ष न्यायाधीश के रूप में कार्य करने की क्षमता अभी भी अप्रमाणित है।

अध्ययन दर्शाता है कि:

1. LLM-as-a-judge व्यवहार्य है: उच्च इंटर-जज सहमति यह सुझाव देती है कि स्वचालित मूल्यांकन मानवीय हस्तक्षेप के बिना भी कानूनी लेखन में वास्तविक गुणवत्ता अंतर को विश्वसनीय रूप से पकड़ सकता है।
2. वर्तमान मॉडल न्यायिक भूमिकाओं के लिए अपर्याप्त हैं: तथ्य यह है कि शीर्ष मॉडल 70% से नीचे स्कोर करते हैं, यह उजागर करता है कि न्यायिक-स्तरीय तर्क एक विशिष्ट और कठिन क्षमता है जिसे वर्तमान अत्याधुनिक एलएलएम ने अभी तक महारत हासिल नहीं की है।
3. मानकीकरण संभव है: आधिकारिक रूब्रिक्स का उपयोग व्यवस्थित, मानदंडों-आधारित मूल्यांकन की अनुमति देता है, जो व्यक्तिपरक प्राथमिकताओं से परे जाता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि यह बेंचमार्क मैजिस्ट्रेट-स्तरीय लेखन के अध्ययन के लिए एक कठोर तरीका प्रदान करता है, लेकिन यह वास्तविक दुनिया के न्यायनिर्णयन में एलएलएम की तत्काल तैनाती की वकालत नहीं करता है। इसके बजाय, यह कानूनी एआई क्षमताओं में प्रगति को ट्रैक करने के लिए एक नैदानिक उपकरण (diagnostic tool) के रूप में कार्य करता है।