Knowing the Form, Not the Function: Automatically Auditing Answer--Authority Decoupling in Legal Benchmarks
यह शोध पत्र कानूनी बेंचमार्क के लिए एक संयुक्त मूल्यांकन ढांचे का प्रस्ताव करता है जो उत्तर की शुद्धता और वैधानिक अधिकार के आधार (statutory authority grounding) दोनों का एक साथ आकलन करता है, जिससे यह पता चलता है कि मॉडल अक्सर इन आयामों को अलग कर देते हैं और केवल उत्तर की सटीकता पर निर्भर रहना भ्रामक प्रदर्शन मेट्रिक्स की ओर ले जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हाई-टेक लाइब्रेरी में हैं जहाँ रोबोट वकील बनना सीख रहे हैं। इस दुनिया में, एक विशेष खेल है जिसे "बेंचमार्क" कहा जाता है। यह एक अंतिम परीक्षा की तरह है जहाँ एक रोबोट एक पेचीदा कानूनी सवाल पढ़ता है और सही उत्तर चुनता है। लंबे समय तक, शिक्षकों (वैज्ञानिकों) को केवल इस बात से फर्क पड़ता था कि रोबोट ने सही उत्तर दिया या नहीं। यदि रोबोट कहता, "सही विकल्प B है," तो उसे एक गोल्ड स्टार मिलता। लेकिन इसमें एक पेंच था। कभी-कभी, रोबोट "B" तो कह सकता था लेकिन उसके पीछे का कारण पूरी तरह से मनगढ़ंत या गलत हो सकता था, जैसे कि किसी ऐसे कानून का हवाला देना जो अस्तित्व में ही नहीं है या गलत नियम पुस्तिका की ओर इशारा करना।
यह शोध पत्र उस लाइब्रेरी के एक विशिष्ट कोने में उतरता है: लीगल बेंचमार्क्स (Legal Benchmarks) की दुनिया। इन बेंचमार्क्स को AI वकीलों के लिए मानकीकृत परीक्षणों (standardized tests) के रूप में समझें। मुख्य विचार जो यह शोध पत्र तलाशता है, वह है अथॉरिटी ग्राउंडिंग (Authority Grounding)। सरल भाषा में कहें तो, इसका अर्थ है यह जाँच करना कि क्या रोबोट का उत्तर वास्तव में उन वास्तविक, आधिकारिक कानूनों द्वारा समर्थित है जिनका वह उपयोग करने का दावा करता है। यह एक छात्र के गणित के टेस्ट में सही उत्तर का अनुमान लगाने और वास्तव में सही फॉर्मूला दिखाने के बीच के अंतर जैसा है। लेखक ऐसा इसलिए कर रहा है क्योंकि यदि हम केवल अंतिम उत्तर को देखते हैं, तो हमें लग सकता है कि एक रोबोट एक शानदार वकील है, जबकि वास्तव में वह केवल एक भाग्यशाली अनुमान लगाने वाला हो सकता है जो बहुत आत्मविश्वास से भरा हुआ लगता है।
शोधकर्ताओं ने चार अलग-अलग AI मॉडलों (इन्हें चार अलग-अलग रोबोट छात्रों के रूप में समझें) के साथ ताइवान बार परीक्षा के वास्तविक प्रश्नों का उपयोग करके एक खेल खेलने का निर्णय लिया। उन्होंने रोबोट्स को कानूनी पहेलियाँ सुलझाने और अपने तर्क समझाने के लिए कहा, लेकिन उन्होंने उन्हें स्पष्ट रूप से यह नहीं बताया कि, "हे, आपको विशिष्ट कानून अनुच्छेद उद्धृत करना ही होगा।" आश्चर्यजनक रूप से, रोबोट्स ने अपने आप कानूनों को उद्धृत करना शुरू कर दिया, ठीक वैसे ही जैसे एक वास्तविक वकील करता है।
यहाँ वह बड़ा आश्चर्य है जो इस शोध पत्र ने पाया: रोबोट अक्सर उत्तर तो सही देते थे लेकिन कानून गलत होता था, और कभी-कभी वे उत्तर गलत देते थे लेकिन कानून सही होता था। यह एक छात्र के समान है जो इतिहास के टेस्ट में सही उत्तर तो देता है लेकिन अपने स्रोत के रूप में गलत सदी का हवाला देता है। शोध पत्र इसे "डबल डिसोसिएशन" (double dissociation) कहता है, जो एक फैंसी तरीका है यह कहने का कि दो कौशल—सही उत्तर प्राप्त करना और सही कानून खोजना—पूरी तरह से एक-दूसरे से अलग हो सकते हैं।
परीक्षा के आपराधिक कानून (criminal law) अनुभाग में, शोध पत्र ने सटीक रूप से मापा कि यह कितनी बार हुआ। उन्होंने पाया कि 24.0% और 42.4% समय के बीच, एक रोबोट ने सही उत्तर दिया लेकिन सही कानून को पूरी तरह से मिस कर दिया। इससे भी अधिक अजीब बात यह थी कि 15.2% और 21.7% समय के बीच, एक रोबोट ने गलत उत्तर दिया लेकिन सही कानून का सही ढंग से उल्लेख किया। यह साबित करता है कि सिर्फ इसलिए कि एक रोबोट अंतिम उत्तर सही देता है, इसका मतलब यह नहीं है कि वह वास्तव में उसके पीछे के कानूनी नियमों को समझता है।
लेखक ने एक छोटा सा प्रयोग भी किया। उन्होंने रोबोट्स को कहा, "यदि आप सटीक कानून संख्या के बारे में सुनिश्चित नहीं हैं, तो आपको इसे कहना आवश्यक नहीं है।" जब उन्होंने ऐसा किया, तो रोबोट्स ने कानूनों को उद्धृत करना कम कर दिया, लेकिन उनके सही उत्तर देने की क्षमता में बहुत कम बदलाव आया। यह सुझाव देता है कि रोबोट वास्तव में उत्तर का पता लगाने के लिए कानूनों का उपयोग नहीं कर रहे थे; वे बस उत्तर का अनुमान लगाने के बाद कानूनों को सजावट के रूप में जोड़ रहे थे।
तो, निष्कर्ष क्या है? यह शोध पत्र तर्क देता है कि हमें इन AI वकीलों को ग्रेड देने का तरीका बदलना होगा। हम अब केवल अंतिम उत्तर को नहीं देख सकते। हमें "रसीदें" (receipts)—उन विशिष्ट कानूनों को भी जांचना होगा जिन्हें वे उद्धृत करते हैं। यदि हम ऐसा नहीं करते हैं, तो हम एक ऐसे रोबोट का जश्न मनाते रहेंगे जो वास्तव में कानूनी तथ्यों की कल्पना (hallucinating) कर रहा है और केवल सही उत्तर के साथ भाग्यशाली रहा है। लेखक का सुझाव है कि भविष्य के परीक्षणों को उत्तर और कानून के उद्धरण दोनों को एक साथ स्कोर करना चाहिए, क्योंकि वर्तमान में, मौजूदा प्रणाली सच्चाई का एक बड़ा हिस्सा मिस कर रही है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।