Legal Experts Disagree With Rationale Extraction Techniques for Explaining ECtHR Case Outcome Classification
यह शोध पत्र एक नया ECtHR डेटासेट और कानूनी परिणाम पूर्वानुमान के लिए तर्क निष्कर्षण (rationale extraction) तकनीकों का मूल्यांकन करने हेतु एक तुलनात्मक ढांचा प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि वर्तमान विधियाँ उच्च निष्ठा (faithfulness) मेट्रिक्स प्राप्त करती हैं, कानूनी विशेषज्ञ निकाले गए तर्कों को अदालती निर्णयों के लिए वैध स्पष्टीकरण के रूप में मानने में मौलिक रूप से असहमत हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट वकील है। आप उसे हजारों पन्नों के अदालती फैसले खिलाते हैं, और वह अनुमान लगाने में बहुत माहिर हो जाता है: "क्या मानवाधिकार न्यायालय ने इस मामले में उल्लंघन पाया?" हाँ या नहीं?
रोबोट सटीक है। लेकिन समस्या यह है: वह यह नहीं बताएगा कि क्यों। वह सिर्फ एक "हाँ" या "नहीं" देता है बिना किसी स्पष्ट स्पष्टीकरण के। कानून की वास्तविक दुनिया में, आप केवल एक अनुमान पर भरोसा नहीं कर सकते; आपको तर्क जानने की आवश्यकता होती है।
इसलिए, शोधकर्ताओं ने इस रोबोट के लिए एक "अनुवादक" बनाने की कोशिश की। उन्होंने रोबोट के मस्तिष्क को स्कैन करने और उन विशिष्ट वाक्यों को बाहर निकालने के लिए उपकरण बनाए जिनका उपयोग उसने अपने निर्णय तक पहुँचने के लिए किया था। इन वाक्यों को तर्क (rationales) कहा जाता है। इन्हें ऐसे समझें जैसे रोबोट अपने तर्क को सिद्ध करने के लिए कहानी के सबसे महत्वपूर्ण हिस्सों को हाईलाइट (highlight) कर रहा हो।
यह शोध पत्र मूल रूप से एक गुणवत्ता नियंत्रण जांच (quality control check) है कि क्या ये "हाईलाइटिंग टूल्स" वास्तव में कितने अच्छे हैं।
प्रयोग: रोबोट बनाम मानव न्यायाधीश
शोधकर्ताओं ने एक परीक्षण सेट किया जिसमें दो मुख्य समूह थे:
- रोबोट के "कारण": उन्होंने रोबोट के निर्णय से हाइलाइट किए गए वाक्यों (तर्कों) को निकालने के लिए दो अलग-अलग AI तकनीकों का उपयोग किया।
- मानव विशेषज्ञ: उन्होंने वास्तविक मानव कानूनी विशेषज्ञों (ऐसे वकील जो कानून को अंदर और बाहर से जानते हैं) को काम पर रखा ताकि वे उन हाइलाइट किए गए वाक्यों को देख सकें और तय कर सकें: "क्या यह वास्तव में समझाता है कि अदालत ने उल्लंघन क्यों पाया?"
उन्होंने एक तीसरा समूह भी आजमाया: AI न्यायाधीश। उन्होंने अन्य लार्ज लैंग्वेज मॉडल्स (जैसे जो चैटबॉट्स को संचालित करते हैं) से न्यायाधीश के रूप में कार्य करने और हाइलाइट किए गए वाक्यों की गुणवत्ता को ग्रेड करने के लिए कहा, इस उम्मीद में कि इससे वकीलों को काम पर रखने का खर्च बच सके।
बड़ा आश्चर्य: रोबोट "झूठ" बोल रहा है (एक तरह से)
यहाँ मामला दिलचस्प हो जाता है।
आंकड़े शानदार दिखते हैं (द "फिथफुलनेस" ट्रैप/विश्वासनीयता का जाल):
जब शोधकर्ताओं ने गणित को देखा, तो रोबोट के हाइलाइटिंग टूल्स एकदम सही लग रहे थे। टूल्स ने दावा किया, "देखो! यदि हम केवल ये हाइलाइट किए गए वाक्य दिखाएं, तो रोबोट अभी भी सही उत्तर दे सकता है!"
- उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। शिक्षक पूछता है, "क्या आप इस गणित के सवाल को हल कर सकते हैं यदि मैं आपको केवल संख्याएँ 2 और 2 दिखाऊं?" छात्र कहता है, "हाँ!" शिक्षक गणित की जाँच करता है, और निश्चित रूप से, । छात्र तर्क को समझता हुआ प्रतीत होता है।
मानव वास्तविकता की जाँच:
लेकिन फिर, मानव वकीलों ने हाइलाइट किए गए वाक्यों को देखा। वे स्तब्ध रह गए।
- समस्या: रोबोट कानूनी तर्क को हाइलाइट नहीं कर रहा था। वह यादृच्छिक अंशों (random fragments) को हाइलाइट कर रहा था।
- रूपक: कल्पना कीजिए कि एक जासूस हत्या की गुत्थी सुलझाने की कोशिश कर रहा है। मानव जासूस हाइलाइट करता है: "बटलर, मोमबत्ती, लाइब्रेरी, रात 9 बजे।" यह समझ में आता है।
हालाँकि, रोबोट हाइलाइट करता है: "...बटलर . द . मोमबत्ती . 9 . ऑन . द . लाइब्रेरी . 24।"
यह ऐसा है जैसे रोबोट टूटे हुए जिक्सॉ पहेली के टुकड़ों को उगल रहा हो। उसने सही शब्दों (बटलर, लाइब्रेरी) को तो चुन लिया लेकिन उन क्रियाओं (verbs) और संबंधों को छोड़ दिया जो एक वाक्य को अर्थपूर्ण बनाते हैं। यह "टूटे हुए टुकड़ों" का एक संग्रह है।
फैसला:
मानव विशेषज्ञों ने कहा, "नहीं, यह कुछ भी स्पष्ट नहीं करता है।" भले ही रोबोट उन टूटे हुए टुकड़ों का उपयोग करके सही उत्तर का अनुमान लगा सकता था, लेकिन वे टुकड़े मनुष्यों के लिए निरर्थक थे। रोबोट के "कारण" मानव वकील की सोच से पूरी तरह अलग थे।
"AI जज" का प्रयास
शोधकर्ताओं ने यह भी पूछा, "क्या हम मानव वकीलों को काम पर रखने के बजाय इन स्पष्टीकरणों को ग्रेड करने के लिए दूसरे AI का उपयोग कर सकते हैं?"
- परिणाम: AI जज स्पष्ट रूप से बेतुकी चीजों (जैसे टूटे हुए टुकड़े) को पकड़ने में ठीक थे, लेकिन वे विश्वसनीय नहीं थे। वे आपस में असहमत थे और कभी-कभी मानव विशेषज्ञों से भी असहमत थे।
- सबक: जब बात कानूनी तर्क की गुणवत्ता को आंकने की आती है, तो आप एक चैटबॉट को पूरी तरह से मानव वकील से बदलने के लिए अभी तैयार नहीं हैं। AI "भ्रम" (hallucinations - चीजें बनाना) पैदा करने या उस सूक्ष्म संदर्भ को मिस करने के प्रति बहुत संवेदनशील है जिसे एक मानव पकड़ लेता है।
यह क्यों मायने रखता है
यह शोध पत्र कानूनी तकनीक की दुनिया के लिए एक चेतावनी है।
- "ब्लैक बॉक्स" पर अभी भरोसा न करें: केवल इसलिए कि एक AI मॉडल परिणामों की भविष्यवाणी करने में अच्छा है, इसका मतलब यह नहीं है कि वह कानून को समझता है। यह उन पैटर्न को खोज सकता है जिन्हें हम नहीं देख पा रहे हैं, लेकिन इसके "स्पष्टीकरण" अक्सर कचरा होते हैं।
- मीट्रिक्स भ्रामक हो सकते हैं: आपके पास एक गणितीय स्कोर हो सकता है जो कहता है कि एक टूल "99% सटीक" है, लेकिन यदि कोई मानव उस स्पष्टीकरण को पढ़ नहीं सकता, तो वह टूल अदालत में बेकार है।
- मानवीय निरीक्षण अनिवार्य है: कानून जैसे उच्च-दांव वाले क्षेत्रों में, आप "क्यों" को स्वचालित नहीं कर सकते। आपको यह सत्यापित करने के लिए मानव विशेषज्ञों की आवश्यकता है कि मशीन का तर्क वास्तव में सही है या नहीं।
संक्षेप में: रोबोट एक बेहतरीन अनुमान लगाने वाला है, लेकिन एक बहुत बुरा स्पष्ट करने वाला है। जब तक हम "स्पष्टीकरण" वाले हिस्से को ठीक नहीं कर लेते, हम इन रोबोटों पर कानूनी निर्णय लेने के लिए पूरी तरह भरोसा नहीं कर सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।