Can LLMs Reason in a Legally Meaningful Manner? A Small-scale Study on European Court of Human Rights Cases
यह अध्ययन यूरोपीय मानवाधिकार न्यायालय के मामलों पर कानूनी रूप से सार्थक तर्क करने की एक शीर्ष-स्तरीय एलएलएम (LLM) की क्षमता का मूल्यांकन करता है, जिसमें यह पाया गया कि हालांकि मॉडल संरचनात्मक रूप से पूर्ण लेकिन सारगर्भित रूप से सतही विश्लेषण उत्पन्न करता है और स्वचालित मूल्यांकनकर्ता मानव निर्णय के साथ संरेखित होने में विफल रहते हैं, विशेषज्ञ प्रॉम्प्टिंग (expert prompting) तर्क की गहराई में सुधार करती है लेकिन भविष्यवाणी की सटीकता को नहीं बढ़ाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कानून की उच्च-दांव वाली दुनिया में, एक न्यायाधीश का निर्णय कभी भी केवल एक अनुमान नहीं होता; यह तर्क की एक सावधानीपूर्वक, चरण-दर-चरण प्रक्रिया का परिणाम होता है। एक न्यायाधीश को मामले के तथ्यों को देखना चाहिए, यह जांचना चाहिए कि क्या कानून का पालन किया गया था, यह तय करना चाहिए कि क्या सरकार के पास अपने कार्यों के लिए एक ठोस कारण था, और अंत में यह तौलना चाहिए कि क्या वे कार्य एक स्वतंत्र समाज में आवश्यक थे। यही प्रक्रिया कानूनी निर्णयों को उनका अधिकार प्रदान करती है और लोगों को यह समझने की अनुमति देती है कि एक निर्णय क्यों लिया गया। आज, बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) जैसे शक्तिशाली कंप्यूटर प्रोग्राम विशाल मात्रा में टेक्स्ट पढ़ सकते हैं और जटिल प्रश्नों के उत्तर दे सकते हैं, जिससे कई लोग सोचने लगे हैं कि क्या ये मशीनें इस प्रकार के गहन कानूनी तर्क को भी निष्पादित कर सकती हैं। प्रश्न केवल यह नहीं है कि क्या एक कंप्यूटर अदालत के मामले के परिणाम की भविष्यवाणी कर सकता है, बल्कि यह है कि क्या वह अपने सोचने के तरीके को इस तरह समझा सकता है जिसे एक मानव वकील तर्कसंगत और अर्थपूर्ण के रूप में पहचान सके।
शोधकर्ताओं की एक टीम ने इस विचार का परीक्षण करने के लिए यूरोपीय मानवाधिकार न्यायालय का उपयोग करते हुए इस विचार को परखने का निर्णय लिया, जो एक वास्तविक न्यायालय है जो इस बारे में मामले सुनता है कि क्या देशों ने अपने नागरिकों के अधिकारों का उल्लंघन किया है। उन्होंने अभिव्यक्ति की स्वतंत्रता से जुड़े मामलों के एक विशिष्ट समूह पर ध्यान केंद्रित किया, जहाँ न्यायालय को यह तय करना होता है कि क्या भाषण पर सरकार का प्रतिबंध उचित था। शोधकर्ताओं ने न्यायालय के आधिकारिक रिकॉर्ड से तीस हालिया मामले लिए और एक शीर्ष-स्तरीय कंप्यूटर मॉडल को न्यायाधीश के रूप में कार्य करने के लिए कहा। उन्होंने मॉडल को प्रत्येक मामले के तथ्य दिए और उससे एक कानूनी मूल्यांकन तैयार करने को कहा, जिसमें अंतिम निर्णय की भविष्यवाणी करने से पहले अपने तर्क को चरण-दर-चरण समझाया गया हो। यह देखने के लिए कि मॉडल ने कैसा प्रदर्शन किया, उन्होंने अपने स्पष्टीकरणों की तुलना उन वास्तविक मामलों में उपयोग किए गए वास्तविक मानव न्यायाधीशों के तर्क से की। उन्होंने मॉडल का परीक्षण विभिन्न स्थितियों में भी किया: एक बार बिना किसी विशेष निर्देश के, एक बार एक कानूनी विशेषज्ञ द्वारा लिखे गए विस्तृत मार्गदर्शिका के साथ, और एक बार उस विशिष्ट कानून के लिए आधिकारिक मार्गदर्शिका के साथ, जिसमें मॉडल को स्वयं तर्क के चरणों को समझने के लिए कहा गया था।
परिणामों ने इस बात का खुलासा किया कि कंप्यूटर क्या कर सकता है और वास्तविक कानूनी तर्क के लिए क्या आवश्यक है, इसके बीच एक महत्वपूर्ण अंतर है। मॉडल बुनियादी कानूनी तर्क की संरचना का पालन करने में आश्चर्यजनक रूप से अच्छा था। लगभग हर मामले में, इसने एक ऐसा उत्तर दिया जो एक कानूनी निर्णय की तरह दिखता था, जिसमें विश्लेषण के प्रत्येक चरण के लिए अलग-अलग पैराग्राफ थे। इसने सही ढंग से पहचाना कि भाषण पर एक प्रतिबंध लगा था, यह जांचा कि क्या इसके पीछे कोई कानून था, और विचार किया कि क्या सरकार का एक वैध लक्ष्य था। हालाँकि, जब शोधकर्ताओं ने सोचने की गुणवत्ता को करीब से देखा, तो उन्होंने पाया कि मॉडल का तर्क अक्सर सतही था। जबकि संरचना मौजूद थी, सार गायब था। मॉडल अक्सर ठोस निर्णयों के बजाय अस्पष्ट निष्कर्ष प्रस्तुत करता था, उन निष्कर्षों पर बहुत अधिक निर्भर करता था जिन्हें निचली अदालतों द्वारा उलट दिया गया था, और उन सूक्ष्म, व्यावहारिक संतुलन कार्यों को समझने में विफल रहा जो वास्तविक न्यायाधीश करते हैं। उदाहरण के लिए, एक कैदी के मेल प्राप्त करने के अधिकार से जुड़े एक मामले में, वास्तविक न्यायालय समझ गया था कि सुरक्षा जोखिमों के लिए हजारों फोटोकॉपी की समीक्षा करना कर्मचारियों पर एक अनुचित बोझ था, एक ऐसी बारीकी जिसे मॉडल पूरी तरह से समझने में विफल रहा।
शायद सबसे आश्चर्यजनक खोज यह थी कि मॉडल की तर्क करने की गुणवत्ता का इस बात से लगभग कोई लेना-देना नहीं था कि उसने सही परिणाम का अनुमान लगाया या नहीं। मॉडल ने लगभग अस्सी प्रतिशत समय सही उत्तर की भविष्यवाणी की, लेकिन यह सटीकता काफी हद तक इसलिए थी क्योंकि इसने केवल यह अनुमान लगाया कि एक उल्लंघन हुआ था, जो कि अध्ययन किए गए मामलों में सबसे आम परिणाम था। जब मॉडल ने सही उत्तर दिया, तो वह अक्सर उतना ही सतही था जितना कि गलत उत्तर देने के दौरान था। यह सुझाव देता है कि मॉडल वास्तव में कानूनी समस्याओं के माध्यम से "सोच" नहीं रहा है; यह पैटर्न को पहचान रहा है और पिछले मामलों के बहुमत के आधार पर सबसे संभावित परिणाम का अनुमान लगा रहा है। यहाँ तक कि जब शोधकर्ताओं ने मॉडल को तर्क करने के लिए एक विस्तृत, विशेषज्ञ-लिखित मार्गदर्शिका दी, तो मॉडल ने अधिक व्यापक स्पष्टीकरण दिए, लेकिन इससे इसकी भविष्यवाणियाँ अधिक सटीक नहीं हुईं।
अध्ययन ने यह भी जांचा कि कंप्यूटर-जनित कानूनी तर्कों की गुणवत्ता को कैसे मापा जाए। शोधकर्ताओं ने मानव कानून छात्रों और अन्य कंप्यूटर मॉडलों को न्यायाधीश के रूप में कार्य करने के लिए उपयोग किया। उन्होंने पाया कि हालांकि कंप्यूटर न्यायाधीश आपस में सुसंगत थे, लेकिन वे मानव विशेषज्ञों के साथ अच्छी तरह से सहमत नहीं थे। कंप्यूटर न्यायाधीश अधिक उदार होने की प्रवृत्ति रखते थे और उन गहरे दोषों को पकड़ने में विफल रहे जिन्हें मनुष्यों ने पकड़ा था। यह इंग दर्शाता है कि पहले कंप्यूटर प्रोग्राम के काम का मूल्यांकन करने के लिए दूसरे कंप्यूटर प्रोग्राम का उपयोग करना गुणवत्ता सुनिश्चित करने का एक विश्वसनीय तरीका नहीं है। मानव विशेषज्ञों ने पाया कि मॉडल का तर्क, हालांकि संरचनात्मक रूप से पूर्ण था, वास्तविक कानूनी निर्णय की गहराई और निश्चितता की कमी रखता था। मॉडल अक्सर अपनी स्थिति स्पष्ट करने से बचता था या स्पष्ट निष्कर्ष देने में विफल रहता था, जबकि एक वास्तविक न्यायाधीश को निर्णायक होना चाहिए।
अंततः, शोध यह सुझाव देता है कि हालांकि ये उन्नत कंप्यूटर मॉडल कानूनी तर्क के बाहरी स्वरूप की नकल कर सकते हैं, लेकिन उनमें अभी तक कानूनी रूप से अर्थपूर्ण तरीके से तर्क करने की क्षमता नहीं है। वे एक ऐसा टेक्स्ट बना सकते हैं जो अदालत की राय जैसा दिखता है, लेकिन इसके भीतर का तर्क अक्सर सतही और कानून की जटिल वास्तविकताओं से कटा हुआ होता है। अध्ययन चेतावनी देता है कि कानूनी निर्णयों के लिए इन मॉडलों पर भरोसा करना, या अपने स्वयं के कार्य का मूल्यांकन करने के लिए स्वचालित प्रणालियों पर विश्वास करना, खतरनाक है। एक भविष्यवाणी की सटीकता को उसके पीछे के तर्क की गुणवत्ता के रूप में नहीं देखा जाना चाहिए। जब तक ये सिस्टम पैटर्न मिलान के बजाय कानूनी सिद्धांतों की वास्तविक समझ प्रदर्शित नहीं करते, तब तक उन्हें मानव वकीलों की सहायता के लिए उपकरण के रूप में रहना चाहिए, न कि उस मानवीय निर्णय के विकल्प के रूप में जो न्याय प्रणाली के लिए आवश्यक है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।