Persuadability and LLMs as Legal Decision Tools
यह शोध पत्र विभिन्न गुणवत्ता वाले कानूनी अधिवक्ताओं द्वारा किए जाने वाले अनुनय के प्रति फ्रंटियर लार्ज लैंग्वेज मॉडल्स (LLMs) की संवेदनशीलता की जांच करता है, जिसमें इस बात के प्रयोगात्मक परिणाम प्रस्तुत किए गए हैं कि तर्क प्रस्तुतिकरण मॉडल के निर्णयों को कैसे प्रभावित करता है और कानूनी निर्णय लेने वाले के रूप में LLMs को तैनात करने के निहितार्थों का आकलन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक अदालत की कल्पना करें, लेकिन वहां मानव वकीलों और मानव न्यायाधीश के बजाय, सभी अत्यधिक उन्नत कंप्यूटर प्रोग्राम हैं। यह शोध पत्र एक बहुत ही विशिष्ट प्रश्न पूछता है: कंप्यूटर "न्यायाधीशों" को उनके मामले की दलील देने वाले कंप्यूटर "वकीलों" द्वारा कितनी आसानी से प्रभावित किया जा सकता है?
वास्तविक दुनिया में, एक अच्छे न्यायाधीश को एक नाजुक संतुलन की आवश्यकता होती है। उन्हें नए तर्कों को सुनने के लिए खुला होना चाहिए (ताकि वे सत्य को अनदेखा न करें), लेकिन उन्हें इतना आसानी से भी नहीं बहक जाना चाहिए कि वे केवल उस पक्ष को चुन लें जिसका वक्ता सबसे अधिक आकर्षक या आत्मविश्वासी हो। उन्हें मामले के गुणों (merits) के आधार पर निर्णय लेना चाहिए, न कि वकील की शैली के आधार पर।
इस शोध पत्र के लेखकों ने यह देखना चाहा कि क्या AI न्यायाधीशों में यह संतुलन है, या क्या वे एक "स्मूथ टॉकर" (चतुर वक्ता) AI से आसानी से बहक जाते हैं।
प्रयोग: एक डिजिटल वाद-विवाद क्लब
इसका परीक्षण करने के लिए, शोधकर्ताओं ने एक विशाल डिजिटल वाद-विवाद प्रतियोगिता आयोजित की।
- परिदृश्य (Scenarios): उन्होंने अमेरिका, यूके और आयरलैंड के 15 वास्तविक, कठिन कानूनी मामलों को चुना जहाँ मानव विशेषज्ञों के बीच भी उत्तर पर सहमति नहीं थी (इन्हें 'स्प्लिट डिसीजन' कहा जाता है)।
- वकील (अधिवक्ता): उन्होंने वकीलों के रूप में चार अलग-अलग शक्तिशाली AI मॉडलों का उपयोग किया। कुछ "मजबूत" वकील थे (बहुत बुद्धिमान, तर्क देने में कुशल) और कुछ "कमजोर" वकील थे।
- न्यायाधीश: उन्होंने न्यायाधीश के रूप में कार्य करने के लिए 20 अलग-अलग AI मॉडलों का परीक्षण किया।
- सेटअप: प्रत्येक दौर में, दो AI वकील (प्रत्येक पक्ष के लिए एक) एक AI न्यायाधीश के सामने अपना मामला रखते थे। शोधकर्ताओं ने यह देखा: क्या न्यायाधीश ने "मजबूत" वकील का पक्ष लिया, या उन्होंने "कमजोर" वकील का पक्ष लिया?
यदि न्यायाधीश पूरी तरह से निष्पक्ष होता और केवल तथ्यों को देखता, तो इससे कोई फर्क नहीं पड़ता कि कौन सा वकील तर्क दे रहा था; न्यायाधीश को बिना किसी भेदभाव के सही पक्ष 50% बार चुनना चाहिए था।
मुख्य निष्कर्ष
1. AI न्यायाधीश "प्रभावित होने योग्य" हैं
परिणामों से पता चला कि AI न्यायाधीश निश्चित रूप से इस बात से प्रभावित होते हैं कि कौन तर्क दे रहा है। जब एक "मजबूत" AI वकील एक "कमजोर" के विरुद्ध तर्क देता था, तो न्यायाधीश के मजबूत वाले के पक्ष में होने की संभावना बहुत अधिक थी।
- रूपक (Metaphor): कल्पना कीजिए कि एक न्यायाधीश जो तथ्यों को सुनने के बजाय, बस उस टीम को चुन लेता है जिसने अधिक चमकदार वर्दी पहनी है। अध्ययन में पाया गया कि "चमकदार" (अधिक सक्षम) AI वकील 58% से 90% के बीच जीते, जो इस पर निर्भर करता था कि कौन सा न्यायाधीश सुन रहा था। इसका अर्थ है कि AI न्यायाधीश वक्ता की "शैली" या "गुणवत्ता" से अछूते नहीं हैं; वे आसानी से बहक जाते हैं।
2. बड़ा होना हमेशा बेहतर नहीं होता (लेकिन अक्सर होता है)
शोधकर्ताओं ने सोचा कि क्या बड़े, अधिक जटिल AI मॉडल छोटे, सरल मॉडलों की तुलना में बहकने से अधिक सुरक्षित होंगे।
- रूपक: एक छोटे, सरल AI को एक बच्चे के रूप में सोचें जो एक तेज़ या आत्मविश्वासी आवाज़ से भ्रमित हो सकता है। एक बड़ा, जटिल AI एक बुद्धिमान बुजुर्ग की तरह है जो अपने विचारों पर स्वतंत्र रूप से सोच सकता है।
- परिणाम: आम तौर पर, बड़े मॉडल छोटे मॉडलों की तुलना में बहकने से अधिक सुरक्षित थे। हालाँकि, वे "बुद्धिमान बुजुर्ग" (सबसे बड़े मॉडल) भी काफी हद तक प्रभावित हुए। वे अछूते नहीं थे; उनमें बस थोड़ा बेहतर फिल्टर था।
3. क्या AI न्यायाधीशों ने कानून को सुना या केवल शब्दों को?
शोधकर्ता जानना चाहते थे कि क्या न्यायाधीश इसलिए आश्वस्त हुआ क्योंकि वकील ने एक शानदार नया कानूनी बिंदु खोजा था (विषय-वस्तु/content), या केवल इसलिए क्योंकि वकील बहुत सुचारू रूप से बोला (रूप/form)?
- परीक्षण: उन्होंने प्रयोग को दो बार चलाया। एक बार, उन्होंने AI वकीलों को मामले के वास्तविक तर्कों का पूरा विवरण दिया। दूसरी बार, उन्होंने उन्हें केवल तथ्य दिए और उन्हें अपने स्वयं के तर्क बनाने के लिए कहा।
- परिणाम: जब वकीलों को मामले के "वास्तविक" तर्कों का उपयोग करने की अनुमति दी गई, तो न्यायाधीश विषय-वस्तु से थोड़ा अधिक प्रभावित हुए। यह सुझाव देता है कि AI न्यायाधीश वास्तव में वास्तविक कानूनी सार को देख रहे हैं, न कि केवल फैंसी शब्दों को, हालांकि यह प्रभाव छोटा था।
4. "ज्ञान अंतराल" (Knowledge Gap) परीक्षण
शोधकर्ताओं ने यह भी देखा कि AI न्यायाधीश अमेरिकी कानूनों (जिन्हें AI अच्छी तरह जानता है) की तुलना में आयरिश कानूनों (जिनके बारे में वे कम जानते हैं) पर अधिक आसानी से प्रभावित होते हैं।
- रूपक: यदि आप किसी स्थानीय विशेषज्ञ से प्रश्न पूछते हैं, तो वे एक खराब तर्क को तुरंत पहचान सकते हैं। यदि आप उनसे किसी विदेशी देश के बारे में पूछते जिसे वे नहीं जानते, तो वे एक चतुर वक्ता की बातों में आ सकते हैं।
- परिणाम: AI न्यायाधीश उस विषय पर अधिक आसानी से प्रभावित हुए जिसे वे अच्छी तरह जानते थे (अमेरिकी कानून)। यह संकेत देता है कि जब वे विषय को जानते हैं, तो वे वास्तव में कानूनी तर्कों की गुणवत्ता का मूल्यांकन कर रहे होते हैं, न कि केवल वक्ता के आत्मविश्वास का।
निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि AI न्यायाधीश वर्तमान में बहुत आसानी से प्रभावित होने योग्य हैं।
हालाँकि वे केवल रैंडम नंबर जनरेटर नहीं हैं, लेकिन वे उस AI वकील से काफी प्रभावित होते हैं जो मामला पेश कर रहा है।
- छोटे AI मॉडलों के लिए: वे एक अच्छे तर्क और एक बुरे तर्क के बीच अंतर करने में संघर्ष करते दिखते हैं, इसलिए वे बस प्रवाह के साथ चलते हैं।
- बड़े AI मॉडलों के लिए: वे अपने विचारों पर स्वतंत्र रूप से सोचने में बेहतर हैं, लेकिन फिर भी वे "सर्वश्रेष्ठ" वकील को उन्हें कोने में धकेलने (बहकाने) की अनुमति देते हैं।
लेखक चेतावनी देते हैं कि यदि हम AI को न्यायाधीश या कानूनी सहायक के रूप में उपयोग करना चाहते हैं, तो हमें बहुत सावधान रहना होगा। हमें यह सटीक रूप से जानना होगा कि ये मशीनें कितनी आसानी से राजी हो सकती हैं, क्योंकि अभी, वे अपने सामने खड़े AI वकील के "तर्क-वितर्क" (rhetoric) के प्रति काफी संवेदनशील हैं। उन्होंने अभी तक मानव आदर्श में महारत हासिल नहीं की है कि "अनुनय के लिए खुला रहें, लेकिन अत्यधिक नहीं।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।