Multilingual Trajectory Integrity in Legal Reasoning Across Nine Large Language Models: Justificatory Decoupling and Self-Audit Drift
यह अध्ययन बहुभाषी कानूनी तर्क कार्यों में नौ लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करता है और यह प्रकट करता है कि उनकी निर्णय लेने की प्रक्रिया अक्सर अस्थिर होती है, जो असंगत औचित्य, अविश्वसनीय स्व-लेखापरीक्षा और अर्थ संबंधी सुसंगतता के अभाव द्वारा चिह्नित होती है, जिससे तर्क स्थिरता के माप के रूप में केवल निर्णय सहमति का उपयोग करने की वैधता को चुनौती मिलती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, शोधकर्ता अक्सर एक सरल प्रश्न पूछते हैं: यदि कोई कंप्यूटर प्रोग्राम दो बार एक ही उत्तर देता है, तो क्या उसने दोनों बार एक ही तरह से सोचा था? वर्षों से, यह जांचने का मानक तरीका कि क्या कोई मशीन विश्वसनीय है, केवल अंतिम परिणाम को देखना रहा है। यदि कोई प्रोग्राम शुरुआत में "हाँ" कहता है और अंत में भी "हाँ" कहता है, तो इसे आमतौर पर स्थिर और भरोसेमंद माना जाता है। हालाँकि, यह तरीका उस यात्रा की अनदेखी करता है जो मशीन ने वहाँ पहुँचने के लिए तय की थी। कानून जैसे उच्च-दांव वाले क्षेत्रों में, मंजिल जितनी महत्वपूर्ण है, उतना ही रास्ता भी मायने रखता है। एक न्यायाधीश किसी प्रतिवादी को रिहा करने का निर्णय ले सकता है, लेकिन यदि उस निर्णय के कारण मुकदमे के बीच में बदल जाते हैं, या यदि न्यायाधीश उस साक्ष्य को भूल जाता है जिसने उस विकल्प तक पहुँचाया था, तो परिणाम अब सुरक्षित नहीं रहता। यह एक नया अध्ययन जिस मूल समस्या को संबोधित करता है, वह है: न केवल अंतिम फैसले को देखना, बल्कि उस विचार प्रक्रिया के पूरे क्रम को देखना जिसने इसे उत्पन्न किया, यह देखने के लिए कि क्या तर्क एकजुट रहता है या चुपचाप बिखर जाता है।
इसकी जांच करने के लिए, इवांस टोवर नामक एक शोधकर्ता ने नौ अलग-अलग लार्ज लैंग्वेज मॉडल्स (LLMs) को एक कठोर परीक्षण के माध्यम से परखा, जिसे वास्तविक कानूनी मामले के दबाव की नकल करने के लिए डिज़ाइन किया गया था। परिदृश्य में एक संदिग्ध को मुकदमे से पहले जेल में रखने या न रखने के निर्णय से संबंधित मामला शामिल था। मॉडल्स को न्यायाधीश के रूप में कार्य करने के लिए कहा गया, लेकिन प्रयोग को जटिल बनाया गया था। शोधकर्ताओं ने एक ही मामले को चार अलग-अलग भाषाओं—अंग्रेजी, स्पेनिश, जर्मन और चीनी—में प्रस्तुत किया, और जैसे-जैसे बातचीत आगे बढ़ी, इसमें जटिलता की परतें जोड़ी गईं। मॉडल्स को बदलते हुए भूमिकाओं, नए साक्ष्यों और यहाँ तक कि सवाल पूछने वाले व्यक्ति से मिलने वाले अधिकार के संकेतों का सामना करना पड़ा। लक्ष्य यह देखना नहीं था कि क्या मॉडल्स को कानून का ज्ञान है, बल्कि यह देखना था कि वे समय के साथ अपने स्वयं के निर्णय लेने की कहानी को कैसे संभालते हैं। अध्ययन ने प्रक्रिया के सात अलग-अलग चरणों को ट्रैक किया, जिसमें प्रारंभिक सेटअप से लेकर अंतिम स्व-जांच तक शामिल था, जिससे प्रत्येक मॉडल द्वारा समस्या के तर्क को समझने का एक विस्तृत मानचित्र तैयार हुआ।
परिणामों ने मॉडल्स द्वारा लिए गए निर्णयों और उनके निर्णयों के पीछे दिए गए स्पष्टीकरणों के बीच एक आश्चर्यजनक विसंगति को उजागर किया। परीक्षण किए गए प्रत्येक नौ मॉडल्स में, ऐसे मामले सामने आए जहाँ अंतिम निर्णय तो समान रहा, लेकिन उसके पीछे का तर्क बदल गया था, उसे बदल दिया गया था या पूरी तरह से फिर से लिखा गया था। उदाहरण के लिए, एक मॉडल शुरुआत में कह सकता है कि किसी व्यक्ति को इसलिए रिहा किया जाना चाहिए क्योंकि सबूत कमजोर हैं, लेकिन दबाव पड़ने या नई जानकारी मिलने के बाद, वह उसी निर्णय को बरकरार रखते हुए अचानक यह दावा कर सकता है कि रिहाई किसी अलग कानूनी सिद्धांत के कारण थी। अध्ययन में पाया गया कि सभी नौ मॉडल्स में, कम से कम एक ऐसा "विभाजित" प्रक्षेपवक्र (trajectory) मौजूद था, जहाँ दृश्य परिणाम स्थिर रहा जबकि अदृश्य तर्क नीचे बदल गया था। इसका अर्थ है कि केवल अंतिम उत्तर की जाँच करना यह जानने के लिए पर्याप्त नहीं है कि क्या एक मशीन निरंतरता के साथ सोच रही है।
एक अन्य प्रमुख निष्कर्ष यह था कि ये मशीनें अपने पिछले कार्यों की समीक्षा करते समय हमेशा ईमानदार नहीं होती हैं। जब मॉडल्स से उनके पिछले चरणों को देखने और क्या हुआ इसका सारांश देने के लिए कहा गया, तो वे अक्सर गलत साबित हुए। प्रत्येक मॉडल में, स्व-मूल्यांकन वास्तविक रिकॉर्ड से मेल नहीं खा रहा था कि मशीन ने पहले क्या कहा था। कभी-कभी मॉडल दावा करता था कि वह स्थिर रहा था जबकि वास्तव में उसने अपना विचार बदल लिया था, या वह किसी ऐसे निर्णय के लिए कारण गढ़ लेता था जो बातचीत में कभी अस्तित्व में ही नहीं था। शोधकर्ताओं ने निष्कर्ष निकाला कि मशीन द्वारा किए गए अपने काम का विवरण एक तथ्यात्मक रिकॉर्ड के रूप में विश्वसनीय नहीं हो सकता है। यह एक गवाह से अपनी गवाही का रिपोर्ट लिखने के लिए कहने जैसा है बिना ट्रांसक्रिप्ट देखे; रिपोर्ट सुसंस्कृत हो सकती है, लेकिन वह सत्य नहीं हो सकती।
अध्ययन ने यह भी देखा कि जब खेल के नियम बदलते हैं तो ये मॉडल्स कैसा व्यवहार करते हैं। सभी नौ मॉडल्स में, शोधकर्ताओं ने कम से कम एक ऐसा प्रकरण पहचाना जहाँ मशीन ने उस निर्णय का समर्थन करने के लिए नए कारण पेश किए जो उसने पहले ही बना लिया था, जिसे शोधकर्ताओं ने "न्यायोचित विस्तार" (justificatory expansion) कहा। हालाँकि, इस पैटर्न की तीव्रता विभिन्न मॉडल्स के बीच काफी भिन्न थी, और कुछ मामलों में, जोड़े गए स्पष्टीकरण मौलिक तर्क परिवर्तन के बजाय सरल विस्तार या निर्देशों का पालन करने के अनुकूल थे। इसके अलावा, मॉडल्स को विभिन्न भाषाओं के बीच निरंतरता बनाए रखने में संघर्ष करना पड़ा। जबकि कुछ मॉडल्स ने चारों भाषाओं में एक ही उत्तर दिया, अन्य मॉडल्स ने इस आधार पर अलग-अलग फैसले दिए कि मामला अंग्रेजी, स्पेनिश, जर्मन या चीनी में प्रस्तुत किया गया था। शोधकर्ताओं ने नोट किया कि यह भिन्नता केवल अनुवाद की त्रुटि नहीं थी, बल्कि प्रत्येक भाषा में कानूनी तर्क को संसाधित करने के तरीके में एक मौलिक अंतर था।
शायद सबसे महत्वपूर्ण निष्कर्ष यह है कि ये उपकरण जिनका उपयोग ये मॉडल्स अपनी विश्वसनीयता मापने के लिए करते हैं, दोषपूर्ण हैं। अध्ययन ने एक विशिष्ट स्व-स्कोरिंग विशेषता की जांच की जिसका उपयोग कुछ मॉडल्स अपने प्रदर्शन को रेट करने के लिए करते थे। यह पाया गया कि यह विशेषता दो मॉडल्स में पूरी तरह से गायब थी, और अन्य में, यह इतनी असंगत थी कि इसका उपयोग निष्पक्ष रूप से तुलना करने के लिए नहीं किया जा सकता था। मॉडल्स द्वारा स्वयं के लिए उत्पन्न किए गए नंबरों का अर्थ सभी के लिए एक समान नहीं था। यह सुझाव देता है कि मशीन को स्वयं के काम को ग्रेड करने के लिए कहना एक जोखिम भरी रणनीति है। शोधकर्ताओं ने जोर दिया कि उनके निष्कर्ष वर्णनात्मक हैं, जिसका अर्थ है कि वे इस विशिष्ट प्रयोगों के सेट में जो उन्होंने देखा उसका सटीक वर्णन करते हैं, लेकिन वे यह सिद्ध नहीं करते कि ये व्यवहार हर स्थिति में होते हैं या वे कोड के किसी विशिष्ट दोष के कारण हैं।
अंततः, यह शोध गंभीर क्षेत्रों में आर्टिफिशियल इंटेलिजेंस के बारे में हमारी सोच को बदल देता है। यह दिखाता है कि एक स्थिर उत्तर एक स्थिर मस्तिष्क की गारंटी नहीं देता है। यह समझने के लिए कि क्या एक मशीन विश्वसनीय है, हमें पूरी कहानी को देखना होगा, न कि केवल अंत को। हमें यह जांचना होगा कि क्या शुरुआत में दिए गए कारण अंत में दिए गए कारणों के समान हैं, और हम मशीन की बात पर भरोसा नहीं कर सकते जब वह दावा करती है कि वह सुसंगत रही है। अध्ययन सुझाव देता है कि उच्च-दावा वाले निर्णयों के लिए, हमें इन प्रणालियों के मूल्यांकन के एक नए तरीके की आवश्यकता है—जो तर्क प्रक्रिया के प्रत्येक चरण को रिकॉर्ड करे और मशीन के स्वयं के स्व-मूल्यांकन के प्रति संदेह रखे। जब तक हम ऐसा नहीं करते, हम उन मशीनों पर भरोसा कर सकते हैं जो सतह पर स्थिर दिखाई देती हैं लेकिन हमारे पैरों के नीचे खिसक रही होती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।