Calibrated Trust, Not Sharper Prediction: An Empirical Test of Uncertainty Fusion
यूरोपीय मानवाधिकार न्यायालय के मामलों पर यह अनुभवजन्य अध्ययन प्रदर्शित करता है कि अनिश्चितता उपकरणों (uncertainty tools) को अत्याधुनिक एलएलएम (LLMs) के साथ मिलाने से भविष्यवाणी की सटीकता में सुधार नहीं होता है और अक्सर अंशांकन (calibration) को कम कर देता है, बल्कि यह अंशांकित विश्वास (calibrated trust) और चयनात्मक भविष्यवाणी के माध्यम से उच्च-सटीक स्वचालित केस फ़िल्टरिंग को सक्षम करके परिचालन मूल्य प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कानून की उच्च-दांव वाली दुनिया में, जहाँ एक गलत अनुमानित क्लॉज (clause) किसी क्लाइंट की स्वतंत्रता या उनकी संपत्ति को छीन सकता है, आर्टिफिशियल इंटेलिजेंस का वादा लुभावना है। उम्मीद यह है कि मशीनें कानूनी इतिहास के हजारों पन्नों को पढ़ सकती हैं और पूर्ण सटीकता के साथ एक नए मामले के परिणाम की भविष्यवाणी कर सकती हैं, जिससे मानव वकीलों को समीक्षा की उबाऊ प्रक्रिया से मुक्ति मिल सके। इसे हासिल करने के लिए, शोधकर्ताओं ने लंबे समय से ऐसे जटिल सिस्टम बनाने की कोशिश की है जो विभिन्न गणितीय उपकरणों को मिलाते हैं, इस उम्मीद में कि उन्हें आपस में जोड़ने से एक अति-बुद्धिमान भविष्यवक्ता (predictor) बनेगा। इन उपकरणों में वे तरीके शामिल हैं जो नए साक्ष्य आने पर विश्वासों को अपडेट करते हैं, वे तकनीकें जो अनिश्चित जानकारी का वजन करती हैं, और वे सांख्यिकीय सुरक्षा कवच जो यह सुनिश्चित करते हैं कि सिस्टम को पता हो कि वह कब केवल अनुमान लगा रहा है। प्रचलित सिद्धांत यह रहा है कि इन उपकरणों को एक साथ जोड़ने से मशीन की दृष्टि तेज होगी, जिससे वह किसी भी एकल मॉडल की तुलना में एक बेहतर निर्णायक बन सकेगी।
एक नया अध्ययन यूरोपीय मानवाधिकार न्यायालय के वास्तविक कानूनी मामलों पर इन विचारों का परीक्षण करके इस पूरी धारणा को चुनौती देता है। शोधकर्ताओं ने एक हजार वास्तविक अदालती निर्णयों को लिया और एक सरल, सीधा प्रश्न पूछा: क्या यह जटिल, बहु-उपकरण पाइपलाइन वास्तव में एक एकल, शक्तिशाली आर्टिफिशियल इंटेलिजेंस से मामला पढ़ने के लिए कहने की तुलना में परिणामों की बेहतर भविष्यवाणी करती है? उन्होंने एक कच्चे, बिना संशोधित एआई (AI) की तुलना उसी एआई के उस संस्करण से की जिसे जटिल फ्यूजन पाइपलाइन के माध्यम से चलने के लिए मजबूर किया गया था, और एक बहुत ही सरल, गैर-एआई सिस्टम का भी परीक्षण किया जो केवल कुछ शब्दों के बार-बार आने की गिनती करता था। परिणाम आश्चर्यजनक और स्पष्ट थे। जटिल पाइपलाइन ने एआई को यह बताने में बेहतर नहीं बनाया कि कौन जीतेगा या हारेगा। वास्तव में, कच्चा एआई, जिसे अपने हाल पर छोड़ दिया गया था, सबसे सटीक भविष्यवक्ता था। विभिन्न गणितीय उपकरणों को मिलाने वाली विस्तृत मशीनरी ने भविष्यवाणी को तेज नहीं किया; इसने केवल शोर (noise) पैदा किया।
अध्ययन ने आगे जाकर यह जांचा कि जब एआई को इन जटिल उपकरणों का उपयोग करने के लिए मजबूर किया गया तो क्या हुआ। शोधकर्ताओं ने पाया कि फ्यूजन प्रक्रिया ने सिस्टम को वास्तव में कम भरोसेमंद बना दिया। जब एआई के प्रारंभिक निर्णयों को जटिल गणितीय फिल्टरों से गुजारा गया, तो सिस्टम खतरनाक रूप से अति-आत्मविश्वासी हो गया। इसने अपने निष्कर्षों को पूर्ण निश्चितता के साथ प्रस्तुत करना शुरू कर दिया, भले ही वह गलत था, जिससे मिसकैलिब्रेशन (miscalibration) की दर प्रभावी रूप से दोगुनी हो गई। पाइपलाइन में एक विशिष्ट उपकरण, जिसे विभिन्न साक्ष्यों को जोड़कर अनिश्चितता को संभालने के लिए डिज़ाइन किया गया था, सक्रिय रूप से हानिकारक साबित हुआ। कानूनी तथ्यों की लंबी श्रृंखलाओं का सामना करने पर, यह उपकरण आत्मविश्वास के साथ गलत उत्तर पर टिक जाता था, और एक रैंडम अनुमान (random guess) से भी खराब प्रदर्शन करता था। शोधकर्ताओं ने निष्कर्ष निकाला कि इस विशिष्ट घटक को किसी भी कानूनी प्रणाली से पूरी तरह से हटा दिया जाना चाहिए, क्योंकि यह सुरक्षा की झूठी भावना पैदा करता है।
हालाँकि, कहानी विफलता पर समाप्त नहीं होती है। जबकि पाइपलाइन भविष्यवाणी की कच्ची सटीकता में सुधार करने में विफल रही, शोधकर्ताओं ने इसका उपयोग करने का एक अलग, अधिक मूल्यवान तरीका खोजा। हानिकारक घटकों को हटाकर और सिस्टम को पुनर्गठित (recalibrate) करके, उन्होंने इसे 'ट्राइएज' (triage) के लिए एक शक्तिशाली उपकरण में बदल दिया। हर मामले का निर्णय लेने के लिए मशीन को मजबूर करने के बजाय, ट्यून किया गया सिस्टम यह तय करने में उत्कृष्ट बन गया कि उसे कौन से मामले संभालने चाहिए और किन्हें मानव वकील के पास भेजना चाहिए। सिस्टम ने उन आसान मामलों की पहचान करना सीख लिया जिन्हें वह लगभग पूर्ण सटीकता के साथ हल कर सकता था और कठिन, अनिश्चित मामलों को मानवीय समीक्षा के लिए चिह्नित करने में सक्षम रहा। अपने अंतिम परीक्षणों में, इस ट्यून किए गए इंजन ने 96.8 प्रतिशत की सटीकता के साथ मामलों को स्वतः ही निपटा दिया। इससे भी महत्वपूर्ण बात यह है कि इसने उन गलतियों के 96.3 प्रतिशत को पकड़ा जो अन्यथा अनसुनी रह जातीं, और उन्हें सुधार के लिए मानव के पास भेज दिया, जबकि केवल 0.5 प्रतिशत त्रुटियों को ही बिना समीक्षा के जाने दिया।
इस कार्य का वास्तविक योगदान एक ऐसा मशीन बनाना नहीं है जो भविष्य की बेहतर भविष्यवाणी करे, बल्कि एक ऐसी मशीन बनाना है जो अपनी सीमाओं को जानती हो। यह अध्ययन दर्शाता है कि कानूनी कार्यों में, लक्ष्य एक ऐसा सिस्टम बनाना नहीं होना चाहिए जो हमेशा सही हो, बल्कि एक ऐसा सिस्टम जो यह जानता हो कि वह कब सही है और कब नहीं। एक सांख्यिकिक सुरक्षा जाल का उपयोग करके जो सटीकता का एक विशिष्ट स्तर की गारंटी देता है, सिस्टम नियमित काम को विश्वसनीयता के दस्तावेजी आधार के साथ स्वचालित कर सकता है, जिससे जटिल और जोखिम भरे निर्णय मानव विशेषज्ञों के लिए छोड़ दिए जाते हैं। यह दृष्टिकोण आर्टिफिशियल इंटेलिजेंस को एक ऐसे 'ब्लैक बॉक्स' से बदल देता है जो गलत फैसला सुना सकता है, एक पारदर्शी उपकरण में, जो स्पष्ट रूप से संकेत देता है कि कब मानव हस्तक्षेप की आवश्यकता है। शोधकर्ता तर्क देते हैं कि यह "कैलिब्रेटेड ट्रस्ट" (calibrated trust)—एक प्रणाली की यह सिद्ध करने की क्षमता कि उसके आत्मविश्वासी निर्णय सही हैं—एक थोड़े अधिक सटीक लेकिन unverifiable (अपुष्ट) भविष्यवाणी की तुलना में कानूनी पेशे के लिए कहीं अधिक मूल्यवान है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।