Who Checks the Citations? Benchmarking Legal Hallucination Detection
यह शोध पत्र एक नई वर्गीकरण पद्धति (taxonomy) और डेटासेट पेश करते हुए एआई-जनित कानूनी उद्धरण भ्रम (hallucinations) की बढ़ती समस्या को संबोधित करता है, यह प्रदर्शित करते हुए कि जहाँ उन्नत एजेंटिक मॉडल कई त्रुटियों का पता लगा सकते हैं, वहीं वे सूक्ष्म अशुद्धियों के साथ संघर्ष करते हैं और महत्वपूर्ण संसाधन एवं पहुंच संबंधी बाधाओं का सामना करते हैं जिनके लिए नीतिगत हस्तक्षेप आवश्यक है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि कानूनी प्रणाली एक विशाल, उच्च-दांव वाली लाइब्रेरी (पुस्तकालय) की तरह है जहाँ आपका हर तर्क एक विशिष्ट पुस्तक द्वारा समर्थित होना चाहिए। यदि आप दावा करते हैं कि एक पुस्तक मौजूद है लेकिन वह नहीं है, या यदि आप एक ऐसी पुस्तक से वाक्य उद्धृत करते हैं जो वास्तव में उस खंड में नहीं है, तो आप "भ्रमित" (hallucinating) हो रहे हैं।
यह शोध पत्र, जिसका शीर्षक "Who Checks the Citations?" (उद्धरणों की जाँच कौन करता?) है, एक बढ़ती हुई समस्या की जांच करता है: वकील और आम लोग कानूनी दस्तावेज़ लिखने के लिए AI का उपयोग करते समय अनजाने में (या कभी-कभी अनजाने में) फर्जी अदालती मामले और फर्जी उद्धरण बना रहे हैं। शोधकर्ता जानना चाहते थे: क्या AI वह लाइब्रेरियन बन सकता है जो इन फर्जी किताबों को अदालत में पहुँचने से पहले ही पकड़ ले?
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "फर्जी किताब" की महामारी
अतीत में, यदि कोई फर्जी अदालती मामला बनाता था, तो यह जेब में एक नकली सिक्के के मिलने जैसा था। यह दुर्लभ था। लेकिन अब, AI कानूनी ब्रीफ लिख रहा है, तो यह ऐसा है जैसे कोई नकली नोट छाप रहा हो और बाजार में भर दे।
- रुझान: शोधकर्ताओं ने फर्जी उद्धरणों वाले 1,000 से अधिक वास्तविक अदालती दस्तावेजों को पाया।
- आश्चर्य: सभी को उम्मीद थी कि जैसे-जैसे AI "स्मार्टर" होगा (जैसे एक बुनियादी कैलकुलेटर से सुपरकंप्यूटर में अपग्रेड होना), यह इन गलतियों को करना बंद कर देगा। अध्ययन ने इसके विपरीत पाया। नए, "स्मार्टर" AI मॉडल वास्तव में अधिक फर्जी उद्धरण बना रहे हैं, और वे उन्हें अधिक जटिल तरीकों से बना रहे हैं।
- जेवन्स विरोधाभास (Jevons Paradox): लेखक इसकी तुलना एक प्रसिद्ध आर्थिक विचार से करते हैं: जब कोई मशीन किसी कार्य को सस्ता और तेज़ बनाती है, तो हम अंततः उसे अधिक करते हैं। क्योंकि AI कानूनी तर्क लिखना तेज़ बनाता है, लोग अधिक दस्तावेज़ दायर कर रहे हैं, और प्रत्येक दस्तावेज़ में अधिक उद्धरण हैं। भले ही AI झूठ बोलने में थोड़ा बेहतर हो जाए, फर्जी उद्धरणों की मात्रा इतनी तेज़ी से बढ़ रही है कि न्यायाधीश और वकील उनकी जाँच करने में काम के बोझ तले डूब रहे हैं।
2. समाधान का प्रयास: एक "हैलुसिनेशन डिटेक्टर" बनाना
चूंकि इंसान हर एक उद्धरण की जाँच करने के लिए बहुत व्यस्त हैं, इसलिए शोधकर्ताओं ने पूछा: क्या हम जाँच करने के लिए एक AI एजेंट बना सकते हैं?
इसे परखने के लिए, उन्होंने एक नया प्रशिक्षण मैदान बनाया जिसे LEPHANTOMCITE कहा गया।
- उपमा: कल्पना कीजिए कि एक शिक्षक वास्तविक छात्र निबंधों को ले रहा है और गुप्त रूप से उनके संदर्भों को बदलकर उन्हें फर्जी बना रहा है। उन्होंने ऐसे 1,300 "धोखा देने वाले" निबंध बनाए जिनमें विभिन्न प्रकार के झूठ शामिल थे:
- द घोस्ट बुक (The Ghost Book): एक ऐसा मामला उद्धृत करना जो अस्तित्व में ही नहीं है।
- द मिक्स-अप (The Mix-Up): एक वास्तविक पुस्तक उद्धृत करना लेकिन दावा करना कि वह कुछ ऐसा कहती है जो वह नहीं कहती (जैसे यह कहना कि हैरी पॉटर एक ड्रैगन के बारे में है)।
- द wrong पेज (The Wrong Page): एक वास्तविक पुस्तक उद्धृत करना लेकिन गलत पेज नंबर बताना।
- द फेक कोट (The Fake Quote): एक ऐसा वाक्य उद्धृत करना जो वास्तविक दिखता है लेकिन उसमें कुछ शब्द बदले हुए हैं।
- द wrong मीनिंग (The Wrong Meaning): एक वास्तविक मामला उद्धृत करना लेकिन दावा करना कि वह उस कानूनी बिंदु का समर्थन करता है जिसका वह वास्तव में विरोध करता है।
3. परीक्षण: क्या AI झूठ बोलने वालों को पकड़ सकता है?
शोधकर्ताओं ने पाँच अलग-अलग AI मॉडल (नवीनतम "GPT-5" सहित) को एक कठोर परीक्षण से गुजारा। उन्होंने AI को ये "धोखा देने वाले" निबंध दिए और AI से इन फर्जी उद्धरणों को खोजने के लिए कहा। उन्होंने AI को दो मोड दिए:
- सोलो मोड (Solo Mode): बस टेक्स्ट पढ़ें और अनुमान लगाएं।
- एजेंट मोड (Agent Mode): AI एक जासूस की तरह काम करता है। यह कानूनी डेटाबेस को "खोज" सकता है, वास्तविक मामलों को पढ़ सकता है, और यह सत्यापित करने के लिए कई कदम उठा सकता है कि उद्धरण वास्तविक है या नहीं।
परिणाम:
- जासूस की जीत: "एजेंट मोड" बहुत बेहतर था। सबसे अच्छा AI (GPT-5) ने एक जासूस के रूप में कार्य करते समय लगभग 83% फर्जी उद्धरण पकड़े, जबकि केवल अनुमान लगाते समय यह 63% था।
- कमजोर कड़ियाँ: यहाँ तक कि सबसे अच्छा AI भी विशिष्ट प्रकार के झूठ के मामले में संघर्ष कर रहा था:
- पेज नंबर: यह जाँचने में बहुत खराब था कि कोई उद्धरण सही पेज पर है या नहीं। क्यों? क्योंकि "सार्वजनिक पुस्तकालय" (मुफ्त कानूनी डेटाबेस) में अक्सर वे आधिकारिक पेज नंबर नहीं होते हैं जो सशुल्क (paid) पुस्तकालयों में होते हैं। यह एक ऐसी किताब में विशिष्ट पैराग्राफ खोजने जैसा है जिसमें पृष्ठ संख्या नहीं छपी है।
- सूक्ष्म झूठ: यदि AI ने किसी मामले के अर्थ को थोड़ा बदल दिया, तो डिटेक्टर अक्सर इसे पकड़ नहीं पाता था।
- लागत: जासूस बनना कठिन काम है। एक छोटे से पैराग्राफ को सत्यापित करने के लिए AI को औसतन 17 चरणों (खोज और जाँच) की आवश्यकता होती है। यह धीमा और महंगा है।
4. सबसे बड़ी बाधा: "पेवॉल" (Paywall) की समस्या
अध्ययन में पाया गया कि AI (और मनुष्यों) के लिए इन झूठों को पकड़ने में विफल होने का सबसे बड़ा कारण यह नहीं है कि AI "मूर्ख" है, बल्कि इसलिए है क्योंकि लाइब्रेरी लॉक है।
- अमेरिका में, आधिकारिक अदालती रिकॉर्ड अक्सर पेवॉल के पीछे होते हैं या प्रति पेज शुल्क लेते हैं (जैसे PACER)।
- मुफ्त डेटाबेस मौजूद हैं, लेकिन वे अधूरे हैं। उनके पास मामला तो हो सकता है, लेकिन उद्धरण को सत्यापित करने के लिए आवश्यक विशिष्ट पेज नंबर नहीं हो सकते हैं।
- उपमा: यह एक सुरक्षा गार्ड से यह पूछने जैसा है कि क्या किसी अतिथि के पास वैध टिकट है, लेकिन गार्ड को अतिथि सूची देखने की अनुमति नहीं है। गार्ड को अनुमान लगाना पड़ता है। यदि AI "फर्जी" का अनुमान लगाता है क्योंकि वह मुफ्त लाइब्रेरी में किताब नहीं ढूंढ पाता है, तो वह गलत हो सकता है—किताब शायद सशुल्क (paid) सेक्शन में हो सकती है।
5. निष्कर्ष: यह क्यों महत्वपूर्ण है
पत्र यह निष्कर्ष निकालता है कि हम केवल इस बात का इंतज़ार नहीं कर सकते कि AI स्मार्ट हो जाए और अपने आप झूठ बोलना बंद कर दे। यह समस्या संरचनात्मक है।
- आम लोगों के लिए: जो लोग खुद को अदालत में प्रतिनिधित्व दे रहे हैं (बिना वकीलों के) वे सबसे अधिक असुरक्षित हैं। वे अपने कागजात लिखने के लिए AI का उपयोग करते हैं, लेकिन उनके पास यह जाँचने के लिए महंगे कानूनी डेटाबेस खरीदने के लिए पैसे नहीं हैं कि AI झूठ बोल रहा है या नहीं।
- समाधान: लेखक तर्क देते हैं कि इसे ठीक करने के लिए, हमें कानूनी रिकॉर्ड को सभी के लिए मुफ्त और आसान बनाना होगा (जैसे कनाडा की प्रणाली, जहाँ सभी अदालती रिकॉर्ड मुफ्त हैं)। तब तक, AI आम लोगों के लिए एक "झूठा वादा" बना रहेगा, जिससे वे उन फर्जी मामलों को उद्धृत करने के लिए मुसीबत में पड़ सकते हैं जिनके बारे में वे नहीं जानते थे कि वे फर्जी थे।
संक्षेप में: AI कानूनी ब्रीफ लिखने में बेहतर हो रहा है, लेकिन यह फर्जी सबूत बनाने में भी बेहतर हो रहा है। हम इन झूठों को पकड़ने के लिए AI "जासूस" बना रहे हैं, लेकिन वे वर्तमान में इसलिए बंधे हुए हैं क्योंकि जिस "लाइब्रेरी" को उन्हें जाँचने की आवश्यकता है, वह पेवॉल के पीछे बंद है। जब तक हम लाइब्रेरी को अनलॉक नहीं करते, यह समस्या बढ़ती रहेगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।