LegalHalluLens: Typed Hallucination Auditing and Calibrated Multi-Agent Debate for Trustworthy Legal AI
LegalHalluLens एक ऐसा फ्रेमवर्क है जो टाइप किए गए हैलुसिनेशन प्रोफाइल और एक रिस्क डायरेक्शन इंडेक्स को पेश करके विश्वसनीय कानूनी एआई को बढ़ाता है ताकि छिपे हुए त्रुटि पैटर्न को उजागर किया जा सके, जो फिर फैब्रिकेशन दरों को काफी कम करने और परिनियोजन सुरक्षा में सुधार करने के लिए एक मल्टी-एजेंट डिबेट पाइपलाइन को कैलिब्रेट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप कानूनी सहायकों (legal assistants) की एक टीम रख रहे हैं जिन्हें सैकड़ों अनुबंधों (contracts) को पढ़कर विशिष्ट विवरण निकालने हैं, जैसे कि "यह सौदा कब समाप्त होता है?" या "लायबिलिटी कैप (liability cap) कितनी है?"
आप उनसे पूछते हैं, "आप कितनी बार गलतियाँ करते हैं?" वे सभी कहते हैं, "लगभग 52% बार।"
यह बुरा लगता है, लेकिन यह भ्रामक भी है। यह वैसा ही है जैसे किसी डॉक्टर की त्रुटि दर (error rate) के बारे में बताना कि वह 52% है, बिना यह बताए कि वे किस प्रकार की गलतियाँ करते हैं। क्या वे टूटी हुई हड्डी का गलत निदान कर रहे हैं (एक मामूली समस्या) या दिल के दौरे (heart attack) को पहचानने में चूक कर रहे हैं (एक घातक समस्या)?
यह शोध पत्र, LegalHalluLens, यह तर्क देता है कि कानूनी दुनिया में, औसत त्रुटि दर जानना बेकार है। आपको यह जानने की जरूरत है कि वे क्या गलत करते हैं और वे इसे कैसे गलत करते हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:
1. "औसत" का झूठ (आंखों पर पट्टी)
शोधकर्ताओं ने चार अलग-अलग AI मॉडल (दो बड़ी टेक कंपनियों के और दो ओपन-सोर्स) का परीक्षण 510 वास्तविक अनुबंधों पर किया।
- पुराना तरीका: यदि आप केवल कुल स्कोर देखते हैं, तो सभी मॉडल लगभग एक जैसे दिखते हैं, जो लगभग 52% की त्रुटि दर के आसपास घूमते हैं। यह एक आंखों पर पट्टी बांधे हुए तीरंदाज की तरह है जो 52% बार लक्ष्य पर निशाना लगाता है। आपको नहीं पता कि वह बुल्सआई (bullseye) पर लग रहा है या बोर्ड के किनारे पर।
- नया तरीका (Typed Profiles): जब शोधकर्ताओं ने बारीकी से देखा, तो उन्होंने पाया कि प्रश्न के प्रकार के आधार पर बहुत बड़ा अंतर था:
- आसान प्रश्न (Temporal): "अनुबंध कब समाप्त होता है?" AI इन मामलों में अधिकांश समय सही होता है (केवल ~30% त्रुटि)। यह पूछने जैसा है, "आसमान का रंग क्या है?"
- कठिन प्रश्न (Obligation & Numeric): "जुर्माना कितना है?" या "सप्लायर को वास्तव में क्या करना चाहिए?" यहाँ AI बुरी तरह विफल रहा, जहाँ त्रुटि दर बढ़कर 65–74% हो गई। यह पूछने जैसा है, "इस दवा का सटीक रासायनिक सूत्र क्या है?" और AI बस अनुमान लगा रहा है।
निष्कर्ष: एक AI कुल मिलाकर "ठीक" लग सकता है, लेकिन वह उन विशिष्ट विवरणों पर खतरनाक रूप से अविश्वसनीय हो सकता है जो यह तय करते हैं कि कोई अनुबंध कानूनी है या कंपनी पर मुकदमा हो सकता है।
2. गलती की "दिशा" (पैमाना)
यह शोध पत्र एक नया टूल पेश करता है जिसे रिस्क डायरेक्शन इंडेक्स (RDI) कहा जाता है। इसे एक पैमाने के रूप में सोचें जो मापता है कि AI कैसे झूठ बोलता है।
- "इन्वेंटर" (Inventor - सकारात्मक RDI): यह AI चीजें बनाना (make up करना) पसंद करता है। यदि किसी अनुबंध में लायबिलिटी कैप नहीं है, तो यह AI एक संख्या बना देगा और कहेगा, "ओह, यह $5 मिलियन है।" यह सुरक्षा का एक झूठा अहसास पैदा करता है।
- "ओमिटर" (Omitter - नकारात्मक RDI): यह AI चीजों को छिपाना पसंद करता है। यदि अनुबंध कहता है, "आपको 30 दिनों के भीतर भुगतान करना होगा," तो यह AI बस कह सकता है, "कोई समय सीमा उल्लेखित नहीं है।" यह एक छिपा हुआ खतरा पैदा करता है क्योंकि उपयोगकर्ता को लगता है कि कोई नियम नहीं हैं।
निष्कर्ष: दो AI सिस्टमों की "52% त्रुटि दर" बिल्कुल समान हो सकती है, लेकिन एक वह है जो नियम बनाता है (झूठ बोलता है), और दूसरा वह है जो नियमों को भूल जाता है। आपको यह जानने की जरूरत है कि आप किसका उपयोग कर रहे हैं क्योंकि कानूनी जोखिम पूरी तरह से अलग होते हैं।
3. "डिबेट क्लब" का समाधान (कैलिब्रेटेड टीम)
शोधकर्ताओं ने एक मल्टी-एजेंट डिबेट (Multi-Agent Debate) का उपयोग करके "इन्वेंटर" AI (एक छोटा, सस्ता मॉडल) को ठीक करने का प्रयास किया।
- सामान्य दृष्टिकोण: आमतौर पर, आप केवल AI एजेंटों को सच खोजने के लिए "एक-दूसरे से बहस करने" के लिए कहते हैं। यह शोध पत्र कहता है कि वह बहुत अस्पष्ट है।
- कैलिब्रेटेड दृष्टिकोण: उन्होंने एक विशिष्ट "डिबेट टीम" बनाई जिसके रोल AI द्वारा की जाने वाली विशिष्ट गलतियों के अनुरूप थे:
- द स्केप्टिक (The Skeptic - संशयवादी): यादृच्छिक (random) प्रश्न पूछने के बजाय, यह एजेंट विशेष रूप से पूछता है, "क्या आपने अभी कोई संख्या मनगढ़ंत बनाई?" या "क्या आप उस 'unless' क्लॉज को शामिल करना भूल गए?"
- द सपोर्टर (The Supporter - समर्थक): केवल अनुबंध के सटीक शब्दों का उपयोग करके उत्तर का बचाव करता है।
- द गेटकीपर (The Gatekeeper - द्वारपाल): एक विशेष नियम का उपयोग करता है: "हम एक नया नियम तभी जोड़ेंगे जब हम 100% सुनिश्चित हों कि वह वहां है, लेकिन हम किसी नियम को तब तक नहीं हटाएंगे जब तक कि हम पूरी तरह से सुनिश्चित न हों कि वह गायब है।"
परिणाम: AI द्वारा की जाने वाली गलतियों को लक्षित करने के लिए बहस को कस्टमाइज़ करके, उन्होंने बनाई गई बातों (fabrications) की संख्या को 45% कम कर दिया।
- जादू: उन्होंने एक छोटे, सस्ते AI मॉडल को लिया और इस स्मार्ट डिबेट टीम का उपयोग करके, उसे महंगे, व्यावसायिक "सुपर-AI" मॉडल के बराबर या उससे बेहतर प्रदर्शन करने के योग्य बनाया।
सारांश
यह शोध पत्र कानून में AI का उपयोग करने वाले किसी भी व्यक्ति के लिए एक चेतावनी और एक टूलकिट है:
- औसत पर भरोसा न करें: एक AI तारीखों के लिए बेहतरीन हो सकता है लेकिन पैसे और नियमों के लिए बहुत बुरा हो सकता है।
- दिशा की जाँच करें: जानें कि आपका AI नियम बनाने (inventing) की ओर प्रवृत्त है या उन्हें छिपाने (hiding) की ओर।
- समाधान को कस्टमाइज़ करें: आप केवल AI को "बेहतर होने" के लिए नहीं कह सकते। आपको एक विशिष्ट प्रक्रिया (जैसे एक डिबेट टीम) बनानी होगी जो उन विशिष्ट गलतियों को लक्षित करे जो वह AI अक्सर करता है।
लेखकों का निष्कर्ष है कि कानूनी कार्य के लिए, हमें यह पूछना बंद करना होगा कि "यह AI कितना सटीक है?" और यह पूछना शुरू करना होगा कि "यह किन विशिष्ट चीजों को गलत करता है, और किस दिशा में?"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।