Citation Grounding: Detecting and Reducing LLM Citation Hallucinations via Legal Citation Graphs
यह शोध पत्र "साइटेशन ग्राउंडिंग" (Citation Grounding) पेश करता है, जो एक विशाल यूक्रेनी अदालती निर्णय ग्राफ का उपयोग करके साइटेशन सटीकता का मूल्यांकन करने और वैध साइटेशन को दूषित साइटेशन से अलग करने के लिए मॉडल को प्रशिक्षित करने हेतु एक प्राथमिकता शिक्षण पद्धति (CG-DPO) को नियोजित करके, लार्ज लैंग्वेज मॉडल्स में कानूनी साइटेशन मतिभ्रम (hallucinations) का पता लगाने और उन्हें कम करने के लिए एक नवीन मीट्रिक और फ्रेमवर्क है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, तेज़ बोलने वाले कानूनी सहायक (legal assistant) को रिपोर्ट लिखने के लिए काम पर रख रहे हैं। इस सहायक ने लाखों किताबें पढ़ी हैं और उसे बहुत सारे तथ्यों का ज्ञान है। हालाँकि, इसमें एक पेंच है: जब उनसे अपने तर्कों के समर्थन में विशिष्ट कानूनों का हवाला देने के लिए कहा जाता है, तो वे कभी-कभी मनगढ़ंत कानून बना देते हैं। वे ऐसा कानून बना सकते हैं जो अस्तित्व में ही नहीं है, या ऐसे कानून का उद्धरण दे सकते हैं जो वर्षों पहले रद्द कर दिया गया था, या किसी दूसरे देश के कानून का उद्धраण दे सकते हैं। कानूनी दुनिया में, इसे "हैलुसिनेशन" (hallucination) कहा जाता है।
यह पेपर इन झूठों को पकड़ने का एक नया तरीका और सहायक को ये झूठ न बोलने के लिए सिखाने की एक विधि पेश करता है।
समस्या: "नकली कानून" जनरेटर
शोधकर्ताओं ने पाया कि यहाँ तक कि सबसे उन्नत AI मॉडल भी, जब उनसे यूक्रेनी कानून के बारे में लिखने के लिए कहा जाता है, तो वे 13% से 21% बार नकली कानूनी उद्धरण बना देते हैं। यह एक ऐसे छात्र की तरह है जो निबंध लिख रहा है और एक ऐसी पाठ्यपुस्तक के पृष्ठ संख्या लिख रहा है जो अस्तित्व में ही नहीं है।
समाधान: "साइटेशन ग्राउंडिंग" (Citation Grounding) टेस्ट
इसे ठीक करने के लिए, शोधकर्ताओं ने एक विशाल डिजिटल मानचित्र बनाया जिसे साइटेशन ग्राफ (Citation Graph) कहा जाता है। इस ग्राफ को एक विशाल, अत्यंत सटीक लाइब्रेरी कैटलॉग के रूप में समझें जो 10 करोड़ वास्तविक अदालती फैसलों से बना है। इसमें हर एक बार का विवरण है जब किसी वास्तविक न्यायाधीश ने वास्तविक मामले में किसी विशिष्ट कानून का उल्लेख किया था।
उन्होंने एक परीक्षण बनाया जिसे साइटेशन ग्राउंडिंग (CG) कहा जाता है। यह इस प्रकार काम करता है:
- मैप (Map): उनके पास एक "सत्य का मानचित्र" (वास्तविक अदालती मामलों का ग्राफ) है।
- परीक्षण: वे एक AI को कानूनी उत्तर लिखने के लिए कहते हैं।
- जांच: वे AI द्वारा उल्लेख किए गए प्रत्येक कानून को देखते हैं और मानचित्र पर उसकी जांच करते हैं।
- क्या वह कानून मौजूद था? (सटीकता/Precision)
- क्या वह इस विशिष्ट स्थिति के लिए सही कानून था? (प्रासंगिकता/Relevance)
- क्या वह कानून उस विशिष्ट तिथि पर वास्तव में प्रभावी था? (सामयिकता/Temporality)
यदि AI एक ऐसा कानून उद्धृत करता है जो मानचित्र पर नहीं है, या उसे गलत संदर्भ में उद्धृत करता है, तो परीक्षण उसे "हैलुसिनेशन" के रूप में चिह्नित कर देता है।
उन्हें क्या पता चला
उन्होंने 100 कानूनी प्रश्नों पर पांच अलग-अलग AI सिस्टम का परीक्षण किया।
- परिणाम: अधिकांश AI अपने उद्धरणों में लगभग 80% सही थे। बाकी फर्जी थे।
- "RAG" विजेता: एक सिस्टम ने एक विशेष तकनीक का उपयोग किया जिसे RAG (Retrieval-Augmented Generation) कहा जाता है। कल्पना करें कि यह AI केवल अपनी याददाश्त पर निर्भर नहीं है; यह वास्तव में लाइब्रेरी में जाता है, वास्तविक किताबें ढूंढता है, और उत्तर देने से पहले उन्हें पढ़ता है। इस सिस्टम ने सबसे कम गलतियाँ कीं और सबसे कम कानूनों का उल्लेख किया, जिससे यह सिद्ध हुआ कि जब आप तथ्यों की खोज कर रहे हों तो "कम ही अधिक है" (less is more)।
- आश्चर्यजनक पैटर्न: उन्हें उम्मीद थी कि जो AI मॉडल अधिक कानूनों का उल्लेख करेंगे, वे अधिक गलतियाँ करेंगे। लेकिन ऐसा नहीं था। कुछ मॉडल कई कानूनों का उल्लेख करते हुए भी सटीक थे; अन्य कम कानूनों का उल्लेख करते हुए भी गलत थे। यह पूरी तरह से इस पर निर्भर करता है कि AI कैसे बनाया गया है, न कि इस पर कि वह कितना बोलता है।
"स्व-शिक्षण" विधि (CG-DPO)
इस पेपर का सबसे बड़ा ब्रेकथ्रू यह है कि वे महंगे मानव वकीलों की टीम को हर उत्तर की जांच करने के लिए नियुक्त किए बिना AI को कैसे सुधारने की योजना बना रहे हैं।
आमतौर पर, AI को ईमानदार बनाने के लिए सिखाने हेतु, मनुष्यों को उसके उत्तर पढ़ने होते हैं और कहना होता है, "यह अच्छा है," या "यह बुरा है।" यह धीमा और महंगा है।
शोधकर्ताओं ने महसूस किया कि उनका साइटेशन ग्राफ मानव के काम को कर सकता है। उन्होंने एक खेल बनाया:
- एक वास्तविक अदालती निर्णय लें जिसमें सही साइटेशन हों।
- इसे भ्रष्ट (Corrupt) करें: उन्होंने एक कंप्यूटर प्रोग्राम का उपयोग करके कानूनों को बदल दिया, फर्जी लेखों का आविष्कार किया, या पुराने कानूनों का उपयोग किया (जैसे 2020 के कानून को 2025 के ऐसे कानून में बदलना जो अस्तित्व में ही नहीं था)।
- सबक: उन्होंने AI को दो संस्करण दिखाए: "असली" वाला और "भ्रष्ट" वाला। AI ने असली संस्करण को पसंद करना सीखा।
चूंकि "सत्य" पहले से ही ग्राफ में था, इसलिए उन्हें डेटा को लेबल करने के लिए मनुष्यों की आवश्यकता नहीं पड़ी। उन्होंने बस ग्राफ को ग्रेडिंग करने के लिए छोड़ दिया। उन्होंने इस पद्धति का उपयोग करके एक मॉडल को प्रशिक्षित किया, और वह असली साइटेशन और नकली साइटेशन के बीच अंतर पहचानने में 98.5% सटीक हो गया।
मुख्य निष्कर्ष
यह पेपर दिखाता है कि:
- AI अक्सर कानूनों के बारे में झूठ बोलता है, लेकिन हम वास्तविक अदालती इतिहास के एक विशाल मानचित्र से उसके उत्तरों की तुलना करके उसे पकड़ सकते हैं।
- RAG सिस्टम (जो उत्तर देने से पहले तथ्यों की खोज करते हैं) वर्तमान में इन झूठों से बचने के लिए सबसे अच्छे हैं।
- हम AI को झूठ बोलना बंद करने के लिए सिखा सकते हैं यह उपयोग करके कि मानचित्र स्वयं "सही बनाम गलत" के उदाहरण उत्पन्न कर सकता है, जिससे हर एक साइटेशन की जांच करने के लिए मानव वकीलों के उबाऊ काम की आवश्यकता समाप्त हो जाती है।
लेखकों ने अपना "मानचित्र", अपने परीक्षण उपकरण और अपना प्रशिक्षण डेटा उपयोग के लिए उपलब्ध करा दिया है, ताकि कानूनी AI को सभी के लिए अधिक विश्वसनीय बनाया जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।