From Judgments to Issues: Structured Extraction of Legal Reasoning with Citation-Hallucination Control
यह शोध पत्र एक लागत प्रभावी, स्वचालित पाइपलाइन प्रस्तुत करता है जो IRAC ढांचे और एक सामान्य-उद्देश्यीय LLM का उपयोग करके इतालवी कर-न्यायालय के निर्णयों को संरचित कानूनी मुद्दों में विभाजित करती है, जबकि उद्धरण संबंधी भ्रम (citation hallucinations) का पता लगाने और उन्हें नियंत्रित करने के लिए एक समर्पित पार्सर-आधारित फ़िल्टर का उपयोग करती है, जिससे कानूनी तर्क के विश्वसनीय बड़े-स्तरीय विश्लेषण को सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य चित्र: कागजों के पहाड़ को एक डिजिटल लाइब्रेरी में बदलना
कल्पना कीजिए कि इतालवी टैक्स कोर्ट सिस्टम एक विशाल, अव्यवस्थित लाइब्रेरी है। हर साल, यह लाखों नई किताबें (निर्णय) पैदा करता है। ये किताबें एक बहुत ही विशिष्ट, कभी-कभी उलझी हुई कानूनी भाषा में लिखी जाती हैं। वकील और शोधकर्ता इन किताबों के अंदर विशिष्ट उत्तर खोजना चाहते हैं, लेकिन हर किताब का हर पन्ना पढ़ना असंभव है।
इस शोध पत्र के लेखकों ने एक रोबोटिक लाइब्रेरियन (एक स्वचालित पाइपलाइन) बनाया है जिसे तीन काम करने के लिए डिज़ाइन किया गया है:
- इन हजारों कानूनी किताबों को पढ़ना।
- इन्हें उनके सबसे महत्वपूर्ण प्रश्नों और उत्तरों में विभाजित करना।
- अपने काम की जांच करना ताकि यह सुनिश्चित हो सके कि इसने कोई फर्जी तथ्य या फर्जी कानूनी संदर्भ नहीं बनाया है।
मुख्य समस्या: "एक ही आकार सबके लिए" वाली गलती
आमतौर पर, जब कंप्यूटर किसी कानूनी निर्णय को पढ़ने की कोशिश करते हैं, तो वे पूरे दस्तावेज़ को टेक्स्ट के एक बड़े ब्लॉक के रूप में देखते हैं। लेखकों का तर्क है कि यह एक कुकबुक में विशिष्ट रेसिपी खोजने के लिए पूरी किताब को शुरू से अंत तक पढ़ने जैसा है।
एक एकल टैक्स जजमेंट में अक्सर कई अलग-अलग "कहानियां" या कानूनी मुद्दे (legal issues) शामिल होते हैं। उदाहरण के लिए, एक जज पहले यह तय कर सकता है कि क्या मामला सुनवाई के योग्य है (admissibility), फिर यह तय कर सकता है कि टैक्स की गणना सही ढंग से की गई थी या नहीं (merits), और अंत में यह तय कर सकता है कि अदालती शुल्क कौन भरेगा।
लेखकों का रोबोट केवल पूरी किताब नहीं पढ़ता; यह किताब को व्यक्तिगत अध्यायों में काट देता है। यह प्रत्येक कानूनी प्रश्न को एक अलग, स्वतंत्र इकाई के रूप में मानता है।
ब्लूप्रिंट: "IRAC" रेसिपी
इन टुकड़ों को व्यवस्थित करने के लिए, रोबोट एक प्रसिद्ध कानूनी रेसिपी का उपयोग करता है जिसे IRAC (Issue, Rule, Application, Conclusion) कहा जाता है। इसे एक मानकीकृत फॉर्म की तरह समझें जिसे हर कानूनी उत्तर को भरना होता है:
- प्रश्न (Issue): "क्या किसान को उस ट्रैक्टर पर टैक्स देना था जो उसने खरीदा है लेकिन अभी तक उपयोग नहीं किया है?"
- नियम (Rule): ट्रैक्टर और टैक्स के बारे में कानून क्या कहते हैं।
- अनुप्रयोग (Application): जज ने उन कानूनों को इस विशिष्ट किसान की स्थिति पर कैसे लागू किया।
- निष्कर्ष (Conclusion): अंतिम फैसला (जैसे, "कोई टैक्स देय नहीं है")।
रोबोट इस बिखरी हुई, हस्तलिखित-शैली वाली कानूनी भाषा को एक साफ, संरचित XML फॉर्मेट (एक डिजिटल फाइलिंग सिस्टम) में बदल देता है जो इस रेसिपी का पूरी तरह से पालन करता है।
"हैलुसिनेशन" (Hallucination) की समस्या: रोबोट के दिवास्वप्न
लार्ज लैंग्वेज मॉडल्स (जो रोबोट के पीछे का दिमाग हैं) लिखने में बहुत अच्छे हैं, लेकिन उनकी एक बुरी आदत है: हैलुसिनेशन (भ्रम/कल्पना करना)। कभी-कभी, जब उनसे जज द्वारा उपयोग किए गए कानूनी संदर्भों की सूची बनाने के लिए कहा जाता है, तो रोबोट आत्मविश्वास के साथ एक ऐसा कानूनी संदर्भ बना सकता है जो अस्तित्व में ही नहीं है, क्योंकि वह सुनने में तर्कसंगत लगता है। यह एक छात्र की तरह है जो इतिहास का निबंध लिख रहा है और एक फर्जी संधि का उल्लेख कर रहा है क्योंकि वह असली संधि को भूल गया है।
कानूनी दुनिया में, यह खतरनाक है। यदि कोई वकील एक फर्जी कानूनी संदर्भ पर भरोसा करता है, तो वह केस हार सकता है।
समाधान: "फैक्ट-चेकर" फिल्टर
इसे ठीक करने के लिए, लेखकों ने सुरक्षा की एक दूसरी परत जोड़ी है, एक "हैलुसिनेशन फिल्टर"।
- रोबोट उन कानूनी संदर्भों को निकालता है जो उसके अनुसार उपयोग किए गए थे।
- एक अलग, सख्त टूल (जिसे Linkoln कहा जाता है) मूल जजमेंट टेक्स्ट को स्कैन करता है ताकि वहां वास्तव में मौजूद कानूनी संदर्भों को खोजा जा सके।
- सिस्टम दोनों सूचियों की तुलना करता है। यदि रोबोट ने एक ऐसा कानूनी संदर्भ सूचीबद्ध किया है जो मूल टेक्स्ट में नहीं है, तो फिल्टर उसे तुरंत हटा देता है।
यह एक शिक्षक द्वारा छात्र के निबंध को ग्रेड देने जैसा है: "आपने एक ऐसे स्रोत का हवाला दिया है जो रीडिंग लिस्ट में नहीं है? यह एक फर्जी साइटेशन है। इसे काट दो।"
परीक्षण: क्या रोबमाट परीक्षा में पास हुआ?
लेखकों ने केवल रोबोट पर भरोसा नहीं किया; उन्होंने इसे टेस्ट किया।
- कॉर्पस (Corpus): उन्होंने लगभग 330,000 वास्तविक इतालवी टैक्स कोर्ट जजमेंट्स को प्रोसेस किया।
- लागत: उन्होंने एक विशिष्ट AI मॉडल (DeepSeek V3) को इसलिए चुना क्योंकि यह इतने सारे दस्तावेजों को बिना बजट बिगाड़े प्रोसेस करने के लिए पर्याप्त सस्ता था (लगभग 35 सेंट प्रति दस्तावेज़)।
- मानवीय जांच: उन्होंने इन जजमेंट्स में से 50 को लिया और उन्हें दो वास्तविक विशेषज्ञों (PhD-स्तर के टैक्स वकील) को ग्रेडिंग के लिए दिया।
परिणाम:
- मुद्दे खोजना (Finding Issues): रोबोट सही प्रश्नों को खोजने में बहुत अच्छा था (उच्च सटीकता/precision), हालांकि यह कभी-कभी कुछ मामूली मुद्दों को छोड़ देता था (मध्यम रिकॉल/recall)। इसने शायद ही कभी फर्जी सवाल बनाए।
- कानूनी संदर्भ खोजना: रोबोट ने प्रासंगिक कानूनी संदर्भों में से लगभग 75% को खोज निकाला।
- फिल्टर की सफलता: "हैलुसिनेशन फिल्टर" एक हीरो साबित हुआ। फिल्टर से पहले, उद्धृत किए गए कानूनी संदर्भों में से लगभग 12% फर्जी थे। फिल्टर के बाद, यह संख्या घटकर 1% से भी कम रह गई। फिल्टर ने लगभग सभी फर्जी कानूनी संदर्भों को पकड़ लिया जबकि गलती से केवल 3% वास्तविक संदर्भों को हटाया।
- गुणवत्ता: रोबोट द्वारा लिखे गए सारांश और तर्क (reasoning) ने मानव विशेषज्ञों की तुलना में बहुत उच्च स्कोर (5 में से लगभग 4.7) प्राप्त किया।
निष्कर्ष (Takeaway)
यह शोध पत्र एक किफायती और विश्वसनीय पाइपलाइन प्रस्तुत करता है जो हजारों बिखरे हुए इतालवी टैक्स कोर्ट जजमेंट्स को कानूनी तर्कों के एक साफ, संरचित डेटाबेस में बदल देता है।
यह सिद्ध करता है कि:
- आप जटिल कानूनी दस्तावेजों को स्वचालित रूप से व्यक्तिगत "मुद्दों" में तोड़ सकते हैं।
- आप एक सस्ते AI मॉडल का उपयोग कर सकते हैं यदि आप इसमें एक सख्त "फैक्ट-चेकिंग" चरण जोड़ते हैं ताकि वह कानूनी संदर्भों के बारे में झूठ न बोल सके।
- परिणाम एक ऐसा डेटासेट है जो कंप्यूटर द्वारा सर्च करने, विश्लेषण करने और बेहतर कानूनी उपकरण बनाने के लिए तैयार है, और यह सब फर्जी साइटेशन के जोखिम को बेहद कम रखते हुए किया गया है।
लेखक इस बात पर जोर देते हैं कि यह पहली बार है जब ऐसा सिस्टम विशेष रूप से इतालवी टैक्स कोर्ट के लिए बनाया और कड़ाई से टेस्ट किया गया है, जो भविष्य की लीगल टेक्नोलॉजी के लिए एक ठोस आधार प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।