Temporal Misgrounding in Legal RAG: A Versioned-Corpus Benchmark for French Tax Law
यह शोध पत्र FiscalQA Pro प्रस्तुत करता है, जो एक ऐसा बेंचमार्क है जो यह प्रदर्शित करता है कि मानक कानूनी RAG सिस्टम केवल अनुच्छेदों के वर्तमान संस्करणों को पुनर्प्राप्त करके फ्रांसीसी कर कानून में टेम्पोरल मिसग्राउंडिंग (temporal misgrounding) को संभालने में विफल रहते हैं, और यह दिखाता है कि एक वर्ज़न-अवेयर (version-aware) रिट्रीवल सिस्टम स्थिर दृष्टिकोणों के लगभग शून्य प्रदर्शन की तुलना में 98.3% सटीकता प्राप्त कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन जिस पुस्तकालय में आप खोज कर रहे हैं उसका एक बहुत ही अजीब नियम है: हर बार जब किसी किताब में नया पन्ना जोड़ा जाता है या कोई वाक्य बदला जाता है, तो लाइब्रेरियन एक नई किताब शेल्फ पर नहीं रखता। इसके बजाय, वे पुराने पन्नों को मिटा देते हैं और मौजूदा किताब को ही फिर से लिख देते हैं, जिससे केवल नवीनतम संस्करण ही दिखाई देता है। यदि आप पूछते हैं, "1995 में उस किताब में क्या लिखा था?" और लाइब्रेरियन आपको केवल 2025 का संस्करण थमा देता है, तो आपको गलत उत्तर मिलेगा, भले ही कवर पर वह किताब बिल्कुल वैसी ही दिखती हो। यह लीगल एआई (Legal AI) की दुनिया है, एक ऐसा क्षेत्र जहाँ कंप्यूटर कानूनों को पढ़ने और एक वकील की तरह सवालों के जवाब देने की कोशिश करते हैं। ऐसा करने के लिए, वे आरएजी (RAG - Retrieval-Augmented Generation) नामक एक तकनीक का उपयोग करते हैं, जो एक अत्यंत बुद्धिमान छात्र की तरह है जिसे परीक्षा के प्रश्न का उत्तर देने से पहले पाठ्यपुस्तक में तथ्य खोजने की अनुमति दी जाती है। समस्या यह है कि अधिकांश पाठ्यपुस्तकों के साथ ऐसा व्यवहार किया जाता है जैसे वे कभी बदलती ही नहीं। लेकिन कानून बदलते हैं, अक्सर हर साल। यदि कोई कंप्यूटर यह नहीं समझ पाता कि 2018 का कानून आज के कानून से अलग है, तो वह आपको आत्मविश्वास के साथ गलत सलाह दे देगा, जो टैक्स भरने या अपने अधिकारों को समझने जैसी चीजों के लिए विनाशकारी हो सकता है।
यह शोध पत्र, जिसका शीर्षक "टेम्पोरल मिसग्राउंडिंग इन लीगल आरएजी (Temporal Misgrounding in Legal RAG)" है, ठीक इसी समस्या की जांच करता है जो फ्रांसीसी टैक्स कानून में देखी गई है। लेखकों ने एक विशिष्ट विफलता मोड की खोज की जिसे वे टेम्पोरल मिसग्राउंडिंग (temporal misgrounding) कहते हैं। यह तब होता है जब एक कंप्यूटर, अतीत के किसी कानून के बारे में पूछे जाने पर, प्रश्न में दी गई तारीख को अनदेखा कर देता है और बस कानून के वर्तमान संस्करण को उठा लेता है क्योंकि वही एकमात्र संस्करण है जिसे वह आसानी से ढूंढ सकता है। उन्होंने एक विशाल, समय-यात्रा करने वाला पुस्तकालय बनाया, जिसमें फ्रांसीसी टैक्स कोड के 32,436 विभिन्न संस्करण शामिल थे, जो 93 वर्षों (1938 से 2031 तक) के लेखों तक फैले हुए थे। फिर उन्होंने फिस्कलक्यूए प्रो (FiscalQA Pro) नामक एक कठिन परीक्षण बनाया, जिसमें 209 विशेषज्ञ-समीक्षित प्रश्न थे जिन्हें विशेष रूप से अतीत की किसी तारीख के कानून को जानने की आवश्यकता थी, न कि आज के कानून को।
परिणाम चौंकाने वाले थे। जब उन्होंने 11 अलग-अलग एआई मॉडल (सबसे उन्नत उपलब्ध मॉडलों सहित) का परीक्षण किया, तो जब कंप्यूटर सही संस्करण को खोजने में असमर्थ रहे, तो वे बुरी तरह विफल रहे। बिना किसी सहायता के, एआई केवल 3.0% बार सही उत्तर दे पाया। जब उन्होंने एआई को एक मानक "पाठ्यपुस्तक" दी जिसमें केवल वर्तमान कानून था, तो इसका प्रदर्शन और भी खराब रहा, जो केवल 2.7% बार सही हुआ। वास्तव में, मानक प्रणाली ने सही ऐतिहासिक संस्करण को 0% बार खोजा; उसने वर्तमान कानून को अतीत के कानून के रूप में आत्मविश्वास के साथ उद्धृत किया। हालाँकि, जब लेखकों ने एक ऐसा सिस्टम बनाया जो वास्तव में उनके समय-यात्रा करने वाले पुस्तकालय में खोजकर कानून का वह विशिष्ट संस्करण ढूंढ सकता था जो प्रश्न में दी गई तारीख पर प्रभावी था, तो एआई की सटीकता आसमान छूकर 98.3% तक पहुँच गई।
यह शोध पत्र सिद्ध करता है कि समस्या यह नहीं है कि एआई कानून को समझने के लिए पर्याप्त स्मार्ट नहीं है; बल्कि समस्या यह है कि जिस लाइब्रेरी को वह खोज रहा है, वह टूटी हुई है। लेखक तर्क देते हैं कि हमें कानूनी दस्तावेजों को स्थिर वस्तुओं के रूप में देखना बंद करना चाहिए और उन्हें समय-संवेदनशील वस्तुओं के रूप में देखना शुरू करना चाहिए। उन्होंने दिखाया कि एक बार जब आप रिट्रीवल सिस्टम (खोज प्रणाली) को सही तारीख खोजने के लिए ठीक कर देते हैं, तो एआई इन समस्याओं को लगभग पूरी तरह से हल कर सकता है। उन्होंने अपना विशाल डेटासेट और अपने समय-जागरूक खोज तंत्र का कोड भी जारी किया, इस उम्मीद में कि अन्य शोधकर्ता ऐसा एआई बनाने में मदद कर सकें जो आपको आत्मविश्वास के साथ पुराना कानूनी परामर्श न दे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।