Asking For An Old Friend: Diagnosing and Mitigating Temporal Failure Modes in LLM-based Statutory Question Answering
यह शोध पत्र समय-संवेदनशील जर्मन वैधानिक प्रश्नोत्तर के लिए एक बेंचमार्क प्रस्तुत करता है और यह प्रदर्शित करता है कि जबकि टेम्पोरल फ़िल्टरिंग के साथ रिट्रीवल-ऑगमेंटेड जनरेशन कानूनी एलएलएम (LLMs) में पोस्ट-कटऑफ पुरानापन और हालियाता पूर्वाग्रह को प्रभावी ढंग से कम करता है, वैनिला मॉडल और वेब सर्च दृष्टिकोण गंभीर टेम्पोरल विफलताओं से ग्रस्त होते हैं, जो विश्वसनीय कानूनी एआई के लिए टेम्पोरल वैधता को एक हार्ड कंस्ट्रेंट के रूप में लागू करने की आवश्यकता को रेखांकित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान कानूनी सहायक है जिसने नवंबर 2024 तक की जर्मनी की हर कानून की किताब पढ़ ली है। यह सहायक अविश्वसनीय रूप से स्मार्ट है, लेकिन इसकी एक बड़ी कमी है: इसे यह नहीं पता कि इसके पढ़ना बंद करने के बाद दुनिया बदल चुकी है।
यह शोध पत्र इस बात का परीक्षण करता है कि यह सहायक समय के कारण दो विशिष्ट तरीकों से कैसे भ्रमित होता है, और फिर उन भ्रमों को ठीक करने का प्रयास करता है।
दो टाइम-ट्रैवल ग्लिच (समय-यात्रा संबंधी त्रुटियाँ)
शोधकर्ताओं ने पाया कि जब इस AI सहायक से कानूनों के बारे में पूछा जाता है, तो यह दो अलग-अलग प्रकार की गलतियाँ करता है:
- "आउटडेटेड मैप" की समस्या (पोस्ट-कटऑफ स्टेलेनेस):
कल्पना कीजिए कि आप 2025 में गाड़ी चला रहे हैं, लेकिन आपका GPS 2020 का मैप इस्तेमाल कर रहा है। GPS आपको वहां बाएं मुड़ने के लिए कहता है जहां अब एक नया हाईवे रास्ता रोक चुका है।
- ग्लिच: यदि AI के सीखना बंद करने के बाद कोई कानून बदल गया है, तो वह पुराने, निरस्त हो चुके नियम को आत्मविश्वास के साथ लागू करेगा। उसे नहीं पता कि नया कानून अस्तित्व में है।
- परिणाम: AI गलत उत्तर देता है लेकिन बहुत यकीन के साथ।
- "न्यूएस्ट शाइनी टॉय" की समस्या (रेसेन्सी बायस/नवीनता का पूर्वाग्रह):
कल्पना कीजिए कि आप अपने सहायक से पूछते हैं, "1995 में इस सड़क पर गति सीमा (स्पीड लिमिट) क्या थी?" भले ही आपके पास मेज पर एक टाइम मशीन (पुराना कानून) मौजूद है, सहायक सबसे हालिया स्पीड लिमिट साइन को पकड़ लेता है क्योंकि वह अधिक "प्रासंगिक" और "ताज़ा" दिखता है।
- ग्लिच: AI सबसे हालिया संस्करण वाले कानून को प्राथमिकता देता है, भले ही आप जिस स्थिति के बारे में पूछ रहे हों वह अतीत की हो और उसके लिए पुराने कानून की आवश्यकता हो।
- परिणाम: AI पुरानी स्थिति पर गलत (बहुत नया) कानून लागू कर देता है।
प्रयोग: एक कानूनी "स्ट्रेस टेस्ट"
इसकी जांच करने के लिए, शोधकर्ताओं ने वास्तविक जर्मन कानूनों पर आधारित 312 प्रश्नों की एक विशेष परीक्षा बनाई। उन्होंने सुनिश्चित किया कि प्रश्न कठिन हों:
- कुछ के लिए उस कानून को जानना आवश्यक था जो AI के "जन्मदिन" (इसके प्रशिक्षण कटऑफ) के बाद बदला गया था।
- कुछ के लिए 2017 के मामले पर 2017 के कानून को लागू करना आवश्यक था, भले ही कानून 2024 में बदल गया हो।
उन्होंने पांच अलग-अलग AI मॉडल (जैसे ChatGPT, Claude और DeepSeek) का चार अलग-अलग तरीकों से परीक्षण किया:
- "ब्रेन ओनली" मोड: AI केवल वही उत्तर देता है जो उसने प्रशिक्षण के दौरान याद किया है।
- "गूगल सर्च" मोड: AI को लाइव इंटरनेट ब्राउज़ करने की अनुमति है।
- "टाइम-ट्रवेल लाइब्रेरी" (RAG-kNN): AI को एक डिजिटल लाइब्रेरी दी जाती है, लेकिन एक सख्त लाइब्रेरियन (एक फ़िल्टर) केवल वही किताबें थमाता है जो प्रश्न की विशिष्ट तिथि पर वैध थीं।
- "टेबल ऑफ कंटेंट्स" मोड: यह लाइब्रेरी के समान है, लेकिन AI पूरी सामग्री पढ़ने से पहले एक सूची से अध्याय चुनता है।
उन्हें क्या मिला
1. "ब्रेन ओनली" मोड बुरी तरह विफल रहा
जब AI को केवल अपनी स्मृति पर निर्भर रहना पड़ा, तो वह समय को संभालने में बहुत बुरा प्रदर्शन कर गया।
- उन प्रश्नों के लिए जिनमें उसके प्रशिक्षण के बाद बदले गए कानूनों के बारे में पूछा गया था, उसने तर्क लगभग पूरी तरह से गलत दिया (लगभग 0% स्कोर)। उसने नए मामलों में पुराने नियमों को आत्मविश्वास के साथ लागू किया।
- उसने शायद ही कभी यह स्वीकार किया, "मुझे नहीं पता।" इसके बजाय, उसने बस गलत अनुमान लगाया।
2. "टाइम-ट्रवेल लाइब्रेरी" ने इसे ठीक कर दिया
जब शोधकर्ताओं ने RAG विधियों (तारीख के फिल्टर के साथ लाइब्रेरी) का उपयोग किया, तो AI का प्रदर्शन आसमान छू गया।
- AI को केवल उन्हीं कानूनों को देखने के लिए मजबूर करके जो घटना के समय वैध थे, उत्तर सटीक हो गए।
- इससे कोई फर्क नहीं पड़ता था कि AI 2017 का कानून देख रहा है या 2025 का; जब तक "लाइब्रेरियन" ने किताबों को सही ढंग से फ़िल्टर किया, AI ने सही उत्तर दिया।
- मुख्य निष्कर्ष: AI को नए कानून "सीखने" की आवश्यकता नहीं है; उसे बस सही समय पर सही संस्करण को देखने के लिए मजबूर करने की आवश्यकता है।
3. "गूगल सर्च" मोड अविश्वसनीय था
AI को लाइव इंटरनेट खोजने की अनुमति देने से "ब्रेन ओनली" मोड की तुलना में थोड़ी मदद मिली, लेकिन इसने एक नई समस्या पैदा कर दी।
- AI में एक मजबूत रेसेन्सी बायस दिखने लगा। जब पुराने मामलों के बारे में पूछा गया, तो सर्च इंजन अक्सर वर्तमान कानून को खींच लाता है क्योंकि वह ऑनलाइन "ताज़ा" और लोकप्रिय है।
- AI ने फिर पुराने मामले पर वर्तमान कानून लागू कर दिया, जिससे वह फिर से गलत साबित हुआ। वह "चमकते नए खिलौने" के प्रति खुद को रोक नहीं सका।
फैसला
शोध पत्र निष्कर्ष निकालता है कि कानूनी प्रश्नों के लिए, समय एक कठोर नियम है, सुझाव नहीं।
आप केवल AI से यह नहीं कह सकते, "कानून क्या है?" और सही उत्तर की उम्मीद नहीं कर सकते। आपको इसे कहना होगा, "इस विशिष्ट तिथि पर कानून क्या था?" और आपको इसे केवल उस समय के दस्तावेजों तक पहुँचने से भौतिक रूप से प्रतिबंधित करना होगा।
- फिल्टर के बिना: AI उस वकील की तरह है जो केवल कल का समाचार पत्र पढ़ता है और सोचता है कि आज का दिन है।
- फिल्टर के साथ (RAG): AI एक ऐसे वकील में बदल जाता है जिसके पास एक आदर्श, व्यवस्थित संग्रह है और जो जानता है कि घटना की तारीख के आधार पर शेल्फ से कौन सी किताब निकालनी है।
यह अध्ययन सिद्ध करता है कि हालांकि AI शक्तिशाली है, लेकिन कानूनी दुनिया में विश्वसनीय होने के लिए इसे एक "टाइम मशीन" (एक सख्त तारीख फ़िल्टर) की आवश्यकता होती है। इसके बिना, यह आपको पुराना या ऐतिहासिक रूप से गलत सलाह देने के प्रति प्रवृत्त है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।