Time as Structure: Temporal Dependency Graphs for Verifiable Deadline Computation over Legal Documents
यह शोध पत्र एक हाइब्रिड दृष्टिकोण प्रस्तावित करता है जो कोड-आधारित समय-सीमा गणना के लिए कानूनी दस्तावेजों से टेम्पोरल डिपेंडेंसीज़ को एक ग्राफ में निकालता है, यह प्रदर्शित करते हुए कि यह पाइपलाइन सटीकता और सत्यापन क्षमता में सीधे लैंग्वेज मॉडल द्वारा उत्तर देने की तुलना में काफी बेहतर प्रदर्शन करती है, विशेष रूप से अंकगणितीय त्रुटियों से बचते हुए, जबकि यह भी रेखांकित करती है कि निष्कर्षण (extraction) ही विफलता का प्राथमिक स्रोत बना हुआ है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कानून की दुनिया में, समय केवल एक पृष्ठभूमि नहीं है; यह एक संरचनात्मक तत्व है जो किसी दावे के भाग्य को निर्धारित कर सकता है। एक कानूनी फाइलिंग अक्सर एक विशिष्ट समय सीमा तक जमा की जानी चाहिए, जिसकी गणना रोजगार की समाप्ति या भेदभावपूर्ण घटना जैसी किसी प्रारंभिक घटना से की जाती है। ये गणनाएँ शायद ही कभी सरल अंकगणित होती हैं। इनमें सख्त वैधानिक नियमों के अनुसार दिनों की गिनती करना, उन अवधियों को ध्यान में रखना जहाँ घड़ी रुक जाती है ताकि अनिवार्य मध्यस्थता (mediation) की जा सक सके, और कैलेंडर की विविधताओं, जैसे कि अलग-अलग लंबाई के महीनों या लीप वर्ष के लिए समायोजन करना शामिल है। यदि कोई दावा एक दिन भी देरी से दायर किया जाता है, तो वह अक्सर हमेशा के लिए वर्जित हो जाता है, चाहे मामला कितना भी मजबूत क्यों न हो। यह एक उच्च-दांव वाला वातावरण बनाता है जहाँ सफलता और विफलता के बीच का अंतर घंटों में मापा जाता है, फिर भी आवश्यक तारीखों वाले दस्तावेज़ अक्सर जटिल, नेस्टेड कानूनी गद्य में दबे होते हैं।
लाइडेन यूनिवर्सिटी के शोधकर्ताओं ने इस समस्या को हल करने के बारेore कि कंप्यूटर को इस समस्या को कैसे संभालना चाहिए, एक मौलिक प्रश्न पर काम किया। उन्होंने पूछा कि क्या एक लार्ज लैंग्वेज मॉडल (LLM), जो कृत्रिम बुद्धिमत्ता का वह प्रकार है जो टेक्स्ट को पढ़ और सारांशित कर सकता है, इन समय सीमाओं की सीधे गणना करने के लिए भरोसेमंद होना चाहिए? या, क्या यह अधिक सुरक्षित होगा कि कंप्यूटर पहले टेक्स्ट से विशिष्ट तिथियों और उनके संबंधों को निकाले, उन तथ्यों का एक संरचित मानचित्र बनाए, और फिर गणित करने के लिए एक अलग, कठोर कैलकुलेटर का उपयोग करे? टीम ने एक ऐसा सिस्टम बनाया जो समय को जुड़े हुए तथ्यों के एक नेटवर्क के रूप में मानता है, जहाँ प्रत्येक तिथि एक 'नोड' है और उन्हें जोड़ने वाले नियम 'एज' (edges) हैं। उन्होंने इस दृष्टिकोण का परीक्षण वास्तविक यूके एम्प्लॉयमेंट ट्रिब्यूनल निर्णयों और सिम्युलेटेड मामलों के एक विशाल सेट के विरुद्ध किया, जहाँ सही उत्तर डिज़ाइन द्वारा ज्ञात था।
अध्ययन से पता चला कि जबकि आधुनिक भाषा मॉडल कानूनी टेक्स्ट को पढ़ने में आश्चर्यजनक रूप से अच्छे हैं, वे कानूनी समय सीमा के लिए आवश्यक सटीक अंकगणित करने में काफी संघर्ष करते हैं। जब शोधकर्ताओं ने एक शक्तिशाली भाषा मॉडल से एक मामला पढ़ने और एक बार में एक समय सीमा आउटपुट करने के लिए कहा, तो मॉडल अक्सर अंतिम निर्णय में गलत हो गया, भले ही उसके आंतरिक तर्क चरण सही थे। एक चौंकाने वाले निष्कर्ष में, मॉडल कभी-कभी सही दिनों की गणना करता था लेकिन फिर खुद का खंडन करते हुए अंतिम वाक्य में एक विलंबित दावे को समयबद्ध घोषित कर देता था। यह परीक्षण किए गए सबसे मजबूत मॉडलों में से छह में से इक्कीस प्रयासों में हुआ। त्रुटि गणित में नहीं थी, बल्कि मॉडल की अपने द्वारा किए गए कार्य के साथ अपने अंतिम निष्कर्ष को लगातार संरेखित करने में असमर्थता में थी।
वैकल्पिक दृष्टिकोण का परीक्षण करने के लिए, शोधकर्ताओं ने एक पाइपलाइन बनाई जो पहले प्रासंगिक तिथियों और उनकी निर्भरताओं को एक ग्राफ में निकालती है, जो एक दृश्य जैसी संरचना है जहाँ कंप्यूटर देख सकता है कि एक तिथि दूसरी तिथि की ओर कैसे ले जाती है। एक अलग, नियतात्मक (deterministic) इंजन फिर इस ग्राफ पर सख्त कानूनी नियमों को लागू करता है। यह इंजन अनुमान नहीं लगाता; यह महीनों की गिनती करने, लीप वर्ष को संभालने और अनिवार्य सुलह (conciliation) के लिए अनिवार्य ठहराव लागू करने के लिए निर्देशों के एक निश्चित सेट का पालन करता है। जब इस संरचित प्रणाली का परीक्षण उन्हीं वास्तविक मामलों पर किया गया, तो इसने न्यायाधीशों की अपनी तारीखों को पूरी तरह से पुनरुत्पादित किया और सात में से छह मामलों में ट्रिब्यूनल के निर्णयों से मेल खाया। सिस्टम इतना विश्वसनीय था कि जब यह टेक्स्ट में एक स्पष्ट शुरुआती बिंदु नहीं ढूंढ पाता था, तो यह अनुमान लगाने के बजाय बस उत्तर देने से मना कर देता था और कारण भी बताता था।
शोधकर्ताओं ने 427 नए मामले बनाकर इस परीक्षण को और आगे बढ़ाया। उन्होंने वास्तविक निर्णयों को लिया और व्यवस्थित रूप से शुरुआती तारीखों को कुछ दिनों तक खिसका दिया, जिससे ठीक वह सीमा पार हो गई जहाँ एक दावा समय पर होने से बहुत देर होने की स्थिति में बदल जाता है। इससे एक ऐसा परिदृश्य बना जहाँ सही उत्तर पूर्ण निश्चितता के साथ ज्ञात था क्योंकि इसे स्वयं इंजन द्वारा गणना किया गया था, न कि मानव एनोटेशन द्वारा। इस कठोर परीक्षण में, संरचित पाइपलाइन उन मामलों पर 90.2% बार सही थी जिन्हें उसने प्रयास किया, जबकि प्रत्यक्ष भाषा मॉडल केवल 61.2% बार सही थे। संरचित प्रणाली की ताकत उसकी निर्भरताओं की श्रृंखला को संभालने की क्षमता में निहित थी; जैसे-जैसे घटनाओं की श्रृंखला लंबी होती गई, प्रत्यक्ष मॉडल तेजी से भ्रमित होते गए, जबकि ग्राफ-आधारित प्रणाली सटीक बनी रही।
हालाँकि, अध्ययन ने यह भी पहचाना कि यह नई विधि कहाँ अपनी सीमा तक पहुँचती है। संरचित प्रणाली में त्रुटियाँ लगभग कभी भी अंकगणित या समय सीमा की गणना में नहीं थीं। इसके बजाय, विफलताएं पहले चरण में हुईं: यह चुनना कि टेक्स्ट में कौन सी घटना सही शुरुआती बिंदु है। जटिल कानूनी दस्तावेजों में, कई घटनाएं संभावित शुरुआती बिंदु के रूप में दिख सकती हैं, और सिस्टम कभी-कभी गलत एक चुन लेता था। यह कानूनी संदर्भ को समझने की समस्या है, न कि गणित करने की। शोधकर्ताओं ने पाया कि सबसे अच्छे भाषा मॉडल भी, जब इन तथ्यों को निकालने के लिए कहा गया, तो अक्सर सही घटना को सही नियम से जोड़ने में विफल रहे, जिससे पता चलता कि कार्य का सबसे कठिन हिस्सा गणना नहीं, बल्कि इस तथ्य की प्रारंभिक व्याख्या करना है कि कौन से तथ्य मायने रखते हैं।
अंततः, यह पेपर प्रदर्शित करता है कि उन कार्यों के लिए जिनमें नियमों के सख्त पालन और सटीक गणना की आवश्यकता होती है, एक हाइब्रिड दृष्टिकोण सबसे अच्छा काम करता है। टेक्स्ट को पढ़ने को गणित के निष्पादन से अलग करके, सिस्टम उस विश्वसनीयता की परत प्राप्त करता है जो शुद्ध भाषा मॉडल में नहीं होती है। भाषा मॉडल एक अनुवादक के रूप में कार्य करता है, जो अस्त-व्यस्त कानूनी गद्य को तथ्यों के एक स्वच्छ सेट में बदल देता है, जबकि इंजन एक न्यायाधीश के रूप में कार्य करता है, जो बिना किसी हिचकिचाहट या विरोधाभास के कानून को लागू करता है। श्रम का यह विभाजन सिस्टम को यह बताने की अनुमति देता है कि वह कब अनिश्चित है, जिससे वह एक आत्मविश्वासी लेकिन गलत उत्तर देने के बजाय अपनी हिचकिचाहट का स्पष्ट कारण प्रदान करता है। परिणाम बताते हैं कि कानूनी समय सीमा के लिए, जहाँ एक दिन भी सब कुछ बदल सकता है, सबसे प्रभावी उपकरण वह नहीं है जो सब कुछ एक साथ करने की कोशिश करता है, बल्कि एक ऐसा सिस्टम है जो समस्या को छोटे हिस्सों में तोड़ता है, अपने काम की जाँच करता है, और जानता है कि कब रुकना है और मदद मांगनी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।