PROSLEX: A Novel Dataset for Expert-Annotated Legal Statute Prediction for Indian Judiciary
यह शोध पत्र PROSLEX को प्रस्तुत करता है, जो 1,623 विशेषज्ञ-एनोटेटेड भारतीय कानूनी दस्तावेजों और 7,450 विस्तृत स्पष्टीकरणों के युग्मों वाला एक नवीन डेटासेट है, जिसे सटीकता और कानूनी तर्क सुसंगतता दोनों के लिए विभिन्न LLM प्रॉम्प्टिंग रणनीतियों का मूल्यांकन करके व्याख्यात्मक कानूनी क़ानून भविष्यवाणी (explainable legal statute prediction) को आगे बढ़ाने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन उंगलियों के निशान खोजने के बजाय, आप उन विशिष्ट कानूनों की तलाश कर रहे हैं जो एक कहानी पर लागू होते हैं। कानून की दुनिया में, विशेष रूप से भारत जैसे स्थानों में, प्रत्येक अपराध या विवाद नियमों के एक विशिष्ट सेट से जुड़ा होता है जिसे "संविधियाँ" (statutes) कहा जाता है। इन संविधियों को एक विशाल, जटिल खेल के नियम पुस्तिका (rulebook) के रूप में समझें। यदि कोई नियम तोड़ता है, तो आपको नियम पुस्तिका के उस सटीक पृष्ठ को खोजना होगा जो उनकी गलती का वर्णन करता है। इसे "संविधि भविष्यवाणी" (Statute Prediction) कहा जाता है। वर्षों से, कंप्यूटर इन कहानियों को पढ़ने और सही नियम पुस्तिका का पृष्ठ अनुमान लगाने में बेहतर होते जा रहे हैं, जो एक सुपर-फास्ट लाइब्रेरियन की तरह है। लेकिन एक पेच है: केवल सही पृष्ठ का अनुमान लगाना पर्याप्त नहीं है। एक वास्तविक अदालत में, एक न्यायाधीश या वकील को यह जानने की आवश्यकता होती है कि वह नियम क्यों लागू होता है। उन्हें तर्क की आवश्यकता होती है, "क्योंकि" की, न कि केवल "क्या" की। यह एक जीपीएस (GPS) की तरह है जो आपको बाएं मुड़ने के लिए तो कहता है लेकिन यह समझाने से इनकार कर देता है कि आगे एक बड़ा गड्ढा है। यह शोध पत्र उस लापता हिस्से पर गहराई से विचार करता है, और पूछता है: क्या हम कंप्यूटर को न केवल कानून का अनुमान लगाना सिखा सकते हैं, बल्कि उन्हें अपने तर्क को इस तरह समझाने के लिए भी तैयार कर सकते हैं जो मनुष्यों को समझ में आए?
इस अध्ययन के पीछे के शोधकर्ताओं ने, जिनका नेतृत्व भारतीय विश्वविद्यालयों की एक टीम द्वारा किया गया था, महसूस किया कि जबकि कंप्यूटर अनुमान लगाने में अच्छे हो रहे थे, वे यह समझाने में बहुत खराब थे कि उन्होंने जो अनुमान लगाया है उसके पीछे का कारण क्या है। इसे ठीक करने के लिए, उन्होंने PROSLEX नामक कुछ बनाया। PROSLEX को एक विशाल, सुपर-व्यवस्थित प्रशिक्षण शिविर (training camp) के रूप में समझें। उन्होंने भारतीय सर्वोच्च न्यायालय के 1,623 वास्तविक कानूनी मामलों को लिया और वास्तविक जीवन के कानूनी विशेषज्ञों (मानव कोचों) से उन्हें परखा। इन विशेषज्ञों ने केवल मामलों को लेबल ही नहीं किया; उन्होंने कहानी के उन सटीक वाक्यों को भी हाइलाइट किया जो साबित करते थे कि कौन सा कानून लागू होता है और इसके पीछे के तर्क को भी लिखा। कुल मिलाकर, उन्होंने 7,450 विस्तृत स्पष्टीकरण तैयार किए। यह एक मास्टर शेफ के पास केवल एक तैयार केक दिखाने के बजाय, रेसिपी के हर एक चरण को विस्तार से लिखने और यह समझाने जैसा है कि आपको इसे ठीक 350 डिग्री पर क्यों पकाना चाहिए।
इस नए "प्रशिक्षण शिविर" के साथ तैयार होकर, टीम ने कई अलग-अलग प्रकार के कंप्यूटर मस्तिष्क (computer brains) को परीक्षण के लिए रखा। उन्होंने इन कंप्यूटरों को एक कानूनी कहानी पढ़ने और दो काम करने के लिए कहा: सही कानून का अनुमान लगाना और अपने अनुमान के लिए एक स्पष्टीकरण लिखना। उन्होंने विभिन्न शिक्षण विधियों का परीक्षण किया, जैसे पहले कुछ उदाहरण दिखाना (few-shot), कदम-दर-कदम सोचने के लिए कहना (Chain-of-Thought), या यहाँ तक कि उन्हें तर्क के कई रास्तों को खोजने के लिए कहना जैसे कि विचारों की एक शाखा निकल रही हो (Tree-of-Thoughts)।
यहाँ उन्हें क्या मिला। सबसे पहले, जो कंप्यूटर विशेष रूप से कानूनी पाठ (जैसे InLegalBERT) पर प्रशिक्षित थे, वे केवल सही कानून का अनुमान लगाने में सबसे अच्छे थे, जो लगभग 82% बार सही होते थे। हालाँकि, जब बात स्पष्टीकरण लिखने की आई, तो बड़े, सामान्य-उद्देश्य वाले एआई मॉडल (जैसे GPT-4) चमकने लगे। जब इन मॉडलों को कदम-दर-कदम सोचने के लिए कहा गया, तो वे कानून की भविष्यवाणी करने और एक ऐसा कारण लिखने में बहुत बेहतर हो गए जो एक वास्तविक वकील जैसा लगा। वास्तव में, GPT-4 शीर्ष प्रदर्शन करने वाला मॉडल था, जिसने अपने स्पष्टीकरणों के लिए विशेषज्ञ रेटिंग पर उच्चतम स्कोर प्राप्त किया।
लेकिन शोध पत्र में कुछ पेचीदा बिंदु भी मिले। जब कंप्यूटरों ने "Tree-of-Thoughts" पद्धति (कई अलग-अलग विचारों में शाखाओं की तरह फैलना) का उपयोग करने की कोशिश की, तो वे वास्तव में सही कानून का अनुमान लगाने में और भी खराब हो गए। ऐसा लगता है कि एक साथ बहुत सारे रास्तों को खोजने की कोशिश ने उन्हें भ्रमित कर दिया। इसके अलावा, शोधकर्ताओं ने एक छिपी हुई समस्या की खोज की: कभी-कभी एक कंप्यूटर सही कानून का अनुमान लगा लेता था लेकिन उसके लिए पूरी तरह से गलत कारण देता था। यह एक छात्र के समान है जो गणित के टेस्ट में सही उत्तर तो प्राप्त करता है लेकिन गलत कार्य (work) दिखाता है। शोध पत्र ने दिखाया कि भले ही कंप्यूटर ने "संविधि" (statute) को सही पहचाना, लेकिन उसका तर्क गलत हो सकता था, जो इस बात पर प्रकाश डालता है कि हम उसके तर्क की जांच किए बिना उसके उत्तर पर भरोसा नहीं कर सकते।
अंततः, लेखक सुझाव देते हैं कि हालांकि हम करीब पहुँच रहे हैं, लेकिन हम अभी वहाँ नहीं पहुँचे हैं। सबसे अच्छे परिणाम कंप्यूटर की गति को मानव-समान तर्क चरणों के साथ जोड़ने से मिले, लेकिन सिस्टम को अभी भी काम की दोबारा जाँच करने के लिए एक मानव विशेषज्ञ की आवश्यकता है। यह शोध पत्र यह दावा नहीं करता है कि इसने कानूनी एआई के रहस्य को हमेशा के लिए सुलझा लिया है; इसके बजाय, यह एक नया, उच्च-गुणवत्ता वाला मानचित्र (PROSLEX डेटासेट) प्रदान करता है जिसका उपयोग अन्य शोधकर्ता बेहतर, अधिक व्याख्या योग्य कानूनी उपकरण बनाने के लिए कर सकते हैं। यह एक महत्वपूर्ण प्रगति है, जो यह सिद्ध करती है कि यदि हम कंप्यूटरों को सही प्रकार का प्रशिक्षण डेटा दें—पूर्ण विवरण और मानवीय स्पष्टीकरणों के साथ—तो वे न केवल खेल के नियमों को, बल्कि उनके पीछे की भावना को भी समझना शुरू कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।