On Measuring Semantic Preservation in Legal Ontology Learning
यह शोध पत्र एक नवीन मूल्यांकन ढांचे का प्रस्ताव और सत्यापन करता है जो स्रोत दस्तावेजों बनाम संरचित निरूपणों पर LLM कार्य प्रदर्शन की तुलना करके कानूनी ऑन्टोलॉजी लर्निंग में सिमेंटिक लॉस (अर्थ संबंधी हानि) को परिमाणित करता है, जिससे यह प्रकट होता है कि अर्थ का संरक्षण विशिष्ट भाषा मॉडल और ऑन्टोलॉजी लर्निंग विधियों की विशेष जोड़ी के आधार पर महत्वपूर्ण रूप से भिन्न होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक जटिल कानूनी अनुबंध (legal contract) को समझना सिखाने की कोशिश कर रहे हैं। आपके पास दो विकल्प हैं: या तो आप रोबोट को मूल, अव्यवस्थित, मानव-लिखित पाठ (text) खिला सकते हैं, या आप उस पाठ को एक अत्यंत व्यवस्थित, संरचित मानचित्र में अनुवाद कर सकते हैं जिसे "ऑन्टोलॉजी" (ontology) कहा जाता है। एक ऑन्टोलॉजी को एक विशाल, पूरी तरह से लेबल किए गए फाइलिंग कैबिनेट की तरह समझें जहाँ हर अवधारणा एक दराज है और हर संबंध एक स्पष्ट लेबल है। विचार यह है कि यह संरचित मानचित्र रोबolo को मूल अव्यवस्थित पाठ की तुलना में बेहतर ढंग से तर्क करने में मदद करेगा। लेकिन यहाँ एक पेंच है: जब आप एक रसीले, सूक्ष्म कहानी को एक कठोर फाइलिंग कैबिनेट में जबरन फिट करते हैं, तो आप अनजाने में सबसे महत्वपूर्ण स्वाद को बाहर फेंक सकते हैं। यह "सिमेंटिक लॉस" (semantic loss - अर्थ की हानि) की समस्या है—संरचना को बनाए रखते हुए अर्थ को खो देना। वैज्ञानिक यह जाँचने में बहुत अच्छे रहे हैं कि क्या फाइलिंग कैबिनेट सही ढंग से बनाया गया है (क्या दराजों पर सही लेबल लगे हैं?), लेकिन उनके पास यह जाँचने का कोई अच्छा तरीका नहीं था कि दराजों की सामग्री वास्तव में वास्तविक समस्या को हल करने के लिए पर्याप्त "स्वादिष्ट" है या नहीं। यह शोध पत्र इस अंतर को भरने के लिए आता है, जो एक सरल लेकिन महत्वपूर्ण प्रश्न पूछता है: "क्या हमारे पाठ को एक संरचित मानचित्र में बदलने से वास्तव में रोबोट की मदद होती है, या क्या यह विवरणों को छीनकर उसे और भी मूर्ख बना देता है जिनकी उसे आवश्यकता है?"
इस शोध पत्र के लेखक, अल्बर्ट सडोव्स्की और जारोस्लाव ए. चुडियाक ने इस विचार का परीक्षण करने के लिए एक बहुत ही विशिष्ट और कठिन क्षेत्र चुना: कानूनी विलय समझौते (legal merger agreements)। ये वे विशाल, जटिल अनुबंध हैं जो कंपनियाँ तब हस्ताक्षरित करती हैं जब वे एक-दूसरे को खरीदती हैं, जो बारीक अक्षरों और सूक्ष्म कानूनी शर्तों से भरे होते हैं। वे यह देखना चाहते थे कि अनुबंधों को ऑन्टोलॉजी में बदलने से लार्ज लैंग्वेज मॉडल्स (LLMs)—जिन सुपर-स्मार्ट AI चैटबॉट्स का हम आज उपयोग करते हैं—को उनके बारे में प्रश्न पूछने में मदद मिलती है या नहीं।
इसे करने के लिए, उन्होंने एक चतुर प्रयोग तैयार किया। सबसे पहले, उन्होंने छह अलग-अलग AI मॉडल्स को मूल, अव्यवथित अनुबंध पढ़ने और 34 विभिन्न प्रकार के कानूनी प्रश्नों के उत्तर देने दिया। इसने उन्हें एक "बेसलाइन" स्कोर दिया, जो उस जानकारी की अधिकतम मात्रा का प्रतिनिधित्व करता है जिसे AI मूल पाठ से समझ सकता है। फिर, उन्होंने उन्हीं अनुबंधों को तीन अलग-अलग "ऑन्टोलॉजी लर्निंग" विधियों (LLMs4OL, NeOn-GPT, और NeOn-CoT) के माध्यम से चलाया ताकि उन्हें संरचित मानचित्रों में बदला जा सके। अंत में, उन्होंने उन्हीं AI मॉडल्स से वही प्रश्न पूछे, लेकिन इस बार, वे केवल संरचित मानचित्रों को देख सकते थे, मूल पाठ को नहीं।
परिणाम चौंकाने वाले थे। शोध पत्र में पाया गया कि लगभग हर मामले में, AI मॉडल्स का प्रदर्शन तब खराब हो गया जब उन्हें मूल पाठ के बजाय संरचित मानचित्रों का उपयोग करना पड़ा। यह एक स्वादिष्ट, जटिल स्टू (stew) के सारा रस और मसालों को निकालकर केवल सामग्री की एक साफ सूची बनाने जैसा है, और फिर एक शेफ से केवल उस सूची का उपयोग करके स्टू का स्वाद फिर से बनाने के लिए कहना। "सिमेंटिक लॉस" वास्तविक और मापने योग्य था। औसतन, AI मॉडल्स ने उपयोग की गई विधि के आधार पर 8.4 से 27.4 प्रतिशत अंकों तक सटीकता खो दी। LLMs4OL नामक विधि सबसे बड़ी दोषी थी, जिसने सबसे अधिक जानकारी को गायब कर दिया, जबकि NeOn-GPT "सबसे कम बुरा" था, जिसने सबसे अधिक अर्थ को संरक्षित किया।
हालाँकि, कहानी और भी दिलचस्प हो जाती है जब आप देखते हैं कि कौन सा AI मॉडल पढ़ रहा था। शोध पत्र ने पाया कि यह हानि सभी के लिए एक समान नहीं थी; यह AI मॉडल के "व्यक्तित्व" और मानचित्र बनाने के लिए उपयोग की गई विधि पर बहुत अधिक निर्भर थी। उदाहरण के लिए, जेमिनी (Gemini) नामक एक मॉडल ने एक विशिष्ट विधि, NeOn-CoT के साथ आश्चर्यजनक रूप से अच्छा काम किया, जिससे कठिन कार्यों के लिए मूल अर्थ का लगभग 86-88% बना रहा। लेकिन यदि आप उसी विधि को एक अलग मॉडल के साथ जोड़ते, तो प्रदर्शन गिर जाता। यह सुझाव देता है कि इन कानूनी मानचित्रों को बनाने का कोई एक "सर्वश्रेष्ठ" तरीका नहीं है; इसके बजाय, आपको AI मस्तिष्क और मानचित्र बनाने वाले उपकरण के बीच एक आदर्श मिलान खोजना होगा।
लेखकों ने यह भी देखा कि प्रश्न का प्रकार मायने रखता था। यदि प्रश्न सरल था, जैसे "क्या यह हाँ या ना है?", तो संरचित मानचित्र लगभग पूरी तरह से काम करते थे, जिसमें लगभग कोई जानकारी नहीं खोई। लेकिन यदि प्रश्न के लिए सूक्ष्म कानूनी बारीकियों को समझने की आवश्यकता थी—जैसे "अधिक संभावना है कि" (more likely than not) और "उचित रूप से संभावित" (reasonably likely) के बीच का अंतर—तो संरचित मानचित्र बुरी तरह विफल हो गए, जिसमें अक्सर 66% तक अर्थ खो गया। ऑन्टोलॉजी की कठोर संरचना संभावनाओं के उन नाजुक रंगों को पकड़ने में विफल रही जिन पर वकील भरोसा करते हैं।
अंत में, यह शोध पत्र यह नहीं कहता कि हमें ऑन्टोलॉजी का उपयोग करना बंद कर देना चाहिए। इसके बजाय, यह हमें चेतावनी देता है कि हम यह मान न लें कि चीजों को संरचित बनाने से वे अपने आप बेहतर हो जाती हैं। लेखक सुझाव देते हैं कि इससे पहले कि हम एक AI को कानूनी निर्णय लेने में मदद करने के लिए एक संरचित मानचित्र पर भरोसा करें, हमें पहले इसका परीक्षण करना चाहिए कि क्या यह वास्तव में उस अर्थ को सुरक्षित रखता है जिसकी हमें आवश्यकता है। उन्होंने पाया कि जटिल कानूनी तर्क के लिए, पाठ को संरचित मानचित्र में बदलने की प्रक्रिया अक्सर उन विवरणों को छीन लेती है जो सही उत्तर के लिए आवश्यक होते हैं। इसलिए, हालांकि डेटा को व्यवस्थित करने के लिए ऑन्टोलॉजी अभी भी उपयोगी है, हमें सावधान रहने की आवश्यकता है कि हम "नहाने के पानी के साथ बच्चे को बाहर न फेंक दें" (throw the baby out with the bathwater), विशेष रूप से तब जब वह "बच्चा" एक सूक्ष्म कानूनी तर्क हो जो अरबों डॉलर के सौदे का परिणाम बदल सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।