DeonticBench: A Benchmark for Reasoning over Rules
यह शोधपत्र DeonticBench को प्रस्तुत करता है, जो एक व्यापक बेंचमार्क है जिसमें विविध अमेरिकी कानूनी और नीतिगत डोमेन के 6,232 कार्य शामिल हैं, ताकि प्राकृतिक भाषा और प्रतीकात्मक (symbolic) प्रोलॉग-आधारित वर्कफ़्लो दोनों के माध्यम से जटिल, संदर्भ-विशिष्ट डियॉन्टिक (deontic) तर्क करने की बड़े भाषा मॉडलों की क्षमता का मूल्यांकन और सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अदालत में न्यायाधीश हैं, लेकिन आपके पास हथौड़े के बजाय एक विशाल, अत्यंत बुद्धिमान रोबोट सहायक है। आपका काम एक विशाल, भ्रमित करने वाली नियम पुस्तिका (जैसे टैक्स कानून या एयरलाइन नीतियां) के आधार पर मामलों का निर्णय लेना है। आप रोबोट से पूछते हैं, "इन नियमों और इस कहानी के आधार पर, फैसला क्या है?"
लंबे समय तक, हमने यह उम्मीद की थी कि ये रोबोट (लार्ज लैंग्वेज मॉडल्स, या LLMs) केवल "सोचकर" सही उत्तर तक पहुँच जाएंगे, जैसे कि एक मानव वकील किसी मामले को पढ़ता है। लेकिन अक्सर, वे गलत हो जाते हैं। वे ऐसे नियम का भ्रम (hallucination) पैदा कर सकते हैं जो अस्तित्व में ही नहीं है, या वे गणित गलत कर सकते हैं, जिससे वास्तविक जीवन में खतरनाक गलतियाँ हो सकती हैं (जैसे किसी को यह बताना कि उन्हें टैक्स नहीं देना है, जबकि वास्तव में उन्हें देना चाहिए)।
यह पेपर DEONTICBENCH पेश करता है, जो एक नया "फाइनल एग्जाम" है जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया है कि ये रोबोट उच्च-जोखिम वाली स्थितियों में नियमों का कितनी अच्छी तरह पालन कर सकते हैं।
यहाँ एक सरल विवरण दिया गया है कि उन्होंने क्या किया और उन्हें क्या मिला:
1. परीक्षा: DEONTICBENCH
इस बेंचमार्क को AI के लिए एक विशाल, बहु-विषयक टेस्ट के रूप में समझें। यह AI से कविता लिखने या साधारण गणित हल करने के लिए नहीं कहता। इसके बजाय, यह AI के सामने चार बहुत अलग, वास्तविक दुनिया की नियम पुस्तिकाएं फेंकता है:
- यू.एस. फेडरल टैक्स: "यदि एलिस विवाहित है और $36k कमाती है, तो उसे कितना टैक्स देना होगा?"
- एयरलाइन बैगेज: "यदि लिंडा के पास 95lb का बैग है और वह बिजनेस क्लास में उड़ रही है, तो उसे कितना भुगतान करना होगा?"
- इमिग्रेशन अपील: "इस विशिष्ट कानूनी मामले के आधार पर, क्या अपील स्वीकार की जानी चाहिए या खारिज की जानी चाहिए?"
- आवास कानून (Housing Laws): "मिशिगन में, क्या एक मकान मालिक नगर निगम अदालत में किराएदार को बेदखल कर सकता है?"
इस परीक्षा में 6,000 से अधिक प्रश्न हैं। कुछ आसान हैं, लेकिन "हार्ड मोड" वाले प्रश्न इतने स्मार्ट रोबोट्स को भी उलझाने के लिए डिज़ाइन किए गए हैं।
2. टेस्ट लेने के दो तरीके
शोधकर्ताओं ने AI को दो अलग-अलग तरीकों से टेस्ट लेने दिया, जैसे कि किसी छात्र को कैलकुलेटर देना या उनसे मन में गणना करने के लिए कहना:
- "केवल मस्तिष्क" विधि (डायरेक्ट रीजनिंग): AI नियमों और कहानी को पढ़ता है, और फिर बस अपना उत्तर लिख देता है। यह एक जटिल बीजगणित (algebra) की समस्या को अपने दिमाग में हल करने की कोशिश करने जैसा है।
- "अनुवादक" विधि (सिम्बोलिक/प्रोलॉग): AI एक अनुवादक के रूप में कार्य करता है। यह बिखरे हुए मानवीय नियमों और कहानी को पढ़ता है, और फिर एक कंप्यूटर प्रोग्राम (एक भाषा जिसे प्रोलॉग कहा जाता है) लिखता है जिसे एक कंप्यूटर सॉल्वर चला सकता है।
- उपमा: रोबोट के वकील बनने के बजाय, वह एक प्रोग्रामर बन जाता है। वह वह कोड लिखता है जो उत्तर की गणना करता है। फिर कंप्यूटर उस कोड को चलाकर परिणाम प्राप्त करता है। यह अधिक सटीक होने के कारण ऐसा है क्योंकि कंप्यूटर कोड का पालन करने में माहिर होते हैं, भले ही वे अनुमान लगाने में खराब हों।
3. परिणाम: रोबोट अभी भी लड़खड़ा रहे हैं
शोधकर्ताओं ने दुनिया के सबसे स्मार्ट AI मॉडल्स (जैसे GPT-5, O3, और अन्य) का इस परीक्षा पर परीक्षण किया। परिणाम आश्चर्यजनक और थोड़े चिंताजनक थे:
- वे कठिन चीजों में अभी भी खराब हैं: सबसे उन्नत मॉडल भी कठिन प्रश्नों के लगभग 44% से 46% सही हल कर पाए। कुछ श्रेणियों के लिए यह सिक्का उछालने (टॉस) से भी मुश्किल से बेहतर है।
- ज़्यादा सोचना हमेशा मदद नहीं करता: आप सोच सकते हैं, "यदि AI अधिक समय तक सोचता है और अधिक प्रयास करता है, तो वह बेहतर होगा।" लेकिन अध्ययन में पाया गया कि केवल "सोचने का समय" बढ़ाने से त्रुटियों को लगातार ठीक नहीं किया जा सका।
- "अनुवादक" विधि पेचीदा है: जब AI ने कंप्यूटर कोड (प्रोलॉग) लिखने की कोशिश की, तो उसने अक्सर ऐसा कोड लिखा जो दिखने में तो सही था लेकिन उसमें छोटी-मोटी खामियां थीं (जैसे कि एक गायब सेमीकोलन या गलत वेरिएबल का नाम), जिससे पूरा प्रोग्राम क्रैश हो गया।
- प्रशिक्षण मदद करता है, लेकिन पर्याप्त नहीं: शोधकर्ताओं ने विशेष प्रशिक्षण तकनीकों (जैसे रीइन्फोर्समेंट लर्निंग) का उपयोग करके AI को विशेष रूप से इस परीक्षा के लिए "सिखाने" की कोशिश की। AI कोड लिखने में बेहतर हुआ, लेकिन वह अभी भी सबसे कठिन समस्याओं को विश्वसनीय रूप से हल नहीं कर सका।
4. यह क्यों मायने रखता है?
डीओन्टिक रीजनिंग (Deontic Reasoning) को "मौसम क्या है?" और "बारिश में गाड़ी चलाने के नियम क्या हैं?" के बीच के अंतर के रूप में समझें।
- मौसम: यदि AI गलत अनुमान लगाता है, तो यह केवल एक गलत पूर्वानुमान है।
- नियम: यदि AI टैक्स कानून या इमिग्रेशन नियम पर गलत अनुमान लगाता है, तो एक वास्तविक व्यक्ति अपना घर खो सकता है, हजारों डॉलर का जुर्माना लग सकता है, या उसे निर्वासित (deport) किया जा सकता है।
पेपर निष्कर्ष निकालता है कि हालांकि AI चैट करने और लिखने में बेहतर हो रहा है, यह सख्त, जटिल नियमों का पालन करने के मामले में अभी भी बहुत नाजुक है। हम इन रोबोटों पर न्यायाधीश या टैक्स ऑडिटर के रूप में भरोसा नहीं कर सकते। उन्हें बेहतर "ट्रेनिंग व्हील्स" (जैसे सिम्बोलिक कोड विधि) और यह सुनिश्चित करने के लिए अधिक विश्वसनीय तरीकों की आवश्यकता है कि वे नियम न बनाएं या विवरण न चूकें।
मुख्य निष्कर्ष
DEONTICBENCH एक वास्तविकता की जांच (reality check) है। यह दिखाता है कि हालांकि AI रचनात्मक कार्यों के लिए अद्भुत है, लेकिन यह वास्तविक दुनिया में एक विश्वसनीय "नियम-पालक" होने के लिए अभी भी संघर्ष कर रहा है। इससे पहले कि हम AI को कानूनी या वित्तीय निर्णय लेने दें, हमें यह पता लगाने की आवश्यकता है कि उन्हें सरल, महंगी गलतियाँ करने से कैसे रोका जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।