तकनीकी सारांश: कॉन्फिडेंटली रोंग: फ्रंटियर LLM नियम मूल्यांकन में एक्सेप्शन चेन कोलैप्स (Exception Chain Collapse)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र फ्रंटियर लार्ज लैंग्वेज मॉडल्स (LLMs) में एक विशिष्ट, व्यवस्थित विफलता मोड की पहचान करता है जिसे "एक्सेप्शन चेन कोलैप्स" (exception chain collapse) कहा जाता है। यह तब होता है जब नेस्टेड कंडीशनल नियमों वाले पात्रता मूल्यांकन कार्यों (eligibility evaluation tasks) में शामिल किया जाता है, जिनका स्वरूप कुछ इस प्रकार होता है: "A आवश्यक है जब तक कि B लागू न हो, जब तक कि C, B को ओवरराइड न कर दे।"

जबकि फ्रंटियर LLMs सरल मल्टी-रूट लॉजिक (जैसे: साधारण OR-ब्रांचिंग) पर अच्छा प्रदर्शन करते हैं, वे मल्टी-लेवल एक्सेप्शन चेन्स (विशेष रूप से तीन स्तर गहरे) के मूल्यांकन के दौरान काफी खराब प्रदर्शन करते हैं। शोध पत्र दो अलग-अलग विफलता पैटर्नों का दस्तावेजीकरण करता है:

1. एक्सेप्शन एंकरिंग (Exemption Anchoring): मॉडल छूट (exemptions) को प्राथमिक मार्ग (primary route) के गौण के रूप में मानता है। यदि प्राथमिक मार्ग विफल हो जाता है, तो मॉडल उस विफलता पर "एंकर" हो जाता है और स्वतंत्र रूप से वैध वैकल्पिक छूट मार्गों का मूल्यांकन करने में विफल रहता है।
2. एक्सेप्शन चेन कोलैप्स (Exception Chain Collapse): मॉडल मल्टी-लेवल UNLESS लॉजिक को सही ढंग से नेस्ट करने में विफल रहता है, और अक्सर स्वतंत्र छूट पथों को आपस में मिला देता है (उदाहरण के लिए, एक "वेटरन" छूट को "आयु" छूट पर निर्भर मान लेना)।

मुख्य अस्थिरता (The Core Instability): एक महत्वपूर्ण निष्कर्ष यह है कि इन कार्यों पर फ्रंटियर मॉडल की सटीकता एक "चलती हुई अनुपालन सीमा" (moving compliance boundary) है। मार्च और अप्रैल 2026 के बीच, बिना किसी वर्जन अपडेट के, एक ही मॉडल एलियास (जैसे, GPT-5.4 और Claude Opus 4.6) के तहत बेंचमार्क के विशिष्ट फेल्योर सेल्स चुपचाप बंद हो गए। यह विनियमित वर्कफ़्लो (regulated workflows) के लिए बेंचमार्क-टाइम सटीकता दावों को अविश्वसनीय बनाता है जहाँ निरंतरता अनिवार्य है।

2. कार्यप्रणाली (Methodology)

लेखक एथिस एलिजिबिलिटी मॉड्यूल (Aethis Eligibility Module) का प्रस्ताव और मूल्यांकन करते हैं, जो एक न्यूरो-सिंबोलिक आर्किटेक्चर है जिसे नियम लेखन (rule authoring) को नियम निष्पादन (rule execution) से अलग करने के लिए डिज़ाइन किया गया है।

आर्किटेक्चर

• चरण 1: स्वचालित नियम लेखन (LLM): एक LLM आधिकारिक कानूनी स्रोतों (विधियों, नीति मार्गदर्शन) को पढ़ता है और नियमों को एक प्रतिबंधित डोमेन स्पेसिफिक लैंग्वेज (DSL) में स्ट्रक्चर्ड कोड के रूप में उत्पन्न करता है। इस चरण में एक प्रोवेनेंस चेन (provenance chain) शामिल है जहाँ प्रत्येक उत्पन्न नियम विशिष्ट स्रोत उद्धरणों (दस्तावेज़ आईडी, सेक्शन पाथ, सीधा उद्धरण) से जुड़ा होता है।
• चरण 2: एलिजिबिलिटी मॉड्यूल (डिटरमिनिस्टिक इंजन): उत्पन्न DSL को औपचारिक सैटिस्फिएबिलिटी मोलो थ्योरीज (SMT) बाधाओं (constraints) में संकलित किया जाता है। इसके बाद एक SMT सॉल्वर इन बाधाओं का संरचित आवेदक डेटा के विरुद्ध मूल्यांकन करता है।
  • मुख्य तंत्र: इंजन प्रत्येक पात्रता मार्ग (eligibility route) को विखंड़न (disjunction/OR) के माध्यम से संयोजित एक औपचारिक रूप से स्वतंत्र बूलियन ब्रांच के रूप में मानता है। यह इन शाखाओं का डिटरमिनिस्टिक रूप से मूल्यांकन करता है, जो मॉडल ड्रिफ्ट, रीजनिंग प्रयास या प्रॉम्प्ट फॉर्मेट से स्वतंत्र है।

बेंचमार्क डिज़ाइन

लेखकों ने चार डोमेन में 225 परिदृश्यों का एक बेंचमार्क बनाया:

1. लाइफ इन द यूके (Life in the UK): वास्तविक यूके अप्रवासन कानून (ब्रिटिश नेशनलिटी एक्ट 1981)।
2. अंग्रेजी भाषा प्रवीणता (English Language Proficiency): वास्तविक यूके अप्रवासन मार्गदर्शन।
3. स्पेसक्राफ्ट सर्टिफिकेशन (Spacecraft Certification): तीन-स्तरीय एक्सेप्शन चेन्स के साथ यूके विधायी संरचना पर आधारित एक सिंथेटिक क़ानून।
4. कंस्ट्रक्शन इंश्योरेंस (Construction Insurance): लंदन मार्केट DE3/DE5 क्लॉज़ के मॉडल पर आधारित पांच-स्तरीय एक्सेप्शन चेन्स वाला सिंथेटिक पॉलिसी वर्डिंग।

इस बेंचमार्क का मूल्यांकन एंथ्रोपिक और ओपनएआई के आठ LLMs (चार फ्रंटियर, चार प्रोडक्शन-टियर) के विरुद्ध किया गया, जो डिटरमिनिस्टिक एलिजिबिलिटी मॉड्यूल के साथ तुलना करते हैं।

3. मुख्य योगदान (Key Contributions)

1. विफलता पैटर्न वर्गीकरण (Failure Pattern Taxonomy)

शोध पत्र "एक्सेप्शन चेन कोलैप्स" और "एक्सेप्शन एंकरिंग" को नेस्टेड एक्सेप्शन-चेन मूल्यांकन में व्यवस्थित त्रुटियों के रूप में औपचारिक रूप से वर्णित करता है। इन विफलताओं को दिखाया गया है कि वे:

• कंपोजिशनल (Compositional) हैं: वे तर्क की गहराई (तीन स्तर) से उत्पन्न होती हैं, न कि कानूनी ज्ञान की कमी से।
• प्रॉम्प्टिंग के प्रति सुदृढ़ नहीं (Robust to Prompting नहीं) हैं: उन्नत प्रॉम्प्टिंग (जैसे, "स्टेप बाय स्टेप सोचें," "छूटों का स्वतंत्र रूप से मूल्यांकन करें") इस समस्या को ठीक करने में विफल रहती है; इसके बजाय, यह शुद्ध सटीकता (net accuracy) को कम करते हुए फॉल्स नेगेटिव को फॉल्स पॉजिटिव में बदल देती है।
• अस्थिर (Unstable) हैं: विशिष्ट विफलता बिंदु मॉडल अपडेट के साथ चुपचाप बदलते रहते हैं, जिससे फ्रंटियर मॉडल उच्च-दांव वाले, ऑडिट-क्रिटिकल निर्णयों के लिए अविश्वसनीय हो जाते हैं।

2. एथिस एलिजिबिलिटी मॉड्यूल (The Aethis Eligibility Module)

शोध पत्र एक न्यूरो-सिंबोलिक सिस्टम प्रस्तुत करता है जो अनिश्चितता को इन्फरेंस बाउंड्री (जहाँ LLMs में यह मौन और निरंतर है) से हटाकर स्पेसिफिकेशन बाउंड्री (जहाँ यह जानबूझकर और ऑडिट योग्य है) पर स्थानांतरित करता है।

• गारंटी: निष्पादन परत (execution layer) गणितीय रूप से परिभाषित सिमेंटिक्स प्रदान करती है। यदि नियम बंडल को सही ढंग से औपचारिक रूप दिया गया है, तो निष्पादन स्पेक्स के साथ 100% सुसंगत होगा, चाहे मॉडल का वर्जन या कॉन्फ़िगरेशन कुछ भी हो।
• ऑडिटेबिलिटी: प्रत्येक निर्धारण में एक प्रोवेनेंस चेन शामिल होती है जो परिणाम को सीधे विशिष्ट विधायी क्लॉज और लिए गए तार्किक पथ से जोड़ती है।

3. अनुभवजन्य साक्ष्य (Empirical Evidence)

• बेंचमार्क परिणाम: एलिजिबिलिटी मॉड्यूल ने सभी 225 परिदृश्यों में 100% सटीकता प्राप्त की।
• LLM प्रदर्शन: फ्रंटियर मॉडल्स ने एक्सेप्शन-चेन कार्यों पर महत्वपूर्ण गिरावट दिखाई। उदाहरण के लिए, मार्च 2026 के स्नैपशॉट में, क्लाउड ओपस 4.6 ने स्पेसक्राफ्ट सेक्शन पर 89.7% (61/68) स्कोर किया, जिसमें 7 विशिष्ट परिदृश्य स्वतंत्र रन के 0/3 बार विफल हुए।
• एडवर्सरियल एक्सटेंशन: एक v3.8 एडवर्सरियल एक्सटेंशन (20 नए कंस्ट्रक्शन इंश्योरेंस परिदृश्य) में, डिटरमिनिस्टिक इंजन ने 20/20 स्कोर किया। जबकि कुछ फ्रंटियर मॉडल्स ने मूल सुइट पर 100% प्राप्त किया, वे गहरे एडवर्सरियल मामलों में विफल रहे (जैसे, क्लाउड ओपस 4.7 ने 2/20 विफल हुआ, GPT-5.4 डिफॉल्ट ने 1/20 विफल हुआ)।
• बाहरी सत्यापन: नौ लीगलबेंच (LegalBench) कार्यों के 949 होल्ड-आउट मामलों पर, एलिजिबिलिटी मॉड्यूल तीन फ्रंटियर मॉडल्स की तुलना में काफी अधिक सटीक था (संयुक्त McNemar's $p \le 0.003$), जिसमें सबसे बड़ा अंतर (+41 प्रतिशत अंक) मल्टी-प्रोंग नियम-एप्लीकेशन कार्यों पर देखा गया।

4. महत्व और दावे (Significance and Claims)

यह शोध पत्र यह दावा नहीं करता है कि LLMs सामान्य रूप से अविश्वसनीय हैं या वे कानूनी तर्क के लिए उपयोग नहीं किए जा सकते। इसके बजाय, यह एक विनम्र, विशिष्ट दावा करता है:

• अनिश्चितता का स्थानांतरण (Relocation of Uncertainty): मुख्य योगदान आर्किटेक्चरल है। नियम लेखन (जहाँ उनकी प्रवाहपूर्णता एक संपत्ति है) के लिए LLMs का उपयोग करके और निष्पादन (जहाँ नियतवाद/determinism की आवश्यकता है) के लिए SMT सॉल्वर का उपयोग करके, यह प्रणाली अनिश्चितता को प्रबंधनीय बनाती है। अनिश्चितता को नियम औपचारिकीकरण चरण (स्तर 2) में स्थानांतरित कर दिया जाता है, जिसे टेस्ट-ड्रिवन वैलिडेशन के माध्यम से प्रबंधित किया जा सकता है, न कि इन्फरेंस चरण (स्तर 3) में, जहाँ यह मौन और अवलोकनीय नहीं है।
• नियामक बचाव (Regulatory Defensibility): उच्च-दांव वाले डोमेन (अप्रवासन, बीमा, सुरक्षा प्रमाणन) के लिए जहाँ अधिकार देने वाले फॉल्स नेगेटिव और स्पष्टीकरण अनिवार्य है, वहां डिटरमिनिस्टिक निष्पादन परत वह गुण प्रदान करती है जो फ्रंटियर LLMs नहीं दे सकते: इनवेरिएंस (Invariance)। एक संकलित नियम बंडल आज वही परिणाम देगा जो वह छह महीने बाद देगा, चाहे अंतर्निहित मॉडल वेट्स में कोई भी मौन परिवर्तन क्यों न हुआ हो।
• सीमाएँ (Limitations): लेखक स्पष्ट रूप से कहते हैं कि सिस्टम एक स्पेक्स के सही निष्पादन की गारंटी देता है, न कि स्पेक्स की स्वयं की शुद्धता की। नियम बंडल की गुणवत्ता टेक्स्ट को औपचारिक रूप देने की LLM की क्षमता पर निर्भर करती है (स्तर 2), जिसे टेस्ट-ड्रिवन वैलिडेशन द्वारा कम किया गया है लेकिन समाप्त नहीं किया गया है। वर्तमान में सिस्टम को स्ट्रक्चर्ड इनपुट की आवश्यकता होती है और यह अनस्ट्रक्चर्ड डॉक्यूमेंट एक्सट्रैक्शन को हैंडल नहीं करता है।

संक्षेप में, शोध पत्र तर्क देता है कि विनियमित वर्कफ़्लो में नेस्टेड एक्सेप्शन-चेन मूल्यांकन के लिए, डिटरमिनिस्टिक फॉर्मल निष्पादन विश्वास के लिए एक आवश्यक शर्त है, और न्यूरो-सिंबोलिक आर्किटेक्चर यह रास्ता प्रदान करते हैं जिससे नियम निष्कर्षण के लिए LLMs की उपयोगिता से समझौता किए बिना इसे प्राप्त किया जा सकता है।