तकनीकी सारांश: एग्रीमेंट ट्रैप (Agreement Trap) से बचना

1. समस्या विवरण: एग्रीमेंट ट्रैप (The Agreement Trap)

स्वचालित सामग्री मॉडरेशन सिस्टम का मूल्यांकन पारंपरिक रूप से मानव लेबल के विरुद्ध सहमति-आधारित मेट्रिक्स (जैसे F1 स्कोर) का उपयोग करके किया जाता है। लेखक तर्क देते हैं कि यह दृष्टिकोण उन नियम-शासित वातावरणों (rule-governed environments) में विफल रहता है जहाँ शासी नीति (governing policy) के अनुरूप कई निर्णय तार्किक रूप से सुसंगत हो सकते हैं। ऐसे "ग्रे क्षेत्रों" में, मानव मॉडरेटर संदर्भ, पूर्ववृत्त (precedent) और व्याख्यात्मक मानदंडों का उपयोग करके अस्पष्टता को हल करते हैं, जिससे ऐसे लेबल बनते हैं जो अंतर्निहित नियम संरचना के बजाय एक विशिष्ट रेज़ोल्यूशन पाथवे (resolution pathway) को दर्शाते हैं।

जब एक मॉडल इन लेबलों से सीखता है, तो वह उस व्याख्यात्मक पथ (interpretive pathway) को ही दोहराता है। फलस्वरूप, सहमति-आधारित मेट्रिक्स उन वैध, नीति-आधारित निर्णयों को त्रुटि के रूप में दंडित करते हैं जो विशिष्ट मानव लेबल से भिन्न होते हैं, जिससे तीन अलग-अलग विफलता मोड आपस में मिल जाते हैं:

1. मॉडल त्रुटि (Model Error): मॉडल नियमों का उल्लंघन करता है।
2. मॉडरेटर विचलन (Moderator Divergence): मॉडल और मानव ने अलग-अलग वैध पथ चुने।
3. नीतिगत अस्पष्टता (Policy Ambiguity): नियम स्वयं अपर्याप्त रूप से परिभाषित हैं।

लेखक इस घटना को एग्रीमेंट ट्रैप (Agreement Trap) कहते हैं। यह नियम पालन के चित्रण को त्रुटि के रूप में गलत तरीके से प्रस्तुत करने की ओर ले जाता है, विशेष रूपकर तब जब नीति-सक्षम परिणामों का सेट-वैल्यूड (set-valued) हो (जिसमें एक से अधिक तत्व हों)।

2. कार्यप्रणाली: डिफेन्सिबिलिटी फ्रेमवर्क (The Defensibility Framework)

इस समस्या को संबोधित करने के लिए, यह ढांचा मूल्यांकन को नीति-आधारित शुद्धता (policy-grounded correctness) के रूप में औपचारिक रूप देता है, जिससे ध्यान ऐतिहासिक लेबल के साथ सहमति से हटाकर एक स्पष्ट नियम पदानुक्रम के तहत तार्किक व्युत्पत्ति (logical derivability) पर केंद्रित होता है।

2.1 औपचारिकता और मेट्रिक्स

यह ढांचा एक प्रस्तावित निर्णय $\hat{y}$ (जैसे REMOVE या APPROVE) का मूल्यांकन सामग्री $C$, एक नियम पदानुक्रम $R$ (प्लेटफ़ॉर्म-व्यापी $R_G$ और समुदाय-विशिष्ट $R_C$), और एक पूर्ववृत्त संग्रह $P$ के विरुद्ध करता है। एक निर्णय डिफेंसिबल (defensible - रक्षा योग्य) है यदि $(C, R, P)$ से $\hat{y}$ तक एक वैध तार्किक व्युत्पत्ति मौजूद है।

निर्णयों को तीन स्तरों में वर्गीकृत किया गया है:

• L1 (मजबूत रूप से रक्षा योग्य): एक स्पष्ट नियम सीधे और बिना किसी अस्पष्टता के निर्णय को अधिकृत करता है।
• L2 (तर्कसंगत रूप से रक्षा योग्य): नियम वास्तव में अस्पष्ट हैं, लेकिन निर्णय उचित रूप से समर्थित है।
• L3 (अरक्षा योग्य): कोई भी स्पष्ट नियम निर्णय को अधिकृत नहीं करता है, या तर्क प्रक्रिया में ऐसी अवधारणाओं का उपयोग किया गया है जो नियम सेट में अनुपस्थित हैं।

दो प्राथमिक मेट्रिक्स पेश किए गए हैं:

• डिफेन्सिबिलिटी इंडेक्स (DI): उन निर्णयों का अंश जो L1 या L2 हैं। लक्ष्य: $\ge 0.90$।
• एम्बिग्युटी इंडेक्स (AI): उन निर्णयों का अंश जहाँ एक "इनवर्स चेक" (यह सत्यापित करना कि क्या विपरीत निर्णय भी व्युत्पन्न किया जा सकता है) सक्रिय होता है। लक्ष्य: $\le 0.15$। AI को प्लेटफ़ॉर्म-स्तरीय ($A_{IG}$) और समुदाय-स्तरीय ($A_{IC}$) अपर्याप्तता में विभाजित किया गया है।

2.2 ऑडिट कार्यान्वयन

यह ढांचा एक ऑडिट मॉडल ($M_a$) का उपयोग करके एक संरचित ऑडिट नियोजित करता है। मानक "LLM-as-judge" दृष्टिकोणों के विपरीत, जो व्यक्तिपरक गुणवत्ता का मूल्यांकन करते हैं, $M_a$ एक संकुचित तर्क इंजन (constrained reasoning engine) के रूप में कार्य करता है। इसे सामग्री, नियम, पूर्ववृत्त और प्रस्तावित निर्णय प्राप्त होता है, और फिर यह एक JSON रीजनिंग ट्रेस उत्पन्न करता है:

1. लॉजिक चेन (Logic Chain): निष्कर्ष के चरण।
2. नीति उद्धरण ($\kappa$): स्पष्ट नियम संदर्भ (निर्णय से पहले प्रतिबद्ध किया गया)।
3. पूर्ववृत्त भार ($\omega$): पिछले मामलों का महत्व।
4. इनवर्स चेक ($\iota$): क्या विपरीत निर्णय भी व्युत्पन्न करने योग्य है।
5. डिफेन्सिबिलिटी स्तर ($\xi$): L1, L2, या L3।

यह क्रम सुनिश्चित करता है कि वर्गीकरण एक स्पष्ट शासन संदर्भ में आधारित है, जो मॉडल को पूर्व-निर्धारित आउटपुट को सही ठहराने (rationalizing) से रोकता है।

2.3 प्रोबेबिलिस्टिक डिफेन्सिबिलिटी सिग्नल (PDS)

अतिरिक्त ऑडिट पास के बिना स्थिरता का अनुमान लगाने के लिए, लेखक PDS पेश करते हैं, जो ऑडिट मॉडल के टोकन लॉग-प्रोबेबिलिटीज़ (log-probabilities) से प्राप्त होता है। PDS एक सिंगल फॉरवर्ड पास से तीन-घटक वेक्टर निकालता है:

1. $\lambda_\xi$ (लेबल लॉग-कॉन्फिडेंस): अंतिम डिफेन्सिबिलिटी स्तर की लॉग-संभावना।
2. $H[\kappa]$ (साइटेशन स्पैन एंट्रॉपी): नीति उद्धरण टोकन पर शैनन एंट्रॉपी। उच्च एंट्रॉपी नियम चयन में अनिश्चितता का संकेत देती है।
3. $\sigma(\rho)$ (इनवर्स-चेक लॉग-ऑड्स): इनवर्स चेक के सक्रिय होने के लॉग-ऑड्स। उच्च मान संकेत देते हैं कि मॉडल अनिश्चित है कि क्या विपरीत निर्णय अरक्षा योग्य है।

इन घटकों को कैलिब्रेशन के माध्यम से एक स्केलर $S$ में संयोजित किया जाता है। यह ढांचा परिकल्पना करता है कि PDS में भिन्नता मुख्य रूप से शासन संबंधी अस्पष्टता (governance ambiguity) से प्रेरित है, न कि डिकोडिंग शोर (decoding noise) से।

3. मुख्य योगदान

1. नीति-आधारित शुद्धता का औपचारिकीकरण: ऐतिहासिक लेबल के साथ सहमति के बजाय, नीति-सक्षम निर्णयों को अरक्षा योग्य निर्णयों से अलग करने के लिए DI और AI का परिचय।
2. प्रोबेबिलिस्टिक डिफेन्सिबिलिटी सिग्नल (PDS): लॉग-प्रोब्स से निकाला गया एक शून्य-लागत स्थिरता संकेत जो तर्क संबंधी अस्थिरता के साथ सह-संबंध रखता है।
3. गवर्नेंस गेट (Governance Gate): एक परिचालन तैनाती तंत्र जो विशिष्ट DI और AI थ्रेशोल्ड को पूरा करने वाले समूहों में स्वचालित प्रवर्तन को सीमित करता है, जिससे जोखिम कम करते हुए सिद्धांतिक ऑटोमेशन कवरेज संभव होता है।

4. अनुभवजन्य परिणाम

इस ढांचे को r/Reddit के कई समुदायों में 193,000+ मॉडरेशन निर्णयों पर मान्य किया गया, जिनका ऑडिट प्लेटफ़ॉर्म-व्यापी और समुदाय-विशिष्ट नियमों के विरुद्ध किया गया।

4.1 एग्रीमेंट-डिफेन्सिबिलिटी गैप

• मेट्रिक विचलन: एग्रीमेंट-आधारित F1 स्कोर और डिफेन्सिबिलिटी इंडेक्स के बीच 33–46.6 प्रतिशत अंक का अंतर है।
• फॉल्स नेगेटिव विश्लेषण: मॉडल के "फॉल्स नेगेटिव" (मानव लेबल के साथ असहमति) में से 79.8–80.6% वास्तव में नीति-आधारित निर्णय (L1 या L2) थे। यह एग्रीमेंट ट्रैप की पुष्टि करता है: मानक मेट्रिक्स उन वैध नियमों के पालन को दंडित करते हैं जो विशिष्ट मानव व्याख्याओं से भिन्न होते हैं।
• मूल कारण: केवल 19.4% असहमति वास्तविक मॉडल त्रुटियां (L3) थीं; शेष निहित मानदंड प्रवर्तन (implicit norm enforcement) या नीतिगत अस्पष्टता थे।

4.2 PDS और स्थिरता

• मानव संरेखण (Human Alignment): PDS मानव डिफेन्सिबिलिटी रेटिंग के साथ दृढ़ता से सह-संबंधित है ($\rho = 0.66, p < 10^{-4}$)।
• अस्पष्टता का पता लगाना: असहमति के मामलों में इनवर्स-चेक लॉग-ऑड्स ($\sigma(\rho)$), सहमति के मामलों की तुलना में 63% अधिक है।
• स्थिरता विश्लेषण: बार-बार सैंपलिंग (1,000 प्रतिकृति) से पता चलता है कि PDS का विचरण शासन संबंधी अस्पष्टता से प्रेरित है, न कि सैंपलिंग शोर से। "फ्लिपिंग" और "स्टेबल" मामलों के बीच अस्थिरता का अनुपात दस गुना तापमान वृद्धि के बावजूद स्थिर (~1.6x) रहता है, जो शासन अस्पष्टता परिकल्पना का समर्थन करता है।

4.3 नॉर्मेटिव अंडरस्पेसिफिकेशन प्रयोग

r/AskReddit पर तीन स्तरों की नियम विशिष्टता (केवल शीर्षक, साइडबार, विकी) के तहत 37,286 निर्णयों का ऑडिट करने पर पाया गया:

• AI में कमी: विस्तृत नियम जोड़ने से एम्बिग्युटी इंडेक्स में 10.8 प्रतिशत अंक की कमी आई (18.2% से घटकर 7.4% हो गया)।
• DI स्थिरता: डिफेन्सिबिलिटी इंडेक्स स्थिर (~97-98%) रहा, जो दर्शाता है कि निर्णय नियम के विवरण के बावजूद रक्षा योग्य थे; परिवर्तन उनके रक्षा योग्य होने की अनिश्चितता में था।
• तंत्र: अस्पष्ट नियम मुख्य रूप से अरक्षा योग्य (L3) निर्णयों के बजाय संदिग्ध (L2) निर्णय पैदा करते हैं।

4.4 गवर्नेंस गेट प्रदर्शन

DI $\ge$ 0.90 और AI $\le$ 0.15 के साथ कॉन्फ़िगर किया गया गवर्नेंस गेट प्राप्त किया:

• पूरे बेड़े (fleet) में 78.6% ऑटोमेशन कवरेज।
• 64.9% जोखिम में कमी (स्वचालित भाग में अरक्षा योग्य निर्णय दर को 5.66% से घटाकर 2.72% करना)।
• AI थ्रेशोल्ड को बाइंडिंग बाधा (binding constraint) के रूप में पहचाना गया, जिसका अर्थ है कि चयनात्मकता नीतिगत अस्पष्टता द्वारा निर्धारित होती है, न कि तर्क की वैधता द्वारा।

4.5 प्रतिकूल मजबूती (Adversarial Robustness)

एक "स्पूरियस-ग्राउंडिंग बेंचमार्क" (1,000 मामले जिनमें एडवरसेरियल हमले शामिल हैं) में:

• पता लगाना: सिस्टम ने 93.5% एक्शन-फ्लिप हमलों और 70.1% हैलुसिनेटेड-ग्राउंडिंग हमलों का पता लगाया।
• एस्केप सरफेस: 29.9% हमले बच निकले, विशेष रूप से वे जो "नीति पेनम्ब्रा" (विषयगत सामग्री नियम) का लाभ उठाते हैं। महत्वपूर्ण रूप से, हमलों के प्रति संवेदनशील नियम वही थे जिन्हें एम्बिग्युटी इंडेक्स द्वारा स्पष्टीकरण की आवश्यकता वाले नियमों के रूप में पहचाना गया था, जो ढांचे की नैदानिक क्षमता की स्वतंत्र पुष्टि प्रदान करता है।

5. महत्व और दावे

यह पेपर दावा करता है कि नियम-शासित वातावरण में मूल्यांकन को ऐतिहासिक लेबल के साथ सहमति से बदलकर स्पष्ट नियमों के तहत तर्क-आधारित वैधता की ओर स्थानांतरित होना चाहिए।

• अस्पष्टता का पुनर्गठन: यह ढांचा नीतिगत अस्पष्टता को एक कमी के रूप में नहीं, बल्कि एक जानबूझकर डिज़ाइन किए गए फीचर (नॉर्मेटिव अंडरस्पेसिफिकेशन) के रूप में देखता है जो मानवीय निर्णय को सुरक्षित रखता है। मेट्रिक्स इस लचीलेपन को मापने योग्य बनाते हैं ताकि उच्च डिफेन्सिबिलिटी वाले क्षेत्रों में सुरक्षित स्वचालन सक्षम हो सके।
• तर्क करने वाले के रूप में LLM (LLM as Reasoning Auditor): यह कार्य "LLM-as-judge" प्रतिमान को व्यक्तिपरक गुणवत्ता मूल्यांकन से बढ़ाकर नियम-आधारित तार्किक सत्यापन तक ले जाता है। नियमों को सत्य के बाहरी स्रोत के रूप में और ऑडिट मॉडल को एक संकुचित तर्क इंजन के रूप में मानकर, यह प्रणाली नियम-निरंतरता को क्रियान्वित करती है।
• व्यावहारिक तैनाती: गवर्नेंस गेट स्वचालन को स्केल करने के लिए एक सिद्धांतिक तंत्र प्रदान करता है, जो यह प्रदर्शित करता है कि LLM रीजनिंग ट्रेसेस (विशेष रूप से लॉग-प्रोब वितरण) शासन के लिए कैलिब्रेटेड अनिश्चितता संकेतों के रूप में कार्य कर सकते हैं।

लेखक निष्कर्ष निकालते हैं कि एम्बिग्युटी इंडेक्स, PDS विचरण और एडवरसेरियल एस्केप सर्फेस का अभिसरण एक ही अंतर्निहित घटना की ओर इशारा करता है: नॉर्मेटिव अंडरस्पेसिफिकेशन। यह ढांचा इस अंडरस्पेसिफिकेशन को मॉडल त्रुटि के रूप में मानने के बजाय इसे पहचानने और प्रबंधित करने के लिए बुनियादी ढांचा प्रदान करता है।