NL-PAC: Specification Ambiguity and Certified Minimax Risk Floors in LLM-Mediated Supervision

तकनीकी सारांश: NL-PAC: LLM-मध्यस्थ पर्यवेक्षण में विनिर्देश अस्पष्टता और प्रमाणित मिनिमैक्स जोखिम फर्श (Minimax Risk Floors)

समस्या विवरण
आधुनिक शिक्षण पाइपलाइन (learning pipelines) तेजी से कार्यों के लिए लेबल, मूल्यांकन और फीडबैक प्रदान करने के लिए प्राकृतिक भाषा में निर्दिष्ट कार्यों पर बड़े भाषा मॉडल (LLMs) पर निर्भर करती हैं। एक महत्वपूर्ण समस्या तब उत्पन्न होती है जब एक प्राकृतिक भाषा विनिर्देश (specification) कई वैध व्याख्याओं (readings) को स्वीकार करता है, लेकिन पर्यवेक्षण चैनल (एक जज के रूप में कार्य करने वाला LLM) यह प्रकट किए बिना कि कौन सी व्याख्या प्रभावी है, एक व्याख्या को अपना लेता है। यह शासन, जिसे टारगेट-ब्लाइंड सुपरविजन (target-blind supervision) कहा जाता है, एक मौलिक पहचान की समस्या (identification problem) पैदा करता है: उसी चैनल से प्राप्त अतिरिक्त अवलोकन भी इस अस्पष्टता को हल नहीं करते क्योंकि चैनल का अवलोकन नियम (observation law) प्रभावी लक्ष्य (operative target) से स्वतंत्र होता है।

शास्त्रीय सांख्यिकीय शिक्षण सिद्धांत (classical statistical learning theory) के विपरीत, जहाँ कार्य विनिर्देश और पर्यवेक्षण चैनल अलग-अलग होते हैं, LLM-मध्यस्थ प्रणालियाँ इस पृथक्करण को समाप्त कर देती हैं। कार्य को एक प्राकृतिक भाषा निर्देश द्वारा परिभाषित किया जाता है, और पर्यवेक्षण संकेत (supervision signal) उसी निर्देश की व्याख्या करने वाले मॉडल द्वारा उत्पन्न किया जाता है। फलस्वरूप, शिक्षार्थी (learner) एक अपरिहार्य जोखिम फर्श (irreducible risk floor) का सामना करता है जो सांख्यिकीय शोर या भ्रष्टाचार बजट (corruption budget) के कारण नहीं, बल्कि प्रॉम्प्ट के डिकोडिंग के कारण निहित ग्राह्य व्याख्याओं की अविभेद्यता (indistinguishability of admissible readings) के कारण होता है। शोध पत्र यह पूछता है: जब चैनल जो ग्राह्य लक्ष्यों को परिभाषित करता है वही एकमात्र पर्यवेक्षण का स्रोत भी है, तो मिनिमैक्स जोखिम (minimax risk) कितना शेष रहता है, और क्या इस जोखिम फर्श को अनलेबल इनपुट से प्रमाणित किया जा सकता है?

कार्यप्रणाली: NL-PAC ढांचा
लेखक नेचुरल लैंग्वेज PAC (NL-PAC) पेश करते हैं, जो एक निश्चित मॉडल, एक प्रॉम्प्ट और एक डिकोडिंग थ्रेशोल्ड के बीच परस्पर क्रिया को औपचारिक रूप देने के लिए एक ढांचा है ताकि ग्राह्य लेबल (admissible labels) की ज्यामिति को परिभाषित किया जा सके।

1. मॉडल-ग्राह्य ज्यामिति (Model-Admissible Geometry):

   • एक निश्चित विवरण $f_{NL}$, मॉडल $LLM_\theta$, और थ्रेशोल्ड $\tau$ के लिए, प्रत्येक इनपुट $x$ पर एक ग्राह्य लेबल सेट $A_\tau(x)$ को उन सभी लेबलों $y$ के साथ परिभाषित किया जाता है जहाँ मॉडल की डिकोडिंग संभावना $\pi(y|f_{NL}, x) \ge \tau$ है।
   • ग्राह्य-ओवरलैप मास (Admissible-overlap mass) $D^*_\tau$ उन इनपुट्स का संभाव्यता द्रव्यमान (probability mass) है जहाँ $|A_\tau(x)| \ge 2$ (अर्थात, कई लेबल ग्राह्य हैं)।
   • ढांचा एक मॉडल-ग्राह्य लेबलिंग क्लास $F_{\tau, \zeta}$ (वे लेबलिंग जो $\zeta$-मास सेट पर भी ग्राह्य हैं) और इसके कोर (core) $Sel_\tau$ (लगभग-हर जगह ग्राह्य लेबलिंग) को परिभाषित करता है।
   • इसके कोर का व्यास, $\text{diam}_P(Sel_\tau)$, $D^*_\tau$ के बराबर होता है।

2. टारगेट-ब्लाइंडनेस और जोखिम फर्श (Target-Blindness and Risk Floors):

   • पर्यवेक्षण चैनल टारगेट-ब्लाइंड है यदि अवलोकन नियम (observation law) परिचालन लक्ष्य पर निर्भर नहीं करता है। इस स्थिति के तहत, शोध पत्र सिद्ध करता है कि कोई भी शिक्षार्थी उन लक्ष्यों के बीच अंतर नहीं कर सकता जो समान अवलोकन नियम उत्पन्न करते हैं।
   • पेयरवाइज फ्लोर (Pairwise Floor): किसी भी दो ग्राह्य लक्ष्यों $f_1, f_2$ के लिए जो एक द्रव्यमान $D$ पर भिन्न होते हैं, मिनिमैक्स जोखिम $D/2$ से कम है, चाहे सैंपल साइज कुछ भी हो।
   • सटीक मिनिमैक्स मान (Exact Minimax Value): संपूर्ण ग्राह्य कोर $Sel_\tau$ पर, सटीक मिनिमैक्स जोखिम $V^*_\tau = \mathbb{E}_x[1 - 1/k(x)]$ है, जहाँ $k(x)$ प्रत्येक $x$ पर ग्राह्य लेबलों की संख्या है। यह मान एक डेटा-स्वतंत्र रैंडमाइज्ड लर्नर द्वारा प्राप्त किया जाता है जो प्रत्येक इनपुट पर ग्राह्य सेट से समान रूप से चयन करता है।
   • सुसंगत व्याख्याएँ (Coherent Readings): शोध पत्र पॉइंटवाइज ग्राह्य चयन (pointwise admissible selections) और सुसंगत व्याख्याओं (विशिष्ट रीडिंग क्लॉज द्वारा परिभाषित वैश्विक व्याख्याएँ) के बीच अंतर करता है। यह एक "ब्रिज" बाउंड स्थापित करता है कि एक परिमित परिवार के सुसंगत रीडिंग्स पर मिनिमैक्स जोखिम $V^*_\tau$ के करीब तभी होता है जब वह परिवार $\eta$-यूनिफॉर्म कवरेज स्थिति और निम्न ग्राह्यता उल्लंघन (low admissibility violation) को संतुष्ट करता है।

3. परिमित-सैंपल प्रमाणन (Finite-Sample Certification):

   • शोध पत्र तैनाती वितरण (deployment distribution) से रखे गए अनलेबल इनपुट्स का उपयोग करके इन मात्राओं के लिए परिमित-सैंपल सर्टिफिकेट का निर्माण करता है।
   • एक्सपोज्ड प्रोबेबिलिटीज (Exposed Probabilities): यदि मॉडल की डिकोडिंग संभावनाएँ सुलभ हैं, तो ऑडिट $D^*_\tau$ और $V^*_\tau$ का सीधे अनुमान लगाता है, जो मिनिमैक्स जोखिम फर्श पर होफडिंग-आधारित (Hoeffding-based) निचली सीमाएँ प्रदान करता है।
   • सैंपल्ड डिकोडिंग (Sampled Decoding): यदि केवल सैंपल्ड आउटपुट उपलब्ध हैं, तो ऑडिट एक प्लग-इन एस्टिमेटर का उपयोग करता है। यह एक थ्रेशोल्ड-मार्जिन पद ($\kappa(\xi)$) और एक फाइनाइट-डेप्थ त्रुटि पद पेश करता है, जो प्रमाण को निरर्थक (vacuous) बना सकता है यदि डिकोडिंग गहराई अपर्याप्त है या कई इनपुट थ्रेशोल्ड $\tau$ के पास स्थित हैं।

मुख्य योगदान

1. प्रतिनिधित्व: मॉडल-ग्राह्य लेबलिंग क्लास को औपचारिक रूप देना और सिद्ध करना कि इसका व्यास ग्राह्य-ओवरलैप मास $D^*_\tau$ के बराबर है, साथ ही टॉलरेंस क्लासेस के लिए टाइट बाउंड्स प्रदान करना।
2. ब्लाइंड-चैनल वैल्यू: सिद्ध करना कि टारगेट-ब्लाइंड सुपरविजन एक सैंपल-साइज-स्वतंत्र मिनिमैक्स फ्लोर $D^*_\tau/2$ (बाइनरी ओवरलैप के लिए) या $V^*_\tau$ (सटीक मान) लागू करता है, जो एक डेटा-स्वतंत्र रणनीति द्वारा प्राप्त किया जाता है।
3. कोहेरेंट रीडिंग्स ब्रिज: उन स्थितियों का विवरण देना जिनमें पॉइंटवाइज मिनिमैक्स मान एक परिमित परिवार के वैश्विक रीडिंग क्लॉज पर स्थानांतरित होता है, जो पॉइंटवाइज ग्राह्यता और सिमेंटिक कोहेरेंस के बीच के अंतर को उजागर करता है।
4. प्रमाणन: अनलेबल डेटा से जोखिम फर्श के लिए एक-तरफा कॉन्फिडेंस बाउंड की गणना करने के लिए एल्गोरिदम विकसित करना, जो एक्सपोज्ड प्रोबेबिलिटीज बनाम केवल सैंपल्स उपलब्ध होने के मामलों के बीच अंतर करता है।

अनुभवजन्य परिणाम (Empirical Results)
लेखकों ने एक फ्रीज्ड Qwen 2.5–3B मॉडल पर एक ऑडिट किया:

• पॉजिटिव सर्टिफिकेट: एक विशिष्ट कंटेंट मॉडरेशन प्रॉम्प्ट (P1) के लिए, ऑडिट ने एक महत्वपूर्ण ओवरलैप मास ($D^*_\tau = 0.29$ @ $\tau=0.20$) पाया, जो एक मिनिमैक्स जोखिम फर्श 0.0838 को प्रमाणित करता है। यह इंगित करता है कि अनंत डेटा के साथ भी, सबसे खराब स्थिति वाली त्रुटि इस थ्रेशोल्ड से नीचे नहीं लाई जा सकती क्योंकि यह मॉडल की अंतर्निहित अस्पष्टता के कारण है।
• जीरो सर्टिफिकेट: प्रॉम्प्ट के एक पैराफ्रेस (P2) और सटीक-नियम कंट्रोल टास्क ने शून्य सर्टिफिकेट दिए। P2 एकल लेबल में सिमट गया (एंट्रॉपी डायग्नोस्टिक द्वारा) और सटीक नियमों ने अस्पष्टता के लिए कोई स्थान नहीं छोड़ा।
• ट्रांसफर फेलियर: एक "ब्रिज" ऑडिट, जो यह परीक्षण करता है कि क्या पॉइंटवाइज सर्टिफिकेट दो दिए गए कैंडिडेट रीडिंग क्लॉज पर स्थानांतरित होता है, विफल रहा। जबकि मिश्रण कवरेज अनुकूल था, क्लॉज ने ग्राह्यता की स्थिति का उल्लंघन किया (उच्च उल्लंघन दर), जिसके परिणामस्वरूप एक ढीला बाउंड मिला जिसने ट्रांसफर के प्रमाण को विफल कर दिया।
• सैंपलिंग लिमिट्स: एक शैलो डेप्थ ($r=3$) वाले सैंपल्ड-डिकोडिंग ऑडिट ने बड़े फाइनाइट-डेप्थ करेक्शन टर्म के कारण निरर्थक (शून्य) सर्टिफिकेट दिए, जो कच्चे प्रोबेबिलिटीज तक पहुंच न होने की लागत को दर्शाता है।

महत्व और दायरा
शोध पत्र दावा करता है कि यह LLM-एज़-अ-जज डायग्नोस्टिक्स में मौजूद एक निर्णय-सैद्धांतिक चरण (decision-theoretic step) प्रदान करता है। जबकि मौजूदा कार्य जज बायस, कैलिब्रेशन या सहमति दरों पर ध्यान केंद्रित करते हैं, NL-PAC उस अपरिहार्य अस्पष्टता को मापता है जो विनिर्देश-चैनल युग्म द्वारा स्वयं आरोपित की जाती है।

• दावों की विनम्रता: लेखक स्पष्ट रूप से कहते हैं कि सर्टिफिकेट मॉडल-सापेक्ष (model-relative) है और ऑडिट किए गए टुपल $(LLM_\theta, \Pi, \tau, P)$ के लिए विशिष्ट है। यह डिज़ाइनर के इच्छित लक्ष्य की पहचान नहीं करता है और न ही मानव कार्य की अस्पष्टता को स्थापित करता है। एक पॉजिटिव फ्लोर यह प्रमाणित करता है कि यह विशिष्ट चैनल अस्पष्टता को हल नहीं कर सकता है, न कि यह कि कार्य स्वाभाविक रूप से मनुष्यों के लिए अस्पष्ट है।
• निहितार्थ: एक पॉजिटिव सर्टिफिकेट का अर्थ है कि सैंपल साइज बढ़ाने या शिक्षार्थी (learner) में सुधार करने से भी सबसे खराब स्थिति वाले जोखिम को कम नहीं किया जा सकता है; फर्श को कम करने का एकमात्र रास्ता सूचना संरचना (information structure) को बदलना है (जैसे, विनिर्देश को स्पष्ट करना, एक अलग मॉडल का उपयोग करना, या रीडिंग-रिवीलिंग सुपरविजन पेश करना)।
• सीमाएं: गारंटी एक 'टारगेट-ब्लाइंडनेस' पर निर्भर करती है और ग्राह्य सेटों की दृश्यता पर आधारित है। ग्राह्य सेट के कवरेज और ग्राह्यता की जांच के लिए बाहरी सत्यापन की आवश्यकता होती है, जिसे शोध पत्र के 'ब्रिज ऑडिट' ने एक गैर-तुच्छ बाधा के रूप में दिखाया है।

संक्षेप में, NL-PAC, LLM-मध्यस्थ पर्यवेक्षण में 'लर्नेबिलिटी' (learnability) के 'फ्लोर' को ऑडिट करने के लिए एक कठोर तरीका प्रदान करता है, यह प्रदर्शित करते हुए कि विनिर्देश अस्पष्टता प्रदर्शन के लिए स्थायी, प्रमाणित बाधाएं उत्पन्न कर सकती है जो डेटा वॉल्यूम से स्वतंत्र होती हैं।