तकनीकी सारांश: बजटयुक्त एक्ट-ऑर-डिफर (Act-or-Defer) मल्टी-एजेंट LLM विमर्श (Deliberation) के लिए स्थानीय विश्वसनीयता सीमाएँ

1. समस्या विवरण

यह शोध पत्र मल्टी-एजेंट लार्ज लैंग्वेज मॉडल (LLM) विमर्श प्रणालियों की परिनियोजन (deployment) चुनौती को संबोधित करता है। जबकि मल्टी-एजेंट बहस तर्क क्षमताओं में सुधार करती है, व्यावहारिक परिनियोजन के लिए एक सिद्धांतगत तंत्र की आवश्यकता होती है कि सिस्टम को कब स्वायत्त रूप से कार्य करना चाहिए और कब मानव समीक्षा के लिए मामला टालना (defer) चाहिए। मौजूदा दृष्टिकोण आमतौर पर निश्चित स्टॉपिंग राउंड्स पर निर्भर करते हैं जिनमें मामूली कवरेज गारंटी (जैसे कि स्प्लिट कॉन्फॉर्मल प्रेडिक्शन) होती है या हीयुरिस्टिक (heuristic) सर्वसम्मति थ्रेशोल्ड होते हैं जिनमें गलत कार्यों की संभावना पर स्पष्ट नियंत्रण का अभाव होता है।

मुख्य समस्या को बजटयुक्त एक्ट-ऑर-डिफर निर्णय लेने के रूप में तैयार किया गया है: एक उपयोगकर्ता-निर्दिष्ट "गलत-कार्य बजट" ($\beta$) दिए जाने पर, सिस्टम को एक स्टॉपिंग रूल $\tau$ निर्धारित करना चाहिए ताकि गलत उत्तर पर कार्य करने की संभावना $\beta$ द्वारा सीमित हो, जबकि स्वायत्त कार्रवाई (ऑटोमेशन) की दर को अधिकतम किया जा सके। इसके लिए प्रति-इंसटेंस (per-instance), प्रति-राउंड स्थानीय विश्वसनीयता सीमाओं की आवश्यकता होती है जो बहस की स्थानीय स्थिति के अनुकूल हो सकें।

2. कार्यप्रणाली (Methodology)

प्रस्तावित विधि बहस अवस्थाओं के मीट्रिक स्पेस में $k$-निकटतम पड़ोसी ($k$-NN) दृष्टिकोण का उपयोग करके शुद्धता की संभावना पर स्थानीय निचली आत्मविश्वास सीमा (local lower confidence bounds) का निर्माण करती है।

2.1 अवस्था प्रतिनिधित्व और अंशांकन (State Representation and Calibration)

• अवस्था एम्बेडिंग (State Embedding): प्रत्येक दौर $t$ पर, बहस के इतिहास (फिल्ट्रेशन $F_t$) को एक मीट्रिक स्पेस $(\mathcal{U}, d)$ में एक निम्न-आयामी अवस्था $U_t = \phi_t(F_t)$ में संकुचित किया जाता है। डिफ़ॉल्ट अवस्था शीर्ष सामाजिक संभाव्यता ($p^{(1)}_t$) और शीर्ष दो विकल्पों के बीच मार्जिन ($\Delta_t$) है।
• अंशांकन (Calibration): एक अंशांकन डेटासेट $D_{cal}$ का उपयोग किया जाता है जहाँ पूर्ण बहस चलाई जाती है। प्रत्येक उदाहरण और दौर के लिए, अवस्था $U_{i,t}$ और शुद्धता संकेतक $Z_{i,t}$ दर्ज किए जाते हैं। डेटा को मोडुलस अनुमान सेट ($D_{mod}$) और लुकअप सेट ($D_{loc}$) में विभाजित किया गया है।

2.2 निचली सीमा का निर्माण (The Lower Bound Construction)

एक परीक्षण उदाहरण के लिए दौर $t$ पर अवस्था $U_t$ के साथ, विधि स्थानीय शुद्धता $q_t(U_t) = \Pr(Y = \hat{Y}_t | U_t = u)$ पर एक निचली सीमा $L_t$ की गणना करती है।

1. $k$-NN लुकअप: $K$ के आकार के परिवारों के लिए, विधि $D_{loc}$ में $k$ निकटतम पड़ोसियों की पहचान करती है।
2. बायस-वैरिएंस सुधार (Bias-Variance Correction): पड़ोस में कच्ची अनुभवजन्य माध्य (empirical mean) को दो पदों द्वारा दंडित किया जाता है:
   • स्थानीय बायस एनवेलप ($b_{t,k}$): एक प्लग-इन इंटरफेस जो पड़ोस के भीतर सन्निकटन त्रुटि (approximation error) को नियंत्रित करता है। शोध पत्र एक अनुभवजन्य मोडुलस (empirical modulus) का उपयोग करता है (जिसे $D_{mod}$ पर लॉजिस्टिक GAM के माध्यम से फिट किया गया है), जो एक त्रिज्या के भीतर पायलट स्मूथर के अधिकतम उतार-चढ़ाव को मापता है।
   • सैंपलिंग वेरिएंस: एक होफडिंग कंसन्ट्रेशन टर्म $\sqrt{\frac{\log(T|K|/\delta)}{2k}}$।
3. अनुकूली चयन (Adaptive Selection): अंतिम सीमा सभी $k \in K$ में से अधिकतम है:
   $$L_t = \max_{k \in K} \left[ \hat{q}_{t,k}(U_t) - b_{t,k}(U_t) - \sqrt{\frac{\log(T|K|/\delta)}{2k}} \right]$$
   यह प्रत्येक उदाहरण को स्वचालित रूप से उस $k$ को चुनने की अनुमति देता है जो सबसे सटीक बायस-वैरिएंस ट्रेड-ऑफ प्रदान करता है।

2.3 बजट अपघटन और स्टॉपिंग रूल (Budget Decomposition and Stopping Rule)

उपयोगकर्ता एक कुल गलत-कार्य बजट $\beta$ निर्दिष्ट करता है। विधि इस बजट को तीन घटकों में विभाजित करती है:
$$\beta = \underbrace{\delta}_{\text{कैलिब्रेशन विफलता}} + \underbrace{\alpha}_{\text{अवशिष्ट क्रिया जोखिम}} + \underbrace{\epsilon_{act}}_{\text{प्रतिनिधित्व अंतराल}}$$

• $\delta$: उस संभावना को नियंत्रित करता है कि निचली सीमा $L_t$ वास्तविक शुद्धता से अधिक हो जाए (कैलिब्रेशन विफलता)।
• $\alpha$: वह अवशिष्ट जोखिम जब सिस्टम कार्य करता है। स्टॉपिंग थ्रेशोल्ड $1 - \alpha$ पर सेट किया जाता है, जहाँ $\alpha = \beta - \delta - \epsilon_{act}$।
• $\epsilon_{act}$: "प्रतिनिधित्व अंतराल" (representation gap) पर एक एक-तरफा सीमा, जो यह गणना करती है कि पूर्ण बहस इतिहास $F_t$ को अवस्था $U_t$ में संकुचित करने पर कितनी जानकारी खो गई है।

स्टॉपिंग रूल: सिस्टम दौर $\tau = \inf \{ t \le T : L_t \ge 1 - \alpha \}$ पर कार्य करता है। यदि दौर $T$ तक सीमा पूरी नहीं होती है, तो उदाहरण को मानव समीक्षा के लिए टाल दिया जाता है।

2.4 सापेक्ष-जोखिम परिनियोजन (Relative-Risk Deployment)

विभिन्न कार्यों की कठिनाई को संभालने के लिए, शोध पत्र एक सापेक्ष-जोखिम परिनियोजन नीति पेश करता है। सभी कार्यों के लिए एक पूर्ण $\beta$ को स्थिर करने के बजाय, बजट को प्रशिक्षण डेटा पर कार्य के अंतिम-दौर त्रुटि ($\hat{e}_T$) से प्रेरित किया जाता है: $\beta_d = \lambda \cdot \hat{e}_T$। मल्टीप्लायर $\lambda$ को प्रशिक्षण स्प्लिट पर लक्षित (जैसे 0.10) सामान्यीकृत बजट उपयोग ($WA/\beta$) को बनाए रखते हुए ऑटोमेशन को अधिकतम करने के लिए चुना जाता है।

3. मुख्य योगदान

1. अनुकूली स्टॉपिंग का औपचारिक रूप देना: शोध पत्र मल्टी-एजेंट विमर्श को एक स्थानीय अवस्था-सशर्त जोखिम-नियंत्रण समस्या के रूप में औपचारिक रूप देता है जिसमें तीन-तरफा बजट अपघटन ($\beta = \delta + \alpha + \epsilon_{act}$) शामिल है।
2. लोकल बायस एनवेलप इंटरफेस: यह एक जेनेरिक, प्लग-इन बायस एनवेलप $b_{t,k}(u)$ पेश करता है (लिप्सचिट्ज़, होल्डर और अनुभवजन्य मोडुलस जैसे विशेष मामलों के साथ) जो स्थानीय सन्निकटन त्रुटि को नियंत्रित करता है, और निचली सीमाओं की समवर्ती वैधता को सिद्ध करता है।
3. स्पष्ट धारणाओं के साथ सशर्त गारंटी: वितरण-मुक्त (distribution-free) विधियों के विपरीत, गारंटी ऑडिट योग्य स्थानीय धारणाओं (बायस एनवेलप की वैधता और एक्शन-रीजन रिप्रेजेंटेशन गैप) पर सशर्त है। धारणा विफलता की लागत को प्रोपोज़िशन 4 के माध्यम से जोखिम सीमा में स्पष्ट रूप से जोड़ा गया है।
4. सापेक्ष-जोखिम परिनियोजन: यह विधि उपयोगकर्ता द्वारा घोषित गलत-कार्य बजट को एक ऑडिट योग्य ऑपरेटिंग पॉइंट में परिवर्तित करती है, जो विभिन्न कठिनाई वाले कार्यों के बीच बजट को सामान्य करने के लिए प्रशिक्षण डेटा का उपयोग करती है।
5. अनुभवजन्य सत्यापन: नौ बेसलाइनों के विरुद्ध छह बेंचमार्क (MMLU-Pro, LogiQA, ARC, BBH, MuSR, GPQA) पर प्रयोगों से पता चलता है कि यह विधि सक्रिय किए गए डेटासेट्स पर अपने घोषित बजट का केवल 9–12% उपयोग करती है, जबकि उच्च ऑटोमेशन (84% तक) और 'एक्टेड-ऑन' सटीकता (96% तक) प्राप्त करती है। स्ट्रेस-टेस्ट डेटासेट्स (GPQA, MuSR) पर, यह विधि अविश्वसनीय ऑटोमेशन को थोपने के बजाय सही ढंग से मामले को टाल देती है।

4. परिणाम

• सक्रिय डेटासेट्स (Activated Datasets): MMLU-Pro, BBH, LogiQA और ARC पर, यह विधि 28% और 84% के बीच ऑटोमेशन दर के साथ 89%–97% की 'एक्टेड-ऑन' सटीकता प्राप्त करती है। महत्वपूर्ण रूप से, गलत-कार्य दर ($WA$) पूर्व-घोषित बजट ($WA/\beta \in [0.09, 0.12]$) का केवल 9–12% उपभोग करती है।
• स्ट्रेस-टेस्ट डेटासेट्स: GPQA और MuSR (जो छोटे सैंपल साइज और उच्च आधार त्रुटि द्वारा चिह्नित हैं) पर, प्रेरित बजट बड़े होते हैं, लेकिन विधि अधिकांश मामलों पर टाल देती है (0%–53% ऑटोमेशन) क्योंकि स्थानीय निचली सीमाएं थ्रेशोल्ड को पार नहीं कर पाती हैं। इसे अविश्वसनीय ऑटोमेशन से बचने के लिए इच्छित व्यवहार के रूप में प्रस्तुत किया गया है।
• मैच्ड-ऑटोमेशन तुलना: जब बेसलाइनों को प्रस्तावित विधि के ऑटोमेशन रेट से मेल खाने के लिए पोस्ट-हॉक ट्यून किया जाता है, तो उनकी 'एक्टेड-ऑन' सटीकता और बजट उपयोग सांख्यिकीय रूप से अविभेद्य होता है। शोध पत्र का तर्क है कि प्रस्तावित विधि का मूल्य घोषित बजट से बिना किसी प्रति-कार्य थ्रेशोल्ड सर्च के, भविष्योन्मुखी (prospective) नीति निर्माण में निहित है।
• एब्लेशन (Ablations): बायस एनवेलप ($b_{t,k}$) को हटाने से बजट उपयोग में 2-3 गुणा वृद्धि होती है। केवल अंतिम दौर का उपयोग करने (कोई अनुकूली स्टॉपिंग नहीं) से अर्ली-स्टॉपिंग बचत समाप्त हो जाती है।

5. महत्व और दावे

शोध पत्र का दावा है कि इसका प्राथमिक योगदान उच्च उपसमुच्चय गुणवत्ता (subset quality) प्राप्त करना नहीं है, बल्कि यह सिद्ध करना है कि यह ट्यून किए गए स्केलर थ्रेशोल्ड के बराबर प्रदर्शन करता है, बल्कि यह एक भविष्योन्मुखी (prospective), ऑडिट योग्य ढांचा प्रदान करता है जो उपयोगकर्ता-घोषित गलत-कार्य बजट को 'एक्ट-ऑर-डिफर' नीति में बदल देता है।

• स्पष्ट धारणाएं: विधि आवश्यक संरचनात्मक धारणाओं (बायस एनवेलप के माध्यम से स्थानीय सुगमता और प्रतिनिधित्व अंतराल) को उजागर करती है और उन्हें डायग्नोस्टिक प्रॉक्सी (जैसे मोडुलस इन्फ्लेशन, प्रेडिक्टर-गैप चेक) के साथ जोड़ती है ताकि अपर्याप्त प्रतिनिधित्व को खारिज किया जा सके।
• ग्रेसफुल डिग्रेडेशन (Graceful Degradation): गारंटी गरिमापूर्ण तरीके से कम होती है; यदि धारणाओं का उल्लंघन होता है, तो विफलता की संभावना को जोखिम सीमा में स्पष्ट रूप से जोड़ा जाता है, जिससे गारंटी की विनाशकारी विफलता नहीं होती।
• इन्फरेंस-टाइम कंप्यूट के लिए टेम्पलेट: लेखक इसे अन्य इन्फरेंस-टाइम कंप्यूट पाइपलाइनों के लिए एक टेम्पलेट के रूप में देखते हैं जहाँ बार-बार स्वायत्त कार्रवाई सस्ती है, लेकिन कभी-कभार गलत कार्य महंगे होते हैं।

शोध पत्र स्पष्ट रूप से कहता है कि यह वितरण-मुक्त (distribution-free) सशर्त शुद्धता प्रदान नहीं करता है। इसके बजाय, यह एक जोखिम-अपघटन ढांचा प्रदान करता है जो स्थानीय धारणाओं की लागत को स्पष्ट बनाता है, जिससे घोषित स्थितियों के तहत ऑडिट योग्य परिनियोजन संभव होता है।