तकनीकी सारांश: LLM एजेंटों में हस्तक्षेप का विरोधाभास (The Intervention Paradox)

समस्या विवरण (Problem Statement)

जटिल, बहु-चरणीय कार्यों के लिए लार्ज लैंग्वेज मॉडल (LLM) एजेंटों को तेजी से तैनात किया जा रहा है, जहाँ विफलताओं के कारण गणना (computation), आउटपुट गुणवत्ता और उपयोगकर्ता अनुभव में महत्वपूर्ण लागत आती है। एक सामान्य शमन रणनीति सक्रिय हस्तक्षेप (proactive intervention) है, जहाँ एक बाइनरी LLM क्रिटिक मॉडल निष्पादन की निगरानी करता है, आसन्न विफलता की भविष्यवाणी करता है, और एजेंट को वापस सही मार्ग पर लाने के लिए प्रक्षेपवक्र (trajectory) के बीच में ही हस्तक्षेप करता है।

इस दृष्टिकोण के सहज आकर्षण के बावजूद, यह शोध पत्र तर्क देता है कि सटीक विफलता भविष्यवाणी का अर्थ प्रभावी विफलता रोकथाम नहीं है। लेखक देखते हैं कि अत्यधिक सटीक ऑफलाइन प्रेडिक्टिव सटीकता (जैसे, AUROC 0.94) वाले क्रिटिक्स भी तैनाती के समय गंभीर प्रदर्शन गिरावट का कारण बन सकते हैं। विशेष रूप से, हस्तक्षेप कुछ मॉडलों के लिए सफलता दर में 26 प्रतिशत अंक (pp) की गिरावट ला सकता है, जबकि अन्य पर इसका प्रभाव नगण्य होता है। यह परिवर्तनशीलता बताती है कि केवल क्रिटिक की सटीकता यह निर्धारित करने के लिए पर्याप्त नहीं है कि क्या एक हस्तक्षेप नीति सुरक्षित या लाभकारी है।

कार्यप्रणाली (Methodology)

सैद्धांतिक ढांचा: व्यवधान-पुनर्प्राप्ति ट्रेडऑफ (Disruption-Recovery Tradeoff)

लेखक एक ही सेट के $N$ कार्यों पर दो प्रणालियों की तुलना करके हस्तक्षेप के प्रभाव को औपचारिक रूप देते हैं: एक बेसलाइन (केवल एजेंट) और एक हस्तक्षेप प्रणाली (एजेंट + क्रिटिक)। वे एक $2 \times 2$ परिणाम तालिका को परिभाषित करते हैं:

• रिकवरी (Recovery - $C$): बेसलाइन विफल होती है, हस्तक्षेप सफल होता है।
• डिस्रप्शन (Disruption - $B$): बेसलाइन सफल होती है, हस्तक्षेप विफल होता है।
• बेसलाइन विफलता दर ($p$): $F/N$, जहाँ $F$ कुल बेसलाइन विफलताएं हैं।
• रिकवरी दर ($r$): $C/F$।
• डिस्रप्शन दर ($d$): $B/S$, जहाँ $S$ कुल बेसलाइन सफलताएं हैं।

सफलता दर में परिवर्तन ($\Delta \text{Success}$) को इस प्रकार परिभाषित किया गया है:
$$\Delta \text{Success} = p \cdot r - (1 - p) \cdot d$$

हस्तक्षेप केवल तभी प्रदर्शन में सुधार करता है जब $\Delta \text{Success} > 0$ हो, जो इस स्थिति में सरल हो जाता है:
$$p > \frac{d}{r + d}$$

लेखक का मानना है कि $r$ और $d$ के मान अंतर्निहित एजेंट के गुणों (कि वह सुधारों को कैसे आत्मसात करता है) द्वारा नियंत्रित होते हैं, जिससे क्रिटिक की भविष्यवाणी सटीकता एक माध्यमिक कारक बन जाती है।

प्रयोगात्मक सेटअप (Experimental Setup)

• क्रिटिक मॉडल: HotPotQA और GAIA के प्रक्षेपवक्र चरणों (trajectory steps) पर LoRA के माध्यम से प्रशिक्षित एक बाइनरी LLM क्रिटिक, जो Qwen3-0.6B पर आधारित है। क्रिटिक को मूल्यांकन सेटों से भिन्न कार्यों पर प्रशिक्षित किया गया है ताकि ज़ीरो-शॉट सामान्यीकरण (zero-shot generalization) सुनिश्चित हो सके।
• हस्तक्षेप तंत्र (Intervention Mechanisms): दो सरल तंत्रों का परीक्षण किया गया:
  1. ROLLBACK: एजेंट के पिछले कार्य को पूर्ववत करता है और स्थिति (state) को बहाल करता है, जिससे पुनः प्रयास (retry) की अनुमति मिलती है।
  2. APPEND: क्रिया को निष्पादित करता है लेकिन विफलता की भविष्यवाणी करने वाला एक चेतावनी संदेश जोड़ देता है।
• बेंचमार्क:
  • HotPotQA: उच्च-सफलता वाला क्षेत्र (51–70% बेसलाइन)।
  • GAIA: मध्यम-सफलता वाला क्षेत्र (19–47% बेसलाइन)।
  • ALFWorld: निम्न-सफलता वाला क्षेत्र (5.8–14.7% बेसलाइन), जो डोमेन शिफ्ट (घरेलू रोबोटिक्स सिमुलेशन) का प्रतिनिधित्व करता है।
• कैलिब्रेशन (Calibration): क्रिटिक के अति-आत्मविश्वास को ठीक करने के लिए टेम्परेचर स्केलिंग लागू की गई थी, जिसमें हस्तक्षेप को ट्रिगर करने के लिए थ्रेशोल्ड $\tau = 0.6$ निर्धारित किया गया था।

मुख्य परिणाम (Key Results)

1. उच्च-सफलता वाले क्षेत्र (Hot-Success Regimes - HotPotQA, GAIA)

उन क्षेत्रों में जहाँ बेसलाइन एजेंट पहले से ही बार-बार सफल होता है, हस्तक्षेप लगातार प्रदर्शन को कम करता है।

• Qwen-3-8B: मामूली से मध्यम गिरावट (0 से -4 pp) दिखाई।
• MiniMax-M2.1: भारी गिरावट देखी, जिसमें सफलता दर में 25–30 pp की कमी आई।
• कारण: डिस्रप्शन दर ($d$) रिकवरी दर ($r$) से काफी अधिक हो गई। हस्तक्षेपों ने पहले से ही सही चल रहे प्रक्षेपवक्यों को बाधित किया, विशेष रूप से शुरुआती चरणों (0–1) में, जिससे एजेंटों ने सही उत्तरों को छोड़ दिया या "इंटरवेंशन कैस्केड" (जहाँ बार-बार रोलबैक से स्टेप बजट समाप्त हो गया) में प्रवेश कर लिया।

2. निम्न-सफलता वाले क्षेत्र (Low-Success Regimes - ALFWorld)

उच्च-विफलता वाले ALFWorld बेंचमार्क में, हस्तक्षेप मामूली लेकिन सांख्यिकीय रूप से महत्वपूर्ण सुधार प्रदान करता है।

• Qwen-3-8B: APPEND तंत्र के साथ +2.8 pp की वृद्धि प्राप्त की।
• तंत्र: बेसलाइन विफलता दर ($p \approx 89\%$) थ्रेशोल्ड $p^* = d/(r+d) \approx 82\%$ से अधिक थी। यहाँ, रिकवर किए गए एपिसोड की संख्या बाधित किए गए एपिसोड की संख्या से अधिक थी।

3. एब्लेशन अध्ययन (Ablation Studies)

• क्रिटिक स्केलिंग: क्रिटिक को 0.6B से 14B पैरामीटर्स तक स्केल करने से विफलता की भविष्यवाणी में सुधार नहीं हुआ (कुछ कॉन्फ़िगरेशन के लिए AUROC वास्तव में कम हो गया), जो यह दर्शाता है कि डेटा विविधता, न कि मॉडल क्षमता, मुख्य बाधा है।
• ओरेकल विश्लेषण (Oracle Analysis): यहाँ तक कि एक "परफेक्ट" ओरेकल क्रिटिक के साथ भी, जो केवल विफल होने वाले प्रक्षेपव erhöओं पर हस्तक्षेप करता है, अधिकतम लाभ 4–8 pp तक सीमित था। इसके विपरीत, ओरेकल पोस्ट-हॉक चयन (Best-of-2) ने 11–17 pp का लाभ दिया। यह सुझाव देता है कि मध्य-निष्पादन नियंत्रण (mid-execution control) में एक मौलिक "डिस्रप्शन टैक्स" निहित है।
• थ्रेशोल्ड संवेदनशीलता: हस्तक्षेप थ्रेशोल्ड को ट्यून करने से उच्च-सफलता वाले क्षेत्रों में बेसलाइन प्रदर्शन को वापस नहीं लाया जा सका; नकारात्मक प्रभाव सभी थ्रेशोल्ड पर बना रहा।
• फीडबैक सामग्री: समृद्ध, संदर्भ-जागरूक फीडबैक ने लगातार बेहतर परिणाम नहीं दिए और कभी-कभी व्यवधान को बढ़ा दिया।

मुख्य योगदान (Key Contributions)

1. व्यवधान-पुनर्प्राप्ति ट्रेडऑफ की पहचान: यह शोध पत्र स्थापित करता है कि हस्तक्षेप की व्यवहार्यता $p > d/(r+d)$ की स्थिति द्वारा शासित होती है। यह प्रदर्शित करता है कि यह स्थिति उच्च-सफलता वाले क्षेत्रों में नियमित रूप से उल्लंघन होती है, जिससे अनावश्यक गिरावट आती है।
2. मॉडल-निर्भर संवेदनशीलता: अध्ययन दिखाता है कि एक ही हस्तक्षेप नीति एक एजेंट (जैसे, GLM-4.7) के लिए फायदेमंद हो सकती है और दूसरे (जैसे, MiniMax-M2.1) के लिए विनाशकारी, जो कि क्रिटिक की सटीकता के बजाय इस बात से प्रेरित है कि एजेंट मध्य-प्रक्षेपवक्र सुधारों को कैसे आत्मसात करते हैं।
3. पूर्व-तैनाती पायलट फ्रेमवर्क (Pre-Deployment Pilot Framework): लेखक $p, r,$ और $d$ का अनुमान लगाने के लिए एक छोटे पायलट (50 कार्य) का उपयोग करने वाला एक व्यावहारिक नैदानिक परीक्षण प्रस्तावित करते हैं। यह टीमों को पूर्ण तैनाती से पहले यह अनुमान लगाने की अनुमति देता है कि क्या हस्तक्षेप मदद करेगा या नुकसान पहुँचाएगा, जिससे गंभीर गिरावट को रोका जा सकता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र निष्पादन-समय हस्तक्षेप को एक भविष्यवाणी समस्या के रूप में नहीं, बल्कि एक मॉडल-निर्भर सिस्टम समस्या के रूप में पुनर्परिभाषित करता है। प्रस्तावित ढांचे का प्राथमिक मूल्य यह पहचानना है कि कब हस्तक्षेप नहीं करना है।

• गिरावट से बचना: लेखक दावा करते हैं कि बिना पायलट टेस्ट के हस्तक्षेप तैनात करने से बड़े, टालने योग्य प्रदर्शन पतन (26 pp तक) का जोखिम होता है, भले ही अत्यधिक सटीक क्रिटिक्स का उपयोग किया गया हो।
• संसाधन दक्षता: यह चरित्रित करके कि हस्तक्षेप कब मदद नहीं कर सकता (विशेष रूप से जब $d/r > 1$ हो), अभ्यासकर्ता अपनी गणना को अधिक प्रभावी विकल्पों, जैसे कि पोस्ट-हॉक चयन (जैसे, Best-of-N), की ओर पुनर्निर्देशित कर सकते हैं, जो कि यह शोध पत्र इन क्षेत्रों में उच्च प्रदर्शन सीमा दिखाता है।
• भविद्धि की सीमाएँ: कार्य यह निष्कर्ष निकालता है कि केवल विफलता का पता लगाने में सुधार करने की एक सीमित सीमा है। यहाँ तक कि पूर्ण भविष्यवाणी भी सीमित लाभ देती है क्योंकि बाधा एजेंट की अपने तर्क प्रक्रिया को अस्थिर किए बिना सुधारों को शामिल करने की क्षमता है।

लेखक स्पष्ट रूप से कहते हैं कि उनका कार्य नई एजेंट क्षमताएं पेश नहीं करता है, बल्कि मौजूदा प्रणालियों के सुरक्षित परिनियोजन के लिए नैदानिक उपकरण प्रदान करता है, जो सेल्फ-करेक्शन और प्रोसेस सुपरविजन जैसे दृष्टिकोणों के पूरक के रूप में कार्य करता है।