तकनीकी सारांश: LLM एजेंटों में अंतर्निहित ओवर-कॉलिंग बायस (Over-Calling Bias) का निदान

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) एजेंट बाहरी उपकरणों (जैसे सर्च इंजन, API) का उपयोग करने के लिए विकसित हुए हैं, फिर भी वे एक व्यवस्थित विफलता मोड प्रदर्शित करते हैं जिसे ओवर-कॉलिंग (over-calling) कहा जाता है: यह उपकरणों को तब भी बुलाने की प्रवृत्ति है जब उपयोगकर्ता के अनुरोध में आवश्यक जानकारी की कमी हो या जब सीधा उत्तर पर्याप्त हो।

When2Call बेंचमार्क पर मूल्यांकन तीन परिवारों (Qwen3.5, Gemma-3, Ministral-3) के छह मॉडलों में एक सुसंगत विषमता प्रकट करता है। जबकि ये मॉडल तब उच्च सटीकता प्राप्त करते हैं जब टूल कॉल की आवश्यकता होती है (Call Accuracy: 90%–99%), जब टूल कॉल न करना ही सही क्रिया होती है, तब उनकी सटीकता काफी गिर जाती है (No-Call Accuracy: 2%–69%)। इसके परिणामस्वरूप केवल 55%–70% की समग्र सटीकता सीमा प्राप्त होती है। यह बायस उपयोगकर्ता अनुभव को खराब करता है (जैसे अपर्याप्त अनुरोधों के लिए टूल कॉल का भ्रम पैदा करना) और तैनात प्रणालियों में API लागत को बढ़ाता है।

कार्यप्रणाली

लेखक LLM एजेंटों की आंतरिक निर्णय लेने की प्रक्रिया के तंत्रवादी (mechanistic) अन्वेषण का प्रस्ताव करते हैं, जो अनुभवजन्य अवलोकन से आगे बढ़कर कारण विश्लेषण (causal analysis) की ओर बढ़ता है।

1. अंतर्निहित बायस हाइपोथीसिस (Intrinsic Bias Hypothesis - IBH)

यह शोध पत्र यह प्रतिपादित करता है कि ओवर-कॉलिंग केवल सक्रियण स्तरों (activation levels) का कार्य नहीं है, बल्कि निर्णय मैपिंग में एक एक्टिवेशन-स्वतंत्र CALL ऑफसेट (activation-independent CALL offset) से उत्पन्न होती है।

• परिकल्पना: कॉल करने या न करने का निर्णय "CALL" और "NO_CALL" फीचर दिशाओं के बीच एक हस्ताक्षरित सक्रियण मार्जिन ($m$) द्वारा निर्धारित होता है। हालांकि, निर्णय सीमा इस तरह से स्थानांतरित (shift) है कि सक्रियण समानता ($m=0$) पर भी, मॉडल कॉल करने का पक्ष लेता है। मॉडल केवल तभी निर्णय-तटस्थ (decision-neutral) होता है जब NO_CALL सक्रियण, CALL सक्रियण की तुलना में काफी अधिक हो जाता है।
• औपचारिकता (Formalism): निर्णय की संभावना को $P(\text{CALL} | m) = \sigma(\beta m + \beta_0)$ के रूप में मॉडल किया गया है, जहाँ $\beta_0 > 0$ एक अंतर्निहित बायस ऑफसेट को दर्शाता है।

2. स्पार्स ऑटोएनकोडर्स (SAEs) के माध्यम से फीचर डिस्कवरी

IBH का परीक्षण करने के लिए, लेखक अवशिष्ट-स्ट्रीम (residual-stream) सक्रियणों को व्याख्या योग्य फीचर्स में विघटित करने के लिए स्पार्स ऑटोएनकोडर्स का उपयोग करते हैं।

• प्रशिक्षण: लक्षित मॉडलों के अवशिष्ट-स्ट्रीम पर 'TopK SAEs' को दो-चरणीय पाठ्यक्रम (curriculum) का उपयोग करके प्रशिक्षित किया गया है: पहले सामान्य ज्यामिति सीखने के लिए एक व्यापक कॉर्पस (OpenWebText2) पर, और दूसरा टूल-उपयोग संदर्भों में अनुकूलित करने के लिए When2Call डेटासेट पर।
• फीचर बेसिस (Feature Bases): दो व्यवहार-संरेखित फीचर सेट प्राप्त किए गए हैं:
  • $\mathcal{C}$: फीचर्स जो देखे गए CALL निर्णयों से मजबूती से जुड़े हैं।
  • $\mathcal{N}$: फीचर्स जो देखे गए NO_CALL निर्णयों से मजबूती से जुड़े हैं।
• वैधीकरण (Validation): कुछ ही इन फीचर्स (आमतौर पर $K \le 5$) पर प्रशिक्षित लीनियर प्रोब्स, कच्चे अवशिष्ट स्ट्रीम की ऊपरी सीमा के करीब सटीकता के साथ गेटिंग निर्णय की भविष्यवाणी करते हैं, जिससे पुष्टि होती है कि ये फीचर्स आवश्यक गेटिंग सिग्नल को कैप्चर करते हैं।

3. निदान और मात्रा निर्धारण (Diagnosis and Quantification)

रिकवर किए गए फीचर बेस का उपयोग करके, लेखक सक्रियण ज्यामिति का विश्लेषण करते हैं:

• रिस्पॉन्स-कंडीशन्ड व्यू (Response-Conditioned View): NO_CALL प्रतिक्रियाएं NO_CALL-प्रभुत्व वाले हाफ-प्लेन में केंद्रित होती हैं, जबकि CALL प्रतिक्रियाएं समानता विकर्ण (parity diagonal) के पार और उन क्षेत्रों में फैली होती हैं जहाँ NO_CALL साक्ष्य तुलनीय या अधिक मजबूत होते हैं।
• इनपुट-कंडीशंड व्यू (Input-Conditioned View): उत्सर्जित CALL प्रतिक्रियाओं में, "गलत कॉल" (ओवर-कॉलिंग त्रुटियां) "वास्तविक कॉल" की तुलना में समानता विकर्ण के करीब होती हैं, जो इंगित करता है कि बायस कमजोर मामलों को निर्णय सीमा के पार धकेल देता है।
• ऑफसेट अनुमान (Offset Estimation): हस्ताक्षरित सक्रियण मार्जिन पर लॉजिस्टिक रिग्रेशन सभी मॉडलों के लिए एक नकारात्मक न्यूट्रल बाउंड्री ($m^* < 0$) की पुष्टि करता है, जो अंतर्निहित बायस $\beta_0$ को मात्रात्मक रूप से निर्धारित करता है।

4. कारण हस्तक्षेप: एडेप्टिव मार्जिन-कैलिब्रेटेड स्टीयरिंग (AMCS)

IBH को कारण रूप से मान्य करने के लिए, लेखक AMCS पेश करते हैं, जो एक क्लोज्ड-फॉर्म स्टीयरिंग विधि है।

• तंत्र: AMCS, $\mathcal{C}$ और $\mathcal{N}$ के SAE डिकोडर दिशाओं के साथ एक स्टीयरिंग वेक्टर की गणना करता है। यह सक्रियण मार्जिन पर एक काउंटर-बायस शिफ्ट $\delta = -\beta_0 / \beta$ लागू करता है।
• कार्यान्वयन: शिफ्ट को उनके सक्रियण अंतराल (activation gaps) के आधार पर शीर्ष-रैंक वाले फीचर्स के बीच वितरित किया जाता है। हस्तक्षेप को इन्फरेंस के समय अवशिष्ट स्ट्रीम में एक एकल वेक्टर एडिशन के रूप में लागू किया जाता है, जिसके लिए किसी अतिरिक्त मॉडल कॉल या पुनरावृत्ति ट्यूनिंग की आवश्यकता नहीं होती है।

मुख्य परिणाम

प्रयोग छह इंस्ट्रक्शन-ट्यून्ड मॉडलों (Qwen3.5-4B/9B, Gemma-3-1B/4B, Ministral-3-3B/8B) पर किए गए।

• ओवर-कॉलिंग का शमन (Mitigation of Over-Calling): AMCS के माध्यम से निदान किए गए ऑफसेट को रद्द करने से छह में से पांच मॉडलों पर No-Call Accuracy में 4 से 17 प्रतिशत अंक का सुधार होता है।
• वैध कॉल्स का संरक्षण: यह विधि Call Accuracy को मामूली गिरावट (पाँच मॉडलों पर 5 अंकों के भीतर) के साथ बनाए रखती है, जो यह प्रदर्शित करती है कि हस्तक्षेप आवश्यक टूल उपयोग को दबाए बिना बायस को ठीक करता है।
• समग्र सटीकता: AMCS कई मॉडलों पर (जैसे Qwen3.5-9B पर +5.10%) समग्र सटीकता में 5 अंक तक सुधार करता है।
• बेसलाइन के साथ तुलना:
  • प्रॉम्प्ट इंजीनियरिंग: No-Call सटीकता बढ़ाने में प्रभावी होने के बावजूद, यह Call सटीकता को भारी रूप से कम कर देती है (जैसे Ministral-3-8B पर -56%), जिससे शुद्ध प्रदर्शन में हानि होती है।
  • वन-साइडेड स्टीयरिंग: ऐसी विधियाँ जो केवल CALL फीचर्स को दबाती हैं या केवल NO_CALL फीचर्स को बढ़ावा देती हैं, वे वह संतुलन प्राप्त करने में विफल रहती हैं जो AMCS प्रदान करता है, जिससे समग्र सटीकता में कम लाभ होता है।
• Gemma-3 की सीमा: Gemma-3 मॉडलों ने SAE अक्षों पर वास्तविक और गलत कॉल के बीच बहुत कम अलगाव दिखाया, जिसके परिणामस्वरूप मार्जिन-आधारित हस्तक्षेपों के लिए न्यूनतम उत्तोलन (leverage) मिला। इन्हें प्राथमिक साक्ष्य के बजाय संदर्भ मामलों के रूप में माना गया।

महत्व और दावे

यह शोध पत्र दावा करता है कि ओवर-कॉलिंग को एक मैकेनिस्टिक ऑब्जेक्ट (mechanistic object) के रूप में पुनर्गठित किया जा सकता है जिसे मापा, मॉडल किया और कारण रूप से समायोजित किया जा सकता है।

1. मैकेनिस्टिक अंतर्दृष्टि: यह कार्य प्रदर्शित करता है कि टूल-उपयोग गेटिंग केवल फीचर सक्रियण की सापेक्ष शक्ति के बजाय एक अंतर्निहित, सक्रियण-स्वतंत्र बायस द्वारा नियंत्रित होती है।
2. कारण सुधार (Causal Correction): SAE-आधारित स्टीयरिंग के माध्यम से विशिष्ट ऑफसेट टर्म ($\beta_0$) की पहचान और उसे रद्द करके, लेखक अंतर्निहित बायस हाइपोथीसिस का कारण संबंधी सत्यापन प्रदान करते हैं।
3. नियंत्रणीयता (Controllability): निदान किया गया ऑफसेट "कॉलिंग प्रयास" के लिए एक "नॉब" (knob) के रूप में कार्य करता है। AMCS, "कॉलिंग प्रयास" इंटरफ़ेस की ओर एक पहला कदम है, जो सिस्टम को मॉडल को पुनः प्रशिक्षित किए बिना उत्सुक टूल आह्वान और उपयोगकर्ता सत्यापन के बीच संतुलन बनाने की अनुमति देता है।
4. दायरा: अध्ययन तैनात मॉडलों के लिए इन्फरेंस-टाइम सुधार पर केंद्रित है। यह बायस के प्रशिक्षण-समय के मूल कारणों का पता नहीं लगाता है, और न ही यह विशिष्ट कॉल-बनाम-वेरिफाई निर्णय इकाई से परे दीर्घकालिक एजेंट योजना (long-horizon agent planning) के मुद्दों को हल करने का दावा करता है।

कोड और डेटा https://github.com/SKURA502/agent-sae/ पर उपलब्ध हैं।