💬 NLP

When Evidence is Sparse: Weakly Supervised Early Failure Alerting in Dialogs and LLM-Agent Trajectories

यह शोध पत्र एक दो-चरणीय प्रणाली पेश करके स्पार्स-एविडेंस (sparse-evidence) संवाद और एजेंट प्रक्षेपवक्रों में प्रारंभिक विफलता अलर्टिंग की चुनौती को संबोधित करता है, जो एक अटेंशन-आधारित प्रेडिक्टर को जोड़ता है, जो विलंबित विफलता संकेतों की पहचान करने के लिए प्रक्षेपवक्र-स्तरीय लेबल से सीखता है, तथा विविध बेंचमार्क में बेहतर सटीकता-जल्दी (accuracy-earliness) ट्रेड-ऑफ और कम प्रशिक्षण लागत प्राप्त करने के लिए $\alpha$ -STOP नीति का उपयोग करता है।

मूल लेखक: Avinash Baidya, Xinran Liang, Ruocheng Guo, Xiang Gao, Kamalika Das

प्रकाशित 2026-06-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Avinash Baidya, Xinran Liang, Ruocheng Guo, Xiang Gao, Kamalika Das

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कोच हैं जो एक लंबे, जटिल खेल को चलते हुए देख रहे हैं। आपका काम यह तय करना है कि कब सीटी बजानी है और टाइमआउट लेना है क्योंकि टीम हारने वाली है।

समस्या पेचीदा है:

आपको अंतिम स्कोर केवल अंत में पता चलता है। आपको खेल खत्म होने तक "हार" का लेबल नहीं मिलता।
आपको खेल के दौरान निर्णय लेना होता है। आप अंतिम सीटी बजने का इंतज़ार नहीं कर सकते; आपको चीजों को ठीक करने के लिए टीम को जल्दी सचेत करने की आवश्यकता है।
सुराग बहुत दुर्लभ हैं। खेल का अधिकांश हिस्सा केवल सामान्य पासिंग और रनिंग है। हार के वास्तविक संकेत (जैसे किसी खिलाड़ी का घायल होना या रेफरी का गलत निर्णय) बहुत कम होते हैं और अक्सर खेल के बहुत अंत में आते हैं।

यह पेपर ठीक इसी समस्या को AI बातचीत (जैसे कस्टमर सर्विस चैट) और AI एजेंटों (जैसे रोबोट या सॉफ्टवेयर जो कार्यों की योजना बनाते हैं) के लिए हल करता है। यहाँ बताया गया है कि उन्होंने इसे सरल उपमाओं का उपयोग करके कैसे हल किया।

पुराना तरीका: "बहुत जल्दी बुरा मान लेना"

पहले, यदि किसी AI ने ऐसी बातचीत देखी जो अंततः "विफलता" (failure) पर समाप्त हुई, तो इसे सिखाया जाता था कि उस बातचीत के हर एक वाक्य को विफलता का संकेत माना जाए।

उपमा: कल्पना कीजिए कि एक कोच, टीम के हारने के बाद खिलाड़ियों से कहता है, "तुम पहले सेकंड से ही खराब खेल रहे थे!"
समस्या: यह कोच को बहुत जल्दी घबराहट में डाल देता है। वे तब सीटी बजा देते हैं जब टीम केवल वार्म-अप कर रही होती है, जिससे वे वास्तविक समस्या के शुरू होने के क्षण को चूक जाते हैं। इससे गलत अलार्म बजते हैं और बाद में वास्तविक मुद्दे को ठीक करने के अवसर हाथ से निकल जाते हैं।

नया समाधान: एक दो-भाग वाली प्रणाली

लेखकों ने एक स्मार्ट सिस्टम बनाया जिसमें दो मुख्य भाग हैं: एक डिटेक्टिव (जासूस) और एक डिसीजन-मेकर (निर्णय लेने वाला)।

1. डिटेक्टिव (एक अटेंशन-आधारित प्रेडिक्टर)

हर वाक्य को सुराग मानने के बजाय, इस AI का यह हिस्सा एक जासूस की तरह काम करता है जो दुर्लभ साक्ष्य (sparse evidence) की तलाश करता है। वह जानता है कि एक लंबी बातचीत में, केवल कुछ विशिष्ट मोड़ (वाक्य) ही यह साबित करते हैं कि बातचीत विफल होने वाली है।

यह कैसे काम करता है: यह पूरी बातचीत के इतिहास को देखता है और "उबाऊ" हिस्सों (जैसे "नमस्ते" या "समय क्या हुआ है?") को अनदेखा करना सीखता है और केवल उन दुर्लभ, महत्वपूर्ण क्षणों पर ध्यान केंद्रित करता है जहाँ चीजें बिगड़ने लगती हैं।
परिणाम: यह एक "जोखिम स्कोर" (risk score) बनाता है जो सामान्य बातचीत के दौरान कम रहता है और केवल तभी बढ़ता है जब यह उन विशिष्ट, दुर्लभ चेतावनी संकेतों को देखता है। यह पुराने "जल्दी घबराने" वाले तरीके की तुलना में बहुत अधिक सटीक है।

2. डिसीजन-मेकर (α-STOP)

एक बार जब डिटेक्टिव जोखिम स्कोर दे देता है, तो डिसीजन-मेकर को तय करना होता है: क्या हमें अभी बातचीत रोक देनी चाहिए, या थोड़ा और इंतजार करना चाहिए?

पुरानी समस्या: आमतौर पर, यदि आप बहुत सावधान रहना चाहते थे (जल्दी रुकना), तो आपको एक नया AI प्रशिक्षित करना पड़ता था। यदि आप बहुत सटीक होना चाहते थे (सुनिश्चित होने तक प्रतीक्षा करना), तो आपको एक अलग AI प्रशिक्षित करना पड़ता था। यह ऐसा था जैसे निर्णय लेने की रणनीति बदलने के लिए एक नया कोच किराए पर लेना पड़े।
नया समाधान (α-STOP): लेखकों ने एक "सुपर-कोच" बनाया जो तुरंत अपना मन बदल सकता है। वे एक साधारण डायल का उपयोग करते हैं जिसे α (अल्फा) कहा जाता है।
- डायल को "सुरक्षा" (Safety) पर घुमाएं: कोच बहुत सतर्क हो जाता है और परेशानी के पहले संकेत पर ही सीटी बजा देता है।
- डायल को "सटीकता" (Accuracy) पर घुमाएं: कोच तब तक इंतजार करता है जब तक कि वह 100% सुनिश्चित न हो जाए।
- जादू: आपको डायल बदलने के लिए AI को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आपको बस उस क्षण में नॉब घुमाना है जब आपको निर्णय लेने की आवश्यकता होती है।

उन्होंने क्या पाया (प्रमाण)

टीम ने कस्टमर सर्विस चैट से लेकर जटिल प्लानिंग कार्यों तक, पांच अलग-अलग प्रकार के AI इंटरैक्शन पर इसका परीक्षण किया। यहाँ उनकी खोजें दी गई हैं:

सुराग दुर्लभ और देर से आते हैं: विफल हुई बातचीत में, चीजें गलत हो रही हैं इसका वास्तविक "प्रमाण" केवल लगभग 5% से 11% टर्न में दिखाई दिया। इसके अलावा, ये सुराग आमतौर पर तब तक नहीं आए जब तक कि बातचीत का 60% से 83% हिस्सा पूरा नहीं हो गया था।
- उपमा: यह एक रहस्य उपन्यास की तरह है जहाँ खलनायक केवल अंतिम कुछ अध्यायों में प्रकट होता है। पुराना AI अध्याय 1 में ही खलनायक का अनुमान लगाने की कोशिश करता था; नया AI अध्याय 8 में सुरागों का इंतजार करता है।
बेहतर सटीकता: क्योंकि नया "डिटेक्टिव" शोर को अनदेखा करता है और दुर्लभ सुरागों पर ध्यान केंद्रित करता है, इसलिए यह विफलता की भविष्यवाणी करने में बहुत बेहतर है। इसने पुराने तरीकों की तुलना में "गलतियों को जल्दी पकड़ने" और "गलत अलार्म न बजाने" के बीच के संतुलन में 1% से 10% का सुधार किया।
भारी बचत: नया सिस्टम अविश्वसनीय रूप से कुशल है। विभिन्न स्तरों की सावधानी (जल्दी बनाम सटीक) प्राप्त करने के लिए, पुराने तरीकों को अलग-अलग मॉडल प्रशिक्षित करने पड़ते थे, जिसमें बहुत अधिक कंप्यूटर पावर और समय लगता था। नया सिस्टम इसे एक ही मॉडल और एक साधारण डायल के साथ करता है। यह 10 से 1,000 गुना अधिक कंप्यूटिंग पावर बचाता है।

सारांश

यह पेपर AI विफलताओं को होने से पहले पकड़ने का एक स्मार्ट तरीका पेश करता है। परेशानी के पहले संकेत पर घबराने के बजाय, सिस्टम उन दुर्लभ, विशिष्ट सुरागों को पहचानना सीखता है जो वास्तव में मायने रखते हैं। फिर, यह मानव ऑपरेटरों को एक साधारण डायल देता है जिससे वे चुन सकें कि वे कितने सतर्क रहना चाहते हैं, बिना हर बार पूरे सिस्टम को फिर से बनाए बिना।

तकनीकी सारांश: संवादों और LLM-एजेंट प्रक्षेपवक्रों (Trajectories) में कमजोर रूप से पर्यवेक्षित प्रारंभिक विफलता चेतावनी

समस्या की परिभाषा

यह शोध पत्र मल्टी-टर्न इंटरैक्टिव सिस्टम, जैसे कि ग्राहक सहायता संवादों और LLM-आधारित एजेंट प्रक्षेपवक्रों में प्रारंभिक विफलता चेतावनी (early failure alerting) की चुनौती को संबोधित करता है। मुख्य उद्देश्य यह निर्णय लेना है कि जब कोई इंटरैक्शन अभी भी चल रहा हो, तो क्या किसी प्रक्षेपवक्र को विफल होने की संभावना के रूप में चिह्नित किया जाना चाहिए ताकि समय पर हस्तक्षेप (जैसे मानव एस्केलेशन या गणना को रोकना) किया जा सके।

दो प्राथमिक चुनौतियाँ इस समस्या को परिभाषित करती हैं:

विरल और विलंबित पर्यवेक्षण (Sparse and Delayed Supervision): पर्यवेक्षण आमतौर पर केवल एक टर्मिनल प्रक्षेपवक्र-स्तरीय लेबल (सफलता/विफलता) के रूप में उपलब्ध होता है। हालाँकि, चेतावनियाँ आंशिक प्रीफिक्स (prefixes) के आधार पर दी जानी चाहिए। मौजूदा विधियाँ अक्सर यह मान लेती हैं कि विफल प्रक्षेपवक्रम के प्रत्येक प्रीफिक्स में विफलता का प्रमाण होता है (टर्मिनल लेबल को सभी प्रीफिक्स में प्रसारित करके)। लेखकों का अनुमान है कि यह त्रुटिपूर्ण है क्योंकि भाषा संबंधी इंटरैक्शन में विफलता का प्रमाण विरल (sparse) होता है और अक्सर प्रक्षेपवक्रम में देर से आता है, जिसका अर्थ है कि शुरुआती प्रीफिक्स में विफलता का संकेत देने वाली कोई सामग्री नहीं हो सकती है।
परिवर्तनीय परिचालन प्राथमिकताएँ (Variable Operating Preferences): परिनियोजन (deployments) के लिए सटीकता (गलत अलार्म को कम करना) और जल्दता (विफलता का जल्द पता लगाना) के बीच विभिन्न ट्रेड-ऑफ की आवश्यकता होती है। वर्तमान अत्याधुनिक (SOTA) विधियों के लिए अक्सर प्रत्येक विशिष्ट प्राथमिकता के लिए एक अलग मॉडल या नीति को प्रशिक्षित करने की आवश्यकता होती है, जो उन्हें परिनियोजन-समय के परिवर्तनों के प्रति लचीला बनाने में अक्षम बनाती है।

कार्यप्रणाली (Methodology)

प्रस्तावित ढांचा दो पूरक घटकों से बना है: एक अटेंशन-आधारित विफलता भविष्यवक्ता (Attention-Based Failure Predictor) और एक वरीयता-सशर्त स्टॉपिंग पॉलिसी ( $\alpha$ -STOP)।

1. अटेंशन-आधारित विफलता भविष्यवक्ता

नाइफ (naive) तरीके से टर्मिनल विफलता लेबल को प्रत्येक प्रीफिक्स को सौंपने के बजाय, लेखक मल्टीपल इंस्टेंस लर्निंग (MIL) का उपयोग करके विफलता साक्ष्य की विरल संरचना से सीखने के लिए एक दो-चरणीय भविष्यवक्ता पेश करते हैं।

चरण 1: MIL-आधारित टर्न-लेवल साक्ष्य: मॉडल प्रक्षेपवक्रम को टर्न (turns) का एक "बैग" मानता है। एक अटेंशन-आधारित MIL मॉड्यूल यह सीखता है कि कौन से विशिष्ट टर्न टर्मिनल विफलता लेबल के लिए सबसे अधिक जिम्मेदार हैं। यह प्रति-टर्न जोखिम स्कोर ( $s_k$ ) और अटेंशन वेट ( $\pi_k$ ) उत्पन्न करता है। चूंकि ऑनलाइन चेतावनियों के पास पूर्ण प्रक्षेपवक्रम तक पहुँच नहीं हो सकती, इसलिए एक ऑनलाइन गेटिंग प्रेडिक्टर केवल टर्न $k$ तक के प्रीफिक्स इतिहास का उपयोग करके इन वेट्स का अनुमान लगाता है। शीर्ष- $K$ योगदान एक साक्ष्य वेक्टर $E_t$ बनाते हैं।
चरण 2: फ्यूजन (Fusion): एक नाइफ प्रीफिक्स प्रेडिक्टर ( $b_t$ ), जिसे टर्मिनल लेबल प्रसारित करके प्रशिक्षित किया गया है, को विरल साक्ष्य वेक्टर ( $E_t$ ) के साथ फ्यूज किया जाता है। एक फ्यूजन नेटवर्क ( $g_\psi$ ) नाइव प्रेडिक्शन, साक्ष्य वेक्टर और सामान्यीकृत टाइम स्टेप को मिलाकर अंतिम विफलता संभावना $\hat{p}_t$ उत्पन्न करता है। यह फ्यूजन इस तथ्य का लाभ उठाता है कि नाइव प्रेडिक्टर जल्दी बढ़ता है लेकिन शोर भरा (noisy) होता है, जबकि साक्ष्य सिग्नल बाद में बढ़ता है लेकिन अधिक सटीक होता है।

2. $\alpha$ -STOP (वरीयता-सशर्त स्टॉपिंग पॉलिसी)

विफलता संभावनाओं को अलर्ट निर्णयों में बदलने के लिए, लेखक $\alpha$ -STOP का प्रस्ताव करते हैं, जो एक एकल नीति है जो बिना पुन: प्रशिक्षण के सटीकता-जल्दता ट्रेड-ऑफ को पार कर सकती है।

उद्देश्य: नीति एक स्केलेराइज्ड ऑब्जेक्टिव $J_\alpha = \mathbb{E}[\alpha \cdot R_{acc} - (1-\alpha) \cdot C_{delay}]$ को अधिकतम करती है, जहाँ $\alpha \in (0, 1]$ एक उपयोगकर्ता-निर्दिष्ट प्राथमिकता पैरामीटर है।
स्टेट रिप्रेजेंटेशन: नीति एक समृद्ध स्टेट $s_t = (\hat{p}_t, b_t, E_t, \tau_t, z_t)$ पर निर्भर करती है, जिसमें फ्यूज्ड प्रेडिक्शन, नाइव प्रेडिक्शन, साक्ष्य, समय और एम्बेडिंग शामिल हैं।
प्रशिक्षण: नीति को वैलिडेशन डेटा पर फिट किए गए प्लग-इन थ्रेशोल्ड कंट्रोलर से बिहेवियर क्लोनिंग (BC) के माध्यम से इनिशियलाइज़ किया जाता है, फिर PPO (Proximal Policy Optimization) का उपयोग करके इसे परिष्कृत किया जाता है।
अनुमान (Inference): अनुमान के समय $\alpha$ को बदलकर, एक एकल प्रशिक्षित नीति-क्रम (continuum) के ऑपरेटिंग पॉइंट्स उत्पन्न कर सकती है, जिससे उपयोगकर्ताओं को बिना पुन: प्रशिक्षण के रूढ़िवादी (देर से, उच्च सटीकता) से आक्रामक (जल्दी, कम सटीकता) अलर्टिंग की ओर शिफ्ट होने की अनुमति मिलती है।

मुख्य योगदान

विरल साक्ष्य का अनुभवजन्य लक्षण वर्णन: पांच विविध बेंचमार्क (ग्राहक सहायता, कार्य-उन्मुख संवाद, अनुनय, टूल उपयोग और योजना) में, लेखक प्रदर्शित करते हैं कि विफलता के अत्यधिक सूचक टर्न प्रक्षेपवक्रम का केवल 4.7–11.3% हिस्सा घेरते हैं और आमतौर पर प्रक्षेपवक्रम का 59.0–83.6% बीत जाने के बाद दिखाई देते हैं।
कमजोर रूप से पर्यवेक्षित ऑनलाइन विफलता भविष्यवाणी: अटेंशन-आधारित प्रेडिक्टर, जो नाइव प्रीफिक्स स्कोर को विरल टर्न-लेवल साक्ष्य के साथ फ्यूज करता है, नाइव प्रीफिक्स पर्यवेक्षण की तुलना में पारेटो-फ्रंटियर गुणवत्ता (हाइपरवॉल्यूम) में 1–10% सुधार करता है।
वरीयता-सशर्त प्रारंभिक चेतावनी: $\alpha$ -STOP पॉलिसी SOTA ट्रिगर पॉलिसियों (ALERT*, FIRMBOUND) की तुलना में पारेटो-फ्रंटियर गुणवत्ता में 3–42% का सुधार करती है। महत्वपूर्ण रूप से, यह विभिन्न प्राथमिकताओं के लिए अलग मॉडल को फिर से प्रशिक्षित करने की आवश्यकता को समाप्त करके प्रत्येक ऑपरेटिंग पॉइंट के लिए प्रशिक्षण लागत को 1–3 ऑर्डर ऑफ मैग्नीट्यूड कम कर देती है।

परिणाम

विधि का मूल्यांकन पांच डेटासेट्स पर किया गया:

संवाद (Dialogs): PCS (ग्राहक सहायता), BETOLD (कार्य-उन्मुख), P4G (अनुनय)।
LLM एजेंट्स: AppWorld (टूल/API उपयोग), ALFWorld (टेक्स्ट-आधारित प्लानिंग)।

मुख्य निष्कर्ष:

प्रेडिक्टर प्रदर्शन: अटेंशन-आधारित प्रेडिक्टर ने मैक्सिमम एक्यूरेसी और हाइपरवॉल्यूम (HV) में नाइव बेसलाइन को लगातार पछाड़ दिया। उदाहरण के लिए, PCS पर, मैक्स एक्यूरेसी 0.695 (नाइव) से सुधरकर 0.813 (अटेंशन-आधारित) हो गई।
स्टॉपिंग पॉलिसी प्रदर्शन: $\alpha$ -STOP ने ALERT*, FIRMBOUND, एंड-टू-एंड RL और LLM जजों सहित बेसलाइन्स को पछाड़ दिया। PCS डेटासेट पर, $\alpha$ -STOP ने 0.808 की ALERT* की तुलना में 0.874 की मैक्स एक्यूरेसी प्राप्त की।
दक्षता: जबकि ALERT* और एंड-टू-एंड RL जैसे बेसलाइन्स को प्रत्येक प्राथमिकता बिंदु के लिए अलग-अलग ट्रेनिंग रन की आवश्यकता थी (11 बिंदुओं के लिए 11 रन), $\alpha$ -STOP को पूरी स्पेक्ट्रम को कवर करने के लिए केवल एक ट्रेनिंग रन की आवश्यकता थी। इसके परिणामस्वरूप $\alpha$ -STOP के लिए प्रति ऑपरेटिंग पॉइंट GPU-घंटा लागत 0.003 रही, जबकि ALERT* के लिए यह 9.874 थी।
नियंत्रण: पैरामीटर $\alpha$ ने मजबूत मोनोटोनिक नियंत्रण प्रदर्शित किया, जिसमें $\alpha$ और जल्दता के बीच उच्च रैंक सहसंबंध ( $\rho > 0.94$ ) देखा गया, जिससे अलर्टिंग की सख्ती को समायोजित करते समय अनुमानित व्यवहार सुनिश्चित हुआ।

महत्व और दावे

यह शोध पत्र दावा करता है कि इसका दृष्टिकोण प्रायोगिक, कमजोर रूप से पर्यवेक्षित ढांचा प्रदान करता है जो भाषा इंटरैक्शन की वास्तविक संरचना के साथ बेहतर ढंग से संरेखित है।

वास्तविकता के साथ संरेखण: "नाइव प्रीफिक्स" धारणा से हटकर, यह विधि स्वीकार करती है कि विफलता का साक्ष्य विरल और विलंबित होता है, जिससे अधिक सटीक जोखिम अनुमान मिलता है।
परिचालन लचीलापन: अनुमान के समय एक एकल पैरामीटर ( $\alpha$ ) के माध्यम से सटीकता-जल्दता ट्रेड-ऑफ को समायोजित करने की क्षमता परिनियोजन की एक महत्वपूर्ण आवश्यकता को संबोधित करती है। यह सिस्टम को अलग मॉडल को पुन: प्रशिक्षित करने की भारी लागत के बिना बदलते सुरक्षा नियमों या उपयोगकर्ता प्राथमिकताओं के अनुकूल होने की अनुमति देता है।
मॉड्यूलरिटी: विफलता प्रेडिक्टर (जोखिम अनुमान) और ट्रिगर पॉलिसी (निर्णय लेना) का अलगाव इस कमजोर रूप से पर्यवेक्षित सेटिंग में एंड-टू-एंड RL दृष्टिकोणों की तुलना में अधिक प्रभावी सिद्ध होता है, जहाँ लंबे, विरल प्रक्षेपवक्रों पर क्रेडिट असाइनमेंट कठिन होता है।

लेखक निष्कर्ष निकालते हैं कि यह ढांचा इंटरैक्टिव AI सिस्टम में प्रारंभिक, अधिक विश्वसनीय हस्तक्षेप को सक्षम बनाता है, जिससे सुरक्षा और विश्वसनीयता में सुधार होता है और अलर्टिंग पॉलिसियों को ट्यून करने से जुड़ी कंप्यूटेशनल ओवरहेड को काफी कम किया जाता है।