💻 computer science

Fantastic Adaptive Taxonomies and How to Use Them

यह शोध पत्र AdaMAST को प्रस्तुत करता है, जो एजेंट निष्पादन ट्रेसेस (execution traces) से संक्षिप्त, साक्ष्य-आधारित विफलता वर्गीकरण (failure taxonomies) को स्वचालित रूप से प्रेरित करने के लिए एक प्रणाली है ताकि एक पुन: प्रयोज्य फीडबैक इंटरफेस के रूप में कार्य किया जा सके, जो पारंपरिक मुक्त-रूप प्रतिबिंब (free-form reflection) विधियों की तुलना में खोज, रनटाइम और प्रक्षेपवक्र चयन (trajectory selection) कार्यों में एजेंट के प्रदर्शन में महत्वपूर्ण सुधार करता है।

मूल लेखक: Mert Cemri, Andrei Cojocaru, Melissa Pan, Shu Liu, Shubham Agarwal, Alexander Krentsel, Jay Tang, Kannan Ramchandran, Joseph E. Gonzalez, Matei Zaharia, Alex Dimakis, Ion Stoica

प्रकाशित 2026-07-21

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mert Cemri, Andrei Cojocaru, Melissa Pan, Shu Liu, Shubham Agarwal, Alexander Krentsel, Jay Tang, Kannan Ramchandran, Joseph E. Gonzalez, Matei Zaharia, Alex Dimakis, Ion Stoica

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े अनाड़ी रोबोट को पहेलियाँ सुलझाना सिखा रहे हैं। हर बार जब रोबोट पहेली सुलझाने की कोशिश करता है, तो वह अपने पीछे विचारों, कार्यों और गलतियों का एक लंबा, अस्त-व्यस्त निशान छोड़ देता है। इस निशान को "एग्जीक्यूशन ट्रेस" (execution trace) कहा जाता है। लंबे समय तक, इन रोबोटों को ठीक करने की कोशिश कर रहे वैज्ञानिकों के पास इस बिखराव को देखने के दो मुख्य तरीके थे। पहला तरीका यह था कि बस यह कह दिया जाए, "तुम असफल रहे," और आगे बढ़ जाओ। यह एक शिक्षक द्वारा टेस्ट पर बिना कारण बताए लाल रंग से "F" ग्रेड देने जैसा है। दूसरा तरीका यह था कि रोबोट से यह लिखने के लिए कहना कि क्या गलत हुआ, जिसमें वह बहुत लंबी और भ्रामक निबंध जैसी व्याख्या लिखता है। यह बेहतर तो है, लेकिन यह एक छात्र से हर उस गणित की समस्या के लिए नया निबंध लिखने के लिए कहने जैसा है जिसे उसने गलत किया है, बार-बार, अलग-अलग शब्दों का उपयोग करके। रोबोट अपनी गलतियों के लिए कभी भी एक सुसंगत शब्दावली नहीं सीख पाता है, और शिक्षक (या वह कंप्यूटर प्रोग्राम जो रोबोट को ठीक करने की कोशिश कर रहा है) सभी अलग-अलग तरीकों से वर्णित त्रुटियों के कारण अभिभूत हो जाता है।

मुख्य सवाल कंप्यूटर विज्ञान के इस क्षेत्र में यह है: हम इन AI एजेंटों को उनके अंतहीन, दोहराव वाले टेक्स्ट में उलझे बिना अपनी विफलताओं से सीखने में कैसे मदद कर सकते हैं? लक्ष्य उन अस्त-व्यस्त, लंबे त्रुटि निशानों को "फेलियर कोड्स" (failure codes) की एक साफ, व्यवस्थित सूची में बदलना है—जैसे गलतियों की एक मानकीकृत डिक्शनरी। यदि रोबोट अपना काम चेक करना भूल जाता है, तो हर बार एक पैराग्राफ लिखने के बजाय, उसे बस "Forgot to Check" जैसा एक टैग मिलना चाहिए। यह सिस्टम को पैटर्न पहचानने, मूल कारण को ठीक करने और एक ही गलती को दोबारा न करने में सक्षम बनाता है। यही AdaMAST नामक नए तरीके की नींव है।

पेपर का बड़ा विचार: रोबोट की व्यक्तिगत "त्रुटि डिक्शनरी" (Error Dictionary)

यह पेपर एक चतुर नई प्रणाली पेश करता है जिसे AdaMAST (Adaptive Multi-Agent System Failure Taxonomies) कहा जाता है। AdaMAST को एक सुपर-स्मार्ट लाइब्रेरियन के रूप में सोचें जो एक रोबोट एजेंट को समस्या सुलझाने की कोशिश करते हुए देखता है, और रोबोट की अस्त-व्यस्त डायरी पढ़ने के बजाय, वह गलतियों की एक व्यक्तिगत, जीवित डिक्शनरी बनाता है।

यह वास्तव में कैसे काम करता है:

अवलोकन (The Observation): रोबोट कई कार्यों (जैसे कोड लिखना या गणित की समस्याएं हल करना) को हल करने की कोशिश करता है और असफल हो जाता है। वह अपने पीछे टेक्स्ट का एक लंबा, अस्त-व्यस्त निशान छोड़ देता है।
जादुई अनुवाद (The Magic Translation): इंसानों द्वारा हर एक शब्द को पढ़ने के बजाय, AdaMAST उस निशान को पढ़ता है और कहता है, "आह, मैं यह पैटर्न देख सकता हूँ! रोबोट बार-बार एक ऐसे टूल का उपयोग करने की कोशिश कर रहा है जो मौजूद नहीं है," या "रोबोट ने बहुत जल्दी सोचना बंद कर दिया।" यह इन अस्त-व्यस्त अवलोकनों को छोटे, आकर्षक नामों जैसे "Premature_Reasoning_Truncation" या "Tool_Mismatch" में बदल देता है।
जीवित डिक्शनरी (The Living Dictionary): सिस्टम एक "टैक्सोनॉमी" (taxonomy) बनाता है, जो कि केवल एक वर्गीकृत सूची का एक फैंसी शब्द है। इस सूची में तीन शेल्फ (shelves) हैं:
- सिस्टम-लेवल (System-level): पूरे सेटअप से जुड़ी गलतियाँ (जैसे रोबोट का लूप में फंस जाना)।
- रोल-स्पेसिफिक (Role-specific): रोबोट टीम के विशिष्ट हिस्सों द्वारा की गई गलतियाँ (जैसे "चेकर" वाला हिस्सा आलसी होना)।
- डोमेन-स्पेसिफिक (Domain-specific): वास्तविक विषय वस्तु के बारे में गलतियाँ (जैसे गणित गलत होना)।
सबसे अच्छी बात: रोबोट को इस डिक्शनरी को इंसान द्वारा सिखाने की ज़रूरत नहीं होती है। डिक्शनरी पूरी तरह से रोबोट की अपनी विफलताओं से बनाई जाती है। यह ऐसा है जैसे एक छात्र ने अपने ही गलत टेस्ट उत्तरों के आधार पर खुद के लिए एक स्टडी गाइड लिखी हो, और फिर अगले टेस्ट के लिए उसी गाइड का उपयोग करके पढ़ाई की हो।

पेपर ने क्या पाया: डिक्शनरी काम करती है

लेखकों ने इस विचार का तीन अलग-अलग तरीकों से परीक्षण किया, और परिणाम बताते हैं कि इस "त्रुटि डिक्शनरी" का होना रोबोटों को काफी स्मार्ट और विश्वसनीय बनाता है।

1. बेहतर रोबोट डिज़ाइन खोजना (The Search)
कल्प-ना कीजिए कि आप अलग-अलग हिस्सों को मिलाकर एक बेहतर रोबोट बनाने की कोशिश कर रहे हैं। आमतौर पर, आप केवल स्कोर देखते हैं: "इस रोबोट को 80% मिला, उस एक को 85% मिला।" लेकिन AdaMAST के साथ, सिस्टम विफल रोबोटों के "डिक्शनरी कोड्स" को देखता है।

परिणाम: जब शोधकर्ताओं ने बेहतर रोबोट डिज़ाइन की खोज को निर्देशित करने के लिए इन कोड्स का उपयोग किया, तो नए रोबोटों ने बहुत बेहतर प्रदर्शन किया। पांच अलग-अलग प्रकार की चुनौतियों (प्रतियोगी प्रोग्रामिंग से लेकर गणित तक) पर, डिक्शनरी का उपयोग करने वाले रोबोटों ने सामान्य फ्री-टेक्स्ट फीडबैक वाले रोबोटों की तुलना में 3.4% से 7.5% अधिक स्कोर में सुधार किया।
उपमा: यह एक कोच की तरह है जो खिलाड़ी को कहता है, "आप गेंद को मिस कर रहे हैं क्योंकि आप गलत जगह देख रहे हैं" (एक विशिष्ट कोड) बजाय इसके कि सिर्फ यह कहे, "आपने बुरा खेला" (एक सामान्य स्कोर)। खिलाड़ी को पता होता है कि क्या ठीक करना है।

2. काम के दौरान गलतियों को ठीक करना (Runtime Monitoring)
कभी-कभी, एक रोबोट किसी कार्य के बीच में होता है और पटरी से उतरने लगता है। पेपर ने परीक्षण किया कि क्या रोबोट रुक सकता है, अपनी "त्रुटि डिक्शनरी" की जांच कर सकता है, और काम पूरा करने से पहले खुद को ठीक कर सकता है।

परिणाम: जब रोबोट को खुद की जांच करने के लिए यह डिक्शनरी दी गई, तो उसने अधिक समस्याएं हल कीं।
- सॉफ्टवेयर इंजीनियरिंग टेस्ट SWE-bench पर, SWE-agent नाम का एक रोबलेट सामान्य सेल्फ-चेकिंग के साथ 60% समस्याएं हल करने से बढ़कर डिक्शनरी के साथ 70% तक पहुँच गया।
- एक अन्य रोबोट, Claude Code, 64.0% से 70.7% पर पहुँच गया।
निष्कर्ष: डिक्शनरी ने रोबोट को उन विशिष्ट, बार-बार होने वाली त्रुटियों (जैसे सिंटैक्स एरर चेक करना भूल जाना) को पकड़ने में मदद की, जिन्हें वह केवल एक सामान्य "अपना काम चेक करें" प्रॉम्प्ट का उपयोग करके मिस कर देता।

3. सबसे अच्छे प्रयास को चुनना (Trajectory Selection)
कल्पना कीजिए कि एक रोबोट एक समस्या को पांच बार हल करने की कोशिश करता है। आप नहीं जानते कि कौन सा सही है, लेकिन आपको विजेता चुनना है।

परिणाम: शोधकर्ताओं ने एक "जज" बनाया जिसने पांच प्रयासों को देखा और "एरर कोड्स" की गिनती की। जिस प्रयास में सबसे कम एरर कोड थे, वह आमतौर पर विजेता था।
आंकड़े: इस पद्धति ने अनुमान लगाने या मानक चेकलिस्ट का उपयोग करने की तुलना में सही उत्तर चुनने की सटीकता में 8 से 15 अंक का सुधार किया। यह "करीब लेकिन गलत" वाले प्रयास और "वास्तव में सही" वाले प्रयास के बीच अंतर करने में विशेष रूप से अच्छा था।

पेपर क्या खारिज करता है (और क्या नहीं करता)

लेखक सावधानी से यह स्पष्ट करते हैं कि यह सिस्टम क्या नहीं है।

यह हर चीज़ के लिए जादुई छड़ी नहीं है: पेपर दिखाता है कि एक निश्चित, पहले से बनी हुई त्रुटियों की सूची (जैसे एक मानक टेक्स्टबुक सूची) ठीक है, लेकिन यह उस डिक्शनरी जितनी अच्छी नहीं है जो विशेष रूप से रोबोट के अपने स्टाइल के लिए बनाई गई हो। "एडैप्टिव" (अनुकूलनशील) होना ही मुख्य बात है। यदि आप एक जेनेरिक सूची का उपयोग करते हैं, तो आप उन विशिष्ट, अजीब गलतियों को छोड़ देते हैं जो केवल आपका रोबोट करता है।
यह बेहतर निबंध लिखने के बारे में नहीं है: पेपर ने परीक्षण किया कि क्या फीडबैक को एक फैंसी, संरचित प्रारूप (जैसे एक सूची) में लिखना ही असली सफलता का रहस्य था। उन्होंने पाया कि फीडबैक का कंटेंट (विषय वस्तु) उसके फॉर्मेट (प्रारूप) से अधिक महत्वपूर्ण था। असली जीत एक सुसंगत, पुन: प्रयोज्य नामों की सूची रखने में थी, न कि केवल शब्दों की व्यवस्था में।
यह मानव आविष्कार नहीं है: पेपर स्पष्ट रूप से इंसानों द्वारा इन सूचियों को हाथ से लिखने के विरुद्ध तर्क देता है। उन्होंने पाया कि जब इंसान यह अनुमान लगाने की कोशिश करते हैं कि रोबोट क्या गलतियां करेगा, तो वे विशिष्ट, अजीब गलतियों को मिस कर देते हैं। रोबोट का अपना व्यवहार ही सबसे अच्छा शिक्षक है।

हम कितने आश्वस्त हैं?

पेपर इन निष्कर्षों को केवल अनुमान के रूप में नहीं, बल्कि वास्तविक प्रयोगों से मापे गए परिणामों के रूप में प्रस्तुत करता है।

आंकड़े ठोस हैं: सुधार (जैसे समस्या समाधान में 60% से 70% की छलांग) को विभिन्न प्रकार के परीक्षणों और विभिन्न प्रकार के रोबोटों में मापा गया था।
"डिक्शनरी" संक्षिप्त है: लेखकों ने दिखाया कि यह डिक्शनरी अविश्वसनीय रूप से कुशल है। यह भारी मात्रा में अस्त-व्यस्त विफलता डेटा को एक छोटी सूची (लग लगभग 18 गुना छोटा) में संकुचित कर सकती है, बिना महत्वपूर्ण विवरण खोए।
यह मानव-अनुकूल है: जब उन्होंने रोबोट की खुद की बनाई गई डिक्शनरी की तुलना मानव विशेषज्ञों द्वारा बनाई गई सूची से की, तो रोबोट की सूची ने विशेषज्ञों की समझ के साथ मानव-निर्मित सूची की तुलना में बेहतर तालमेल बिठाया। यह सुझाव देता है कि रोबोट अपनी गलतियों को समझने में आश्चर्यजनक रूप से अच्छा है।

संक्षेप में, AdaMAST सुझाव देता है कि स्मार्ट रोबोट को ठीक करने का सबसे अच्छा तरीका उसे नया मैनुअल सिखाना या उसे सामान्य डांट लगाना नहीं है। इसके बजाय, आपको उसे उसकी अपनी विफलताओं से अपनी खुद की गलतियों की डिक्शनरी बनाने देना चाहिए, और फिर उस डिक्शनरी का उपयोग उसे अगली बार बेहतर करने के लिए सिखाने के लिए करना चाहिए। यह गलतियों के ढेर को सुधार के लिए एक स्पष्ट, कार्रवाई योग्य रोडमैप में बदल देता है।

तकनीकी सारांश: फैंटास्टिक एडेप्टिव टैक्सोनॉमीज़ एंड हाउ टू यूज़ देम (AdaMAST)

1. समस्या विवरण (Problem Statement)

वर्तमान विधियाँ जो मॉडल वेट्स (weights) को संशोधित किए बिना लार्ज लैंग्वेज मॉडल (LLM) एजेंट सिस्टम को बेहतर बनाने पर निर्भर करती हैं, वे निष्पादन ट्रेसेस (execution traces) के उपभोग पर आधारित हैं। ये प्रक्रियाएं—जैसे कि ट्राजेक्टरी चयन, प्रॉम्प्ट/वर्कफ्लो अनुकूलन, और रनटाइम मॉनिटरिंग—विफलता का निदान करने के लिए कच्चे ट्रेसेस से फीडबैक निकालती हैं। हालांकि, यह पेपर तर्क देता है कि कच्चे ट्रेसेस फीडबैक संचित करने के लिए एक उप-इष्टतम माध्यम हैं क्योंकि वे:

लंबे और इंस्टेंस-विशिष्ट हैं: वे कॉन्टेक्स्ट विंडो स्पेस का महत्वपूर्ण हिस्सा घेरते हैं।
स्थिर शब्दावली का अभाव है: आवर्ती विफलता पैटर्न (जैसे, एक विशिष्ट टूल कॉल रिट्राय या एक चेकर द्वारा रबर-स्टैम्पिंग करना) हर रन पर मुक्त-पाठ गद्य (free-text prose) में पुन: निदान किए जाते हैं। यह एक साझा, पुन: प्रयोज्य नैदानिक इंटरफेस के संचय को रोकता है।
फीडबैक लूप के लिए अक्षम हैं: मुक्त-पाठ आलोचनाओं को प्रत्येक रन के बाद छोड़ दिया जाता है, जबकि स्केलर परिणाम (पास/फेल) नैदानिक गहराई की कमी रखते हैं।

मौजूदा निश्चित टैक्सोनॉमीज़ (जैसे, MAST) संरचनात्मक सीमाओं का सामना करती हैं: वे विशिष्ट एजेंट भूमिकाओं और डोमेन ज्ञान को पूर्व-निर्धारित करती हैं जो लक्षित सिस्टम में मौजूद नहीं हो सकते हैं, जिससे शब्दावली और देखे गए वास्तविक विफलता मोड के बीच बेमेल की स्थिति उत्पन्न होती है।

2. कार्यप्रणाली: AdaMAST

यह पेपर AdaMAST (एडेप्टिव मल्टी-एजेंट सिस्टम फेलियर टैक्सोनॉमीज़) पेश करता है, जो एक पाइपलाइन है जो सीधे लक्षित सिस्टम के निष्पादन ट्रेसेस से एक संक्षिप्त, साक्ष्य-आधारित विफलता शब्दावली को प्रेरित (induce) करती है।

मुख्य आर्किटेक्चर

प्रेरित टैक्सोनॉमी में तीन निश्चित अक्षों (axes) के साथ व्यवस्थित नामित विफलता कोड शामिल हैं, जो प्रणालियों के बीच तुलनात्मकता सुनिश्चित करते हैं जबकि सामग्री को अनुकूलित होने की अनुमति देते हैं:

सिस्टम-स्तरीय (अक्ष A): ऐसी विफलताएं जिनमें हार्नेस या ऑर्केस्ट्रेशन में बदलाव की आवश्यकता होती है (जैसे, निर्देश अनुपालन न होना, ठहराव)।
भूमिका-विशिष्ट (अक्ष B): खोजी गई एजेंट भूमिकाओं के विशिष्ट विफलताएं (जैसे, चेकर नॉन-कम्प्लायंस, कोऑर्डिनेटर एग्रीगेशन)। ये पूरी तरह से ट्रेस-प्रेरित हैं; यदि किसी सिस्टम में विभेदित भूमिकाएं नहीं हैं, तो यह अक्ष खाली रहता है।
डोमेन-विशिष्ट (अक्ष C): ऐसी विफलताएं जिनमें कार्य-विशिष्ट ज्ञान की आवश्यकता होती है (जैसे, कॉम्बिनेटरिक्स मिस-रीजनिंग, भौतिक नियमों का उल्लंघन)।

इंडक्शन पाइपलाइन (The Induction Pipeline)

टैक्सोनॉमी जनरेशन प्रक्रिया एक लक्षित सिस्टम के लिए एक बार की लागत है, जिसमें चार चरण शामिल हैं:

विश्लेषण (Analysis): ट्रेसेस के एक नमूने से डोमेन संदर्भ, खोजी गई एजेंट भूमिकाएं और आवर्ती व्यवहार संकेतों को निकालता है।
क्यूरेशन (Curation): प्रत्येक अक्ष के लिए उम्मीदवार कोड प्रस्तावित करता है। सिस्टम और डोमेन कोड पाइपलाइन द्वारा प्रस्तावित व्यापक प्रायोरिटीज़ (priors) द्वारा सीड किए जाते हैं; भूमिका कोड पूरी तरह से आर्किटेक्चर से प्रेरित होते हैं।
समेकन (Consolidation): डुप्लिकेट्स को हटाता है, नामकरण उल्लंघनों को ठीक करता है, और कवरेज नियमों को लागू करता है। यह चरण लगभग आठ LLM कॉल्स में संकलित होता है।
इंटर-एनोटेटर एग्रीमेंट (डिप्लॉयमेंट गेट): चार स्वतंत्र LLM एनोटेटर होल्ड-आउट ट्राजेक्टरीज को लेबल करते हैं। टैक्सोनॉमी तभी स्वीकार की जाती है जब औसत पेयरवाइज कोहेन का $\kappa \ge 0.75$ (विफलता-क्षेत्र स्तर पर) हो और कवरेज फ्लोर 0.70 हो। यदि लक्ष्य पूरे नहीं होते हैं, तो सिस्टम संपादन (मर्ज, जोड़ना, रीलेबल) का प्रस्ताव करता है और पुनः चलता है।

ऑनलाइन रिफाइनमेंट (Online Refinement)

जैसे-जैसे लक्षित सिस्टम विकसित होता है (उदाहरण के लिए, सर्च-आधारित अनुकूलन के दौरान), टैक्सोनॉमी को ऑनलाइन परिष्कृत किया जा सकता है। रिफाइनमेंट इवेंट हाल के ट्रेसेस के आधार पर कोड को मर्ज, जोड़ या रीलेबल करते हैं, जिससे यह सुनिश्चित होता है कि शब्दावली ऐतिहासिक स्नैपशॉट के बजाय वर्तमान सिस्टम स्थिति को ट्रैक करे।

एकीकरण मोड (Integration Modes)

प्रेरित टैक्सोनॉमी तीन अलग-अलग उपभोक्ता प्रकारों के लिए एक साझा फीडबैक इंटरफेस के रूप में कार्य करती है:

एजेंट-सिस्टम सर्च: टैक्सोनॉमी-कोडेड निदान (फायर्ड कोड्स + साक्ष्य) म्यूटेशन प्रॉम्प्ट्स में मुक्त-पाठ प्रतिबिंब (reflection) को बदल देते हैं ताकि विकासवादी खोज (जैसे, AdaEvolve) को निर्देशित किया जा सके।
रनटाइम मॉनoring: टैक्सोनॉमी एक "रनटाइम स्किल" या इन-कॉन्टेक्स्ट एंकर के रूप में कार्य करती है, जिससे एजेंट को विशिष्ट चेकपॉइंट्स पर ज्ञात विफलता मोड के विरुद्ध स्वयं की जांच करने की अनुमति मिलती है।
ट्राजेक्टरी चयन: एक वेरीफायर (AdaMAST-Judge) इंड्यूस्ड कोड को वेरिफिकेशन मानदंडों में परिवर्तित करता है ताकि ग्राउंड-ट्रुथ चेकर्स के बिना उम्मीदवार ट्राजेक्टरीज को रैंक किया जा सके।

3. प्रमुख योगदान

एडेप्टिव फेलियर टैक्सोनॉमीज़: एक पाइपलाइन जो बिना हैंड-ऑथर्ड कोड या प्रति-ट्रेस मानव एनोटेशन के, तीन निश्चित अक्षों के साथ ट्रेसेस से एक संक्षिप्त, साक्ष्य-आधारित टैक्सोनॉमी को प्रेरित करती है।
मापने योग्य फीडबैक इंटरफेस: दिखाया गया है कि प्रेरित शब्दावली:
- संक्षिप्त है: विफलता-प्रासंगिक सामग्री को $\sim 18\times$ तक कंप्रेस करती है जबकि अंतर बनाए रखती है (89% ट्रेसेस अद्वितीय कोड सिग्नेचर बनाए रखते हैं)।
- मानव-विश्वसनीय है: समान स्थितियों के तहत विशेषज्ञ विफलता एनोटेशन के साथ हैंड-क्राफ्टेड शब्दावली से बेहतर मेल खाती है ( $\kappa = 0.682$ बनाम TRAIL पर $0.516$)।
- अनुकूलनीय है: विभिन्न डोमेन के लिए प्रेरित टैक्सोनॉमीज़ केवल 0.14 का औसत पेयरवाइज जैकार्ड (Jaccard) साझा करती हैं, जो लक्षित सिस्टम के भूमिकाओं और टूल्स के प्रति विशिष्टता प्रदर्शित करती है।
क्रॉस-कंज्यूमर सुधार: एक ही प्रेरित टैक्सोनॉमी तीन अलग-अलग डाउनस्ट्रीम कार्यों में प्रदर्शन में सुधार करती है: एजेंट-सिस्टम सर्च, रनटाइम मॉनिटरिंग, और ट्राजेक्टरी सिलेक्शन।

4. प्रयोगात्मक परिणाम

पेपर तीन एकीकरण सेटिंग्स और कई बेंचमार्क पर AdaMAST का मूल्यांकन करता है।

एजेंट-सिस्टम सर्च

AdaEvolve को सर्च बैकबोन के रूप में उपयोग करते हुए, टैक्सोनॉमी-कोडेड निदान पांचों बेंचमार्क पर फ्री-फॉर्म LLM रिफ्लेक्शन से बेहतर रहे:

Frontier-CS: $26.0\% \to 32.7\%$ (+6.7 pp)
OlympiadBench: $87.9\% \to 91.9\%$ (+4.0 pp)
MMLU-Pro: $35.0\% \to 42.5\%$ (+7.5 pp)
TheoremQA: $60.0\% \to 65.0\%$ (+5.0 pp)
DROP: $88.2\% \to 91.7\%$ (+3.5 pp)
मैकेनिज्म: OlympiadBench केस स्टडी में, विशिष्ट कोड (जैसे, Coordinator Aggregation Mismatch) ने सीधे आर्किटेक्चरल एडिट्स को प्रेरित किया (बाइनरी गेट से स्कोर बूस्ट में सत्यापन को बढ़ावा देना), जिससे स्कोर में उछाल आया।

रनटाइम मॉनिटरिंग

SWE-bench Verified Mini पर, इंड्यूस्ड शब्दावली को एंकर करने से रेजोल्यूशन दर में सुधार हुआ:

Claude Code: $64.0\%$ (बेस) $\to 70.7\%$ (AdaMAST), जो फ्री-टेक्स्ट Reflexion ( $60\%$ ) और फिक्स्ड MAST चेकलिस्ट ( $67.3\%$ ) से बेहतर है।
SWE-agent: $50\%$ (बेस) $\to 70\%$ (AdaMAST), जो Reflexion ( $60\%$ ) और MAST ( $68\%$ ) से बेहतर है।
इससे विशेष रूप से वेरिफिकेशन-फेज विफलताओं में कमी आई और "फ्लैकी" समाधानों को विश्वसनीय में बदल दिया।

ट्राजेक्टरी सिलेक्शन

Terminal-Bench 2.0 पर, AdaMAST-Judge ने नॉन-सैचुरेटेड हार्नेस पर Pass@1 की तुलना में Best-of-5 चयन सटीकता में 8-15 अंक और फिक्स्ड MAST शब्दावली पर 3.4-4.5 अंक का सुधार किया। 'फायर्ड कोड्स' को पास होने वाले और फेल होने वाले ट्राजेक्टरीज के बीच अंतर करने में सक्षम पाया गया (पास के लिए मेडियन 3 कोड बनाम फेल के लिए 4 कोड)।

वैलिडेशन

मानव संरेखण (Human Alignment): TRAIL डेटासेट पर, इंड्यूस्ड शब्दावली ने विशेषज्ञ लेबल के मुकाबले $\kappa = 0.682$ प्राप्त किया, जो समान एनोटेशन पैनल का उपयोग करते समय हैंड-क्राफ्टेड TRAIL शब्दावली ( $\kappa = 0.516$ ) से काफी बेहतर था।
कंप्रेशन: टैक्सोनॉमी ने डाउनस्ट्रीम प्रेडिक्शन कार्यों के लिए कार्यात्मक समानता बनाए रखते हुए विफलता सामग्री को $\sim 18\times$ (या $\sim 95\times$ कम टोकन) तक कंप्रेस किया।

5. महत्व और दावे

पेपर का दावा है कि एडेप्टिव फेलियर टैक्सोनॉमीज़ उन ट्रेसेस और प्रक्रियाओं के बीच के लूप को बंद करती हैं जिनसे एजेंटों को सुधारा जाता है।

केंद्रीय तर्क यह है कि कच्चे ट्रेसेस और स्केलर परिणामों के बीच की "लुप्त प्रतिनिधित्व" (missing representation) एक नामित, साक्ष्य-आधारित, सिस्टम-विशिष्ट विफलता शब्दावली है। इस शब्दावली को सिस्टम के अपने व्यवहार से एक बार प्रेरित करके, यह एक टिकाऊ आर्टिफैक्ट बन जाता है जो:

विश्लेषण को अमोर्टाइज करता है: निदान की लागत टैक्सोनॉमी उत्पन्न करने के लिए एक बार चुकाई जाती है, जिसे फिर कई रन और प्रक्रियाओं में पुन: उपयोग किया जाता है।
लक्षित हस्तक्षेप को सक्षम बनाता है: मुक्त-पाठ आलोचनाओं के विपरीत, कोड सीधे हस्तक्षेप बिंदुओं (सिस्टम, भूमिका, या डोमेन) से मैप होते हैं।
विकास को ट्रैक करता है: जैसे-जैसे सिस्टम बदलता है, शब्दावली अनुकूलित होती है, जो भूमिका- और डोमेन-विशिष्ट विफलताओं के "लॉन्ग टेल" को कैप्चर करती है जिन्हें फिक्स्ड कैटलॉग अनुमानित नहीं कर सकते।

लेखक इस बात पर जोर देते हैं कि लाभ केवल प्रॉम्प्ट फॉर्मेटिंग या स्ट्रक्चर्ड टेक्स्ट के उपयोग के कारण नहीं हैं, बल्कि एक ऐसी शब्दावली के इंडक्शन और पुन: उपयोग से आते हैं जो लक्षित एजेंट सिस्टम के विफलता मोड के प्रति वफादार है। पेपर निष्कर्ष निकालता है कि एक एजेंट सिस्टम के लिए सबसे सस्ता सुधार यह हो सकता है कि "पहले, अपनी स्वयं की शर्तों में, यह सीखें कि वह कैसे विफल होता है।"