🤖 AI

Distribution-Free Uncertainty Quantification for Continuous AI Agent Evaluation

यह शोध पत्र निरंतर एआई एजेंट मूल्यांकन के लिए एक वितरण-मुक्त (distribution-free) ढांचे को प्रस्तुत करता है जो कैलिब्रेटेड अनिश्चितता अंतराल (calibrated uncertainty intervals), मल्टी-एजेंट पाइपलाइनों के लिए संरचनात्मक सीमाएं (compositional bounds), और रैंकिंग के लिए नियंत्रित अपवर्जन नियम (controlled abstention rules) प्रदान करने के लिए कॉन्फॉर्मल प्रेडिक्शन और एडेप्टिव कॉन्फॉर्मल इन्फरेंस को अनुकूलित करता है, जो 50 एजेंटों और 18 रियल-टाइम सिग्नलों पर मजबूत प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Yuxuan Gao, Megan Wang, Yi Ling Yu

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuxuan Gao, Megan Wang, Yi Ling Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप हर घंटे 50 अलग-अलग AI "एजेंटों" (स्मार्ट सॉफ्टवेयर बॉट्स) के प्रदर्शन का आकलन करने की कोशिश कर रहे हैं। आप जानना चाहते हैं: क्या एजेंट A वास्तव में एजेंट B से बेहतर है, या हम सिर्फ रैंडम शोर (noise) देख रहे हैं?

समस्या यह है कि इस शोध पत्र के अनुसार, अधिकांश वर्तमान तरीके ऐसे काम करते हैं जैसे वे 100% निश्चित हों। वे आपको एक एकल स्कोर देते हैं, जैसे "एजेंट A 85% अच्छा है।" लेकिन वास्तव में, स्कोर किस प्लेटफॉर्म से पूछा जा रहा है, एजेंट को कैसे अपडेट किया गया है, या दिन का कौन सा समय है, इसके आधार पर उतार-चढ़ाव होते रहते हैं। यह एक आटे की बोरी को डगमगाते हुए तराजू पर तौलने जैसा है जबकि कोई मेज को बार-बार हिला रहा हो।

लेखकों ने इसे ठीक करने के लिए AgentPulse नामक एक नया सिस्टम बनाया है। केवल एक संख्या देने के बजाय, यह आपको एक कॉन्फिडेंस रेंज (एक "सुरक्षा जाल") देता है जो आपको बताता है कि आप कितने आश्वस्त हो सकते हैं। वे इसे "डिस्ट्रीब्यूशन-फ्री अनसर्टेंटी क्वांटिफिकेशन" (Distribution-Free Uncertainty Quantification) कहते हैं।

यह सिस्टम कैसे काम करता है, यहाँ सरल उपमाओं (analogies) के माध्यम से बताया गया है:

1. वह "सुरक्षा जाल" जो टूटता नहीं है (कन्फॉर्मल प्रेडिक्शन)

आमतौर पर, जब वैज्ञानिक एक रेंज का अनुमान लगाते हैं, तो वे मान लेते हैं कि डेटा एक आदर्श बेल कर्व (जैसे लोगों की ऊंचाई) का पालन करता है। लेकिन AI स्कोर अव्यवस्थित होते हैं; उनमें "हेवी टेल्स" (अचानक, बड़े उतार-चढ़ाव) होते हैं।

लेखक स्प्लिट कन्फॉर्मल प्रेडिक्शन (Split Conformal Prediction) नामक विधि का उपयोग करते हैं।

उपमा: कल्पना कीजिए कि आप मछली पकड़ रहे हैं। सिद्धांत के आधार पर यह अनुमान लगाने के बजाय कि मछली कहाँ हो सकती है, आप देखते हैं कि पिछले एक घंटे में मछली वास्तव में कहाँ पकड़ी गई थी। आप एक ऐसा जाल बनाते हैं जो पिछले देखे गए मछलियों के 80% को पकड़ने के लिए पर्याप्त बड़ा हो।
परिणाम: उनका "जाल" पूरी तरह से कैलिब्रेटेड है। यदि वे कहते हैं कि वे 80% आश्वस्त हैं, तो वे वास्तव में 80% आश्वस्त हैं। इससे कोई फर्क नहीं पड़ता कि डेटा कितना अजीब या अव्यवस्थित है; गणित गारंटी देता है कि जाल काम करेगा।

2. नए रिलीज के लिए "शॉक एब्जॉर्बर" (एडेप्टिव कन्फॉर्मल इन्फरेंस)

AI एजेंटों को बार-बार अपडेट किया जाता है। जब कोई नया वर्जन आता है, तो पुराना डेटा बेकार हो जाता है, और "डगमगाती मेज" और भी अधिक डगमगाने लगती है।

उपमा: एक कार की कल्पना करें जो एक चिकनी सड़क पर चल रही है। अचानक, वह एक गड्ढे (एक नया एजेंट रिलीज) से टकराती है। एक मानक सस्पेंशन (मानक गणित) कार को सख्त रखता है, जिससे यात्रियों को झटका लगता है।
समाधान: लेखक ACI (Adaptive Conformal Inference) का उपयोग करते हैं। यह एक ऐसी कार की तरह है जिसमें "स्मार्ट शॉक एब्जॉर्बर" लगे हैं। जब यह गड्ढे से टकराती है, तो सिस्टम झटके को सोखने के लिए सुरक्षा जाल (कॉन्फिडेंस इंटरवल) को तुरंत 35% तक चौड़ा कर देता है। एक बार जब कार स्थिर हो जाती है, तो जाल वापस छोटा हो जाता है। यह अराजक समय के दौरान गलत आत्मविश्वास देने से रोकता है।

3. टीम वर्क के लिए सुरक्षा जांच (कंपोजिशनल अनसर्टेंटी)

अक्सर, एजेंट पाइपलाइनों में काम करते हैं (एजेंट A कार्य को एजेंट B को सौंपता है)। यदि एजेंट A अस्थिर है और एजेंट B अस्थिर है, तो पूरी श्रृंखला बहुत अस्थिर हो जाती है।

उपमा: रिले रेस की कल्पना करें। यदि धावक 1 तेज है लेकिन डगमगा रहा है, और धावक 2 तेज है लेकिन डगमगा रहा है, तो टीम का कुल समय बहुत अनिश्चित होता है।
समाधान: शोध पत्र इन टीमों के लिए दो "सुरक्षा सीमाएं" (safety bounds) प्रदान करता है। एक यह मानती है कि धावक स्वतंत्र हैं (सर्वश्रेष्ठ स्थिति का अनुमान), और दूसरी सबसे खराब स्थिति को मानती है जहाँ उनकी अस्थिरता जुड़ जाती है। यह आपको यह जानने में मदद करता है कि एक बहु-चरणीय प्रक्रिया विश्वसनीय है या वह टूटने वाली है।

4. "ईमानदार रेफरी" (एब्स्टेंशन और FDR)

कभी-कभी, डेटा इतना शोर भरा होता है कि आप यह भी नहीं बता सकते कि कौन बेहतर है। एक बुरा रेफरी गलत निर्णय लेने के लिए मजबूर कर सकता है। एक अच्छा रेफरी स्वीकार करता है, "मुझे नहीं पता।"

उपमा: बॉक्सिंग मैच में, यदि जज स्पष्ट रूप से नहीं देख पा रहे हैं, तो उन्हें विजेता घोषित नहीं करना चाहिए। उन्हें कहना चाहिए, "आइए थोड़ा रुकें।"
समाधान: सिस्टम में एब्स्टेन (abstain) करने का एक नियम है। यदि दो एजेंटों के "सुरक्षा जाल" बहुत अधिक ओवरलैप होते हैं, तो सिस्टम उन्हें रैंक करने से इनकार कर देता है। यह FDR करेक्शन नामक एक सांख्यिकीय ट्रिक का भी उपयोग करता है ताकि यह सुनिश्चित हो सके कि यदि वे 1,000 एजेंटों के जोड़ों को रैंक करते हैं, तो वे गलती से उनमें से 20% गलत न कर दें। यह उन जोड़ों के लिए पूर्ण विश्वसनीयता के लिए कुछ "मुझे नहीं पता" वाले मामलों का त्याग करता है जिन्हें वे रैंक करते हैं।

5. भीड़ की बात सुनना (क्रॉस-सोर्स डाइवर्जेंस)

सिस्टम केवल एक टेस्ट नहीं देखता; यह बेंचमार्क, GitHub डाउनलोड और 9 अलग-अलग जगहों से सोशल मीडिया सेंटिमेंट को देखता है।

उपमा: कल्पना कीजिए कि 9 अलग-अलग लोगों से एक फिल्म की रेटिंग पूछना। यदि 8 कहते हैं कि यह शानदार है और 1 कहता है कि यह बहुत खराब है, तो आप जानते हैं कि वह 1 व्यक्ति एक आउटलायर है। लेकिन यदि 5 कहते हैं "शानदार" और 4 कहते हैं "बहुत खराब", तो यह अस्थिरता (instability) का संकेत है।
परिणाम: शोध पत्र में पाया गया कि जब ये विभिन्न "भीड़" असहमत होती हैं (डाइवर्ज होती हैं), तो यह भविष्यवाणी करता है कि एजेंट की रैंकिंग अस्थिर होगी। यह एक चेतावनी लाइट है: "हे, भीड़ सहमत नहीं हो पा रही है, इसलिए अभी इस रैंकिंग पर भरोसा न करें।"

मुख्य निष्कर्ष (The Bottom Line)

लेखकों ने इसका परीक्षण 50 वास्तविक AI एजेंटों पर किया। उन्होंने पाया कि:

उनके "सुरक्षा जाल" सटीक हैं (कैलिब्रेशन एरर बहुत कम है)।
वे पुराने तरीकों की तुलना में नए एजेंट रिलीज को बहुत बेहतर तरीके से संभालते हैं।
वे आपको बता सकते हैं कि कब कोई रैंकिंग इतनी अस्थिर है कि उस पर भरोसा नहीं किया जा सकता, जिससे आपको शोर भरे डेटा के आधार पर गलत निर्णय लेने से बचाया जा सके।

संक्षेप में, उन्होंने AI मूल्यांकन को एक "अनुमान लगाने वाले खेल" से बदलकर एक "मापे गए विज्ञान" में बदल दिया है जहाँ आप हमेशा जानते हैं कि आप परिणाम पर कितना भरोसा कर सकते हैं।

तकनीकी सारांश: निरंतर AI एजेंट मूल्यांकन के लिए डिस्ट्रीब्यूशन-फ्री अनसर्टेंटी क्वांटिफिकेशन (Uncertainty Quantification)

1. समस्या विवरण (Problem Statement)

AI एजेंट मूल्यांकन वर्तमान में एक "अनिश्चितता संकट" (uncertainty crisis) का सामना कर रहा है। मौजूदा स्थिर बेंचमार्क (जैसे SWE-bench, GAIA, WebArena) पॉइंट एस्टीमेट्स (point estimates) प्रदान करते हैं जिन्हें निर्णायक माना जाता है, फिर भी वे निम्नलिखित कारणों से उत्पन्न होने वाली निहित अनिश्चितताओं को समझने में विफल रहते हैं:

मापन विषमता (Measurement Heterogeneity): गुणवत्ता के संबंध में विभिन्न प्लेटफार्मों के बीच असहमति।
मॉडल विनिर्देश (Model Specification): विभिन्न वेटिंग स्कीम्स के तहत रैंकिंग का बदलना।
अस्थायी गैर-स्थिरता (Temporal Non-Stationarity): एजेंटों के अपडेट या रिलीज होने के साथ स्कोर का विकसित होना।

Chatbot Arena जैसे कुछ फ्रेमवर्क बूटस्ट्रैप रिसैंपलिंग के माध्यम से कॉन्फिडेंस इंटरवल प्रदान करते हैं, लेकिन उनमें फाइनाइट-सैंपल गारंटी की कमी होती है और वे अक्सर केवल एकल सिग्नल स्रोतों को ही संबोधित करते हैं। ऐसा कोई मौजूदा फ्रेमवर्क नहीं है जो एजेंट स्कोर के लिए डिस्ट्रीब्यूशन-फ्री कवरेज गारंटी, मल्टी-एजेंट पाइपलाइनों के लिए कंपोजिशनल अनसर्टेंटी बाउंड्स, या कम मूल्यांकन आत्मविश्वास के मामले में सिद्धांतपूर्ण अपवर्जन नियमों (abstention rules) को प्रदान करता हो।

2. कार्यप्रणाली: एजेंटपल्स (AgentPulse) फ्रेमवर्क

लेखक AgentPulse का प्रस्ताव करते हैं, जो एक निरंतर मूल्यांकन फ्रेमवर्क है जो अनिश्चितता (uncertainty) को एक प्राथमिक आउटपुट के रूप में मानता है। यह सिस्टम 19 डेटा स्रोतों से प्रति घंटा एकत्र किए गए चार-कारक कंपोजिट स्कोर ($AP$) का उपयोग करके 50 एजेंटों का मूल्यांकन करता है:
$AP(a) = 0.35 B(a) + 0.25 A(a) + 0.20 S(a) + 0.20 E(a)$
जहाँ $B$ बेंचमार्क प्रदर्शन है, $A$ एडॉप्शन (GitHub स्टार्स, डाउनलोड्स) है, $S$ सेंटीमेंट (9 प्लेटफार्मों से एकत्रित) है, और $E$ इकोसिस्टम हेल्थ है।

यह फ्रेमवर्क चार मुख्य पद्धतिगत स्तंभों का उपयोग करता है:

2.1 डिस्ट्रीब्यूशन-फ्री फोरकास्टिंग (Split Conformal & ACI)

$h$ घंटों आगे के स्कोर का पूर्वानुमान लगाने के लिए, सिस्टम मीन-रिवर्जन मॉडल का उपयोग करता है। विशिष्ट डेटा वितरण को माने बिना कवरेज की गारंटी देने के लिए:

स्प्लिट कॉन्फॉर्मल प्रेडिक्शन (Split Conformal Prediction): स्कोरिंग हिस्ट्री को ट्रेनिंग (70%) और कैलिब्रेशन (30%) में विभाजित किया जाता है। नॉन-कन्फॉर्मिटी स्कोर की गणना की जाती है, और अंतराल $C_{1-\alpha}$ बनाने के लिए एक क्वांटाइल $\hat{q}_{1-\alpha}$ चुना जाता है। यह एक्सचेंजेबिलिटी (exchangeability) के तहत गारंटी देता है कि $\Pr[AP_{t+h} \in C_{1-\alpha}] \ge 1-\alpha$ ।
एडाप्टिव कॉन्फॉर्मल इन्फरेंस (Adaptive Conformal Inference - ACI): एजेंट रिलीज के कारण होने वाले डिस्ट्रीब्यूशन शिफ्ट (जो एक्सचेंजेबिलिटी का उल्लंघन करते हैं) को संभालने के लिए, ACI ऑनलाइन $\alpha_t$ को एडजस्ट करता है। यदि कोई अवलोकन अंतराल के बाहर गिरता है, तो $\alpha$ को बढ़ाया जाता है, जिससे अंतराल चौड़ा हो जाता है जब तक कि कवरेज बहाल न हो जाए।

2.2 कंडीशनल कवरेज (Mondrian Conformal)

मानक कॉन्फॉर्मल प्रेडिक्शन मार्जिनल कवरेज (सभी एजेंटों पर औसत) प्रदान करता है, जो विशिष्ट अस्थिर एजेंटों के खराब प्रदर्शन को छिपा सकता है। लेखक मोंड्रियन कॉन्फॉर्मल प्रेडिक्शन (Mondrian conformal prediction) लागू करते हैं, जो एजेंटों को क्रॉस-सोर्स स्टैंडर्ड डेविएशन ( $\sigma_{cross}$ ) के आधार पर "स्थिर" (stable) और "अस्थिर" (volatile) समूहों में वर्गीकृत करता है। प्रत्येक समूह के लिए अलग कैलिब्रेशन सेट और क्वांटाइल की गणना की जाती है, जिससे अस्थिर एजेंटों के लिए कंडीशनल कवरेज गारंटी सुनिश्चित होती है, जो अन्यथा मानक विधियों के तहत विफल हो जाते।

2.3 पाइपलाइनों के लिए कंपोजिशनल अनसर्टेंटी

मल्टी-एजेंट पाइपलाइनों ( $a_1 \to a_2$ ) के लिए, फ्रेमवर्क कंपोजिट मेजरमेंट के लिए अनसर्टेंटी बाउंड्स निकालता है:

इंडिपेंडेंस बाउंड (Independence Bound): $\sigma_{pipeline} = \sqrt{\sigma_1^2 + \sigma_2^2}$ ।
वर्स्ट-केस बाउंड (Worst-Case Bound): $\sigma_{pipeline} \le \sigma_1 + \sigma_2$ ।
इन बाउंड्स को इंटर-स्टेज कोरिलेशन $\rho \in [-0.5, 0.9]$ के माध्यम से सिमुलेशन द्वारा सत्यापित किया गया है।

2.4 चयनात्मक अपवर्जन (Selective Abstention) और FDR कंट्रोल

रैंकिंग विश्वसनीयता को प्रबंधित करने के लिए:

कॉन्फॉर्मल एब्स्टेंशन (Conformal Abstention): पेयरवाइज तुलनाओं के लिए, यदि स्कोर अंतर $\Delta_{ab}$ के लिए कॉन्फिडेंस इंटरवल में शून्य शामिल है, तो सिस्टम रैंकिंग से अपवर्जन (abstain) करता है। यह फॉल्स-रैंकिंग रेट को नियंत्रित करता है।
FDR करेक्शन: लीडरबोर्ड-स्केल मल्टीपल टेस्टिंग (1,225 जोड़े) के लिए, बेन्जामिनी-होचबर्ग (BH) प्रक्रिया को FDR कंट्रोल करने के लिए लागू किया जाता है, यह सुनिश्चित करते हुए कि सभी रैंक किए गए जोड़ों में से गलत तरीके से क्रमबद्ध जोड़ों का अंश एक लक्षित सीमा से नीचे रहे।

3. मुख्य परिणाम

3.1 कैलिब्रेशन और कवरेज

कैलिब्रेशन एरर: कॉन्फॉर्मल इंटरवल्स ने 24-घंटे के क्षितिज पर सभी номинаल स्तरों पर 0.02 से कम कैलिब्रेशन एरर प्राप्त किया।
पैरामेट्रिक/बूटस्ट्रैप से तुलना: पैरामीट्रिक इंटरवल्स व्यवस्थित रूप से अत्यधिक कंजर्वेटिव (आवश्यकता से अधिक चौड़े) थे। बूटस्ट्रैप इंटरवल्स कम समय के लिए अत्यधिक कंजर्वेटिव थे लेकिन टेम्पोरल नॉन-स्टेशनैरिटी के कारण 72 घंटों पर अंडर-कवर्ड (80% номинаल बनाम 74% कवरेज) थे। कॉन्फॉर्मल विधियों ने मजबूत कवरेज बनाए रखा (72h पर 79%)।
एडाप्टिव रिस्पॉन्स: एजेंट रिलीज के बाद, ACI ने 6 घंटों के भीतर अंतराल को 35% तक सही ढंग से बढ़ाया और 48 घंटों में पुन: अभिसरण (reconverge) किया, जबकि स्टैटिक विधियां कवरेज में गिरावट का शिकार हुईं।

3.2 कंडीशनल कवरेज सुधार

अस्थिर एजेंट (Volatile Agents): मानक कॉन्फॉर्मल प्रेडिक्शन के तहत, अस्थिर एजेंटों (उच्च $\sigma_{cross}$ ) का औसत कवरेज 64.6% था (15 में से 11 एजेंट 75% से नीचे थे)।
मोंड्रियन करेक्शन: एजेंटों को स्ट्रैटिफाई करके, मोंड्रियन कॉन्फॉर्मल ने अस्थिर एजेंटों के लिए कवरेज बढ़ाकर 80.4% कर दिया (केवल 15 में से 2 ही 75% से नीचे थे), हालांकि इसके कारण उस विशिष्ट समूह के लिए अंतराल चौड़े हो गए।
कुल वितरण: 50 एजेंटों के लिए औसत प्रति-एजेंट कवरेज 80.4% था, जिसमें 90% एजेंट [72%, 90%] रेंज के भीतर थे।

3.3 पाइपलाइन और रैंकिंग स्थिरता

पाइपलाइन बाउंड्स: सिमुलेशन ने पुष्टि की कि ट्रू पाइपलाइन अनसर्टेंटी पॉजिटिव कोरिलेशन के लिए इंडिपेंडेंस और वर्स्ट-केस बाउंड्स के बीच रहती है।
एब्स्टेंशन रेट्स: $\alpha=0.20$ पर, 31% जोड़ों ने एब्स्टेंशन ट्रिगर किया। FDR कंट्रोल के लिए BH करेक्शन के बाद, 50% जोड़ों को आत्मविश्वास के साथ रैंक किया गया, जबकि शेष को अनिश्चित के रूप में चिह्नित किया गया।
सिग्नल डायवर्जेंस: क्रॉस-सोर्स सेंटीमेंट डायवर्जेंस रैंकिंग अस्थिरता का एक मजबूत भविष्यवक्ता था ( $r=0.64, p<0.01$ )।

3.4 वैलिडेशन

प्रेडिक्टिव वैलिडिटी: एक सब-कंपोजिट जिसमें GitHub सिग्नल्स को बाहर रखा गया था, ने GitHub स्टार्स ( $\rho_s=0.52$ ) और Stack Overflow प्रश्न ( $\rho_s=0.49$ ) की भविष्यवाणी की।
सर्कुलैरिटी कंट्रोल: वैलिडेशन ने पुष्टि की कि फ्रेमवर्क मानक बेंचमार्क से परे सिग्नल्स कैप्चर करता है ( $\rho_s=0.52, p<0.01, n=35$ )।
रैंकिंग शिफ्ट्स: कंपोजिट रैंकिंग बेंचमार्क-ओनली रैंकिंग से काफी भिन्न थी, विशेष रूप से उन एजेंटों के लिए जिनका एडॉप्शन अधिक है लेकिन बेंचमार्क स्कोर कम है, या उन क्लोज्ड-सोर्स एजेंटों के लिए जिनका एडॉप्शन सिग्नल शून्य है।

4. महत्व और दावे

पेपर का दावा है कि AgentPulse निरंतर, मल्टी-सोर्स एजेंट मूल्यांकन के लिए डिस्ट्रीब्यूशन-फ्री कवरेज गारंटी प्रदान करने वाला पहला फ्रेमवर्क बनकर AI मूल्यांकन के महत्वपूर्ण अंतर को संबोधित करता है।

लेखक इस बात पर जोर देते हैं कि उनका योगदान स्वयं स्प्लिट कॉन्फॉर्मल प्रेडिक्शन का आविष्कार करना नहीं है, बल्कि चार विशिष्ट चुनौतियों वाले डोमेन में इसका कठोर अनुप्रयोग है:

स्ट्रक्चर्ड एक्सचेंजेबिलिटी वायलेशन: एजेंट रिलीज को संभालने के लिए ACI के माध्यम से संबोधित किया गया।
कंडीशनल कवरेज फेलियर: $\sigma_{cross}$ स्ट्रैटिफिकेशन के साथ मोंड्रियन कॉन्फॉर्मल के माध्यम से संबोधित किया गया, जो अस्थिर एजेंटों के लिए विश्वसनीयता में उल्लेखनीय सुधार करता है।
कंपोजिशनल स्ट्रक्चर: वैलिडेटेड अनसर्टेटी प्रोपेगेशन बाउंड्स के माध्यम से पाइपलाइनों के लिए संबोधित किया गया।
लीडरबोर्ड-स्केल मल्टीपल टेस्टिंग: FDR-नियंत्रित एब्स्टेंशन के माध्यम से संबोधित किया गया।

यह कार्य प्रदर्शित करता है कि डिस्ट्रीब्यूशन-फ्री विधियां टेम्पोरल नॉन-स्टेशनैरिटी के तहत मानक रिसैंपलिंग (बूटस्ट्रैप) दृष्टिकोणों की तुलना में बेहतर प्रदर्शन करती हैं। अनिश्चितता को एक प्राथमिक आउटपुट के रूप में मानकर, यह फ्रेमवर्क AI एजेंटों के अधिक विश्वसनीय, गतिशील और सूक्ष्म मूल्यांकन को सक्षम बनाता है, जो स्टेटिक पॉइंट एस्टीमेट्स से आगे बढ़कर एजेंट की गुणवत्ता की एक संभाव्य समझ प्रदान करता है।

लेखकों द्वारा स्वीकार की गई सीमाएं (Limitations):

ACI बाउंडेड डिस्ट्रीब्यूशन शिफ्ट्स को मानता है; अनबाउंडेड रिजीम परिवर्तन एक्सचेंजेबिलिटी का उल्लंघन कर सकते हैं।
कंपोजिशनल बाउंड्स नेगेटिव इंटर-स्टेज कोरिलेशन के तहत एंटी-कंजर्वेटिव हो सकते हैं।
FDR कंट्रोल टेस्ट स्टैटिस्टिक्स के बीच इंडिपेंडेंस या पॉजिटिव रिग्रेशन डिपेंडेंस को मानता है।
एब्लेशन स्टडी ( $n=11$ ) अंडरपावर्डेड थी।
वर्तमान NLP प्रोसेसिंग केवल अंग्रेजी-केंद्रित है, और क्लोज्ड-सोर्स एजेंटों में एडॉप्शन सिग्नल्स की कमी है।