🤖 AI

Proper Scoring Rules for Agentic Uncertainty Quantification

यह शोधपत्र ट्रैजेक्टरी प्रॉपर स्कोर (TPS) प्रस्तुत करता है, जो एक स्ट्रिक्टली प्रॉपर स्कोरिंग रूल है जो भाषा मॉडल एजेंटों के लिए पूर्ण प्रीफिक्स-कंडीशन्ड सक्सेस-प्रोबेबिलिटी ट्रेस को कठोरता से इलिट्स (elicits) करता है, और उन मौजूदा मेट्रिक्स की सीमाओं को संबोधित करता है जो एजेंटिक अनिश्चितता मात्रा निर्धारण (uncertainty quantification) में रैंकिंग प्रदर्शन और संभाव्य सत्यता के बीच अंतर करने में विफल रहते हैं।

मूल लेखक: Suresh Raghu, Satwik Pandey, Shashwat Pandey

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Suresh Raghu, Satwik Pandey, Shashwat Pandey

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट एजेंट को एक जटिल पहेली हल करने की कोशिश करते हुए देख रहे हैं, जैसे कि भूलभुलैया से बाहर निकलना या किसी कठिन पहेली का उत्तर देना। जैसे-जैसे रोबोट काम करता है, वह केवल अंतिम उत्तर नहीं देता; वह खुद से बातें करता है, चालें चलता है, अपने काम की जाँच करता है, और कभी-कभी कहता है, "मुझे लगता है कि मैं इसे सही कर लूँगा," या "अब मुझे यकीन नहीं है।"

लंबे समय से, शोधकर्ता इन रोबोटों को इस आधार पर ग्रेड देने की कोशिश कर रहे हैं कि वे अपनी अनिश्चितता को कितनी अच्छी तरह व्यक्त करते हैं। लेकिन यह शोध पत्र तर्क देता है कि वर्तमान ग्रेडिंग सिस्टम वैसा ही है जैसे किसी शेफ को केवल इस आधार पर आंकना कि उसने ऑर्डर सही दिया या नहीं, बिना भोजन चखे यह देखे कि उसे वास्तव में पता था कि खाना कितना अच्छा है।

यहाँ इस शोध पत्र का मुख्य विचार है, जिसे सरल उपमाओं के साथ समझाया गया है:

1. समस्या: "रैंक" बनाम "सत्य" का आकलन करना

वर्तमान में, इन रोबोटों के लिए अधिकांश परीक्षण रैंकिंग (Ranking) देखते हैं।

उपमा: कल्पना कीजिए कि एक शिक्षक छात्र की पढ़ाई की आदतों को ग्रेड दे रहा है। शिक्षक छात्र के अंतिम परीक्षा के अंकों को देखता है। यदि सबसे अधिक पढ़ाई करने वाले छात्र ने उच्चतम स्कोर प्राप्त किया, तो शिक्षक कहता है, "बहुत बढ़िया! पढ़ाई का तरीका काम करता है!"
दोष: शिक्षक इस बात की परवाह नहीं करता कि छात्र को लगा था कि उसके पास पास होने की 99% संभावना है जबकि वास्तव में केवल 50% थी। छात्र बहुत अधिक आत्मविश्वासी हो सकता था लेकिन फिर भी उसकी किस्मत चमक गई।
शोध पत्र का बिंदु: मौजूदा परीक्षण (जैसे AUROC या Trajectory ECE) उस शिक्षक की तरह हैं। वे यह देखते हैं कि क्या रोबोट का आत्मविश्वास सही उत्तरों को गलत उत्तरों से ऊपर रैंक करता है। लेकिन वे यह नहीं देखते कि रोबोट के विशिष्ट अंक (जैसे, "80% संभावना") वास्तव में वास्तविकता से मेल खाते हैं या नहीं। एक रोबोट एक बेहतरीन "रैंकर" हो सकता है लेकिन एक बुरा "सत्य-वक्ता" हो सकता है।

2. समाधान: "ट्रैजेक्टरी प्रॉपर स्कोर" (TPS)

लेखक एक नया ग्रेडिंग सिस्टम पेश करते हैं जिसे TPS कहा जाता है।

उपमा: केवल अंतिम परीक्षा देखने के बजाय, TPS एक कोच की तरह है जो रोबोट को कदम-दर-कदम देखता है। हर बार जब रोबोट कोई चाल चलता है, तो कोच पूछता है: "आपने कहा था कि इस बिंदु से सफलता की 70% संभावना है। क्या वह ईमानदार था?"
यह कैसे काम करता है: शोध पत्र एक गणितीय उपकरण का उपयोग करता है जिसे "स्ट्रिक्टली प्रॉपर स्कोरिंग रूल" (Strictly Proper Scoring Rule) कहा जाता है। इसे एक दंड प्रणाली के रूप में सोचें जो केवल तभी काम करती है जब आप सच बोलते हैं।
- यदि आप कहते हैं "90%" और आप विफल हो जाते हैं, तो आपको भारी दंड मिलता है।
- यदि आप कहते हैं "50%" और आप विफल हो जाते हैं, तो आपको छोटा दंड मिलता है।
- सबसे अच्छा स्कोर पाने का एकमात्र तरीका यह है कि आप वास्तव में जो संभावनाएं हैं, वही कहें।
परिणाम: TPS रोबोट को यात्रा के हर एक कदम पर अपनी संभावनाओं के बारे में ईमानदार होने के लिए मजबूर करता है, न कि केवल अंत में।

3. "सेंसरड" (Censored) समस्या: जब खेल जल्दी समाप्त हो जाता है

कभी-कभी, रोबोट काम पूरा करने से पहले ही समय समाप्त कर देता है या किसी सीमा तक पहुँच जाता है। पुराने दिनों में, शोधकर्ता इन अधूरे प्रयासों को बस छोड़ देते थे।

उपमा: कल्पना कीजिए कि एक मैराथन धावक 20 मील पर ही गिर जाता है। यदि आप केवल उन लोगों को गिनते हैं जिन्होंने दौड़ पूरी की, तो आप उन धावकों के बारे में डेटा खो देते हैं जो संघर्ष कर रहे थे।
शोध पत्र का समाधान: लेखकों ने इन "अधूरे" रन को निष्पक्ष रूप से ग्रेड करने का एक तरीका बनाया है। वे "कंडीशनल प्रोजेक्शन" (Conditional Projection) नामक तकनीक का उपयोग करते हैं।
- सरल संस्करण: यदि रोबोट जल्दी रुक जाता है और हमें नहीं पता कि वह सफल होता या नहीं, तो सिस्टम सुरक्षा के लिए सबसे खराब स्थिति (कि वह विफल रहा) मान लेता है।
- उन्नत संस्करण: यदि हम अनुमान लगा सकते हैं कि यदि उसने जारी रखा होता तो उसकी सफलता की कितनी संभावना होती, तो सिस्टम अधूरे रन को निष्पक्ष रूप से ग्रेड करने के लिए उस अनुमान का उपयोग करता है।
यह क्यों मायने रखता है: शोधकर्ताओं ने पाया कि एक शॉपिंग कार्य (WebShop) पर, लगभग आधे प्रयास बीच में ही रुक गए थे। यदि आप उन्हें अनदेखा करते हैं, तो आप रोबोट के प्रदर्शन की गलत तस्वीर प्राप्त करते हैं। जब उन्होंने इन "बीच में छूटे" प्रयासों को शामिल किया, तो रोबोट का ग्रेड वास्तव में काफी बदल गया।

4. बड़ी खोज: रीकैलिब्रेशन (Recalibration) सब कुछ बदल देता है

लेखकों ने प्रयोग किए जहाँ उन्होंने रोबोट के कच्चे आत्मविश्वास अंकों को "रीकैलिब्रेट" किया (उन्हें अधिक ईमानदार बनाने के लिए ठीक किया)।

उपमा: कल्पना कीजिए कि एक मौसम विज्ञानी हमेशा कहता है "बारिश की 90% संभावना है।" यदि 90% बार बारिश होती है, तो वह एक "अच्छा रैंकर" है (वह सही ढंग से बारिश वाले दिनों की भविष्यवाणी करता है)। लेकिन यदि वह "90%" कहता है जबकि वास्तव में केवल "50%" की संभावना है, तो वह एक बुरा "सत्य-वक्ता" है।
परिणाम: जब उन्होंने रोबोट के अंकों को अधिक ईमानदार बनाने के लिए ठीक किया:
- पुराने परीक्षणों (रैंकिंग) ने बहुत कम बदलाव देखा। रोबोट अभी भी सही उत्तरों को सबसे अच्छा "रैंक" कर रहा था।
- नए परीक्षण (TPS) ने भारी सुधार देखा। रोबोट अब अपनी संभावनाओं के बारे में सच बोल रहा था।
यह क्यों महत्वपूर्ण है: यदि आप एक रोबोट का उपयोग यह तय करने के लिए कर रहे हैं कि मानव से मदद के लिए कब संपर्क करना है (एक "हैंडऑफ"), तो आपको वास्तविक संभावना जानने की आवश्यकता है, न कि केवल रैंक की। यदि रोबोट सोचता है कि वह 90% निश्चित है लेकिन वास्तव में केवल 50% निश्चित है, तो आप शायद तब मदद के लिए नहीं बुलाएंगे जब आपको बुलाना चाहिए।

सारांश

यह शोध पत्र कहता है: रोबोट को केवल इस आधार पर मत आंकिए कि उन्हें लगता है कि कौन जीतेगा। उन्हें इस आधार पर आंकिए कि क्या वे वास्तव में संभावनाओं को जानते हैं।

उन्होंने एक नया स्कोरबोर्ड (TPS) बनाया जो:

रोबोट के आत्मविश्वास की हर एक कदम पर जाँच करता है।
केवल "भाग्यशाली" होने या "उच्च रैंक" प्राप्त करने के बजाय ईमानदारी को पुरस्कृत करता है।
इन स्थितियों को संभाल सकता है जहाँ रोबोट समय समाप्त होने के कारण बीच में ही रुक जाता है, बिना डेटा को फेंके।

प्रयोगों से पता चलता है कि इस नए स्कोरबोर्ड का उपयोग करने से रोबोट द्वारा अनिश्चितता व्यक्त करने की बड़ी गलतियाँ सामने आती हैं, जिन्हें पुराना स्कोरबोर्ड पूरी तरह से अनदेखा कर देता था।

तकनीकी सारांश: एजेंटिक अनिश्चितता मात्रा निर्धारण के लिए उचित स्कोरिंग नियम (Proper Scoring Rules)

समस्या विवरण

भाषा मॉडल एजेंट तेजी से अवलोकन (observation), तर्क (reasoning), टूल के उपयोग और योजना संशोधन (plan revision) वाली विस्तारित प्रक्षेपवक्रों (trajectories) के माध्यम से कार्य कर रहे हैं। इन सेटिंग्स में, अनिश्चितता केवल अंतिम उत्तर का गुण नहीं है, बल्कि एक गतिशील संकेत है जो इंटरेक्शन हिस्ट्री के साथ विकसित होता है। जबकि हाल के कार्यों ने प्रक्षेपवक्र-स्तरीय अनिश्चितता संकेतों (जैसे कि स्टेपवाइज कैलिब्रेशन, प्रोपेगेटेड अनिश्चितता) की ओर रुख किया है, इनके मूल्यांकन की पद्धति त्रुटिपूर्ण बनी हुई है।

मौजूदा मूल्यांकन मेट्रिक्स, जैसे कि AUROC, AUPRC, ट्राजेक्टरी एक्सपेक्टेड कैलिब्रेशन एरर (T-ECE), और स्केलरयुक्त ट्राजेक्टरी ब्रियर स्कोर (scalarized Trajectory Brier scores), रैंकिंग उपयोगिता (ranking usefulness) और संभाव्यता सत्यता (probabilistic truthfulness) को मिला देते हैं।

रैंक-आधारित मेट्रिक्स (AUROC/AUPRC): ये विभेदन (discrimination) को मापते हैं लेकिन संभावनाओं के मोनोटोन रूपांतरणों (monotone transformations) के प्रति अपरिवर्तनीय होते हैं, जिससे वे अच्छी तरह से कैलिब्रेटेड संभावनाओं और अति-आत्मविश्वासी/अल्प-आत्मविश्वासी विकृतियों के बीच अंतर करने में विफल रहते हैं।
कैलिब्रेशन मेट्रिक्स (T-ECE): ये बिनवाइज मार्जिनल कैलिब्रेशन को मापते हैं लेकिन "रेज़ोल्यूशन-ब्लाइंड" (resolution-blind) होते हैं; ये उन पूर्वानुमानों को पुरस्कृत करते हैं जो बिन के भीतर औसत रूप से सही होते हैं, भले ही उनमें बिन के भीतर विभेदन क्षमता की कमी हो।
स्केलरयुक्त प्रॉपर स्कोर (जैसे कि कोलैप्स्ड ट्राजेक्टरी सारांश पर ब्रियर लॉस लागू करना): ये कोलैप्स्ड स्केलर के लिए तो स्ट्रिक्टली प्रॉपर (strictly proper) हैं, लेकिन पूर्ण प्रीफिक्स-कंडीशन्ड प्रोबेबिलिटी ट्रेस (prefix-conditioned probability trace) के लिए नहीं।

मूल समस्या प्रीफिक्स-कंडीशन्ड सफलता-संभावना प्रक्रिया ( $q_t = P_\pi(Y=1 | H_t)$ ) के लिए एक स्ट्रिक्टली प्रॉपर इवैलुएटर की कमी है। ऐसे इवैलुएटर के बिना, एजेंटों से सत्य संभाव्यता ट्रेस को स्ट्रिक्टली इलिसिट (elicit) करना असंभव है, जो डिफ़रल (deferral), रिफ्लेक्शन या ह्यूमन हैंडऑफ जैसे डाउनस्ट्रीम हस्तक्षेपों के लिए महत्वपूर्ण है जो केवल रैंक के बजाय प्रोबेबिलिटी स्केल पर निर्भर करते हैं।

कार्यप्रणाली (Methodology)

1. ट्राजेक्टरी प्रॉपर स्कोर (TPS)

लेखक ट्राजेक्टरी-स्तरीय अनिश्चितता के लिए एक प्रेडिक्टर-एग्नोस्टिक (predictor-agnostic) स्ट्रिक्टली प्रॉपर स्कोरिंग नियम, ट्राजेक्टरी प्रॉपर स्कोर (TPS) पेश करते हैं।

परिभाषा: TPS एक स्ट्रिक्टली प्रॉपर बाइनरी स्कोरिंग नियम ( $S_{\alpha,\beta}$ ) को इवैलुएटर द्वारा चुने गए शेड्यूल ( $w_t$ ) के आधार पर प्रक्षेपवक्र चरणों पर एकत्रित करता है:
$TPS(F_{1:T}, Y) = \sum_{t=1}^{T} w_t S_{\alpha,\beta}(F_t, Y)$
जहाँ $F_t$ इतिहास $H_t$ दिए जाने पर एजेंट द्वारा रिपोर्ट की गई भविष्य की सफलता की संभावना है, और $Y$ अंतिम परिणाम है।
स्ट्रिक्ट प्रोपाइटी (Strict Propriety): लेखक सिद्ध करते हैं (थ्योरम 4.1) कि यदि अंतर्निहित बाइनरी स्कोर स्ट्रिक्टली प्रॉपर है और वेट्स (weights) धनात्मक हैं, तो TPS पूर्ण प्रीफिक्स-कंडीशन्ड प्रक्रिया के लिए स्ट्रिक्टली प्रॉपर है। इसका अर्थ है कि अपेक्षित स्कोर तब अद्वितीय रूप से अधिकतम होता है जब एजेंट हर चरण पर वास्तविक सशर्त संभावना $q_t$ रिपोर्ट करता है।
स्कोर फैमिली: यह विधि बीटा-फैमिली ( $S_{\alpha,\beta}$ ) के स्कोर का उपयोग करती है, जो शर्विश-बुजा (Schervish–Buja) थ्रेशोल्ड-मिक्सचर निर्माण से व्युत्पन्न है। इस परिवार में लॉग स्कोर (सीमित मामला) और ब्रियर स्कोर ( $\alpha=\beta=1$ ) शामिल हैं, और यह $\alpha$ और $\beta$ मापदंडों के माध्यम से एसिमेट्रिक कॉस्ट शेपिंग की अनुमति देता है।

2. सेंसर किए गए प्रक्षेपवक्रों (Censored Trajectories) को संभालना

व्यावहारिक बेंचमार्क में, प्रक्षेपवक्र अक्सर परिणाम $Y$ देखे जाने से पहले (जैसे कि स्टेप बजट हिट होने पर) प्रशासनिक रूप से सेंसर किए जाते हैं। पेपर इन मामलों में कंडीशनल प्रोजेक्शन के माध्यम से TPS का विस्तार करता है:

एक्सैक्ट रिड्यूस्ड स्कोर ( $TPS^{cen,exact}$ ): पूर्ण-डेटा स्कोर को दृश्यमान प्रीफिक्स पर प्रोजेक्ट करके, लेखक एक सटीक सेंसर किया गया स्कोर प्राप्त करते हैं जो स्टॉपिंग पॉइंट पर निरंतरता-सफलता की संभावना $q_Z = P_\pi(Y=1 | H_Z)$ पर निर्भर करता है। यह स्कोर दृश्यमान प्रीफिक्स के लिए स्ट्रिक्टली प्रॉपर है।
सिंपल सेंसर किया गया सन्निकटन ( $TPS^{cen,simple}$ ): जब $q_Z$ का अनुमान न लगाया जा सके, तो लेखक एक निराशावादी परिचालन सन्निकटन (pessimistic operational approximation) प्रस्तावित करते हैं जहाँ $q_Z \approx 0$ होता है। यह सेंसर किए गए प्रीफिक्स को इस तरह स्कोर करता है जैसे कि विफलता वाली शाखा (failure branch) घटित हुई हो। लेखक सिद्ध करते हैं कि यह एक स्यूडो-लेबल टारगेट ( $m_t = P_\pi(\Delta=1, Y=1 | H_t)$ ) के लिए स्ट्रिक्टली प्रॉपर है, जो केवल तभी वास्तविक टारगेट की ओर अभिसरित होता है जब लुप्त सफलता द्रव्यमान (missing success mass) शून्य हो।

3. मौजूदा मेट्रिक्स की सैद्धांतिक सीमाएँ

पेपर औपचारिक रूप से प्रदर्शित करता है (थ्योरम A और B) कि सामान्य मेट्रिक्स क्यों विफल होते हैं:

T-ECE रेज़ोल्यूशन-ब्लाइंड है; बिन औसत के बराबर एक स्थिर पूर्वानुमान शून्य त्रुटि प्राप्त कर सकता है, भले ही वह बिन के भीतर सभी भिन्नता को त्याग देता हो।
स्केलरयुक्त ब्रियर/लॉग लॉस को एकत्रित ट्रेसेस (जैसे $\Phi_{last}, \Phi_{avg}, \Phi_{min}$ ) पर लागू करने से केवल कोलैप्स्ड स्केलर ही इलिसिट होता है, पूरा ट्रेस नहीं। $\Phi_{avg}$ या $\Phi_{min}$ जैसे एग्रीगेटर्स के लिए, सत्यवान ट्रेस (truthful trace) एक गैर-सत्यवान ट्रेस की तुलना में स्ट्रिक्टly सब-ऑप्टिमल हो सकता है जो अनुकूलतम स्केलर से मेल खाने के लिए एग्रीगेशन को मैनिपुलेट करता है।

मुख्य परिणाम

1. कैलिब्रेशन-इनवेरिएंस गैप (Calibration-Invariance Gap)

Tau2-Bench पर प्रयोग दर्शाते हैं कि रैंक-आधारित और प्रॉपर स्कोरिंग मेट्रिक्स के बीच एक महत्वपूर्ण विचलन है।

रीकैलिब्रेशन प्रभाव: जब मौखिक विश्वास संकेतों (verbal confidence signals) को प्लैट स्केलिंग (Platt scaling) का उपयोग करके पुन: कैलिब्रेट किया गया, तो AUROC नगण्य रूप से बदला ( $\Delta/SE \approx 0.3$ ), जबकि TPS (लॉग एंडपॉइंट) काफी सुधार हुआ ( $\Delta/SE \approx 43$ )।
निहितार्थ: रैंक मेट्रिक्स यह पता लगाने में विफल रहे कि कच्चा स्ट्रीम (raw stream) गंभीर रूप से मिसकैलिब्रेटेड था (0.9–1.0 के पास संतृप्त), जबकि TPS ने संभाव्यता-स्केल त्रुटि की सही पहचान की। पुन: कैलिब्रेट किया गया स्ट्रीम TPS में बेस-रेट रेफरेंस से थोड़ा ही ऊपर रहा, बावजूद इसके कि रैंकिंग प्रदर्शन समान था।

2. सेंसरिंग का प्रभाव

WebShop पर, जहाँ 47% प्रक्षेपवक्र प्रशासनिक रूप से सेंसर किए गए थे (स्टेप लिमिट हिट होना), मूल्यांकन जनसंख्या महत्वपूर्ण रूप से बदल गई।

सिलेक्शन बायस (Selection Bias): केवल पूर्ण (complete-only) मूल्यांकन ने एक संरचनात्मक रूप से कठिन उपसमुच्चय को छोड़ दिया (सेंसर किए गए प्रक्षेपवक्र 3 गुना लंबे थे)।
स्कोर शिफ्ट: $q_Z \approx 0$ के सरल सेंसर किए गए सन्निकटन के माध्यम से सेंसर किए गए प्रक्षेपवस्यों को शामिल करने से औसत TPS, पूर्ण-केवल मूल्यांकन की तुलना में +0.159 नैट्स (+0.159 nats) बढ़ गया (95% CI: [+0.133, +0.188])।
प्रेडिक्टर संवेदनशीलता: यह शिफ्ट अंडरकॉन्फिडेंट प्रेडिक्टर्स के लिए सकारात्मक था लेकिन ओवरकॉन्फिडेंट प्रेडिक्टर्स (जैसे कि कंप्लीशन टोकन प्रोबेबिलिटी) के लिए नकारात्मक था, जो दर्शाता है कि सेंसरिंग-जागरूक स्कोरिंग आत्मविश्वास के शासन (confidence regime) के आधार पर निर्णय को बदल देती है।

3. सेंसर किए गए विस्तारों का सत्यापन

आर्टिफिशियल सेंसरिंग: StrategyQA, Tau2-Bench, और HotpotQA के पूर्ण प्रक्षेपवर्यों पर, लेखकों ने कृत्रिम रूप से सेंसर किया गया डेटा बनाया। क्लोज्ड-फॉर्म डिकंपोज़िशन ने संख्यात्मक सटीकता के साथ सीधे गणना किए गए अंतर से मिलान किया, जो उनके सैद्धांतिक व्युत्पन्न को मान्य करता है।
मोंटे कार्लो ऑडिट: HotpotQA पर, लेखकों ने मोंटे कार्लो रोलआउट के माध्यम से $q_Z$ का अनुमान लगाया। सटीक रिड्यूस्ड स्कोर, सरल $q_Z \approx 0$ सन्निकटन से काफी भिन्न था, जो पुष्टि करता है कि $q_Z$ अनुमान का चुनाव अंतिम स्कोर को प्रभावित करता है।

महत्व और दावे

पेपर दावा करता है कि यह एजेंटिक अनिश्चितता के स्ट्रिक्टली प्रॉपर मूल्यांकन के लिए एक मौलिक ढांचा स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

एलिसिटीशन (Elicitation) को रैंकिंग से अलग करना: यह प्रदर्शित करता है कि रैंकिंग मेट्रिक्स (AUROC) और कैलिब्रेशन मेट्रिक्स (ECE) पूर्ण प्रोबेबिलिटी ट्रेस को स्ट्रिक्टली इलिसिट नहीं करते हैं, जो संभाव्यता आधारित निर्णय लेने के लिए आवश्यक है।
प्रॉपर स्कोर की परिचालन आवश्यकता: प्रायोगिक परिणाम दिखाते हैं कि प्रोबेबिलिटी रीकैलिब्रेशन TPS वर्डिक्ट को नाटकीय रूप से बदल सकता है जबकि रैंक मेट्रिक्स अपरिवर्तित रहते हैं। इसका तात्पर्य यह है कि प्रोबेबिलिटी थ्रेशोल्ड (deferral, handoff) पर निर्भर अनुप्रयोगों के लिए, वर्तमान मूल्यांकन पद्धतियां भ्रामक हो सकती हैं।
वास्तविक दुनिया के प्रतिबंधों को संभालना: प्रशासनिक रूप से सेंसर किए गए प्रक्षेपवस्यों तक प्रॉपर स्कोरिंग का विस्तार करके, यह पेपर एजेंटों को स्टेप बजट वाले बेंचमार्क पर मूल्यांकन करने का एक तरीका प्रदान करता है, बिना कठिन, ट्रंकेटेड मामलों को छोड़े या उन्हें गलत लेबल किए।

लेखक एक सीमित दायरे को बनाए रखते हैं, यह नोट करते हुए कि फ्रेमवर्क गैर-सूचनात्मक (non-informative) प्रशासनिक सेंसरिंग मानता है और बाइनरी टर्मिनल परिणामों को लक्षित करता है। वे स्पष्ट रूप से कहते हैं कि यह कार्य अनिश्चितता संकेतों के इवैलुएटर-साइड प्रोपाइटी पर केंद्रित है, जो उन्हें उत्पन्न करने के लिए उपयोग की जाने वाली प्रेडिक्टर-साइड विधियों से अलग है। TPS फ्रेमवर्क सिग्नल के स्रोत (मौखिक विश्वास, टोकन प्रोबेबिलिटी, आदि) के प्रति तटस्थ (agnostic) है, जब तक कि इसे प्रीफिक्स-कंडीशन्ड सक्सेस प्रोबेबिलिटी के रूप में व्यक्त किया गया हो।