🤖 AI

Proper Scoring Rules for Agentic Uncertainty Quantification

Este artículo introduce la Puntuación Propia de Trayectoria (TPS), una regla de puntuación estrictamente propia que elicita rigurosamente la traza completa de probabilidad de éxito condicionada al prefijo para agentes de modelos de lenguaje, abordando las limitaciones de las métricas existentes que no logran distinguir entre el rendimiento de clasificación y la veracidad probabilística en la cuantificación de la incertidumbre de los agentes.

Autores originales: Suresh Raghu, Satwik Pandey, Shashwat Pandey

Publicado 2026-05-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Suresh Raghu, Satwik Pandey, Shashwat Pandey

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás observando a un agente robótico intentar resolver un rompecabezas complejo, como navegar por un laberinto o responder un acertijo difícil. Mientras el robot trabaja, no solo da una respuesta final; habla consigo mismo, realiza movimientos, verifica su trabajo y ocasionalmente dice: "Creo que voy a acertar esto" o "Ya no estoy seguro".

Durante mucho tiempo, los investigadores han intentado calificar a estos robots según cuán bien expresan esa incertidumbre. Pero este artículo argumenta que los sistemas de calificación actuales son como juzgar a un chef únicamente por si obtuvo el pedido correcto, sin probar la comida para ver si realmente sabía qué tan buena era.

Aquí está la idea central del artículo, desglosada con analogías simples:

1. El Problema: Juzgar la "Rangos" vs. La "Verdad"

Actualmente, la mayoría de las pruebas para estos robots examinan el rango.

La Analogía: Imagina a un profesor calificando los hábitos de estudio de un estudiante. El profesor mira la puntuación final del examen. Si el estudiante que más estudió obtuvo la puntuación más alta, el profesor dice: "¡Genial! ¡El método de estudio funciona!".
El Fallo: Al profesor no le importa si el estudiante pensó que tenía un 99% de posibilidades de aprobar cuando en realidad solo tenía un 50%. El estudiante podría haber estado enormemente sobreconfiado pero aún así tuvo suerte.
El Punto del Artículo: Las pruebas existentes (como AUROC o Trajectory ECE) son como ese profesor. Verifican si la confianza del robot ranea las respuestas correctas más alto que las incorrectas. Pero no verifican si los números específicos del robot (por ejemplo, "80% de probabilidad") coinciden realmente con la realidad. Un robot puede ser un gran "clasificador" pero un terrible "veraz".

2. La Solución: La "Puntuación Propia de la Trayectoria" (TPS)

Los autores introducen un nuevo sistema de calificación llamado TPS.

La Analogía: En lugar de solo mirar el examen final, TPS es como un entrenador que observa al robot paso a paso. Cada vez que el robot realiza un movimiento, el entrenador pregunta: "Dijiste que había un 70% de posibilidades de éxito desde este punto. ¿Eso fue honesto?".
Cómo funciona: El artículo utiliza una herramienta matemática llamada "Regla de Puntuación Estrictamente Propia". Piensa en esto como un sistema de penalizaciones que solo funciona si dices la verdad.
- Si dices "90%" y fallas, recibes una penalización enorme.
- Si dices "50%" y fallas, recibes una penalización pequeña.
- La única forma de obtener la puntuación posible más alta es decir exactamente cuáles son las probabilidades reales.
El Resultado: TPS obliga al robot a ser honesto sobre sus posibilidades en cada paso individual del viaje, no solo al final.

3. El Problema "Censurado": Cuando el Juego se Detiene Temprano

A veces, el robot se queda sin tiempo o alcanza un límite antes de terminar la tarea. En los viejos tiempos, los investigadores simplemente descartaban estos intentos incompletos.

La Analogía: Imagina a un corredor de maratón que colapsa en la milla 20. Si solo cuentas a las personas que terminaron la carrera, te pierdes los datos sobre los corredores que lucharon.
La Solución del Artículo: Los autores crearon una forma de calificar estas carreras "incompletas" de manera justa. Utilizan una técnica llamada "proyección condicional".
- Versión simple: Si el robot se detiene temprano y no sabemos si habría tenido éxito, el sistema asume lo peor (que falló) para estar seguro.
- Versión avanzada: Si podemos estimar las probabilidades de que tenga éxito si hubiera continuado, el sistema utiliza esa estimación para calificar la carrera incompleta de manera justa.
Por qué importa: El artículo encontró que en una tarea de compras (WebShop), casi la mitad de los intentos fueron cortados. Si los ignoras, obtienes una imagen incorrecta de cómo se desempeña el robot. Cuando incluyeron estos intentos "cortados", la calificación del robot cambió significativamente.

4. El Gran Descubrimiento: La Recalibración Cambia Todo

Los autores realizaron experimentos donde tomaron los números de confianza crudos de un robot y los "recalibraron" (los corrigieron para que fueran más honestos).

La Analogía: Imagina a un pronosticador del tiempo que siempre dice "90% de probabilidad de lluvia". Si llueve el 90% de las veces, es un buen "clasificador" (predice correctamente los días de lluvia). Pero si dice "90%" cuando en realidad solo hay un "50%" de probabilidad, es un mal "veraz".
El Resultado: Cuando corrigieron los números del robot para que fueran más honestos:
- Las pruebas antiguas (clasificación) apenas notaron un cambio. El robot aún "clasificaba" mejor las respuestas correctas.
- La nueva prueba (TPS) vio una mejora masiva. El robot ahora estaba diciendo la verdad sobre sus posibilidades.
Por qué esto es importante: Si estás usando un robot para decidir si llamar a un humano para ayuda (una "transferencia"), necesitas conocer la probabilidad real, no solo el rango. Si el robot piensa que está 90% seguro pero en realidad solo está 50% seguro, podrías no llamar para ayuda cuando deberías.

Resumen

Este artículo dice: Dejen de calificar a los robots solo por quién creen que ganará. Comiencen a calificarlos por si realmente conocen las probabilidades.

Construyeron un nuevo marcador (TPS) que:

Verifica la confianza del robot en cada paso individual.
Premia la honestidad sobre simplemente tener "suerte" o estar "bien clasificado".
Puede manejar situaciones donde el robot se queda sin tiempo sin descartar los datos.

Los experimentos muestran que usar este nuevo marcador revela grandes errores en cómo los robots expresan la incertidumbre que el marcador antiguo pasó completamente por alto.

Resumen Técnico: Reglas de Puntuación Estrictamente Propias para la Cuantificación de Incertidumbre en Agentes

Enunciado del Problema

Los agentes de modelos de lenguaje operan cada vez más a través de trayectorias extendidas que involucran observación, razonamiento, uso de herramientas y revisión de planes. En estos contextos, la incertidumbre no es meramente una propiedad de la respuesta final, sino una señal dinámica que evoluciona con el historial de interacción. Aunque el trabajo reciente ha girado hacia la generación de señales de incertidumbre a nivel de trayectoria (por ejemplo, calibración paso a paso, incertidumbre propagada), la evaluación de estas señales sigue siendo defectuosa.

Las métricas de evaluación existentes, como AUROC, AUPRC, Error de Calibración Esperado en Trayectoria (T-ECE) y puntuaciones de Brier de trayectoria escalarizadas, confunden la utilidad de la clasificación con la veracidad probabilística.

Métricas basadas en rangos (AUROC/AUPRC) miden la discriminación pero son invariantes ante transformaciones monótonas de las probabilidades, fallando en distinguir entre probabilidades bien calibradas y distorsiones sobreconfiadas o subconfiadas.
Métricas de calibración (T-ECE) miden la calibración marginal por bins pero son "ciegas a la resolución", recompensando pronósticos que son correctos en promedio dentro de los bins incluso si carecen de poder discriminativo dentro de dichos bins.
Puntuaciones propias escalarizadas (por ejemplo, aplicar la pérdida de Brier a un resumen de trayectoria colapsado) son estrictamente propias solo para el escalar colapsado, no para el rastro completo de probabilidades condicionado al prefijo.

El problema central es la falta de un evaluador estrictamente propio para el proceso de probabilidad de éxito condicionado al prefijo ( $q_t = P_\pi(Y=1 | H_t)$ ). Sin tal evaluador, es imposible elicitar estrictamente rastros de probabilidad veraces de los agentes, lo cual es crítico para intervenciones posteriores como la postergación, la reflexión o la transferencia a humanos, que dependen de la escala de probabilidad y no solo del rango.

Metodología

1. La Puntuación Propia de Trayectoria (TPS)

Los autores introducen la Puntuación Propia de Trayectoria (TPS), una familia independiente del predictor de reglas de puntuación estrictamente propias para la incertidumbre a nivel de trayectoria.

Definición: TPS agrega una regla de puntuación binaria estrictamente propia ( $S_{\alpha,\beta}$ ) sobre los pasos de la trayectoria, ponderada por un cronograma elegido por el evaluador ( $w_t$ ):
$TPS(F_{1:T}, Y) = \sum_{t=1}^{T} w_t S_{\alpha,\beta}(F_t, Y)$
donde $F_t$ es la probabilidad reportada por el agente de éxito eventual dado el historial $H_t$ , y $Y$ es el resultado terminal.
Propiedad Estricta: Los autores demuestran (Teorema 4.1) que si la puntuación binaria subyacente es estrictamente propia y los pesos son positivos, TPS es estrictamente propia para el proceso completo condicionado al prefijo. Esto significa que la puntuación esperada se maximiza de manera única cuando el agente reporta la probabilidad condicional verdadera $q_t$ en cada paso.
Familia de Puntuaciones: El método utiliza la familia beta de puntuaciones ( $S_{\alpha,\beta}$ ), derivada de la construcción de mezcla de umbrales de Schervish–Buja. Esta familia incluye la puntuación logarítmica (caso límite), la puntuación de Brier ( $\alpha=\beta=1$ ) y permite dar forma asimétrica a los costos mediante los parámetros $\alpha$ y $\beta$ .

2. Manejo de Trayectorias Censuradas

En las pruebas de referencia prácticas, las trayectorias a menudo están censuradas administrativamente (por ejemplo, al alcanzar un límite de pasos) antes de que se observe el resultado $Y$ . El artículo extiende TPS a estos casos mediante proyección condicional:

Puntuación Reducida Exacta ( $TPS^{cen,exact}$ ): Al proyectar la puntuación de datos completos sobre el prefijo observable, los autores derivan una puntuación censurada exacta que depende de la probabilidad de éxito de continuación $q_Z = P_\pi(Y=1 | H_Z)$ en el punto de detención. Esta puntuación es estrictamente propia para el prefijo observable.
Aproximación Censurada Simple ( $TPS^{cen,simple}$ ): Cuando $q_Z$ no se estima, los autores proponen una aproximación operativa pesimista estableciendo $q_Z \approx 0$ . Esto puntuar efectivamente el prefijo censurado como si hubiera ocurrido la rama de fallo. Los autores demuestran que esto es estrictamente propio para un objetivo de pseudoetiqueta ( $m_t = P_\pi(\Delta=1, Y=1 | H_t)$ ), que converge al objetivo verdadero solo si la masa de éxito faltante es cero.

3. Limitaciones Teóricas de las Métricas Existentes

El artículo demuestra formalmente (Teoremas A y B) por qué las métricas comunes fallan en elicitar el rastro completo:

T-ECE es ciego a la resolución; un pronóstico constante igual al promedio del bin puede lograr un error cero incluso si descarta toda la variación dentro del bin.
Pérdida de Brier/Logarítmica Escalarizada aplicada a rastros agregados (por ejemplo, $\Phi_{last}, \Phi_{avg}, \Phi_{min}$ ) elicita solo el escalar colapsado, no el rastro. Para agregadores como $\Phi_{avg}$ o $\Phi_{min}$ , el rastro veraz puede ser estrictamente subóptimo en comparación con un rastro no veraz que manipula la agregación para coincidir con el escalar óptimo.

Resultados Clave

1. Brecha de Invarianza de Calibración

Los experimentos en Tau2-Bench revelan una divergencia significativa entre las métricas basadas en rangos y las de puntuación propia.

Efecto de Recalibración: Cuando las señales de confianza verbal fueron recalibradas usando escalado de Platt, el AUROC cambió de manera insignificante ( $\Delta/SE \approx 0.3$ ), mientras que la TPS (punto final logarítmico) mejoró sustancialmente ( $\Delta/SE \approx 43$ ).
Implicación: Las métricas de rango no detectaron que el flujo crudo estaba severamente mal calibrado (saturado cerca de 0.9–1.0), mientras que TPS identificó correctamente el error en la escala de probabilidad. El flujo recalibrado apenas superó la referencia de tasa base en TPS, a pesar de un rendimiento de clasificación similar.

2. Impacto de la Censura

En WebShop, donde el 47% de las trayectorias fueron censuradas administrativamente (al alcanzar límites de pasos), la población de evaluación cambió significativamente.

Sesgo de Selección: La evaluación solo con casos completos descartó un subconjunto estructuralmente más difícil de trayectorias (las censuradas fueron 3 veces más largas).
Cambio de Puntuación: Incluir trayectorias censuradas mediante la aproximación censurada simple desplazó la TPS promedio en +0.159 nats (IC del 95%: [+0.133, +0.188]) en comparación con la evaluación solo con casos completos.
Sensibilidad del Predictor: El desplazamiento fue positivo para predictores subconfiados pero negativo para los sobreconfiados (por ejemplo, probabilidad de token de finalización), demostrando que la puntuación consciente de la censura altera el veredicto según el régimen de confianza.

3. Validación de Extensiones Censuradas

Censura Artificial: En trayectorias completas de StrategyQA, Tau2-Bench y HotpotQA, los autores censuraron artificialmente los resultados. La descomposición en forma cerrada de la puntuación censurada coincidió con la diferencia calculada directamente hasta la precisión numérica, validando la derivación teórica.
Auditoría de Monte Carlo: En HotpotQA, los autores estimaron $q_Z$ mediante simulaciones de Monte Carlo. La puntuación reducida exacta difirió materialmente de la aproximación simple $q_Z \approx 0$ , confirmando que la elección de la estimación de $q_Z$ impacta la puntuación final.

Significado y Afirmaciones

El artículo afirma establecer un marco fundamental para la evaluación estrictamente propia de la incertidumbre en agentes. Su importancia radica en:

Separar la Elicitación de la Clasificación: Demuestra que las métricas de clasificación (AUROC) y las métricas de calibración (ECE) no elicitan estrictamente el rastro completo de probabilidades requerido para la toma de decisiones probabilística.
Necesidad Operativa de Puntuaciones Propias: Los resultados empíricos muestran que la recalibración de probabilidades puede cambiar drásticamente el veredicto de TPS mientras deja las métricas de rango sin cambios. Esto implica que, para aplicaciones que dependen de umbrales de probabilidad (postergación, transferencia), las prácticas de evaluación actuales pueden ser engañosas.
Manejo de Restricciones del Mundo Real: Al extender la puntuación propia a trayectorias censuradas administrativamente, el artículo proporciona un método para evaluar agentes en pruebas de referencia con presupuestos de pasos sin descartar casos difíciles y truncados ni etiquetarlos incorrectamente.

Los autores mantienen un alcance modesto, señalando que el marco asume una censura administrativa no informativa y se dirige a resultados terminales binarios. Declaran explícitamente que el trabajo se centra en la propiedad del lado del evaluador de las señales de incertidumbre, distinta de los métodos del lado del predictor utilizados para generarlas. El marco TPS es agnóstico a la fuente de la señal (confianza verbal, probabilidades de tokens, etc.) siempre que se exprese como una probabilidad de éxito condicionada al prefijo.