Resumen Técnico: Cuantificación de Incertidumbre Libre de Distribución para la Evaluación Continua de Agentes de IA

1. Planteamiento del Problema

La evaluación de agentes de IA enfrenta actualmente una "crisis de incertidumbre". Las puntuaciones estáticas existentes (por ejemplo, SWE-bench, GAIA, WebArena) producen estimaciones puntuales tratadas como definitivas, pero no tienen en cuenta las incertidumbres implícitas que surgen de:

• Heterogeneidad de Medición: Desacuerdos entre diferentes plataformas respecto a la calidad.
• Especificación del Modelo: Cambios en los rankings bajo diferentes esquemas de ponderación.
• No Estacionariedad Temporal: Evolución de las puntuaciones a medida que los agentes se actualizan o lanzan.

Aunque algunos marcos como Chatbot Arena proporcionan intervalos de confianza mediante remuestreo bootstrap, carecen de garantías para muestras finitas y a menudo abordan únicamente fuentes de señal individuales. No existe ningún marco que proporcione garantías de cobertura libre de distribución para puntuaciones de agentes, límites de incertidumbre composicional para pipelines de múltiples agentes, o reglas de abstención fundamentadas cuando la confianza en la evaluación es baja.

2. Metodología: El Marco AgentPulse

Los autores proponen AgentPulse, un marco de evaluación continua que trata la incertidumbre como un resultado de primera clase. El sistema evalúa 50 agentes utilizando una puntuación compuesta de cuatro factores ($AP$) recopilada cada hora desde 19 fuentes de datos:
$$AP(a) = 0.35 B(a) + 0.25 A(a) + 0.20 S(a) + 0.20 E(a)$$
Donde $B$ es el rendimiento en benchmarks, $A$ es la Adopción (estrellas en GitHub, descargas), $S$ es el Sentimiento (agregado de 9 plataformas) y $E$ es la salud del ecosistema.

El marco emplea cuatro pilares metodológicos centrales:

2.1 Pronóstico Libre de Distribución (Conformal Dividido y ACI)

Para pronosticar puntuaciones $h$ horas adelante, el sistema utiliza un modelo de reversión a la media. Para garantizar la cobertura sin asumir una distribución de datos específica:

• Predicción Conformal Dividida: El historial de puntuaciones se divide en entrenamiento (70%) y calibración (30%). Se calculan puntuaciones de no conformidad y se selecciona un cuantil $\hat{q}_{1-\alpha}$ para construir intervalos $C_{1-\alpha}$. Esto garantiza $\Pr[AP_{t+h} \in C_{1-\alpha}] \ge 1-\alpha$ bajo intercambiabilidad.
• Inferencia Conformal Adaptativa (ACI): Para manejar cambios de distribución causados por lanzamientos de agentes (violando la intercambiabilidad), ACI ajusta el nivel de no cobertura $\alpha_t$ en línea. Si una observación cae fuera del intervalo, $\alpha$ se incrementa, ampliando el intervalo hasta que se restablece la cobertura.

2.2 Cobertura Condicional (Conformal Mondriana)

La predicción conformal estándar proporciona cobertura marginal (promediada sobre todos los agentes), lo que puede ocultar un rendimiento deficiente en agentes específicos volátiles. Los autores implementan predicción conformal Mondriana, estratificando a los agentes en grupos "estables" y "volátiles" basándose en la desviación estándar entre fuentes ($\sigma_{cross}$). Se calculan conjuntos de calibración y cuantiles separados para cada grupo, garantizando coberturas condicionales para agentes volátiles que de otro modo fallarían bajo métodos estándar.

2.3 Incertidumbre Composicional para Pipelines

Para pipelines de múltiples agentes ($a_1 \to a_2$), el marco deriva límites de incertidumbre para la medición compuesta:

• Límite de Independencia: $\sigma_{pipeline} = \sqrt{\sigma_1^2 + \sigma_2^2}$.
• Límite del Peor Caso: $\sigma_{pipeline} \le \sigma_1 + \sigma_2$.
  Estos límites se validan mediante simulación a través de correlaciones inter-etapa $\rho \in [-0.5, 0.9]$.

2.4 Abstención Selectiva y Control de FDR

Para gestionar la fiabilidad de los rankings:

• Abstención Conformal: Para comparaciones por pares, si el intervalo de confianza para la diferencia de puntuaciones $\Delta_{ab}$ contiene cero, el sistema se abstiene de clasificar. Esto controla la tasa de clasificación falsa.
• Corrección FDR: Para pruebas múltiples a escala de tablas de clasificación (1.225 pares), se aplica el procedimiento de Benjamini-Hochberg (BH) para controlar la Tasa de Falsos Descubrimientos (FDR), asegurando que la fracción de pares ordenados incorrectamente entre todos los pares clasificados permanezca por debajo de un umbral objetivo.

3. Resultados Clave

3.1 Calibración y Cobertura

• Error de Calibración: Los intervalos conformales lograron errores de calibración por debajo de 0.02 en todos los niveles nominales en el horizonte de 24 horas.
• Comparación con Paramétricos/Bootstrap: Los intervalos paramétricos fueron sistemáticamente sobre-conservadores (más amplios de lo necesario). Los intervalos bootstrap fueron moderadamente sobre-conservadores en horizontes cortos, pero sub-cubrieron (74% de cobertura frente a 80% nominal) a las 72 horas debido a la no estacionariedad temporal. Los métodos conformales mantuvieron una cobertura robusta (79% a las 72h).
• Respuesta Adaptativa: Tras lanzamientos de agentes, ACI amplió correctamente los intervalos en un 35% dentro de las 6 horas y reconvergió durante 48 horas, mientras que los métodos estáticos sufrieron caídas en la cobertura.

3.2 Mejoras en Cobertura Condicional

• Agentes Volátiles: Bajo predicción conformal estándar, los agentes volátiles (alta $\sigma_{cross}$) tuvieron una cobertura media del 64.6% (11 de 15 agentes por debajo del 75%).
• Corrección Mondriana: Al estratificar a los agentes, la conformalidad Mondriana elevó la cobertura para agentes volátiles al 80.4% (solo 2 de 15 por debajo del 75%), a costa de intervalos más amplios para ese grupo específico.
• Distribución General: La cobertura media por agente a través de 50 agentes fue del 80.4%, con el 90% de los agentes cayendo dentro del rango [72%, 90%].

3.3 Estabilidad de Pipelines y Rankings

• Límites de Pipeline: Las simulaciones confirmaron que la incertidumbre real del pipeline cae entre los límites de independencia y del peor caso para correlaciones positivas.
• Tasas de Abstención: En $\alpha=0.20$, el 31% de los pares activó la abstención. Tras la corrección BH para control de FDR, el 50% de los pares fueron clasificados con confianza, mientras que el resto fue marcado como incierto.
• Divergencia de Señales: La divergencia de sentimiento entre fuentes fue un fuerte predictor de inestabilidad en el ranking ($r=0.64, p<0.01$).

3.4 Validación

• Validez Predictiva: Un sub-compuesto que excluía señales de GitHub predijo estrellas en GitHub ($\rho_s=0.52$) y preguntas en Stack Overflow ($\rho_s=0.49$).
• Control de Circularidad: La validación confirmó que el marco captura señales más allá de los benchmarks estándar ($\rho_s=0.52, p<0.01, n=35$).
• Cambios en Rankings: La clasificación compuesta difirió significativamente de las clasificaciones basadas solo en benchmarks, particularmente para agentes con alta adopción pero puntuaciones de benchmark más bajas, o agentes de código cerrado sin señales de adopción.

4. Significado y Afirmaciones

El artículo afirma que AgentPulse aborda una brecha crítica en la evaluación de IA al proporcionar el primer marco que ofrece garantías de cobertura libre de distribución para la evaluación continua de agentes multi-fuente.

Los autores enfatizan que su contribución no es la invención de la predicción conformal dividida en sí misma, sino su aplicación rigurosa a un dominio caracterizado por cuatro desafíos distintos:

1. Violaciones Estructuradas de Intercambiabilidad: Abordadas mediante ACI para manejar lanzamientos de agentes.
2. Fallo de Cobertura Condicional: Abordado mediante conformalidad Mondriana con estratificación por $\sigma_{cross}$, mejorando significativamente la fiabilidad para agentes volátiles.
3. Estructura Composicional: Abordada mediante límites de propagación de incertidumbre validados para pipelines.
4. Pruebas Múltiples a Escala de Tabla de Clasificación: Abordadas mediante abstención controlada por FDR.

El trabajo demuestra que los métodos libres de distribución superan a los enfoques de remuestreo estándar (bootstrap) bajo no estacionariedad temporal. Al tratar la incertidumbre como un resultado primario, el marco permite una evaluación más confiable, dinámica y matizada de los agentes de IA, avanzando más allá de las estimaciones puntuales estáticas hacia una comprensión probabilística de la calidad del agente.

Limitaciones reconocidas por los autores:

• ACI asume cambios de distribución acotados; cambios de régimen ilimitados pueden violar la convergencia.
• Los límites composicionales pueden ser anti-conservadores bajo correlación inter-etapa negativa.
• El control de FDR asume independencia o dependencia de regresión positiva entre las estadísticas de prueba.
• El estudio de ablación ($n=11$) tuvo poder estadístico insuficiente.
• El procesamiento actual de NLP es solo en inglés, y los agentes de código cerrado carecen de señales de adopción.