Beyond Static Leaderboards: Predictive Validity for the Evaluation of LLM Agents

Título: Más allá de las tablas de clasificación estáticas: Validez predictiva para la evaluación de agentes de LLM

Planteamiento del problema
La evaluación de los agentes de Modelos de Lenguaje de Gran Tamaño (LLM) ha superado las limitaciones de las tablas de clasificación estáticas y agregadas. Aunque los agentes actuales realizan tareas complejas que implican planificación, llamada de herramientas, reutilización de artefactos en múltiples turnos y coordinación entre agentes, actualmente se clasifican mediante métricas únicas o agregadas heredadas de evaluaciones de un solo paso (single-shot). Los autores argumentan que este enfoque subespecifica sistemáticamente las dimensiones relevantes para los agentes desplegados, lo que conduce a una "inestabilidad de clasificación". La evidencia empírica de una competencia reciente de 149 equipos (Patel et al., 2026) demuestra que las clasificaciones derivadas de tablas de clasificación públicas a menudo no se transfieren a conjuntos de evaluación ocultos y fuera de la distribución (OOD). Por ejemplo, la correlación de Spearman entre las clasificaciones públicas y las ocultas fue estadísticamente indistinguible de cero ($\rho = -0.13$) en la pista de ejecución, lo que indica que las puntuaciones altas en la muestra no predicen de manera fiable el rendimiento fuera de la muestra. Además, la dependencia de la puntuación de "LLM-como-juez" introduce reflexividad, donde la tabla de clasificación mide los sesgos del modelo juez en lugar de la verdadera capacidad del sistema, y carece de un ancla contra la deriva del juez.

Metodología
Este documento es un artículo de posición fundamentado en la síntesis más que en nuevos experimentos controlados. La metodología consiste en:

1. Agregación de evidencia: Los autores consolidan los hallos de siete bancos de pruebas de agentes existentes (incluyendo AssetOpsBench, MCP-Bench, TaskBench y Exgentic) y catorce estudios de implementación paralelos realizados en el marco de trabajo de AssetOpsBench.
2. Análisis de sensibilidad arquitectónica: Los catorce estudios, realizados por equipos independientes, modificaron variables arquitectónicas específicas (por ejemplo, modos de razonamiento, estrategias de recuperación, patrones de orquestación, infraestructura) manteniendo otras constantes. Los autores tratan la convergencia de los hallazgos a través de estas diversas implementaciones como evidencia de "sensibilidad arquitectónica convergente".
3. Síntesis de dimensiones: Los autores mapean los hallazgos de estos estudios y bancos de pruebas en un propuesto "aparato de medición de doce niveles". Este aparato está diseñado para exponer dimensiones ortogonales que las tablas de clasificación actuales colapsan en puntuaciones únicas.
4. Criterio de clasificación propuesto: El documento propone cambiar el criterio de clasificación de la "media en la muestra" a la "validez predictiva", definida como la correlación entre la clasificación en la muestra y la clasificación fuera de la muestra.

Contribuciones clave
El documento realiza cinco contribuciones primarias:

1. Un aparato de medición de doce niveles: Una síntesis de las dimensiones de evaluación organizadas en dos categorías:
   • Niveles de capacidad central (T1–T7): Tasas de éxito, higiene de llamada de herramientas, calidad de la planificación, ejes de capacidad, Pareto de eficiencia de costos, taxonomías de modos de falla y reproducibilidad.
   • Niveles de extensión de despliegue (T8–T12): Infraestructura de despliegue (descomposición de latencia, sobrecarga de protocolo), diálogo de múltiples turnos (reutilización de artefactos), adaptabilidad del modo de razonamiento, aumentación de conocimiento (estrategias de recuperación) y fundamentación de evidencia (verificación independiente del juez).
2. Un argumento de posición: La afirmación de que las tablas de clasificación de puntuación agregada no capturan la complejidad de los agentes desplegados, y que el campo requiere un aparato de múltiples niveles clasificado por validez predictiva.
3. Tres criterios OOD falsables: Criterios concretos para probar la posición:
   • Criterio A (Retenido): Desplazamiento distributivo leve mediante divisiones estratificadas.
   • Criterio B (Subconjunto cruzado): Desplazamiento moderado (por ejemplo, clasificación en enfriadores de HVAC frente a bombas hidráulicas).
   • Criterio C (Adversario): Desplazamiento fuerte mediante parafraseo semántico, renombramiento de identificadores, desplazamiento de ventana temporal e inyección de distractores.
4. Un esquema de puntuación de validez predictiva: Un propuesto puntaje compuesto $PV(c) = \alpha \bar{Y}_c - \beta \sigma_{Y_{c,OOD}} - \gamma IQR(Y_c)$ que equilibra el rendimiento medio con la fiabilidad fuera de la muestra y la varianza.
5. Un diseño piloto prerregistrado: Una hoja de ruta para un estudio empírico destinado a validar la posición, incluyendo umbrales específicos para la falsificación (por ejemplo, si la correlación de rango de la muestra a OOD es $\rho \ge 0.85$, la posición queda refutada).

Resultados y evidencia
El documento no presenta nuevos resultados experimentales, sino que sintetiza la evidencia convergente de los catorce estudios de implementación y siete bancos de pruebas para apoyar sus afirmaciones:

• Inestabilidad de clasificación: El análisis de la competencia CODS-2025 muestra que las correlaciones de clasificación pública-oculta son a menudo débiles o inexistentes, particularmente en las pistas de ejecución.
• Colapso dimensional: La síntesis revela que los bancos de pruebas actuales informan sobre como máximo cuatro o cinco de los doce niveles propuestos. Por ejemplo, los bancos de pruebas de un solo turno omiten la dinámica de reutilización de artefactos en múltiples turnos, y las puntuaciones agregadas ocultan las compensaciones entre la calidad del razonamiento y la latencia.
• Hallazgos convergentes: Equipos independientes identificaron los mismos cuellos de botella y modos de falla a pesar de diferentes arquitecturas iniciales. Ejemplos incluyen:
  • Modos de razonamiento: Habilitar el "pensamiento extendido" mejoró la claridad en 31 puntos porcentuales pero aumentó la latencia en un 21.5%, una compensación invisible para las puntuaciones agregadas.
  • Estrategias de recuperación: La recuperación de múltiples saltos agéntica logró aproximadamente un 90% de precisión pero con una inflación de tokens de 4.5x–10x en comparación con el RAG de un solo paso (50–68% de precisión).
  • Infraestructura: La sobrecarga de subprocesos MCP-stdio fue identificada como un suelo de latencia dominante (hasta 5–6 segundos por llamada) en múltiples estudios, confundiendo la sobrecarga del protocolo con la capacidad de razonamiento.
  • Reflexividad del juez: Se encontró que la confiabilidad inter-evaluador del LLM-como-juez ($\alpha = 0.61$) era menor que la confiabilidad humano-humano ($\alpha \in [0.74, 0.82]$), resaltando la necesidad de anclas independientes del juez como tuberías basadas en reglas o oráculos DAG.

Significancia y reclamos
El documento sostiene que el paradigma actual de "tablas de clasificación de puntuación agregada" es insuficiente para guiar las decisiones de despliegue porque no predice el rendimiento fuera de la distribución. La significancia de este trabajo radica en:

• Operacionalizar la validez predictiva: Proponer un marco concreto y falsable para clasificar agentes basándose en su capacidad de generalización en lugar de su capacidad para sobreajustarse a un conjunto de benchmarks específico.
• Exponer dimensiones ocultas: Demostrar que el "espacio de medición" de los agentes desplegados es aproximadamente de doce dimensiones y ortogonales, mientras que las tablas de clasificación actuales las colapsan en métricas únicas.
• Cambiar el campo: Mover a la comunidad hacia una "ciencia del diseño" de evaluación interactiva que requiera configuraciones declaradas (arquitectura, modo de razonamiento, estrategia de recuperación), presentación estratificada de resultados y verificación independiente del juez.

Los autores son explícitos sobre las limitaciones del documento: es una síntesis y un artículo de posición, no una validación empírica. El reclamo de validez predictiva es una hipótesis apoyada por la sensibilidad arquitectónica convergente, pero requiere el ensayo controlado aleatorizado descrito en su agenda de investigación para ser confirmada. Reconocen que el aparato de doce niveles es actualmente afirmado como ortogonal pero no ha sido probado empíricamente para su independencia.