Resumen Técnico: La vida después de la saturación de los benchmarks: Un estudio de caso de CORE-Bench

Planteamiento del problema

El paradigma prevalente en la evaluación de agentes de IA es el de "retirar y reemplazar": cuando la precisión de un benchmark se satura (es decir, cuando los mejores agentes alcanzan puntuaciones estadísticamente indistinguibles), el benchmark se descarta en favor de un sucesor más difícil. Los autores argumentan que este enfoque es fundamentalmente inadecuado porque privilegia una única métrica —la precisión— mientras descarta la oportunidad de estudiar otras seis dimensiones críticas del rendimiento de los agentes: validez de constructo (atajos, sobreajuste), generalización fuera de la distribución (OOD), eficiencia, fiabilidad, la importancia relativa del modelo frente al andamiaje (scaffold), y la mejora práctica de la colaboración humano-agente. El artículo postula que la saturación de la precisión no implica una falta de mayor conocimiento; más bien, señala la necesidad de desplazar el enfoque de la evaluación hacia estos ejes multidimensionales.

Metodología

Los autores utilizan CORE-Bench, un benchmark para la reproducibilidad computacional de código científico, como un estudio de caso para demostrar que los conocimientos significativos persisten después de la saturación de la precisión. El estudio involucra tres componentes metodológicos primarios:

1. Refinamiento y expansión del benchmark (Validez y OOD)

• Análisis de logs: Los autores analizaron los registros de ejecución de agentes de alto rendimiento en CORE-Bench Hard (45 tareas) para identificar amenazas a la validez de constructo que eran previamente invisibles para agentes menos capaces. Identificaron 15 errores a nivel de tarea (por ejemplo, verdades fundamentales incorrectas, errores de calificación, tareas irresolubles) y 20 tareas donde los agentes podían explotar atajos (por ejemplo, leer artefactos preexistentes).
• CORE-Bench v1.1: Basándose en este análisis, corrigieron errores y añadieron 10 nuevas tareas para crear una suite de 39 tareas (CORE-Bench v1.1) que preserva las disciplinas originales (ciencias de la computación, medicina, ciencias sociales) y los lenguajes (Python, R).
• CORE-Bench OOD: Para probar la generalización, construyeron una suite fuera de la distribución (OOD) de 19 tareas que cubren campos no presentes en el benchmark original (física, ingeniería, economía y ciencias de la computación), manteniendo la misma estructura de tareas pero desplazando la distribución del dominio.

2. Evaluación multidimensional

En lugar de depender únicamente de las tasas de aprobación, los autores evaluaron a los agentes a través de:

• Fiabilidad: Midiendo la consistencia de los resultados, la consistencia de recursos (varianza en el uso de tokens), la calibración (brecha entre la confianza declarada y el éxito real) y la discriminación (capacidad de clasificar éxitos frente a fallos).
• Eficiencia: Analizando el compromiso entre precisión, uso total de tokens y costo estimado en dólares.
• Desacoplamiento de Modelo vs. Andamiaje (Scaffold): Evaluando los mismos modelos (por ejemplo, GPT-5.4, Opus 4.5/4.6) a través de diferentes andamiajes (Codex CLI, Claude Code, OpenCode, CORE-Agent) para aislar la contribución de la capa de orquestación frente al modelo subyacente.

3. Estudio de colaboración humano-agente

Se realizó un ensayo controlado aleatorizado a pequeña escala para medir la "mejora" (uplift) de la colaboración humano-agente en tareas de reproducibilidad del mundo real.

• Configuración: Cinco evaluadores (científicos de datos con experiencia en reproducibilidad) intentaron reproducir resultados de 20 artículos (10 de ML, 10 de ciencias sociales).
• Condiciones: Cada evaluador realizó 5 reproducciones manuales y 5 reproducciones colaborativas humano-agente (usando Codex CLI con GPT-5.4).
• Restricciones: Se impuso un límite de tiempo de 3 horas. Las ejecuciones manuales tenían prohibido el uso de IA generativa, mientras que las colaborativas usaron un prompt estandarizado que permitía la ejecución autónoma con escalada humana para bloqueos.
• Métricas: Duración de la sesión, tasas de finalización y análisis cualitativo de bloqueos y puntos de intervención.

Resultados clave

1. Saturación de la precisión y validez del benchmark

• Saturación confirmada: En CORE-Bench v1.1, los mejores agentes alcanzaron precisiones cercanas al techo (100% para el mejor, 97.4% para los siguientes cuatro), lo que hace que la precisión por sí sola sea estadísticamente indistinguible para el ranking.
• Amenazas a la validez detectadas: El análisis de logs reveló que los agentes menos capaces no habían progresado lo suficiente como para explotar atajos o encontrar barreras ambientales específicas. El benchmark mejorado (v1.1) eliminó con éxito estas amenazas a la validez, pero la saturación persistió, confirmando que el benchmark estaba midiendo capacidad y no solo explotabilidad.
• Transferencia OOD: La saturación de la precisión en v1.1 se transfirió a CORE-Bench OOD, donde los mejores agentes volvieron a agruparse en precisiones altas estadísticamente indistinguibles a pesar del cambio de dominio.

2. Diferenciación multidimensional

Incluso con la precisión saturada, los benchmarks diferenciaron a los agentes en otros ejes:

• Fiabilidad: Los agentes con mayor precisión promedio mostraron mayor consistencia en resultados y recursos. Sin embargo, todos los agentes fueron significativamente subestimados en su confianza (confianza media reportada ~32% frente a un 93% de tasa de aprobación empírica) y fallaron en discriminar entre respuestas correctas e incorrectas mejor que el azar.
• Eficiencia: Los agentes de alta puntuación variaron significamente en costo. GPT-5.3-Codex (medio) logró un 97.4% de precisión a un costo aproximadamente un 60% menor que GPT-5.4 (alto), que alcanzó la misma precisión.
• Modelo vs. Andamiaje:
  • Modos de fallo: Precisiones similares ocultaron modos de fallo fundamentalmente distintos. Por ejemplo, Opus 4.5 logró un 82.1% tanto en CORE-Agent como en OpenCode, pero los andamiajes discreparon en el 31% de las tareas.
  • Diferencias de estrategia: Los andamiajes indujeron estrategias distintas. Claude Code dependió fuertmente de la salida de texto (41% de las respuestas) en lugar de visión, mientras que CORE-Agent dependió fuertmente de lecturas de visión (31-62% dependiendo del modelo).
  • Reparar vs. Reescribir: Los andamiajes que aplicaron correcciones dirigidas al código tuvieron éxito en el 95.2% de los casos, mientras que aquellos que reescribieron el código desde cero tuvieron éxito solo en el 67.8%.
  • Complementariedad: Un enrutador oráculo que seleccionaba el mejor andamiaje por tarea logró un 100% de precisión, lo que implica que cada tarea era resoluble por al menos una combinación de modelo y andamiaje.

3. Mejora de la colaboración humano-agente

• Aceleración: La colaboración humano-agente resultó en una aceleración estadísticamente significativa. Las sesiones manuales duraron 2.11 veces más largas que las sesiones colaborativas ($p = 0.00176$).
• Tasas de finalización: El 20% de las ejecuciones manuales alcanzaron el límite de 3 horas sin completarse, mientras que el 0% de las colaborativas lo hizo. Esto sugiere que la verdadera mejora es probablemente incluso mayor que el factor de dos medido.
• Autonomía: En 19 de 25 ejecuciones colaborativas, el agente completó la tarea de forma totalmente autónoma (tras la configuración inicial). La intervención humana fue necesaria principalmente para la configuración, la depuración de la ejecución de código o la aclaración del alcance.
• Resolución de bloqueos: Los agentes fueron percibidos como más útiles en la configuración del entorno y la ejecución de código. Los agentes se recuperaron de los bloqueos de manera más fiable que los humanos, resolviendo total o parcialmente el 98% de los 114 bloqueos encontrados, comparado con los humanos que dejaron 11 sin resolver de 60.

Significado y afirmaciones

El artículo afirma que el paradigma de "retirar y reemplazar" es una oportunidad perdida. Al continuar midiendo los agentes a lo largo de dimensiones como la eficiencia, la fiabilidad, la dependencia del andamiaje y la mejora humana, los investigadores pueden extraer señales ricas incluso después de que un benchmark alcance su techo de precisión.

Los autores argumentan que:

1. La precisión es insuficiente: Una alta precisión no garantiza la generalizabilidad, la fiabilidad o la utilidad práctica.
2. Los andamiajes importan: La capa de orquestación (andamiaje) es tan crítica como el modelo subyacente, dictando a menudo las estrategias de solución y los modos de fallo.
3. Utilidad en el mundo real: Los benchmarks son necesarios pero insuficientes como proxies para la colaboración humano-agente. El estudio demuestra que los agentes proporcionan un valor práctico sustancial (velocidad y tasas de finalización) en flujos de trabajo científicos reales, incluso cuando su precisión independiente ya está saturada.

El trabajo propone un cambio de una evaluación centrada en la precisión hacia un marco holístico que persiste a lo largo del ciclo de vida de un benchmark, no solo en el punto de saturación.