🔬 materials science

The Double Measurement Confound in Agent Benchmarks: De-Scaffolding, Ground-Truth Scoring, and Reliability Beyond the Mean

Este artículo identifica un "confundido de doble medición" en los benchmarks de agentes de LLM donde los scaffolds fijos y los evaluadores defectuosos oscurecen la verdadera capacidad del modelo, y propone un marco teórico de medición con un protocolo de auditoría y reparación para transferir el control de ejecución a los modelos, implementar una evaluación de verdad fundamental e informar métricas de fiabilidad más allá de la media.

Autores originales: Yonghong Zhang, Shadi Motaali, Vu Phong Dinh, Avin Piroutiniya, Jorge E. López de Vergara, Luis de Pedro, Ricardo Correia, Isabel M. Parra, Yong Xie

Publicado 2026-09-10

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yonghong Zhang, Shadi Motaali, Vu Phong Dinh, Avin Piroutiniya, Jorge E. López de Vergara, Luis de Pedro, Ricardo Correia, Isabel M. Parra, Yong Xie

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, los investigadores dependen de pruebas estandarizadas, conocidas como evaluaciones de referencia (benchmarks), para medir qué tan bien funcionan los grandes modelos de lenguaje. Estos modelos están diseñados para actuar como agentes, capaces de utilizar herramientas digitales para resolver problemas complejos, desde analizar datos hasta reservar vuelos. Para determinar qué modelo es el mejor, los científicos los someten a estas pruebas y comparan las puntuaciones. El supuesto subyacente es que una puntuación más alta significa una máquina más inteligente y capaz. Sin embargo, esta confianza descansa sobre una premisa frágil: que la prueba en sí está midiendo realmente la inteligencia de la máquina, en lugar de la astucia del diseño de la prueba o del software que la ejecuta. Si la prueba es defectuosa, las clasificaciones se vuelven engañosas, guiando potencialmente a desarrolladores y empresas hacia las herramientas equivocadas.

Un equipo de investigadores ha descubierto un fallo específico y oculto en la forma en que se construyen actualmente estas evaluaciones de agentes, un problema que llaman "confusión de doble medición" (double measurement confound). Descubrieron que, en muchas pruebas populares, el software que ejecuta el experimento está haciendo casi todo el trabajo pesado, mientras que la inteligencia artificial solo se dedica a rellenar los huecos. Además, el sistema que califica los resultados suele comprobar si la respuesta parece correcta en la superficie, en lugar de verificar si la respuesta es realmente verdadera. Cuando estos dos problemas ocurren simultáneamente, crean una ilusión perfecta de rendimiento donde incluso un simple script de computadora sin inteligencia puede obtener una puntuación tan alta como la de la inteligencia artificial más avanzada.

Para exponer esto, los investigadores se centraron en una evaluación diseñada para probar qué tan bien manejan los modelos datos del mundo real desordenados, específicamente estadísticas comerciales que contienen errores, duplicados y páginas faltantes. En la versión estándar de esta prueba, el software envolvente (wrapper) que rodea al modelo gestiona automáticamente cada decisión difícil. Si la fuente de datos falla, el software reintenta la conexión. Si los datos contienen duplicados, el software los elimina. Si los datos están repartidos en muchas páginas, el software las recupera todas. A la inteligencia artificial solo se le pide decidir qué datos específicos buscar y cuándo detenerse. Debido a que el software realiza todo el trabajo crítico, los resultados son idénticos independientemente de qué modelo se utilice. En un caso sorprendente, dos de los modelos más poderosos del mundo, junto con un simple script basado en reglas que no utiliza inteligencia artificial en absoluto, lograron casi la misma puntuación perfecta. La prueba no estaba midiendo los modelos; estaba midiendo el software que los ejecutaba.

La segunda parte del problema reside en cómo se califican los resultados. El sistema de calificación estándar en estas pruebas observa el formato de la entrega. Comprueba si el modelo proporcionó un registro de sus acciones y si la estructura de los datos se ve ordenada. No compara los datos entregados contra la respuesta correcta real. Los investigadores demostraron que un modelo podría entregar un conjunto de registros falsos completamente fabricados, siempre que el archivo pareciera bien organizado y el registro estuviera escrito correctamente, y recibiría la misma puntuación alta que un modelo que entregara los datos perfectos y correctos. Esto significa que la prueba estaba recompensando la apariencia del trabajo en lugar del trabajo mismo.

Los investigadores se dieron cuenta de que corregir solo uno de estos problemas no era suficiente. Si solo cambiaban el sistema de calificación para verificar la verdad, los modelos seguirían empatados porque el software seguía haciendo todo el trabajo. Si solo eliminaban la ayuda del software, el sistema de calificación defectuoso seguiría ocultando los fallos de los modelos. Tenían que eliminar ambos al mismo tiempo. Despojaron al software de ayuda, obligando a la inteligencia artificial a tomar cada una de las decisiones sobre reintentar conexiones, eliminar duplicados y recuperar páginas. Luego, reemplazaron el calificador de formato por un sistema que comparaba la salida del modelo directamente contra la respuesta correcta conocida.

Cuando aplicaron esta doble reparación, la tabla de clasificación plana e ininformativa se transformó en un espectro claro de capacidad. De repente, los modelos pudieron distinguirse entre sí. Los modelos más capaces mantuvieron puntuaciones altas, demostrando que podían manejar las tareas difíciles cuando se les dejaba a su propio arbitrio. Sin embargo, otros modelos que previamente habían obtenido puntuaciones altas cayeron a cero, revelando que dependían enteramente del software de ayuda para funcionar. Algunos modelos que parecían fuertes en promedio resultaron ser peligrosamente poco fiables, fallando por completo en situaciones específicas, mientras que modelos más pequeños y menos famosos demostraron ser sorprendentemente consistentes y robustos.

El estudio también reveló que la fiabilidad de estos modelos varía enormemente dependiendo de las condiciones específicas de la prueba. Un modelo puede parecer excelente en promedio pero fallar por completo en su peor escenario, un detalle que las pruebas estándar suelen ocultar. Al observar estos resultados de peor caso, los investigadores encontraron que la clasificación de los modelos cambiaba por completo. Un modelo que parecía un alto ejecutor basado en promedios era, en realidad, el más frágil, mientras que un modelo más pequeño que anteriormente había sido pasado por alto demostró ser el más fiable.

Este trabajo se extiende más allá de una sola prueba. Los investigadores aplicaron su nuevo método de auditoría a otras evaluaciones existentes y encontraron los mismos problemas. En algunos casos, el sistema de calificación era específico para la prueba y funcionaba correctamente, pero el software que ejecutaba la prueba seguía haciendo demasiado trabajo, haciendo que las clasificaciones dependieran de qué versión del software se utilizara. En otros casos, el sistema de calificación mismo era defectuoso, recompensando las cosas equivocadas. Los investigadores concluyeron que para entender verdaderamente a un agente de inteligencia artificial, debemos saber exactamente cuánto trabajo está haciendo el agente frente a cuánto está haciendo la prueba por él, y debemos calificar al agente por la verdad de sus respuestas, no solo por la pulcritud de su presentación. Sin estos cambios, las puntuaciones que vemos hoy pueden estar midiendo la prueba misma en lugar de la inteligencia que pretende evaluar.

Resumen Técnico: El Confundido de la Doble Medición en los Benchmarks de Agentes

1. Planteamiento del Problema

El artículo identifica un fallo fundamental en los actuales benchmarks de agentes de Modelos de Lenguaje Grande (LLM): las puntuaciones de los benchmarks suelen medir el pipeline de evaluación en lugar de la capacidad del modelo. Los autores argumentan que las puntuaciones reportadas están confundidas por dos artefactos específicos que se enmascaran entre sí, lo que hace que muchos rankings sean incapaces de distinguir entre modelos con capacidades vastamente diferentes.

Este "confundido de la doble medición" consiste en:

Propiedad del Andamiaje (Artefacto 1): Las decisiones críticas para la ejecución (por ejemplo, reintentar tras un fallo, paginación, deduplicación, filtrado de filas de resumen y envío final) están codificadas de forma fija en el armazón de evaluación (el "andamiaje") en lugar de ser tomadas por el modelo. En consecuencia, el modelo simplemente rellena espacios con plantillas, y el andamiaje realiza el trabajo real.
Validez del Calificador (Artefacto 2): Los evaluadores (jueces) a menudo califican la forma de la salida (formato, consistencia de metadatos, registros autoinformados) en lugar de comparar los valores enviados contra una verdad fundamental (ground truth). Esto permite que envíos fabricados o vacíos reciban puntuaciones altas si tienen un buen formato, mientras que las entregas correctas con problemas menores de formato son penalizadas.

El artículo demuestra que, bajo estas condiciones, un script basado en reglas sin LLM puede lograr puntuaciones casi idénticas a los modelos de frontera (96.8 frente a 97.5), y que modelos abiertos no relacionados producen salidas byte a byte idénticas, lo que deja al benchmark sin poder para discriminar la capacidad del modelo.

2. Metodología

Los autores proponen un marco teórico de medición y un protocolo de auditoría y reparación ejecutable llamado BenchAudit.

Marco Teórico

El artículo formaliza la puntuación del benchmark $S(m, c, j)$ como una función del modelo $m$ , el andamiaje $c$ (armazón) y el calificador $j$ .

No Identificabilidad: Si el andamiaje posee todas las decisiones críticas de ejecución y el calificador solo califica la forma, la puntuación es invariante a la elección del modelo ( $S(m_1) = S(m_2)$ ) siempre que los modelos rellenen las plantillas de manera equivalente.
Identificación: Para recuperar una medida válida de la capacidad del modelo, se deben cumplir simultáneamente dos condiciones:
1. Des-andamiaje (De-Scaffolding): Las decisiones críticas de ejecución deben transferirse del armazón al modelo.
2. Calificación de Verdad Fundamental: El calificador debe evaluar el producto del trabajo enviado contra una verdad fundamental determinista y sembrada (seeded), no solo su forma.

El Protocolo: BenchAudit

Los autores introducen BenchAudit, un protocolo que:

Transfiere el Control: Mueve las decisiones (reintento, deduplicación, envío) del andamiaje al modelo, creando un agente "des-andamiado" (Nivel L2).
Reemplaza la Calificación: Sustituye a los jueces basados en la forma por una puntuación F1 de verdad fundamental sembrada. La verdad fundamental es regenerable a partir de una semilla, lo que garantiza una evaluación determinista.
Reporta la Fiabilidad: Va más allá de las puntuaciones medias para reportar el rendimiento en el peor de los casos, el Valor en Riesgo Condicional (CVaR) y la Fiabilidad@ $\tau$ a través de múltiples semillas. Esto captura el riesgo de cola y la robustez del agente.
Genera Tarjetas de Validez: Produce una "tarjeta de validez" por benchmark que clasifica si un benchmark mide la capacidad del modelo, el rendimiento del sistema o simplemente el cumplimiento del autoinforme.

Configuración Experimental: ComtradeBench

Los autores instancian este protocolo en ComtradeBench, un benchmark sembrado para el uso de herramientas de forma de datos comerciales adversos.

Tarea: Los agentes deben obtener datos paginados de una API simulada, gestionar fallos (erro errores 429/500, duplicados, deriva de datos), deduplicar registros y enviar un conjunto de datos limpio.
Adversidad: Los fallos son inyectados por el entorno, no por el prompt, lo que los hace imposibles de "razonar para evitarlos".
Intervención: Un experimento $2 \times 2$ compara la configuración de producción original (Andamiaje L0 + Calificador de Forma) contra la configuración reparada (Andamiaje L2 + Calificador de Verdad Fundamental).

3. Resultados Clave

El Ranking Plano frente al Espectro de Fiabilidad

Configuración Original (L0 + Calificador de Forma): El ranking es casi plano. Los modelos de frontera (Kimi, Claude) y un script basado en reglas puntúan dentro de un margen de 0.7 puntos entre sí. Modelos abiertos no relacionados (Qwen2.5-7B, Llama-3.3-70B) producen vectores de recompensa byte-idénticos por cada semilla.
Configuración Reparada (L2 + Calificador de Verdad Fundamental): El ranking "plano" se transforma en un espectro de fiabilidad graduado.
- Alto Rendimiento: Claude-Fable-5 lidera con un F1 medio de 0.974 y un peor caso de 0.824.
- Varianza de Nivel Medio: Modelos como GPT-5 y GPT-4o muestran medias altas (0.930, 0.805) pero colapsan a 0.00 en los escenarios de peor caso (fallo bimodal).
- Nivel Bajo: Llama-3.3-70B y Qwen2.5-7B puntúan 0.000 en todas las semillas debido a "fallos de empaquetado" (envío de payloads vacíos a pesar de haber obtenido los datos).

La Necesidad de la Intervención Conjunta

Una intervención $2 \times 2$ demuestra que reparar solo un artefacto es insuficiente:

Reparar Solo el Calificador (L0 + Verdad Fundamental): El andamiaje sigue realizando todo el trabajo; los modelos permanecen empatados.
Reparar Solo el Andamiaje (L2 + Calificador de Forma): El juez basado en la forma comprime la dispersión, ocultando fallos reales y minimizando los envíos vacíos.
Reparación Conjunta (L2 + Verdad Fundamental): Solo esta combinación recupera el espectro completo de las capacidades de los modelos.

Auditorías de Validez Externa

$\tau$ -bench: El calificador oficial se basa en resultados (válido), pero el andamiaje es un eje no controlado. Cambiar el andamiaje (por ejemplo, de tool-calling a ReAct) desplaza la recompensa del mismo modelo hasta en 0.267 y altera los rankings.
BFCL (Berkeley Function-Calling Leaderboard): Utiliza un calificador basado en especificaciones (coincidencia AST), que valida el cumplimiento de la especificación pero no el éxito de la ejecución. No se sondeó la propiedad del andamiaje.
Auto-auditoría: La propia prueba de estrés pre-registrada de los autores (Afirmación B) mostró un efecto significativo bajo el calificador original basado en la forma, pero este efecto desapareció cuando se evaluó contra la verdad fundamental, confirmando la dependencia del calificador del resultado.

4. Contribuciones Clave

Identificación del Doble Confundido: El artículo identifica y demuestra formalmente que la propiedad del andamiaje y la validez del calificador son un problema de identificación conjunta. Demuestra que estos artefactos se enmascaran mutuamente, haciendo que las reparaciones de un solo lado sean ineficaces.
Protocolo BenchAudit: La introducción de un pipeline de auditoría ejecutable que transfiere las decisiones de ejecución al modelo, califica contra la verdad fundamental y reporta métricas de riesgo de cola (CVaR, peor caso).
ComtradeBench y Tarjetas de Validez: El lanzamiento de un benchmark basado en generadores sembrados y un marco de "tarjetas de validez" que categoriza los benchmarks según lo que realmente miden (por ejemplo, capacidad del modelo frente a rendimiento del sistema o cumplimiento del autoinforme).
Evidencia Empírica: La demostración de que eliminar el confundido reordena los rankings de los modelos, revelando que los modelos de "media alta" pueden tener una fiabilidad de peor caso catastrófica, mientras que los modelos más pequeños pueden ser más robustos.

5. Significado y Afirmaciones

El artículo afirma que las puntuaciones de los benchmarks no deben interpretarse como evidencia de la capacidad de un modelo a menos que el benchmark supere verificaciones de validez específicas.

Reencuadre de la Evaluación: Los autores argumentan que los actuales rankings suelen medir la robustez del andamiaje en lugar de la del modelo. Una puntuación solo es interpretable como una propiedad del modelo si el modelo posee las decisiones críticas de ejecución y el calificador es criterio-válido (basado en la verdad fundamental).
Fiabilidad sobre la Media: El artículo afirma que la fiabilidad en el peor de los casos es una métrica crítica que puede reordenar la frontera. Un modelo con una media alta pero un peor caso de 0.00 es menos fiable que un modelo con una media ligeramente inferior pero un suelo de peor caso más alto.
Marco Práctico: El protocolo propuesto está diseñado para aplicarse encima de los benchmarks existentes para diagnosticar su validez, en lugar de reemplazarlos por completo. Proporciona un camino práctico para "des-andamiare" y reparar las evaluaciones existentes.
Modestia: Los autores reconocen limitaciones, señalando que ComtradeBench es un dominio estilizado (extracción de datos comerciales) y que la intervención de "des-andamiaje" puede no ser trivial de implementar para todos los tipos de benchmarks (por ejemplo, aquellos que requieren interacción compleja con el entorno). También señalan que algunos benchmarks (como BFCL) pueden no ser susceptibles de calificación de verdad fundamental si no existe una verdad fundamental, limitando el alcance de la afirmación de "capacidad del modelo" a tipos de tareas específicos.

En conclusión, el artículo proporciona un argumento de medición riguroso de que, sin controlar la propiedad del andamiaje y la validez del calificador, los benchmarks de agentes están midiendo lo que no deben, y ofrece un protocolo concreto y reproducible para solucionarlo.