🤖 AI

Messier: A High-Resolution Corpus for Cross-Benchmark Agent Evaluation

El artículo presenta Messier, un corpus unificado de alta resolución de casi un millón de registros estandarizados que abarca 30 evaluaciones de referencia y diversos dominios, el cual permite una evaluación exhaustiva de agentes entre distintas evaluaciones de referencia, revela un progreso desigual a través de tipos de tareas y proporciona una infraestructura fundacional para auditar y escalar las capacidades de los agentes de IA.

Autores originales: Stefan Krsteski, Charlotte Meyer, Guillaume Allegre, Tony O'Halloran, Alexandre Sallinen

Publicado 2026-07-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Stefan Krsteski, Charlotte Meyer, Guillaume Allegre, Tony O'Halloran, Alexandre Sallinen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de averiguar qué personaje de un videojuego es el absolutamente mejor en todo. Tienes un personaje que es increíble saltando, otro que es un mago resolviendo acertijos matemáticos, y un tercero que puede navegar un laberinto perfectamente. Pero aquí está el truco: cada juego mide la "habilidad" de manera diferente. Un juego te otorga una estrella de oro por saltar sobre un solo foso, mientras que otro requiere que resuelvas un problema de álgebra complejo para abrir una puerta, y un tercero exige que recolectes cada una de las monedas de un nivel sin tocar un solo enemigo. Si solo miras la puntuación final —un único número como "95%"— podrías pensar que todos son igualmente buenos. Pero ese número esconde los detalles desordenados. ¿Fracasó el personaje porque no pudo saltar, o porque se quedó trabado en una puerta? ¿Obtuvo un 95% porque hizo todo perfectamente, o porque falló en una sola cosa diminuta y el juego contó toda la partida como un cero?

Este es exactamente el problema que enfrentan los científicos que estudian los agentes de IA. Estos no son solo chatbots; son trabajadores digitales que pueden usar herramientas, escribir código, navegar por la web y tomar decisiones en entornos en tiempo real. Actualmente, existen cientos de pruebas diferentes (benchmarks), pero todas hablan idiomas distintos. Algunas pruebas son estrictas: si fallas un solo paso en una receta de 10 pasos, obtienes un cero. Otras son más permisivas. Debido a esto, es increíblemente difícil comparar un agente que es excelente programando con uno que es excelente en investigación legal. Es como intentar comparar a un corredor de maratón con un gran maestro de ajedrez usando solo una única puntuación de "atletismo". Para entender cómo la IA está mejorando realmente, necesitamos una forma de mirar bajo el capó de estas puntuaciones y ver exactamente dónde tienen éxito los agentes y dónde tropiezan.

Entra MESSIER, un nuevo y masivo proyecto que actúa como un gigante traductor universal para las pruebas de IA. Los investigadores detrás de MESSIER no solo construyeron una nueva prueba; construyeron una biblioteca gigante que recopila los resultados de 30 pruebas existentes, cubriendo 11.891 tareas específicas y 74.205 formas diferentes de verificar si un agente tuvo éxito. Reunieron datos de 714 agentes de IA diferentes e incluso realizaron nuevas pruebas frescas en seis áreas difíciles donde faltaban datos, como revisiones legales y diseño de circuitos cuánticos. En total, organizaron casi un millón de registros de ensayos en un formato único y estandarizado. Piensa en esto como tomar una pila caótica de recibos de 30 tiendas diferentes, cada una escrita en una moneda distinta y con diferentes reglas matemáticas, y convertirlas todas en una única hoja de cálculo clara que te permite ver exactamente qué se compró, cuánto costó y qué tienda tenía los mejores precios.

Lo más emocionante que encontró MESSIER es que la forma en que contamos los puntos cambia la historia. El artículo muestra que muchas pruebas utilizan una regla "estricta": si un agente falla incluso una pequeña parte de la tarea, todo el proceso se marca como un fallo. Los investigadores demostraron que si relajaban esta regla y observaban cuántas partes sí logró completar el agente, la imagen del progreso se ve muy diferente. Por ejemplo, en una prueba de referencia legal, la puntuación estricta de "todo o nada" decía que los agentes tenían éxito solo el 0,2% de las veces. Pero cuando analizaron los detalles, descubrieron que, en promedio, los agentes estaban satisfaciendo el 28,8% de los criterios. La regla estricta estaba ocultando un gran progreso parcial. Esto sugiere que, si bien la IA está mejorando, la forma en que la medimos podría ser demasiado severa, haciendo que parezca que los agentes fallan con más frecuencia de lo que realmente lo hacen.

El estudio también mapeó dónde la IA está "ganando" de verdad y dónde sigue teniendo dificultades. Encontraron que la IA es casi perfecta en la "llamada a funciones" (uso de herramientas), con una tasa de éxito de 0,97. También se está volviendo muy buena en la programación, mejorando rápidamente en los últimos dos años. Sin embargo, la IA todavía tiene problemas con los "flujos de trabajo empresariales": trabajos de oficina complejos de múltiples pasos, como la gestión de un proceso de negocio. En estas áreas, la tasa de éxito es solo de 0,57, lo que significa que los agentes fallan más a menudo de lo que tienen éxito. Los investigadores también demostraron que se puede usar esta enorme biblioteca para crear una nueva "escala de habilidades" para la IA que coincida muy de cerca con otros rankings importantes (con una correlación de 0,81), sin necesidad de gastar millones de dólares realizando nuevas pruebas.

En última instancia, MESSIER es una herramienta para la claridad. Sugiere que, al observar los detalles minúsculos de cómo falla un agente, en lugar de solo la puntuación final, podemos obtener una imagen mucho más real de lo que la IA realmente puede hacer. No dice que la IA haya resuelto todo, pero sí sugiere que nuestros actuales instrumentos de medición podrían ser demasiado toscos. Al estandarizar estos resultados, los autores esperan dejar de desperdiciar dinero repitiendo las mismas pruebas y ayudar a los investigadores a comprender exactamente qué trabajos están listos para la IA y cuáles todavía necesitan una mano humana. Los datos están ahora abiertos para que cualquiera los use, convirtiendo un caos confuso de números en un mapa claro del panorama de la IA.

Resumen Técnico: MESSIER – Un Corpus de Alta Resolución para la Evaluación de Agentes entre Benchmarks

Declaración del Problema

La evaluación de agentes de IA en entornos interactivos se ve actualmente obstaculizada por la fragmentación. Los esfuerzos existentes se caracterizan por:

Heterogeneidad: Los benchmarks varían significativamente en definiciones de dominio, andamiajes de agentes (scaffolds), entornos, espacios de acción y condiciones de éxito.
Incomparabilidad: Las puntuaciones finales suelen comprimir comportamientos complejos de múltiples pasos en números únicos, oscureciendo la naturaleza específica del éxito o el fracaso. Un "aprobado" en una verificación binaria matemática difiere fundamentalmente de un "aprobado" en un flujo de trabajo empresarial con múltiples verificadores.
Escasez de Datos y Costo: Los datos de resultados por tarea de alta calidad suelen no estar disponibles o requieren ejecuciones costosas (estimadas en ~$40,000 para barridos a gran escala) para generar conjuntos de datos comparables.
Artefactos de Agregación: Las reglas de agregación estándar (por ejemplo, requisitos de "todo aprobado") pueden ocultar el progreso parcial, lo que conduce a clasificaciones de capacidad engañosas y oculta la distribución de los resultados a nivel de criterio.

Las meta-colecciones existentes se centran en entornos de agentes estrechos (por ejemplo, uso de herramientas), benchmarks estáticos no agénticos, o carecen de la escala y granularidad requeridas para un análisis detallado.

Metodología

Los autores presentan MESSIER, un corpus unificado diseñado para reconciliar los datos heterogéneos de evaluación de agentes en un esquema estandarizado.

Construcción de Datos

MESSIER consolida 957,253 resultados de ensayos que abarcan:

30 Benchmarks: Incluyendo lanzamientos públicos establecidos (ej. SWE-bench, LiveCodeBench, BFCL) y seis nuevos benchmarks dirigidos a dominios profesionales subrepresentados (legal, clínico, científico, etc.).
714 Agentes: Combinaciones distintas de modelo y andamiaje (scaffold).
11,891 Tareas: Instancias de problemas individuales.
74,205 Verificadores: Las comprobaciones específicas utilizadas para puntuar los ensayos.

El corpus integra datos de tres fuentes primarias:

Lanzamientos Públicos: Ingesta de resultados por tarea de lanzamientos existentes (METR, BRIDGE, Agent Psychometrics, General AgentBench) y artefactos liberados por los autores (datasets de Hugging Face, repositorios de GitHub).
Nuevas Evaluaciones: Los autores contribuyeron con nuevas ejecuciones uniformes de cinco agentes en seis benchmarks (HarveyAI-Lab, MedAgentBench, DABStep, QCircuitBench, ScienceAgentBench, ReplicationBench) utilizando el andamiaje OpenHands a través del soporte (harness) Harbor.
Pipeline de Reconciliación: Un proceso de cuatro etapas para normalizar los datos:
- Estandarización: Conversión de los registros a un modelo de datos uniforme donde cada entorno contiene tareas, y cada tarea contiene verificadores tipados (script, coincidencia exacta, juez LLM, humano) con reglas de agregación definidas.
- Normalización: Mapeo de identificadores de modelos, andamiajes y fechas de lanzamiento a categorías estandarizadas (siguiendo las convenciones de Epoch ECI).
- Verificación: Ejecución de pruebas deterministas para la higiene de identificadores, validez de fechas y deduplicación, seguidas de controles manuales puntuales.
- Clasificación: Asignación de códigos SOC (ocupacionales) y NAICS (industriales) a las tareas utilizando un ensamble de LLM.

Marco Analítico

El artículo define a los agentes como un par de (modelo, andamiaje) y a las tareas como (instrucción, estado inicial). Modela explícitamente el problema de la reconciliación: cómo diferentes reglas de agregación (por ejemplo, todo aprobado vs. umbral vs. puntuación suave) mapean múltiples resultados de verificadores ( $v_1, \dots, v_N$ ) a una única puntuación de tarea ( $S$ ). MESSIER preserva los resultados brutos de los verificadores $\{v_i(\tau)\}$ en lugar de solo la puntuación agregada $S$ , permitiendo el análisis contrafáctico.

Contribuciones Clave

Corpus Unificado: Una infraestructura fundacional y reutilizable que contiene vistas a macro y micro escala del rendimiento de los agentes a través de 30 benchmarks y 714 agentes.
Capacidad de Re-puntuación Contrafáctica: Al retener los registros a nivel de verificador, el corpus permite a los investigadores re-agregar puntuaciones bajo diferentes reglas (por ejemplo, cambiar de "todo aprobado" a "mayoría aprobada") para observar cómo las elecciones de agregación alteran la capacidad medida y las clasificaciones de los agentes.
Índices de Capacidad de Datos Abiertos: La derivación de escalas de capacidad a partir de datos abiertos que se alinean con los rankings establecidos (Epoch ECI) sin requerir nuevas campañas de evaluación.
Taxonomía Granular: La inclusión de clasificaciones SOC/NAICS y definiciones de espacio de acción/estado del entorno permite el análisis segmentado por ocupación, industria y tipo de tarea.

Resultados y Análisis

1. Progreso Inconsistente de la Frontera

El análisis del progreso de la frontera (2024–2026) revela una mejora asimétrica entre los grupos de benchmarks:

Llamada a Funciones (Function Calling): Se acerca a la saturación con una puntuación de frontera de 0.97.
Programación: Muestra la mejora más rápida, ascendiendo desde una base baja hasta 0.82 (crecimiento neto de +0.64).
Flujos de Trabajo Empresariales: Sigue siendo el dominio más desafiante con una puntuación de frontera de 0.57, lo que indica que los flujos de trabajo profesionales de múltiples pasos siguen siendo difíciles para los agentes.
Investigación/Razonamiento y GUI: Ocupan bandas intermedias (0.68 y 0.71, respectivamente).

2. Impacto de las Reglas de Agregación

La re-puntuación contrafáctica en benchmarks con resultados por criterio (HarveyAI-Lab, $\tau^2$ -bench, TheAgentCompany) demuestra que las reglas de agregación distorsionan significativamente la capacidad medida:

Pérdida de Información: La calificación estricta de "todo aprobado" puede reportar un éxito cercano a cero (ej. 0.2% en HarveyAI-Lab) incluso cuando los agentes satisfacen una fracción significativa de los criterios en promedio (28.8%).
Inestabilidad de Clasificación: Cambiar las reglas de agregación altera las clasificaciones de los agentes. Las correlaciones de Spearman entre las puntuaciones de "todo aprobado" y "suaves" (fracción media aprobada) varían de $\rho=0.667$ a $\rho=0.981$ , lo que indica que las conclusiones comparativas son sensibles a las elecciones de agregación.

3. Alineación de la Escala de Capacidad

Utilizando un modelo de Teoría de Respuesta al Ítem (IRT) de 1PL sobre los datos de MESSIER, los autores derivaron estimaciones de la habilidad de los agentes ( $\theta$ ) que se correlacionan fuertemente con el Índice de Capacidad de Evaluación (ECI) de Epoch:

Capacidad General: Spearman $\rho = 0.81$ .
Programación: Spearman $\rho = 0.77$ .
Matemáticas: Spearman $\rho = 0.84$ .
Esto sugiere que se puede derivar un ordenamiento de capacidad de alta calidad a partir de datos abiertos existentes sin necesidad de nuevas y costosas campañas de evaluación.

4. Predicción de la Dificultad de la Tarea

El artículo pone a prueba la predictibilidad de la dificultad de la tarea ( $\beta$ ) utilizando metadatos (instrucciones de la tarea, descripciones del entorno, espacios de acción).

Los metadatos que contienen el contexto completo (tarea + entorno + acción + respuesta de oro) producen mejoras modestas pero consistentes en la predicción de la dificultad en comparación con el texto de la instrucción pura.
La identidad del benchmark explica una parte significativa de la varianza de la dificultad bruta, pero las descripciones de las tareas contienen señales para la dificultad relativa dentro de los benchmarks.

Significado y Reivindicaciones

El artículo afirma que MESSIER proporciona una infraestructura fundacional para el campo de la evaluación de agentes. Su importancia radica en:

Reducción de la Redundancia: Al estandarizar y compartir los datos de evaluación, busca reducir la necesidad de ejecuciones redundantes y costosas de las evaluaciones de agentes.
Permitir el Análisis Detallado: Desplaza el enfoque de las puntuaciones agregadas hacia la distribución de los resultados a nivel de criterio, permitiendo el estudio de los fallos de evaluación, el diseño de verificadores y los artefactos de agregación.
Apoyo a la Auditoría: La naturaleza abierta e inspectable del corpus respalda la auditoría del comportamiento de los agentes y la detección de problemas como el reward hacking o el sandbagging.
Democratización del Acceso: Al proporcionar un dataset a gran escala y pre-computado, reduce la barrera de entrada para los investigadores que carecen del capital para ejecutar campañas de agentes a gran escala desde cero.

Los autores mantienen una postura modesta, reconociendo que el corpus refleja el panorama actual (occidental, en inglés, dominios técnicos) y depende de la validez de los benchmarks ascendentes, los cuales siguen siendo un esfuerzo comunitario continuo para su validación.