Resumen Técnico: Every Eval Ever

1. Planteamiento del Problema

Los resultados de la evaluación de IA son actualmente fragmentados, inconsistentes y difíciles de interpretar, lo que dificulta la reproducibilidad, la comparación entre benchmarks y el meta-análisis sistemático. Los problemas centrales identificados son:

• Incompatibilidad de Formatos: Los resultados están dispersos en tablas de clasificación (leaderboards), artículos de investigación, publicaciones de blogs y repositorios personalizados en 31 formatos de reporte distintos.
• Omisión de Metadatos: El contexto crítico —como los parámetros de generación (temperatura, secuencias de parada), la procedencia de los datos, la configuración del entorno de evaluación y los modos de acceso al modelo— es frecuentemente omitido o se encuentra disperso en registros no estructurados.
• Brechas de Reproducibilidad: Nombres de benchmarks idénticos suelen ocultar configuraciones de evaluación divergentes. Por ejemplo, el mismo modelo (ej. LLaMA 65B) puede recibir puntuaciones significativamente diferentes (63.7 vs. 48.8 en MMLU) dependiendo del entorno de evaluación utilizado, y estas discrepancias suelen ser invisibles sin un análisis forense profundo.
• Falta de Estandarización: A diferencia de los conjuntos de datos (estandarizados por Datasheets for Datasets, Croissant) o los modelos (Model Cards), los resultados de evaluación carecen de un esquema unificado para capturar el contexto de ejecución necesario para determinar si dos puntuaciones son comparables.

2. Metodología: El Marco de Trabajo Every Eval Ever (EEE)

Los autores proponen Every Eval Ever (EEE), un repositorio de la comunidad basado en el crowdsourcing y un esquema unificador diseñado para estandarizar el reporte de la evaluación de IA. La metodología consta de tres componentes principales:

A. El Esquema Unificador

EEE utiliza un esquema JSON versionado y agnóstico a la fuente que captura el contexto completo de una ejecución de evaluación. El esquema es modular y está organizado en cinco bloques de metadatos:

1. Metadatos de la Fuente: Identifica al productor (desarrollador, tercero, propio) y el origen (artículo, tabla de clasificación, ejecución local).
2. Información del Modelo: Registra el identificador del modelo y el modo de acceso (ej. API alojada frente a motor de inferencia local como vLLM), abordando confusiones ocultas donde diferentes proveedores rinden resultados distintos.
3. Configuración de Generación: Captura campos de primera clase para parámetros como la temperatura, el número de muestras y las secuencias de parada. Los parámetros omitidos se registran explícitamente como omitidos en lugar de asignar un valor por defecto silencioso.
4. Resultos de Evaluación: Almacena métricas con semántica explícita (dirección de la puntuación, tipo, rango) para evitar ambigüedades (ej. distinguir entre puntuaciones de toxicidad donde "menor es mejor" y puntuaciones de pass@1 donde "mayor es mejor").
5. Datos a Nivel de Instancia: Un archivo compañero opcional (_samples.jsonl) que almacena salidas por instancia, prompts, referencias y puntuaciones. Esto soporta interacciones de un solo turno, de múltiples turnos y agentes (incluyendo trazas de llamadas a herramientas).

Principios de Diseño:

• Aceptación de Registros Parciales: Los campos obligatorios son mínimos para incluir resultados existentes que de otro modo serían excluidos por estándares estrictos.
• Preservación de la Identidad de la Ejecución: Cada ejecución recibe un UUID en lugar de una huella digital canónica, permitiendo que ejecuciones conflictivas o insuficientemente especificadas permanezcan visibles para una posterior deduplicación.
• Separación de Preocupaciones: Las puntuaciones agregadas se separan de los datos a nivel de instancia para permitir un reanálisis granular.

B. Convertidores y Pipeline de Validación

Para reducir las barreras de entrada, EEE proporciona:

• Convertidores Automáticos: Herramientas para analizar salidas de los principales entornos de evaluación (HELM, lm-eval-harness, Inspect AI) y extraer datos de tablas de clasificación hacia el esquema EEE.
• Validación: Un pipeline de validación basado en Pydantic (accesible vía CLI y GitHub Bot) que impone el cumplimiento del esquema, verifica los tipos de datos y señala registros duplicados antes de que los datos se integren en el repositorio.

C. Gobernanza Comunitaria

EEE opera como un bien público con un modelo de gobernanza que involucra a mantenedores principales, contribuyentes y revisores de la comunidad. Los registros son inmutables una vez aceptados; las correcciones se gestionan mediante mecanismos explícitos de retracción y corrección para preservar la reproducibilidad.

3. Contribuciones Clave

El documento describe cuatro contribuciones específicas:

1. Un Esquema Compartido: Un esquema JSON versionado y gobernado por la comunidad (con un compañero opcional a nivel de instancia) que estandariza la procedencia de la fuente, la configuración de generación, el acceso al modelo y la semántica de las métricas.
2. Herramientas de Conversión: Convertidores automáticos para marcos de trabajo populares y un pipeline de validación que asegura el cumplimiento del esquema en el punto de contribución.
   ر Repositorio Crowdsourced: Una base de datos alojada en Hugging Face (evaleval/EEE_datastore) que contiene 22,235 modelos, 2,273 benchmarks únicos y 31 formatos de evaluación (a fecha de mayo de 2026).
3. Habilitación del Meta-Análisis: El formato unificado permite investigaciones previamente imposibles debido a la fragmentación de datos, incluyendo el análisis de compromiso costo-precisión, la detección de dependencia de versión de la perplejidad, la forense de reproducibilidad y el meta-análisis de la Teoría de Respuesta al Ítem (IRT).

4. Resultados y Hallazgos Empíricos

Los autores demuestran la utilidad de EEE a través de cuatro casos de estudio:

• Compromisos Costo–Precisión en la Evaluación Agéntica: Al agregar metadatos sobre costo y tiempo, EEE revela que las elecciones de andamiaje (scaffold) (ej. Codex vs. OpenClaw) pueden alterar significativamente los costos sin cambiar la precisión, y que los efectos del andamiaje dependen del modelo base.
• Perplejidad Dependiente de la Versión: El esquema expone que la "perplejidad" es ambigua; diferentes implementaciones (ej. scripts de GPTQ frente a LM Evaluation Harness) normalizan la pérdida de manera distinta (tokens vs. palabras vs. bytes), lo que conduce a puntuaciones no comparables para el mismo modelo. EEE hace que estas convenciones de normalización sean explícitas.
• Forense de Reproducibilidad: Al convertir registros oficiales de HELM y reproducciones locales a EEE, los autores identificaron discrepancias específicas, incluyendo cambios en el orden de las filas en el procesamiento de datos, completaciones vacías en registros oficiales y variaciones de muestreo estocástico.
• Meta-Análisis vía IRT: Utilizando datos a nivel de instancia, los autores aplicaron la Teoría de Respuesta al Ítem para comparar datasets como GPQA Diamond y Wordle Arena, revelando diferencias en las distribuciones de dificultad de los ítems y en las estimaciones de capacidad de los modelos que son invisibles al nivel de la puntuación agregada.

Estadísticas de Datos:
El repositorio abarca actualmente más de 200,000 resultados agregados. El análisis muestra una distribución de cola larga de los benchmarks y una fuerte concentración en modelos basados en EE. UU. (particularmente variantes de GPT). Crucialmente, metadatos críticos como la plataforma de inferencia faltan en el 98% de las filas en los datos brutos, lo que resalta la necesidad del esquema para capturar estos detalles.

5. Significación y Reivindicaciones

El documento afirma que EEE aborda una brecha crítica en el ecosistema de la IA al proporcionar el "lengso común" para el reporte de la evaluación. Su importancia radica en:

• Reutilización: Transformar puntuaciones estáticas e aisladas en datos reutilizables y ricos en contexto.
• Transparencia: Hacer visibles y auditables las confusiones ocultas (como las diferencias en el motor de inferencia o los parámetros de generación).
• Escalabilidad: Permitir meta-análisis a gran escala que anteriormente eran imposibles debido al esfuerzo manual requerido para gestionar datos heterogéneos.
• Gobernanza: Establecer un modelo de estandarización impulsado por la comunidad que preserve la inmutabilidad mientras permite las correcciones.

Los autores reconocen limitaciones, señalando que la cobertura es actualmente más fuerte para evaluaciones de texto y de un solo modelo, y que el valor del esquema depende de una adopción amplia por parte de la comunidad. No pretenden reemplazar los entornos de evaluación, sino situarse por encima de ellos como una capa de traducción y agregación.