HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam

1. El Problema

El Examen Final de la Humanidad (HLE) se ha establecido como un estándar de referencia (benchmark) ampliamente utilizado para evaluar modelos de lenguaje grandes (LLM) de vanguardia en preguntas desafiantes de múltiples dominios (matemáticas, ciencias, ingeniería, humanidades). Sin embargo, análisis posteriores liderados por la comunidad han revelado que el conjunto de datos original contiene una cantidad significativa de elementos ruidosos. Estos defectos incluyen:

• Enunciados de problemas ambiguos o mal definidos.
• Respuestas de referencia incorrectas.
• Inconsistencias entre la justificación (razonamiento) y la respuesta final.

Estas imperfecciones introducen un sesgo sistemático en los resultados de la evaluación, distorsionando las comparaciones entre modelos y haciendo que las métricas agregadas (como la precisión) reflejen artefactos de anotación en lugar de las capacidades reales de razonamiento de los modelos. La falta de un protocolo de verificación post-lanzamiento y de auditoría estructurada ha comprometido la fiabilidad, la reproducibilidad y la interpretabilidad de HLE.

2. Metodología

Para abordar estos desafíos, los autores presentan HLE-Verified, una versión revisada y verificada del benchmark original, construida bajo un protocolo de verificación y reparación en dos etapas. El proceso se basa en una taxonomía de errores de granularidad fina y trata los componentes del ítem (enunciado, respuesta y justificación) de manera independiente.

Flujo de Trabajo en Dos Etapas:

• Etapa I: Verificación Binaria Componente a Componente.

  • Cada ítem se evalúa en sus tres componentes: Problema (enunciado), Respuesta (final) y Justificación (razonamiento).
  • Se utiliza un flujo híbrido que combina:
    1. Revisión por expertos de dominio.
    2. Verificación asistida por modelos (múltiples intentos de solución con pass@8).
    3. Adjudicación interna de expertos.
  • Resultado: 668 ítems se validan como correctos sin modificaciones (Subconjunto Dorado).

• Etapa II: Reparación Sistemática y Re-verificación.

  • Los ítems identificados como defectuosos pero reparables se someten a correcciones estrictas que preservan la intención original de la evaluación.
  • El flujo incluye:
    1. Propuestas de reparación independientes por dos equipos de expertos.
    2. Auditoría de consistencia asistida por modelos.
    3. Adjudicación final por expertos para sintetizar una versión canónica.
  • Resultado: 1,143 ítems son corregidos y re-verificados (Subconjunto Revisado).

• Conjunto de Incertidumbre:

  • Los 689 ítems restantes, cuya validez no puede determinarse con certeza (debido a ambigüedad profunda o falta de consenso experto), se liberan como un Conjunto Documentado de Incertidumbre. Estos incluyen etiquetas de fuente de incertidumbre y requisitos de experiencia para futuras mejoras comunitarias.

Taxonomía de Defectos

Se define una taxonomía de 19 categorías de errores divididas en tres niveles:

• Nivel Problema (5 tipos): Errores semánticos, errores de conocimiento, información faltante, invalidez teórica y errores de formato semántico.
• Nivel Justificación (10 tipos): Violaciones de no redundancia, razonamiento circular, violaciones de validez empírica, inconsistencias en pasos, mala aplicación de dominio, sesgo de sobreconfianza, etc.
• Nivel Respuesta (4 tipos): Respuesta incorrecta, respuesta incompleta, respuesta ambigua/indeterminada y errores de formato semántico.

3. Contribuciones Clave

1. Lanzamiento de HLE-Verified: Un benchmark unificado y certificado que contiene 668 ítems verificados, 1,143 ítems revisados y un conjunto de 689 ítems de incertidumbre documentada.
2. Marco de Auditoría Post-Lanzamiento: Introducción de un protocolo sistemático de dos etapas para la verificación y reparación de benchmarks de alta dificultad, estableciendo un nuevo estándar para la mantenimiento de datos.
3. Análisis Empírico del Impacto: Evaluación de ocho modelos de vanguardia (incluyendo GPT-5.2, Claude Opus, Gemini, DeepSeek, etc.) comparando el rendimiento en HLE original vs. HLE-Verified, demostrando cómo la corrección de errores altera materialmente las métricas de rendimiento.
4. Metadatos Estructurados: Liberación de metadatos detallados que permiten auditorías transparentes y análisis estratificados por tipo de defecto y estado epistémico.

4. Resultados Experimentales

La comparación entre HLE original y HLE-Verified revela hallazgos significativos:

• Mejora en Precisión (Accuracy):
  • En el conjunto completo, los modelos mostraron una ganancia absoluta promedio de 7 a 10 puntos porcentuales en precisión al pasar a HLE-Verified.
  • En el Subconjunto Revisado (ítems que contenían errores en el enunciado o la respuesta), la mejora fue drástica, con un aumento promedio de 30 a 40 puntos porcentuales. Esto indica que gran parte de los "fallos" en el benchmark original se debían a defectos en el dataset y no a la incapacidad del modelo.
• Mejora en Calibración:
  • El error de calibración disminuyó consistentemente después de la corrección. Los modelos mostraron una relación más fiel entre su confianza declarada y la corrección real de la respuesta, sugiriendo que los ítems defectuosos inducían respuestas incorrectas con alta confianza (o viceversa).
• Análisis por Dominio:
  • Las mejoras fueron más pronunciadas en Física y Biología/Medicina, donde los errores en enunciados y respuestas eran más frecuentes y severos.
  • Se identificó que los errores en las respuestas (Answer-level) son predominantemente errores de corrección determinista, mientras que los errores en las justificaciones (Rationale-level) suelen ser estructurales o de representación.
• Confianza como Diagnóstico:
  • Se observó una fuerte asociación entre la confianza del modelo y la presencia de errores en el enunciado. Los modelos tendían a mostrar menor confianza en enunciados originales defectuosos; tras la reparación, su confianza aumentó sistemáticamente, validando la utilidad de la confianza como señal diagnóstica para detectar ítems ruidosos.

5. Significado e Impacto

El trabajo de HLE-Verified es fundamental para el campo de la evaluación de IA por varias razones:

• Fiabilidad Científica: Transforma HLE de un conjunto de datos con ruido no estructurado en una infraestructura de datos robusta y auditable, permitiendo comparaciones más justas y reproducibles entre modelos.
• Desmitificación de Métricas: Demuestra que las métricas de rendimiento en benchmarks de alta dificultad pueden estar severamente infladas o deprimidas por errores de anotación, y que la corrección de estos errores es esencial para medir el progreso real en capacidades de razonamiento.
• Enfoque en la Integridad de Componentes: Establece que la validez de un ítem de evaluación es multidimensional; un enunciado bien formulado puede ser inválido si la respuesta o la justificación son incorrectas.
• Colaboración Comunitaria: Al liberar el conjunto de "incertidumbre" con etiquetas claras, fomenta una mejora continua y colaborativa del benchmark, reconociendo que algunos problemas requieren conocimiento de nicho para resolverse.

En resumen, HLE-Verified no es solo una corrección de datos, sino un cambio metodológico hacia la verificación explícita, la transparencia en la corrección y la gestión de la incertidumbre en la evaluación de modelos de lenguaje avanzados.