\$OneMillion-Bench: How Far are Language Agents from Human Experts?

El paper introduce \$OneMillion-Bench, un nuevo conjunto de 400 tareas curadas por expertos en cinco dominios profesionales que evalúa la fiabilidad y profundidad de los agentes de lenguaje en escenarios reales de alto impacto económico, superando las limitaciones de las pruebas actuales mediante una evaluación basada en criterios rigurosos de precisión factual, coherencia lógica y cumplimiento profesional.

Lo esencial

Imagina que hasta ahora, hemos estado probando la inteligencia de las máquinas con exámenes de opción múltiple, como si fueran estudiantes de secundaria resolviendo problemas de matemáticas en un cuaderno. Sabemos que las máquinas son muy buenas en eso. Pero, ¿son realmente útiles en el mundo real? ¿Podrían, por ejemplo, actuar como un abogado experto, un médico o un ingeniero financiero sin cometer errores catastróficos?

El artículo que presentas, $OneMillion-Bench, es como un "examen final de la vida real" para estas inteligencias artificiales. Aquí te explico de qué trata usando analogías sencillas:

1. El Problema: Exámenes vs. La Vida Real

Hasta ahora, las pruebas de IA eran como pedirle a un chef que describa cómo se hace una tortilla en un papel. La IA puede escribir una receta perfecta. Pero $OneMillion-Bench le pide a la IA que cocine la tortilla de verdad, con ingredientes reales, sin quemarla y que esté lista para que un cliente la coma.

El problema es que las tareas reales (en leyes, finanzas, medicina) son complejas, requieren buscar información actualizada, seguir reglas estrictas y tomar decisiones que cuestan dinero si fallas.

2. La Solución: El "Banco de Pruebas de un Millón de Dólares"

Los autores crearon un banco de pruebas llamado $OneMillion-Bench.

• ¿Qué es? Es una colección de 400 tareas difíciles creadas por expertos reales (abogados, doctores, financieros).
• ¿Por qué "un millón"? Imagina que cada tarea tiene un precio. Si un experto humano tardara 20 horas en hacerla y cobra $50 la hora, esa tarea vale $1,000. Sumando las 400 tareas, el valor total de todo el trabajo humano necesario para resolverlas supera un millón de dólares.
• La idea: No medimos solo si la IA "acierta", sino cuánto valor económico real puede generar. Si la IA hace el trabajo de un experto, ¿cuánto dinero se ahorra la empresa?

3. ¿Cómo se califica? (La Rúbrica)

En los exámenes escolares, solo importa la respuesta final (el número 5). En este examen, importa todo el proceso.
Imagina que la IA es un detective.

• Si el detective encuentra al criminal (la respuesta correcta) pero usó pruebas falsas o rompió la ley para hacerlo, reproba.
• El examen usa una puntuación basada en reglas (rúbricas). Los expertos humanos crearon listas de verificación:
  • ¿Buscó la información en la fuente correcta?
  • ¿Siguió las leyes locales?
  • ¿No inventó datos (alucinó)?
  • ¿La explicación tiene sentido lógico?

4. Los Resultados: ¿Quién es el mejor?

Probaron a 35 modelos de IA diferentes (los más famosos del mundo) en dos modos:

1. Solo cerebro: La IA responde con lo que sabe de su entrenamiento.
2. Con herramientas: La IA puede usar internet para buscar información actualizada (como un estudiante que tiene acceso a la biblioteca).

Las conclusiones clave:

• Hay un líder: El modelo Claude-Opus-4.6 fue el que mejor lo hizo, especialmente cuando pudo buscar información en internet.
• Internet es un arma de doble filo: Para los modelos inteligentes, buscar en internet les ayuda mucho. Pero para los modelos menos avanzados, buscar información a veces los confunde o les da datos contradictorios que los hacen fallar más. Es como darle un mapa a un conductor experto: llega más rápido. Pero darle un mapa a alguien que no sabe conducir puede hacer que se pierda.
• Los "investigadores profundos" no ganaron: Había modelos diseñados específicamente para investigar mucho (Deep Research), pero no superaron a los modelos generales que usaban internet de forma inteligente. La clave no es investigar más, sino investigar mejor.
• La brecha con los humanos: Aunque los modelos son impresionantes, todavía fallan en tareas que requieren un juicio humano muy fino. A menudo dan respuestas "casi correctas" pero que no sirven en la vida real porque se saltan un detalle legal o médico importante.

5. ¿Por qué es importante esto?

Este trabajo nos dice que la IA ya no es solo un "chatbot" divertido. Estamos entrando en una era donde la IA puede hacer trabajos reales que valen dinero.

• El mensaje final: No basta con que la IA sea "lista". Para que sea útil en hospitales, tribunales o bancos, debe ser confiable, precisa y capaz de seguir reglas.
• El futuro: Este examen ayuda a las empresas a saber qué IA pueden contratar para hacer el trabajo sucio y difícil, y a los desarrolladores a saber dónde deben mejorar sus máquinas.

En resumen:
$OneMillion-Bench es como un simulador de vuelo de alta precisión para la Inteligencia Artificial. Antes, solo probábamos si el avión podía despegar en un día soleado. Ahora, les pedimos que aterrice en medio de una tormenta, con visibilidad cero y pasajeros a bordo, para ver si realmente están listos para volar en el mundo real.

Resumen técnico

Resumen Técnico: $OneMillion-Bench

1. El Problema

A medida que los Modelos de Lenguaje (LM) evolucionan de asistentes de chat a agentes capaces de razonamiento de largo alcance y uso de herramientas, las evaluaciones existentes presentan deficiencias críticas:

• Desconexión con la realidad profesional: La mayoría de los benchmarks actuales se limitan a tareas estructuradas, estilo examen o preguntas de opción múltiple, que no capturan la complejidad, el contexto rico y las restricciones estrictas del trabajo profesional real.
• Falta de evaluación de valor económico: No existe una métrica clara para cuantificar cuánto valor económico real pueden generar los agentes de IA en entornos profesionales de alto riesgo (finanzas, derecho, salud, etc.).
• Saturación de métricas tradicionales: Los benchmarks tradicionales están alcanzando la saturación, dejando incierto si los agentes actuales pueden realizar trabajos confiables y valiosos en escenarios económicos reales.

2. Metodología

Los autores introducen $OneMillion-Bench ($1M-Bench), un nuevo estándar de evaluación diseñado para medir la preparación profesional y económica de los agentes de lenguaje.

• Construcción del Dataset:

  • Escala: 400 tareas curadas por expertos, abarcando 5 dominios de alto impacto: Finanzas, Derecho, Salud, Ciencias Naturales e Industria.
  • Origen: Las tareas fueron diseñadas por más de 2.000 horas de trabajo de expertos humanos.
  • Valoración Económica: Cada tarea se asigna un valor monetario real calculado multiplicando el tiempo estimado de un experto senior por su salario horario (basado en datos del BLS de EE. UU. y guías de mercado de China). La suma total del valor de todas las tareas supera $1 millón de dólares.
  • Diversidad Lingüística: 200 tareas en inglés y 200 en chino, con el conjunto chino adaptado cultural y regulatoriamente (no es una traducción directa).

• Mecanismo de Evaluación (Rubricas):

  • En lugar de una única respuesta correcta, se utiliza un sistema de puntuación basado en rúbricas (criterios detallados).
  • Expert Score: Una métrica continua (0-1) que evalúa el cumplimiento de criterios profesionales (precisión factual, coherencia lógica, viabilidad práctica, cumplimiento normativo).
  • Penalizaciones Negativas: Se implementan rúbricas con pesos negativos (hasta -20) para penalizar comportamientos críticos como alucinaciones, violaciones de normas de seguridad, o incumplimiento de instrucciones, alineándose con la lógica de riesgo del mundo real.
  • Pass Rate: Porcentaje de tareas donde el agente supera un umbral de competencia (Expert Score ≥ 0.7).

• Proceso de Curación:

  • Validación Adversarial: Las tareas se prueban contra agentes de vanguardia; solo se retienen aquellas que los agentes no pueden resolver trivialmente.
  • Revisión por Pares: Dos expertos independientes revisan cada tarea y rúbrica, con un tercer experto resolviendo discrepancias.
  • Filtrado de Extremos: Se eliminan tareas demasiado fáciles (sin discriminación) o imposibles (donde todos fallan sistemáticamente).

3. Contribuciones Clave

1. Evaluación Anclada en la Economía: Es el primer benchmark que traduce la capacidad de un agente en un valor monetario tangible, permitiendo comparar el "retorno de inversión" de diferentes modelos.
2. Taxonomía de Habilidades Orientada a la Tarea: Desglosa el rendimiento en cuatro capacidades fundamentales: Búsqueda Web, Razonamiento, Verbalización y Seguimiento de Instrucciones, permitiendo un análisis granular más allá de la precisión agregada.
3. Mecanismo de Evaluación Multidimensional: Combina la precisión factual con la conformidad profesional y la seguridad, utilizando rúbricas con penalizaciones asimétricas para reflejar la gravedad de los errores en entornos reales.
4. Cobertura Bilingüe y Cultural: Incluye un conjunto de datos específico para China que prueba la adaptabilidad de los agentes a regulaciones locales y contextos culturales, no solo a conocimientos generales.

4. Resultados Principales

Se evaluaron 35 modelos (Vanilla, Agentes con Búsqueda Web y Agentes de Investigación Profunda) en los conjuntos de datos Global y CN.

• Liderazgo y Brecha: CLAUDE-OPUS-4.6 se posiciona como el líder indiscutible tanto en modelos base como con búsqueda habilitada. La brecha de rendimiento se amplía significativamente cuando se permite la búsqueda web para los modelos superiores.
• Impacto de la Búsqueda Web (Herramienta de doble filo):
  • Para los modelos más fuertes (ej. Claude-Opus-4.6, GPT-5.4), la búsqueda mejora consistentemente la puntuación experta y la tasa de aprobación.
  • Sin embargo, para modelos más débiles o menos robustos, la búsqueda a menudo reduce el rendimiento al introducir ruido, evidencia contradictoria o desviar el razonamiento, lo que indica que la capacidad de filtrar y sintetizar información es tan crucial como la recuperación.
• Agentes de Investigación Profunda vs. Generales: Los agentes especializados en investigación profunda (ej. o3-DeepResearch) obtienen puntuaciones competitivas en el medio, pero no superan a los mejores modelos generales equipados con búsqueda. Esto sugiere que la cobertura robusta de rúbricas y el cumplimiento de normas son más decisivos que los flujos de trabajo de investigación complejos.
• Análisis por Dominio:
  • Finanzas: Es el dominio más difícil para la mayoría de los modelos, requiriendo precisión numérica y lógica estricta.
  • Salud y Derecho: Los modelos líderes obtienen puntuaciones más altas, pero aún fallan en detalles operativos específicos y aplicación de normas locales.
• Estabilidad Temporal: Los modelos muestran un rendimiento significativamente menor en preguntas sensibles al tiempo (actualidad) en comparación con preguntas atemporales, revelando una dependencia excesiva de anclajes temporales en el razonamiento.
• Escalabilidad en Tiempo de Prueba: Aumentar el número de intentos (k) mejora la probabilidad de obtener al menos una respuesta correcta (pass@k), pero degrada la fiabilidad del resultado agregado, indicando que la consistencia sigue siendo un desafío.

5. Significado e Implicaciones

• Cambio de Paradigma: $OneMillion-Bench desplaza el enfoque de la evaluación desde la "corrección superficial" (responder bien a un examen) hacia la "confiabilidad económica" (realizar trabajo profesional valioso y seguro).
• Madurez de los Agentes: Los resultados demuestran que, aunque los modelos han avanzado, aún existe una brecha de fiabilidad significativa para el trabajo profesional autónomo. Los agentes a menudo fallan en mantener la coherencia, seguir restricciones complejas y evitar alucinaciones en contextos de alto riesgo.
• Guía para el Desarrollo Futuro: El benchmark sugiere que el progreso futuro no depende solo de modelos más grandes, sino de mejorar la integración de herramientas, la planificación bajo restricciones y la adherencia estricta a normas profesionales.
• Utilidad Práctica: Proporciona a empresas e investigadores una métrica interpretable para decidir qué agente es adecuado para tareas específicas basadas en el valor económico potencial y el riesgo de fallo.

En conclusión, $OneMillion-Bench establece un nuevo estándar para evaluar la preparación de la IA para la realidad profesional, demostrando que la verdadera madurez de un agente se mide por su capacidad para entregar trabajo confiable, conforme y económicamente valioso, no solo por su capacidad de generar texto coherente.