NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?

Resumen Técnico: NatureBench

Declaración del Problema

A medida que los agentes de codificación de IA evolucionan de la reproducción de código publicado hacia la realización de investigación científica autónoma, ha surgido una brecha crítica de evaluación. Los benchmarks actuales para agentes científicos sufren de dos limitaciones primarias:

1. Reproducción vs. Descubrimiento: Los benchmarks actuales basados en artículos (p. ej., PaperBench, CORE-Bench) prueban principalmente la capacidad de un agente para reproducir un método publicado. No logran responder si un agente puede descubrir de forma independiente un método competitivo o superior en problemas científicos reales.
2. Fragmentación del Entorno: Los benchmarks de optimización de ingeniería (p. ej., MLE-bench, PostTrainBench) suelen depender de tareas de estilo Kaggle u objetivos de post-entrenamiento que carecen del razonamiento de dominio y las herramientas especializadas de las ciencias naturales. Además, sufren de fragmentación de entornos, lo que hace que la verificación independiente y la ejecución reproducible sean frágiles.

Existe la necesidad de un benchmark que sea tanto desafiante como bidireccional: que evalúe si los agentes pueden idear métodos que superen el estado del arte (SOTA) publicado en problemas científicos genuinos extraídos de las ciencias naturales, en lugar de basarse en proxies de ingeniería.

Metodología: NatureGym y NatureBench

Los autores presentan NatureBench, un benchmark transdisciplinario de 90 tareas destiladas de publicaciones de la familia Nature revisadas por pares, construido sobre NatureGym, un pipeline automatizado diseñado para convertir artículos en paquetes de tareas reproducibles y contenedorizados.

1. El Pipeline de NatureGym

NatureGym aborda el problema de la fragmentación del entorno a través de un pipeline de tres etapas, con revisión de control, que transforma un artículo fuente en un paquete de tareas estandarizado:

• Etapa 1: Filtrado de Artículos: Un filtro de cascada de tres niveles evalúa los artículos basándose en la extractabilidad de la tarea (debe generar una tarea de ML), la automatizabilidad de la evaluación (debe tener una métrica determinista y automatizada) y la completitud de los datos (accesibles públicamente, <50GB). Un paso de revisión adversarial tiene como objetivo detectar falsos positivos.
• Etapa 2: Adquisición y Verificación de Datos: El pipeline descarga los datos y establece un estricto cortafuegos de información. Separa la definición de la tarea (entradas) del algoritmo central del artículo fuente (salidas/métodos). Solo se conservan los archivos necesarios para definir la tarea (p. ej., entradas puras, preparación de datos compartida); los archivos específicos del algoritmo original se excluyen.
• Etapa 3: Construcción del Paquete de Tareas: El paquete final incluye un resumen de la tarea, el conjunto de datos, un conjunto de prueba con la verdad de campo (ground truth) oculta y un evaluador automatizado. El método de origen se elimina por completo, obligando a los agentes a descubrir soluciones en lugar de reproducirlas.

2. Composición del Benchmark

• Origen: 90 tareas derivadas de 10 revistas de la familia Nature (2022–2025), incluyendo Nature Machine Intelligence, Nature Methods y Nature Biomedical Engineering.
• Dominios: Seis dominios de tareas científicas: Ómica Celular (31 tareas), Biología de Proteínas (16), Modelado Biomédico (14), Modelado Físico (13), Diseño Molecular (11) y Razonamiento Relacional (5).
• Protocolo de Evaluación: Los agentes operan en contenedores Docker aislados con un presupuesto de 4 horas de tiempo de reloj y acceso restringido (sin búsqueda web). Envían soluciones iterativas puntuadas contra el SOTA reportado en el artículo.
• Métrica: La métrica principal es la brecha relativa normalizada al SOTA ($g$):
  $$g_i = \text{dir}_i \cdot \frac{m_i - m_{\text{sota}}}{|m_{\text{sota}}|}$$
  Donde $m_i$ es la puntuación del agente y $m_{\text{sota}}$ es el SOTA reportado en el artículo. Un valor de $g > 0.1$ indica superar el SOTA; $g \ge 0$ indica igualar el SOTA.

3. Configuración Experimental

Se evaluaron diez configuraciones de agentes de frontera bajo un protocolo estricto de deshabilitación de búsqueda web. Estas incluían modelos de tres entornos (harnesses):

• Claude Code: Emparejado con Claude Opus 4.6, 4.7, Kimi K2.6, MiniMax-M2.7, DeepSeek-V4-Pro, GLM-5.1 y Qwen 3.7 Max.
• Codex CLI: Emparejado con GPT-5.4 y GPT-5.5.
• Gemini CLI: Emparejado con Gemini 3.5 Flash.

Resultados Clave

1. Rendimiento vs. SOTA Publicado

Incluso los agentes más fuertes luchan por superar el SOTA publicado en problemas científicos reales:

• Superar el SOTA ($g > 0.1$): El mejor performer, Claude Opus 4.7, superó el SOTA en solo el 17.8% de las tareas. El siguiente mejor, Gemini 3.5 Flash y GPT-5.5, lograron 15.6% y 14.4% respectivamente. El modelo más débil (MiniMax-M2.7) logró solo un 1.1%.
• Igualar el SOTA ($g \ge 0$): El mejor agente igualó o excedió el SOTA en el 47.8% de las tareas. El resto de los agentes oscilaron entre el 13.3% y el 37.8%.
• Validez: Los agentes de Claude Opus demostraron la mayor integridad, con tasas de completitud y puntuación del 100% y cero envíos inválidos (atajos/shortcuts).

2. Análisis de Mecanismos de Éxito y Fracaso

• Vías de Éxito: Cuando los agentes tienen éxito, lo hacen principalmente mediante la traslación metodológica (45.5% de los éxitos), convirtiendo tareas científicas complejas en problemas familiares de predicción supervisada. La invención científica genuina o las alternativas basadas en el razonamiento de dominio representaron menos del 10% de los éxitos.
• Modos de Fracaso: Los fallos están dominados por la elección de método incorrecto (45.1%) e insuficiencia de presupuesto de cómputo/tiempo (24.4%). El malentendido de la tarea o la producción de salidas malformadas constituye una fracción insignificante de los fallos.
• Dificultad de Dominio: Existe un gradiente de dificultad constante entre dominios. El Razonamiento Relacional y la Biología de Proteínas son los más fáciles, mientras que el Modelado Biomédico y el Diseño Molecular son los más difíciles. Las tareas interdisciplinarias (que combinan múltiples dominios) muestran consistentemente brechas más amplias respecto al SOTA que las tareas de una sola disciplina.

Significado y Reivindicaciones

El artículo afirma que NatureBench es el primer benchmark que combina tareas derivadas de artículos, dominios científicos genuinos y evaluación orientada al descubrimiento (superar el SOTA) en un solo marco.

• Más allá de la Reproducción: Los resultados indican que los agentes de codificación de IA actuales son capaces de la optimización de ingeniería y de la reproducción de patrones conocidos, pero aún no son capaces de un descubrimiento científico genuino que supere consistentemente a los métodos escritos por humanos en la literatura.
• El Cuello de Botella de la "Traslación": El mecanismo de éxito dominante es la traslación de problemas científicos a pipelines de ML estándar, lo que sugiere que los agentes son actualmente aceleradores de "IA para la ciencia" en lugar de resolutores de problemas "nativos de la IA". Sobresalen aplicando herramientas de ML conocidas, pero luchan con las elecciones metodológicas requeridas para el descubrimiento científico novedoso.
• Validez del Benchmark: Los autores sostienen que el diseño del benchmark, particularmente el cortafuegos de información y la métrica normalizada al SOTA, proporciona una forma creíble, reproducible y estandarizada de evaluar la investigación científica autónoma, abordando los problemas de fragmentación y credibilidad de los benchmarks anteriores.

Los autores liberan el benchmark, el pipeline de NatureGym y un leaderboard público para facilitar la investigación futura sobre cómo convertir estos sustratos en datos de entrenamiento para la próxima generación de agentes de descubrimiento científico.