Resumen Técnico: MDGYM: Evaluación de Agentes de IA en Simulaciones Moleculares

Enunciado del Problema

La visión del descubrimiento científico autónomo postula que los agentes de IA pueden formular hipótesis, diseñar experimentos y ejecutar flujos de trabajo computacionales de forma independiente. Sin embargo, las evaluaciones actuales en ingeniería de software (por ejemplo, SWE-bench) prueban principalmente la corrección sintáctica y la verificación conductual mediante trazas de pila o suites de pruebas. Estas evaluaciones no capturan los desafíos únicos de la computación científica, donde la "corrección" no se define por un resultado conocido, sino por la validez física.

En la simulación de Dinámica Molecular (DM), una tarea se considera exitosa solo si la trayectoria resultante representa un sistema físicamente coherente. A diferencia de la ingeniería de software, las simulaciones de DM a menudo se ejecutan hasta completarse sin errores en tiempo de ejecución, incluso cuando se configuran con campos de fuerza, conjuntos o pasos de tiempo incorrectos. La salida resultante es generada numéricamente pero carece de significado físico. Este modo de "fallo silencioso", combinado con la necesidad de razonamiento multietapa (configuración, minimización, equilibrado, producción, post-procesamiento) y la ausencia de retroalimentación de verdad fundamental durante la ejecución, presenta un entorno de prueba singularmente exigente para los agentes de IA. La pregunta central abordada es si los agentes de IA actuales pueden diseñar y ejecutar autónomamente estos flujos de trabajo científicos fundamentados en la física.

Metodología

La Evaluación MDGYM

Los autores introducen MDGYM, una evaluación curada por expertos que comprende 169 tareas de simulación molecular independientes que abarcan dos motores de DM ampliamente utilizados: LAMMPS y GROMACS. El conjunto de datos está estructurado en tres niveles de dificultad creciente:

• Nivel 1 (Fácil): Requiere un post-procesamiento mínimo de las salidas nativas de la simulación (por ejemplo, temperatura, presión, energía total).
• Nivel 2 (Medio): Requiere un post-procesamiento sustancial o lógica intermedia dentro del motor (por ejemplo, números de coordinación, radio de giro, seguimiento de enlaces de hidrógeno).
• Nivel 3 (Difícil): Implica configuraciones complejas, fuera de equilibrio, ejecuciones multietapa o post-procesamiento especializado (por ejemplo, ajuste de curvas para coeficientes de difusión, módulo de Young, viscosidad de cizalladura).

Las tareas cubren diversos materiales (biomoléculas, metales, polímeros, nanomateriales de carbono) y estados físicos. Todas las tareas fueron desarrolladas y verificadas por expertos del dominio, con valores de verdad fundamental obtenidos mediante la ejecución de simulaciones de referencia. Un proceso riguroso de control de calidad que involucró LLMs para la detección de ambigüedades y la inspección visual humana de las trayectorias (utilizando VMD/OVITO) garantizó el realismo físico.

Marco de Evaluación

La evaluación emplea una arquitectura modular con tres capas extensibles:

1. Capa de Agente: Interfaz con agentes de codificación accesibles mediante CLI.
2. Capa de Orquestación: Gestiona los prompts de tareas y la ejecución.
3. Capa de Validación: Compara las salidas del agente contra la verdad fundamental dentro de una tolerancia relativa del 5%.

Agentes Evaluados:

• Marcos: OpenHands (código abierto), Codex y Claude Code.
• LLMs: Se probaron cuatro arquitecturas base, incluyendo modelos propietarios (OpenAI Codex gpt-5.2-codex, Anthropic Claude Code claude-4.6-sonnet) y modelos de código abierto (Qwen3-Coder, GPT-OSS).

Métricas:

• Tasa de Éxito Total: El porcentaje de tareas donde todos los métricos requeridos caen dentro de la tolerancia del 5%.
• Puntuación de Crédito Parcial: La fracción de métricos individuales calculados correctamente.
• Análisis de Fallos: Una taxonomía de modos de fallo derivada de los registros de trayectoria, incluyendo errores de sintaxis, respuestas fabricadas, terminación prematura y configuraciones físicamente incoherentes.

Resultados Clave

Panorama del Rendimiento

La evaluación revela una brecha de rendimiento significativa en todos los agentes probados:

• Tareas Fáciles: Incluso los agentes más fuertes (Claude Code y Codex) alcanzan una tasa de éxito total de solo el 21%. Los modelos de código abierto a través de OpenHands tienen un rendimiento significativamente peor (Qwen al 2%, GPT-OSS al 0%).
• Tareas Medias/Difíciles: El rendimiento se degrada bruscamente. Claude Code cae al 7% (Medio) y al 4% (Difícil); Codex cae al 4% en ambas. Los modelos de código abierto convergen a tasas de éxito cercanas a cero.
• Crédito Parcial: Aunque los agentes a veces calculan métricos individuales correctamente, las puntuaciones agregadas de crédito parcial permanecen bajas, lo que indica que incluso cuando partes del flujo de trabajo tienen éxito, la pipeline de extremo a extremo falla.

Análisis del Modo de Fallo

El análisis de trayectorias identifica patrones de fallo distintos que difieren de las evaluaciones generales de ingeniería de software:

1. Caída en Tres Etapas: Los agentes frecuentemente inician simulaciones (Simulación Ejecutada) pero fallan en producir una respuesta válida (Respuesta Producida) o una correcta (Respuesta Correcta). Por ejemplo, en tareas fáciles, mientras que el 84-98% de las trayectorias ejecutaron simulaciones, solo el 33-37% produjeron una respuesta, y solo el 21% fueron correctas.
2. Incoherencia Física vs. Sintaxis:
   • Agentes Propietarios (Claude/Codex): Los fallos se deben a menudo a configuraciones físicamente incoherentes (por ejemplo, campos de fuerza incorrectos, termostatos incompatibles) en lugar de simples errores de sintaxis. Invocan con éxito la maquinaria de simulación pero producen trayectorias inestables.
   • Agentes de Código Abierto: Muestran tasas más altas de Respuestas Fabricadas (reportar valores sin ejecutar simulaciones) y Terminación Prematura (abandonar tareas al encontrar errores).
3. Fragilidad de la Pipeline: Los errores se acumulan a través de la pipeline de simulación. Los agentes a menudo tienen éxito en la inicialización pero fallan durante el equilibrado o la producción cuando las elecciones de parámetros físicos (por ejemplo, paso de tiempo, constantes de acoplamiento) determinan la estabilidad. Un solo error físico invalida todo el resultado aguas abajo.
4. Errores de Post-procesamiento: Incluso cuando las simulaciones se ejecutan con éxito, los agentes a menudo aplican procedimientos de análisis incorrectos (por ejemplo, ventanas de tiempo incorrectas para coeficientes de difusión), produciendo resultados numéricamente plausibles pero físicamente incorrectos.

Significado y Afirmaciones

El artículo afirma que MDGYM sirve como una herramienta de diagnóstico crítica que revela un déficit fundamental en los agentes de IA actuales: la incapacidad de transferir la generación fluida de código a un razonamiento físico fundamentado.

• Desafíos Específicos del Dominio: Los modos de fallo observados en MDGYM son cualitativamente distintos de los de la ingeniería de software. La falta de señales de error inmediatas e interpretables (como trazas de pila) para la invalidez física significa que los agentes no pueden confiar en heurísticas de depuración estándar.
• Limitaciones de las Evaluaciones Actuales: Los resultados sugieren que el progreso en evaluaciones generales de codificación (SWE-bench, HumanEval) no se traduce en capacidades de computación científica. La naturaleza de "fallo silencioso" de las simulaciones científicas requiere que los agentes posean conocimiento del dominio para reconocer y recuperarse de errores sin retroalimentación de verdad fundamental.
• Hoja de Ruta para Agentes Futuros: Los autores identifican tres brechas de capacidad que deben abordarse para que los agentes se conviertan en socios científicos confiables:
  1. Fundamentación Física: Razonar sobre la coherencia física de una configuración antes de la ejecución.
  2. Recuperación de Errores Consciente del Dominio: Interpretar mensajes de error específicos de la simulación para formular correcciones físicamente significativas.
  3. Precisión Metodológica: Comprender los procedimientos de análisis correctos para cantidades físicas específicas.

El artículo concluye que, aunque los agentes actuales muestran promesa en la generación de sintaxis, aún no son capaces de ejecutar autónomamente flujos de trabajo científicos de extremo a extremo en dinámica molecular. MDGYM se publica para rastrear el progreso hacia este objetivo y para destacar las capacidades específicas requeridas para el descubrimiento científico impulsado por IA confiable.