INCARBench: A Benchmark for Scientific Configuration in VASP INCAR by Large Language Models

Resumen Técnico: INCARBench

Declaración del Problema

Los modelos de lenguaje de gran tamaño (LLM) se están integrando cada vez más en los flujos de trabajo de computación de primeros principios, pero su capacidad específica para configurar cálculos científicos aún no se comprende bien. En el Paquete de Simulación Ab Initio de Viena (VASP), el archivo INCAR sirve como la interfaz crítica que traduce la intención científica en una configuración computacional. Esta tarea implica seleccionar y coordinar ajustes de parámetros distintos y, a menudo, acoplados para diversos efectos físicos (por ejemplo, magnetismo, DFT+U, interacciones de van der Waals) y tipos de flujo de trabajo (por ejemplo, relajación de la geometría, análisis de la estructura de bandas).

Un desafío clave identificado es que un archivo INCAR ejecutable no necesariamente corresponde a un cálculo científicamente correcto. Las evaluaciones existentes de los LLM en la ciencia se centran principalmente en la recuperación de conocimientos, el razonamiento o la predicción de propiedades, rara vez evaluando si un modelo puede traducir la intención científica en una configuración que sea tanto físicamente significativa como consistente con el flujo de trabajo. Además, los flujos de trabajo prácticos a menudo requieren modificar configuraciones existentes en lugar de generarlas desde cero, una capacidad (reparación de configuración) que permanece en gran medida inexplorada.

Metodología

Para abordar estas brechas, los autores introducen INCARBench, un benchmark diseñado para evaluar a los LLM en tareas de generación y reparación de INCAR de VASP.

Construcción del Conjunto de Datos

• Alcance: El benchmark cubre 48 materiales extraídos de 16 familias de materiales representativas (incluyendo metales, óxidos correlacionados, materiales de baterías y sistemas magnéticos).
• Flujos de Trabajo: Cada material se empareja con cuatro tipos de flujo de trabajo estándar de VASP: campo autoconsistente estático (SCF), relajación de la geometría, estructura de bandas no autoconsistente (NSCF) y densidad de estados (DOS) NSCF.
• Casos:
  • Generación: 192 casos (48 materiales × 4 flujos de trabajo).
  • Reparación: 576 casos derivados del conjunto de generación. Cada caso de generación se convierte en tres variantes de reparación:
    1. Correct-to-Preserve (Correcto para Preservar): Sin errores inyectados, prueba la capacidad del modelo para evitar la sobreedición de configuraciones válidas.
    2. Workflow-Mistake (Error de Flujo de Trabajo): Errores introducidos en los ajustes que definen el flujo de trabajo (por ejemplo, controles de NSCF, manejo de la densidad de carga).
    3. Physics-Mistake (Error de Física): Errores introducidos en los ajustes que definen la física (por ejemplo, magnetismo, DFT+U, correcciones de van der Waals, smearing).
  • Tipos de Desafío: Los casos se etiquetan con desafíos específicos conscientes de la física (flujos de trabajo NSCF, DFT+U, magnetismo, vdW, smearing, simetría) para localizar los modos de falla.

Marco de Evaluación

La calidad de la configuración se evalúa a través de tres dimensiones complementarias, distinguiendo la corrección a nivel de parámetro de las configuraciones científicamente válidas:

1. Corrección Semántica: Mide si el significado físico pretendido (por ejemplo, ISPIN, MAGMOM, LDAU) está codificado correctamente.
2. Corrección de Política: Evalúa si las elecciones numéricas y metodológicas (por ejemplo, ENCUT, EDIFF, SIGMA) están configuradas apropiadamente, utilizando reglas de tolerancia específicas por parámetro.
3. Corrección de Tarea Crítica (TCC): Una métrica estricta a nivel de caso que evalúa si todos los grupos de parámetros críticos para la tarea (requisitos de definición de flujo de trabajo y de física) se satisfacen simultáneamente. Un solo error en un grupo crítico provoca el fallo de todo el caso.

El benchmark evalúa 19 configuraciones de LLM de frontera de proveedores que incluyen OpenAI, Anthropic, Google, DeepSeek, Alibaba y otros, utilizando prompts estandarizados y procedimientos de análisis.

Resultados Clave

Rendimiento de Generación

• Separación de Capacidades: Existe una variación sustancial en el rendimiento entre los modelos, con puntuaciones que abarcan más de 25 puntos porcentuales. GPT-5.4 logró la puntuación general más alta (84.7%).
• La Brecha TCC: Mientras que los modelos líderes lograron altas puntuaciones semánticas y de política, la Corrección de Tarea Crítica (TCC) se mantuvo sustancialmente más baja en casi todas las familias de modelos. Esto demuestra que la precisión a nivel de parámetro no implica necesariamente una configuración científicamente válida.
• Desacoplamiento de Habilidades: Se observó una "brecha de Política-Semántica". Algunos modelos (por ejemplo, Qwen3.6+ NT) exhibieron una mayor fidelidad de política que de comprensión semántica (reproduciendo patrones de parámetros sin la intención física completa), mientras que otros (por ejemplo, GPT-5.4 XH) mostraron lo contrario. Esto sugiere que la comprensión física y la recuperación de la política numérica son capacidades parcialmente independientes.

Rendimiento de Reparación

• Preservación vs. Corrección: Los modelos generalmente encontraron más fácil preservar configuraciones válidas que corregir errores inyectados. Las tasas de preservación fueron consistentemente más altas que las tasas de corrección de errores.
• Déficit de TCC: Incluso cuando los modelos preservaron con éxito partes de una configuración y corrigieron algunos errores, fallaron frecuentemente al intentar restaurar todos los grupos de parámetros críticos para la tarea simultáneamente, lo que resultó en puntuaciones de TCC bajas.
• Modos de Comportamiento: La mayoría de los modelos exhibieron un comportamiento de reparación "conservador" (brecha negativa de Fix–Preserve), protegiendo los ajustes existentes pero dejando los errores sin resolver. Algunos modelos mostraron un comportamiento "agresivo", mejorando las tasas de corrección pero con el riesgo de modificar configuraciones válidas.

Localización de Fallas

El análisis de fallas reveló que los errores no se distribuyen uniformemente, sino que se concentran en ajustes físicamente acoplados:

• Regímenes de Alta Dificultad: Óxidos de metales de transición, óxidos correlacionados y materiales de baterías que involucran restricciones de DFT+U; materiales magnéticos bajo configuraciones magnéticas; y materiales laminados bajo restricciones de van der Waals.
• Dependencia del Contexto: La dificultad surge de las interacciones entre la física dependiente del material y las restricciones de desafío específicas (por ejemplo, el DFT+U es particularmente desafiante cuando se combina con sistemas correlacionados), en lugar de errores aislados de predicción de parámetros.

Significancia y Reivindicaciones

El artículo establece la configuración científica como una capacidad medible de los modelos de lenguaje de gran tamaño. Sus principales contribuciones y reivindicaciones son:

1. Distinción de Validez: Generar un archivo INCAR ejecutable es sustancialmente más fácil que producir una configuración científicamente válida. El benchmark resalta que las métricas convencionales de coincidencia de parámetros pueden sobreestimar la capacidad de un LLM para apoyar flujos de trabajo científicos reales.
2. Evaluación Multidimensional: El marco demuestra que la configuración científica requiere la satisfacción simultánea de la intención física (semántica), la estrategia numérica (política) y las restricciones del flujo de trabajo (TCC).
3. Complejidad de la Reparación: El estudio revela que la corrección de errores y la preservación de la configuración son capacidades distintas. Una reparación científica efectiva requiere no solo diagnosticar ajustes incorrectos, sino también ejercer la moderación para evitar la interrupción de configuraciones válidas.
4. Base para Trabajos Futuros: INCARBench proporciona una base para el desarrollo de sistemas de IA más fiables para la ciencia de materiales computacional. Los autores señalan que el benchmark actual se centra en la configuración de entrada y no evalúa los resultados de la ejecución ni el comportamiento de convergencia, lo que sugiere que el trabajo futuro podría extenderse hacia benchmarks conscientes de la ejecución.

Los autores concluyen que, si bien los modelos de frontera actuales muestran potencial, persisten brechas significativas en el manejo de regímenes físicos complejos y acoplados, lo que requiere un mayor desarrollo para lograr flujos de trabajo científicos impulsados por IA que sean robustos.