Rethinking Scientific Modeling: Toward Physically Consistent and Simulation-Executable Programmatic Generation

Resumen Técnico: Repensando el Modelado Científico hacia la Generación Programática Físicamente Consistente y Ejecutable

Título original: Rethinking Scientific Modeling: Toward Physically Consistent and Simulation-Executable Programmatic Generation

1. El Problema: La Brecha entre la Sintaxis y la Física

El modelado estructural es un pilar de la ingeniería computacional donde incluso errores mínimos en las especificaciones pueden invalidar simulaciones completas. Aunque los Modelos de Lenguaje de Gran Escala (LLMs) han demostrado capacidad para generar código, en dominios científicos como la ingeniería civil enfrentan dos problemas críticos:

• Inconsistencia Física: Los LLMs suelen generar código que es sintácticamente correcto (no tiene errores de Python) pero físicamente absurdo (viola leyes de la mecánica o normas de diseño).
• Falta de Ejecutabilidad: Los modelos fallan al manejar dependencias complejas de APIs (como OpenSeesPy), generando errores de lógica de dominio o de estado del simulador.

2. Metodología Propuesta: El Marco AutoBM

Los autores proponen AutoBM (Automatic Building Modeling), un marco de trabajo diseñado para cerrar la brecha entre las especificaciones en lenguaje natural y la generación de código de modelado listo para simulación. La metodología se divide en tres pilares:

A. Construcción de Datos (CivilInstruct):
Se creó un conjunto de datos especializado mediante un pipeline de cuatro etapas:

1. Aprendizaje de API: Basado en la documentación oficial de OpenSeesPy.
2. Instrucciones de experto: Casos de uso de ingeniería con parámetros de diseño.
3. Bug-CoT (Chain-of-Thought de errores): Datos de depuración basados en registros de errores reales para enseñar al modelo a corregir fallos de ejecución.
4. Datos informados por la física: Ejemplos de alta calidad validados mediante análisis de elementos finitos para proporcionar señales de supervisión física.

B. Estrategia de Entrenamiento (RLA-SPC):
Se emplea un aprendizaje por refuerzo de dos etapas para alinear el modelo con las restricciones de ingeniería:

• Etapa I (SFT - Fine-Tuning Supervisado): Inicializa el modelo para asegurar que aprenda la sintaxis de OpenSeesPy y el formato de las instrucciones.
• Etapa II (SPC-GRPO - Optimización de Política Relativa al Grupo con Restricciones Físicas): Utiliza una variante de GRPO que aplica una Recompensa Híbrida de Multigranularidad (MGHR). Esta recompensa evalúa:
  • Cumplimiento de formato (Markdown/tags).
  • Completitud lógica (uso correcto de las jerarquías de la API mediante análisis de Árbol de Sintaxis Abstracta - AST).
  • Consistencia física (ejecución en un entorno seguro/sandbox para verificar que el periodo fundamental de la estructura sea correcto).

C. Evaluación (BMBench/BMEval):
Un benchmark que no solo mide si el código corre, sino su precisión numérica (periodos de vibración), cumplimiento de normativas de diseño (deriva de entrepiso) y la capacidad de generar conclusiones de ingeniería válidas.

3. Contribuciones Clave

• Formalización de la tarea AutoBM: Define el modelado automático de edificios como un problema de síntesis de programas condicionado por especificaciones de ingeniería.
• Dataset CivilInstruct: Un recurso masivo y estructurado que integra conocimiento de dominio y razonamiento de restricciones.
• Algoritmo RLA-SPC: Un método innovador de alineación que utiliza recompensas basadas en la ejecución física para mitigar las "alucinaciones físicas".
• Benchmark BMEval: Un protocolo de evaluación multidimensional que va más allá de la simple corrección de código.

4. Resultados Principales

• Mejora drástica en la alineación: Los experimentos muestran que el uso de RLA-SPC eleva significativamente el rendimiento en comparación con modelos base (como CodeLlama o Qwen). Por ejemplo, en el modelo CodeLlama-7B, la ejecutabilidad pasó de un 7.03% a un 55.73% tras la aplicación de RLA-SPC.
• Reducción de alucinaciones: El entrenamiento de dos etapas permite que el modelo pase de generar código "sintácticamente correcto pero físicamente erróneo" a generar modelos que cumplen con las normativas de diseño sísmico.
• Eficacia del Bug-CoT: La inclusión de datos de depuración mejoró la robustez del código, permitiendo al modelo evitar errores comunes de la API de OpenSeesPy.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en el modelado científico: pasar de la generación de código genérico a la generación de código con conciencia física. La capacidad de transformar descripciones textuales en modelos estructurales precisos y ejecutables abre la puerta a una automatización profunda en la ingeniería civil, permitiendo ciclos de diseño-análisis mucho más rápidos y confiables, reduciendo la intervención manual y el error humano en procesos de simulación complejos.