Solver-Independent Automated Problem Formulation via LLMs for High-Cost Simulation-Driven Design

1. El Problema

En el ámbito del diseño impulsado por simulaciones de alto costo (como el diseño de antenas, aeroespacial o microelectrónica), existe un cuello de botella crítico: la traducción de requisitos de diseño ambiguos (expresados en lenguaje natural por ingenieros) a modelos de optimización matemática ejecutables.

• Desafíos actuales:
  • El proceso manual es lento y depende totalmente de expertos.
  • Los métodos existentes basados en LLMs (como Chain-of-Experts o OptiMUS) suelen fallar en la formalización precisa de requisitos complejos o dependen de retroalimentación de solucionadores (solvers) para filtrar datos.
  • En simulaciones de alto costo (ej. simulaciones electromagnéticas de onda completa), ejecutar un solucionador para validar o filtrar datos de entrenamiento es prohibitivamente caro y lento, lo que impide el uso de técnicas de filtrado basadas en ejecución.

2. Metodología Propuesta: APF

Los autores proponen APF (Automated Problem Formulation), un marco de trabajo independiente de solucionadores que utiliza LLMs para convertir requisitos en modelos matemáticos sin necesidad de ejecutar simulaciones costosas durante la fase de entrenamiento.

El marco consta de cuatro módulos principales (ver Figura 2 del artículo):

A. Representación Unificada

Se estandarizan los requisitos y las instancias de prueba:

• Requisitos ($R$): Se definen como tuplas estructuradas $(Z, M, C)$, donde $Z$ es una subregión de variables (ej. rango de frecuencia), $M$ es una métrica (ej. eficiencia de radiación) y $C$ es la intención de diseño (umbral o objetivo).
• Instancias de Prueba ($I$): Son respuestas de rendimiento derivadas de simulaciones de alta fidelidad, representadas como curvas o vectores de alta dimensión.

B. Generación de Datos

• Se extraen requisitos estructurados de registros históricos de simulación.
• Un LLM guía la generación de ecuaciones matemáticas correspondientes a estos requisitos.
• Aumento de Datos: Se aplica para mejorar la generalización:
  1. Parafraseo Semántico: Reescribir requisitos manteniendo constantes y unidades.
  2. Permutación de Orden: Cambiar el orden de los requisitos y ecuaciones para evitar que el modelo dependa de pistas posicionales.

C. Evaluación Independiente de Solucionadores (Núcleo Innovador)

Dado que no se pueden ejecutar simulaciones para validar datos, APF utiliza una estrategia de consistencia de ranking:

1. Anotación de Instancias: Un LLM actúa como "experto" para generar un ranking de referencia ($\pi_{LLM}$) de un conjunto de instancias de prueba basándose en los requisitos $R$. Utiliza una estrategia de ranking listwise (evaluar todo el conjunto a la vez) en lugar de pareado, lo que es más eficiente y captura mejor los compromisos globales.
2. Evaluación de Ecuaciones: Las ecuaciones generadas por el modelo se ejecutan sobre las mismas instancias (cálculo matemático rápido, sin simulación física) para obtener un ranking predicho ($\pi_E$).
3. Puntuación de Calidad: Se calcula el coeficiente de correlación de Spearman entre el ranking predicho y el ranking de referencia. Solo se retienen los pares (Requisito, Ecuación) con alta correlación (ej. > 0.7) para el conjunto de entrenamiento final ($D_{HQ}$).

D. Ajuste Fino Supervisado (SFT)

El conjunto de datos de alta calidad ($D_{HQ}$) se utiliza para realizar un Supervised Fine-Tuning (SFT) en LLMs de código abierto (como Llama-3.1, Qwen2.5, Mistral), mejorando su capacidad para formalizar problemas.

3. Contribuciones Clave

1. Marco APF: Un sistema automatizado que transforma requisitos de ingeniería en modelos de optimización ejecutables sin depender de solucionadores costosos.
2. Pipeline de Generación de Datos de Alta Calidad: Combina aumento de datos y anotación de instancias para crear conjuntos de entrenamiento robustos en ausencia de retroalimentación de simulación.
3. Módulo de Evaluación Independiente: Utiliza el razonamiento de LLMs para evaluar la calidad de la formulación mediante la consistencia de rankings, eliminando la necesidad de validación física costosa.
4. Validación Industrial: Aplicación exitosa en el diseño de antenas, demostrando que modelos pequeños ajustados pueden superar a modelos grandes genéricos en tareas específicas.

4. Resultados Experimentales

El método se validó en un caso de estudio de diseño de antenas de parche filtrante, donde se deben optimizar curvas de eficiencia de radiación en múltiples bandas de frecuencia (paso, nulos, bandas de parada).

• Comparación de Modelos: APF (con SFT) superó consistentemente a:
  • Modelos base de código abierto (Llama, Qwen, Mistral).
  • Métodos basados en prompting (GPT-4o, DeepSeek-V3, Chain-of-Experts, OptiMUS).
• Métricas:
  • El modelo LLaMA3.1-8B ajustado con APF logró una puntuación de alineación total ($A$) de 0.7976, superando significativamente a su versión base (0.2248) y a GPT-4o (0.6651).
  • En la optimización real, las formulaciones generadas por APF produjeron curvas de eficiencia que cumplían todos los requisitos de diseño (paso plano, rechazo en nulos, etc.), mientras que otros métodos fallaron en cumplir con las restricciones de las bandas de paso y nulos de radiación.
• Eficiencia de Evaluación: La evaluación listwise redujo el tiempo de evaluación de ~2544 segundos a ~97 segundos y el costo de API de $0.47 a$0.02 comparado con métodos pairwise, manteniendo una alta correlación con rankings humanos.

5. Significado e Impacto

• Democratización del Diseño: Permite que modelos de lenguaje más pequeños y accesibles (7B-8B parámetros) realicen tareas de ingeniería complejas con un rendimiento superior a modelos masivos, siempre que estén bien ajustados con datos de alta calidad.
• Escalabilidad: Al eliminar la dependencia de la ejecución de solucionadores físicos para el entrenamiento, el método es escalable a dominios donde las simulaciones son extremadamente costosas.
• Automatización de Flujo de Trabajo: Cierra la brecha entre la especificación cualitativa de ingenieros y la implementación cuantitativa necesaria para algoritmos de optimización, acelerando el ciclo de diseño de productos.

En resumen, APF representa un avance significativo hacia la automatización de la formulación de problemas en ingeniería, resolviendo el dilema de la falta de datos de entrenamiento validados en entornos de simulación de alto costo mediante una evaluación inteligente basada en LLMs.