Solver-Independent Automated Problem Formulation via LLMs for High-Cost Simulation-Driven Design

---

1. Problema

O artigo aborda um gargalo crítico no design orientado a simulação de alto custo (comum em antenas, aeroespacial, microeletrônica e robótica). O desafio principal é traduzir requisitos de design ambíguos, expressos em linguagem natural por engenheiros, em modelos de otimização matemática executáveis (funções objetivo e restrições).

• Dificuldades Atuais:
  • O processo é manual, demorado e depende fortemente de especialistas.
  • As simulações de alta fidelidade são computacionalmente caras, tornando inviável o uso de feedback de solucionadores (solvers) para filtrar dados ou validar modelos durante o treinamento de IA.
  • Métodos existentes baseados em prompting (instruções diretas) falham em capturar a intenção de design com precisão, enquanto métodos de fine-tuning (ajuste fino) tradicionais dependem de dados rotulados por solucionadores, o que é proibitivo em cenários de alto custo.

2. Metodologia: Framework APF

Os autores propõem o APF (Automated Problem Formulation), um framework independente de solucionadores que utiliza Grandes Modelos de Linguagem (LLMs) para converter requisitos naturais em equações matemáticas. O framework consiste em quatro módulos principais:

A. Representação Unificada

• Requisitos: Formalizados como tuplas estruturadas $(Z, M, C)$, onde $Z$ é a sub-região da variável de avaliação (ex: faixa de frequência), $M$ é a métrica de desempenho e $C$ é a intenção de design (limiar ou objetivo de otimização).
• Instâncias de Teste: Definidas como respostas de desempenho derivadas de simulações de alta fidelidade, representadas como curvas de alta dimensão.

B. Geração de Dados e Aumento

• Geração de Equações: O LLM é guiado por prompts estruturados para traduzir requisitos extraídos de dados históricos de simulação em equações matemáticas.
• Aumento de Dados: Para melhorar a generalização, o sistema aplica:
  1. Parafraseamento Semântico: Reescreve os requisitos mantendo variáveis e unidades inalteradas.
  2. Permutação de Ordem: Alterna a ordem dos requisitos e equações para evitar que o modelo aprenda viéses de posição.

C. Avaliação Independente de Solucionadores (Núcleo Inovador)

Como não se pode usar o solver para validar a qualidade dos dados gerados, o APF utiliza uma estratégia baseada em instâncias de teste:

1. Anotação de Instâncias: O LLM atua como um "juiz" para gerar uma classificação de referência ($\pi_{LLM}$) de um conjunto de instâncias de teste, baseada nos requisitos de design.
2. Avaliação de Alinhamento: As equações geradas pelo modelo são executadas nas mesmas instâncias para produzir uma classificação predita ($\pi_E$).
3. Métrica de Qualidade: A qualidade do conjunto de dados é medida pelo coeficiente de correlação de Spearman entre a classificação predita e a de referência. Apenas pares (Requisito, Equação) com alta correlação são selecionados para o conjunto de treinamento.

D. Ajuste Fino Supervisionado (SFT)

O conjunto de dados de alta qualidade ($D_{HQ}$), filtrado pela métrica acima, é utilizado para realizar o fine-tuning supervisionado de LLMs de código aberto (como Llama-3.1-8B, Qwen2.5-7B e Mistral-7B).

3. Principais Contribuições

1. Framework APF: Uma abordagem completa para formulação automática de problemas que não depende de solvers caros para validação.
2. Pipeline de Geração de Dados de Alta Qualidade: Uma metodologia inovadora que combina aumento de dados e anotação de instâncias para criar conjuntos de treinamento robustos sem feedback de simulação.
3. Método de Avaliação Independente: Substitui o solver por uma avaliação baseada em LLMs que verifica a consistência da classificação de soluções, eliminando custos computacionais proibitivos.
4. Validação em Cenário Industrial: Demonstração prática em design de antenas, provando que modelos menores fine-tuned podem superar modelos grandes de propósito geral.

4. Resultados

O método foi testado no design de antenas de filtro de três camadas, um problema complexo com múltiplas bandas de frequência e requisitos conflitantes (maximizar eficiência na banda de passagem, suprimir em bandas de rejeição, etc.).

• Desempenho de Formulação:
  • O APF superou consistentemente métodos baseados em prompting (como GPT-4o, DeepSeek-V3, Chain-of-Experts) e modelos base open-source sem fine-tuning.
  • O modelo Llama-3.1-8B ajustado com APF atingiu uma pontuação de alinhamento global de 0.7976, superando o GPT-4o (0.6651) e o DeepSeek-V3 (0.7518).
• Desempenho de Design Real:
  • Ao usar as formulações geradas pelo APF em um otimizador Bayesiano, o design resultante satisfez todos os requisitos de design (banda de passagem e nulos de radiação).
  • As formulações de outros métodos falharam em atender aos requisitos críticos, resultando em curvas de eficiência de radiação inadequadas.
• Validação da Avaliação Independente:
  • A avaliação baseada em LLM mostrou alta concordância com rankings humanos (correlação de Spearman > 0.80).
  • A abordagem listwise (avaliar todos os itens de uma vez) foi mais eficiente e barata que a abordagem pairwise, mantendo a qualidade da avaliação.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na automação de engenharia assistida por IA.

• Viabilidade Econômica: Ao remover a dependência de solvers caros para o treinamento de modelos de formulação de problemas, o APF torna viável a aplicação de LLMs em domínios de engenharia onde cada simulação custa tempo e recursos computacionais massivos.
• Eficiência de Modelo: Demonstra que modelos de linguagem de tamanho moderado (7B-8B parâmetros), quando ajustados com dados de alta qualidade gerados sinteticamente, podem superar modelos proprietários muito maiores em tarefas específicas de domínio.
• Escalabilidade: O framework oferece um caminho escalável para automatizar a formalização de problemas em diversas áreas de design orientado a simulação, potencialmente revolucionando como engenheiros interagem com ferramentas de otimização.

Em resumo, o APF resolve o problema da "tradução" entre a intenção humana e a matemática executável em ambientes de alto custo, utilizando uma estratégia inteligente de geração e filtragem de dados que contorna a barreira do custo de simulação.