Resumo Técnico: ShapeBench

Declaração do Problema

A Otimização de Forma Aerodinâmica (ASO) tem registrado avanços rápidos nas capacidades dos otimizadores, incluindo métodos baseados em gradiente, algoritmos evolutivos, otimização bayesiana e abordagens emergentes guiadas por Grandes Modelos de Linguagem (LLM). No entanto, o campo carece de frameworks de avaliação padronizados e escaláveis. As benchmarks atuais são frequentemente restritas (por exemplo, limitadas a perfis aerodinâmicos 2D), carecem de diversidade nas formulações de problemas e falham em fornecer comparações com orçamentos equivalentes. Essa limitação impede uma avaliação justa entre métodos e obscurece o quão bem os algoritmos generalizam entre diferentes classes de formas e regimes de otimização. Além disso, a dependência de modelos substitutos para reduzir custos computacionais introduz riscos de erros de aproximação e "exploração de substitutos", onde otimizadores encontram projetos que maximizam as previsões do substituto, mas são fisicamente implausíveis ou inviáveis. Há uma necessidade crítica de uma benchmark unificada que abranja tarefas aerodinâmicas diversas, suporte análise de lacuna de fidelidade e inclua ferramentas diagnósticas rigorosas para validar a credibilidade dos projetos.

Metodologia

Os autores introduzem o ShapeBench, uma benchmark e suíte de diagnóstico de código aberto projetadas para padronizar a avaliação de ASO. A metodologia abrange quatro componentes principais:

1. Suíte de Tarefas Unificada: O ShapeBench compreende 103 tarefas de ASO instanciadas abrangendo oito categorias de formas aerodinâmicas: perfis aerodinâmicos 2D, asas delta 3D, corpos de asa mista (BWB), asas varridas transônicas, carros de passageiros, aeronaves de combate colaborativas (CCA) e projetos conceituais de variáveis mistas (CERAS e Aeronaves de Transporte Supersônico). As tarefas cobrem regimes de otimização de objetivo único/múltiplo, ponto único/múltiplo e variáveis mistas.
2. Pipelines de Simulação Emparelhadas: Cada tarefa é emparelhada com um modelo substituto rápido e pré-treinado para busca eficiente (por exemplo, NeuralFoil para perfis aerodinâmicos, VortexNet para asas delta, modelos baseados em Transolver para CCA e carros). Quando viável, uma pipeline de Dinâmica dos Fluidos Computacional (CFD) de alta fidelidade está disponível para verificação final, permitindo uma análise sistemática da lacuna de fidelidade.
3. Otimizadores e Baselines Padronizados: O framework fornece um protocolo de avaliação reproduzível com orçamentos computacionais equivalentes. Inclui otimizadores clássicos estabelecidos (Adjoint/IPOPT, L-BFGS-B, PSO, CMA-ES, Otimização Bayesiana) e otimizadores de propósito geral baseados em LLM (OpenEvolve, ShinkaEvolve). Adicionalmente, os autores introduzem o ShapeEvolve, um método evolutivo especializado em domínio com LLM que integra prompts específicos de ASO, feedback aerodinâmico e um amostrador secundário de LLM para busca local adaptativa.
4. Suíte de Diagnóstico: Para abordar a exploração de substitutos, o ShapeBench inclui um pipeline de diagnóstico em duas etapas. A primeira etapa realiza verificações determinísticas (viabilidade, validade geométrica, plausibilidade aerodinâmica). A segunda etapa utiliza um juiz integrativo de LLM para analisar gráficos de projeto e campos de fluxo, gerando relatórios auditáveis que sinalizam projetos não físicos e sugerem estratégias de mitigação.

Contribuições Principais

• Suíte de Avaliação Multidomínio: O lançamento do ShapeBench, cobrindo 103 tarefas em oito categorias de formas, permitindo comparação sistemática entre tarefas de otimizadores sob uma API unificada.
• Evidência Empírica de Não-Generalização: Documentação de instabilidade substancial nas classificações de otimizadores entre diferentes categorias de formas e formulações de problemas, com um coeficiente de Spearman $\rho$ médio entre pares $\approx 0,013$. Isso demonstra que conclusões tiradas de experimentos de tarefa única não generalizam de forma confiável.
• Novo Substituto e Conjunto de Dados: O desenvolvimento do COCOANet, um substituto baseado em Transolver para tarefas de Aeronaves de Combate Colaborativas (CCA), treinado em um novo conjunto de dados aberto de 3.570 simulações de CFD de alta fidelidade. Isso aborda um cenário com dados de treinamento públicos limitados.
• Framework de Diagnóstico: Uma suíte de diagnóstico que vai além de valores de recompensa escalares para avaliar a credibilidade do projeto, identificando modos de falha como colapso de fronteira e sobre-deformação geométrica.
• Baselines Especializadas: A introdução do ShapeEvolve, uma referência rigorosa para otimizadores guiados por LLM, juntamente com baselines padronizadas para métodos clássicos, facilitando comparações diretas justas.

Resultados

Experimentos conduzidos no ShapeBench revelam várias percepções críticas:

• Instabilidade de Classificação: O desempenho do otimizador é altamente dependente da tarefa. Por exemplo, a Otimização Bayesiana e o PSO performam bem nas tarefas CERAS e de asa delta, mas classificam-se mal em tarefas CCA, enquanto métodos guiados por LLM mostram a tendência oposta. Nenhum otimizador único domina em todas as categorias.
• Dependência do Orçamento: As classificações dos otimizadores mudam ao longo do curso da otimização; nenhum método mantém o primeiro lugar em todo o orçamento de avaliação.
• Exploração de Substitutos: Em tarefas como o projeto de carro 3D (DrivAerStar) e corpo de asa mista (BWB), os otimizadores frequentemente convergiram para projetos com coeficientes de arrasto extremamente baixos que eram geometricamente irreais (por exemplo, colapso do espaçamento traseiro ao solo). A Suíte de Diagnóstico identificou com sucesso esses casos como artefatos de exploração de substitutos, e não como melhorias físicas genuínas.
• Lacunas de Fidelidade: Comparações entre previsões de substitutos e solvers de alta fidelidade (por exemplo, XFOIL vs. NeuralFoil) revelaram lacunas de fidelidade, particularmente em regimes pós-stall ou nas bordas da distribuição de treinamento, onde os erros poderiam atingir até ~18% nas razões de sustentação-arrasto.
• Desempenho do ShapeEvolve: O ShapeEvolve demonstrou desempenho competitivo, frequentemente convergindo mais rápido que métodos clássicos em espaços complexos e de alta dimensão, como a tarefa CCA, onde superou significativamente as baselines clássicas.

Significado

O artigo postula que o ShapeBench é essencial para avançar a pesquisa em ASO ao fornecer um ambiente de avaliação reproduzível, comparável e abrangente. Seu significado reside em:

1. Correção de Overfitting: Ao expor a instabilidade de conclusões de tarefa única, desencoraja o overfitting de métodos para configurações de problemas específicas e restritas.
2. Garantia de Validade Física: A suíte de diagnóstico fornece um mecanismo para distinguir entre melhorias algorítmicas genuínas e artefatos de substitutos, garantindo que projetos com alta pontuação sejam fisicamente credíveis.
3. Facilitação da Integração de LLM: Ao oferecer comparações com orçamentos equivalentes e baselines especializadas, permite uma avaliação rigorosa de métodos guiados por LLM contra otimizadores clássicos estabelecidos.
4. Padronização Comunitária: O lançamento de tarefas, substitutos, dados de treinamento e scripts de avaliação apoia a pesquisa reproduzível e reduz a barreira para integrar novas tarefas e métodos ao ecossistema de ASO.

Os autores concluem que, embora o ShapeBench melhore significativamente a avaliação reproduzível de ASO, desafios permanecem, particularmente regarding a disponibilidade de verificação de alta fidelidade para todas as configurações e a vulnerabilidade inerente da otimização guiada por substitutos à exploração. Trabalhos futuros visam expandir a cobertura de alta fidelidade e fortalecer os controles de incerteza.