FEM-Bench: A Structured Scientific Reasoning Benchmark for Evaluating Code-Generating LLMs

Este artigo apresenta o FEM-Bench, um benchmark estruturado baseado em tarefas de mecânica computacional projetado para avaliar rigorosamente a capacidade de grandes modelos de linguagem de gerar código de método de elementos finitos cientificamente válido, revelando que mesmo os modelos de última geração lutam para resolver consistentemente esses problemas não triviais.

O essencial

Imagine que você está tentando ensinar um robô brilhante e culto a ser um engenheiro estrutural. Você não quer apenas que ele escreva código que pareça funcionar; você quer que ele escreva código que realmente entenda as leis da física, como gravidade, tensão e como os materiais se dobram.

Este artigo apresenta o FEM-Bench, um "exame final" projetado especificamente para testar se os Modelos de Linguagem Grande (LLMs) — os cérebros de IA por trás de ferramentas como o ChatGPT — conseguem realizar esse tipo de engenharia científica séria.

Aqui está uma análise do artigo usando analogias simples:

1. O Problema: O "Calculador" vs. O "Engenheiro"

Pense nos modelos de IA atuais como calculadoras incrivelmente rápidas. Se você pedir a eles para escrever um programa simples para somar números ou ordenar uma lista, eles são ótimos. Mas se você pedir para eles simularem como uma ponte desaba sob um caminhão pesado, eles geralmente falham.

Por quê? Porque construir uma simulação física não é apenas escrever código; é sobre:

• Entender as regras: Saber exatamente como as forças se movem através de uma viga.
• Conectar os pontos: Pegar pequenas partes de um quebra-cabeça (pequenas partes de uma estrutura) e encaixá-las perfeitamente para formar uma imagem completa.
• Verificar o trabalho: Escrever um teste para provar que a simulação não está mentindo.

Os autores perceberam que não havia um "teste de direção" padrão para a IA neste campo específico. Os testes existentes verificam se a IA consegue escrever um site ou resolver um enigma matemático, mas não se ela consegue construir um modelo cientificamente válido do mundo físico.

2. A Solução: FEM-Bench (O "Teste de Direção")

Os autores criaram o FEM-Bench, uma coleção de 33 desafios específicos baseados em uma disciplina de primeiro ano de pós-graduação em mecânica computacional.

• A Analogia: Imagine um teste de direção. Você não apenas pede ao motorista para "dirigir". Você pede para ele fazer uma baliza, entrar em uma rodovia e navegar por uma rotatória.
• As Tarefas: No FEM-Bench, o "dirigir" envolve coisas como:
  • Calcular como uma viga 3D se dobra quando você a pressiona.
  • Transformar uma forma contínua e suave (como uma ponte curva) em uma grade digital de pequenos triângulos (chamada de "malha" ou "meshing").
  • Resolver equações complexas para ver se uma estrutura irá sofrer flambagem (colapsar) sob pressão.

3. A Reviravolta: Duas Partes do Teste

O benchmark não pede apenas que a IA escreva o código. Ele pede duas coisas:

1. O Código: O programa de simulação real.
2. O Teste: Um conjunto de regras de "verificação" (testes unitários) que a IA deve escrever para provar que seu próprio código funciona.

A Metáfora: É como pedir a um aluno não apenas para construir uma ponte de palitos de picolé, mas também para escrever uma lista de verificação provando que a ponte não cairá. Se o aluno constrói uma ponte que parece legal, mas desaba quando você coloca um peso nela, ele reprova. Se ele constrói uma ponte que aguenta, mas não consegue escrever um teste para provar que ela é correta, ele também reprova.

4. Os Resultados: A IA é Inteligente, Mas Ainda Não Chegou Lá

Os autores submeteram os 10 melhores modelos de IA (incluindo os mais recentes do Google, OpenAI e Anthropic) a este exame. Aqui está o que eles descobriram:

• As Coisas Fáceis: As IAs são ótimas no básico. Elas conseguem lidar facilmente com problemas simples e de linha reta (como uma única viga de madeira). É como se elas conseguissem fazer uma baliza perfeitamente.
• As Coisas Difíceis: Quando os problemas ficam complexos — como lidar com forças de torção, formas curvas ou prever quando uma estrutura irá sofrer flambagem — as IAs começam a tropeçar.
  • O "Gap de Conhecimento": Às vezes, a IA simplesmente não conhecia a fórmula específica para um fenômeno físico complexo. Era como um motorista que sabe dirigir um carro, mas não conhece as regras de uma rotatória.
  • O "Gap de Montagem": Às vezes, a IA conhecia as peças, mas não conseguia montá-las corretamente. Era como ter todas as instruções de LEGO, mas encaixar os blocos errados.
  • O "Gap de Teste": Mesmo quando a IA escrevia uma simulação perfeita, ela frequentemente falhava em escrever os testes para provar que estava correta. Escrever a "lista de verificação" era mais difícil do que construir a "ponte".

A Pontuação:

• O melhor modelo (Gemini 3 Pro) acertou cerca de 90% das tarefas simples.
• No entanto, nas tarefas mais difíceis (aquelas que exigem física complexa sem ajuda), nenhum modelo conseguiu resolvê-las de forma consistente.
• Curiosamente, a IA era frequentemente melhor em escrever o código do que em escrever os testes para verificar esse código.

5. O Experimento da "Folha de Cola"

Os pesquisadores tentaram ver se poderiam ajudar a IA dando-lhe uma "folha de cola" (um prompt de sistema com instruções extras).

• Resultado: Quando deram à IA as fórmulas específicas e complexas que lhe faltavam, ela de repente ficou muito melhor em resolver os problemas difíceis.
• A Lição: A IA não é "burra"; ela apenas carece de conhecimento específico e profundo sobre certas fórmulas físicas. Ela não consegue "inventar" a matemática de uma ponte colapsando na hora, mas se você entregar a fórmula, ela pode usá-la perfeitamente.

Resumo

O FEM-Bench é um choque de realidade para a IA na ciência. Ele mostra que, embora a IA esteja ficando muito boa em programação geral, ela ainda tem dificuldade em ser um engenheiro confiável e independente para problemas físicos complexos. Ela consegue seguir instruções e construir modelos simples, mas ainda não consegue raciocinar de forma confiável através das leis profundas, desordenadas e precisas da física necessárias para simular o mundo real sem ajuda humana.

O artigo conclui que precisamos de benchmarks como este para acompanhar o progresso. À medida que a IA se torna mais inteligente, o "teste de direção" precisará ficar mais difícil para continuar medindo a melhoria real.

Resumo técnico

Resumo Técnico: FEM-Bench: Um Benchmark de Raciocínio Científico Estruturado para Avaliar LLMs de Geração de Código

Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) avançam em sua capacidade de raciocinar sobre o mundo físico, uma lacuna crítica permanece na avaliação rigorosa de sua capacidade de gerar modelos físicos cientificamente válidos. Enquanto os benchmarks existentes avaliam lógica de programação geral, habilidades de engenharia de software ou raciocínio matemático, nenhum avalia especificamente a capacidade de um LLM realizar a modelagem física, a discretização numérica e o raciocínio computacional estruturado exigidos para a computação científica avançada. Em campos como a mecânica computacional, um programa que executa, mas produz resultados não convergentes, instáveis ou fisicamente impossíveis, não possui valor científico. A disciplina exige adesão estrita às equações governantes, consistência numérica e transformações geométricas, contudo, os benchmarks atuais falham em capturar essas restrições específicas do domínio. Há uma necessidade de um benchmark que possa distinguir entre a mera geração de código e a implementação de algoritmos fundamentados na física e numericamente consistentes.

Metodologia

Os autores introduzem o FEM-Bench, um benchmark diagnóstico projetado para avaliar LLMs em sua capacidade de gerar código correto de Método de Elementos Finitos (FEM) e Análise Estrutural Matricial (MSA). Diferente de conjuntos de dados de treinamento de larga escala, o FEM-Bench é um conjunto curado de 33 tarefas introdutórias, porém não triviais, alinhadas com um curso de pós-graduação inicial em mecânica computacional.

Estrutura do Benchmark

• Design de Tarefas: Cada tarefa é um módulo Python autossuficiente apresentando uma implementação de referência, um conjunto de testes unitários do tipo pytest e implementações incorretas conhecidas ("falhas esperadas") projetadas para testar o poder discriminativo.
• Domínios: O conjunto abrange três domínios:
  • FEM 1D: Discretização fundamental e elasticidade linear.
  • FEM 2D: Interpolação de ordem superior, quadratura multidimensional e mapeamentos geométricos.
  • MSA 3D: Rotinas de elementos locais, transformações de coordenadas, montagem global e problemas de autovalor (análise de flambagem).
• Dificuldade em Camadas: As tarefas são classificadas usando um identificador CC/H/T. CC denota o desafio conceitual (não linearidade linear vs. geométrica), H é o número de funções auxiliares na referência, e T indica o nível das funções auxiliares fornecidas ao modelo (T0: nenhuma fornecida; T1: todas fornecidas; T2/T3: parciais ou nenhuma). Este design isola déficits de conhecimento do domínio (incapacidade de construir componentes ausentes) de déficits de raciocínio composicional (incapacidade de encadear componentes fornecidos).
• Pipeline de Avaliação: O framework avalia duas capacidades:
  1. Correção da Função: O código gerado é executado contra entradas de verificação curadas e comparado às saídas de referência usando correspondência numérica recursiva.
  2. Avaliação de Conjunto de Testes: Os testes unitários gerados devem passar na implementação de referência e falhar em todas as implementações de "falha esperada" fornecidas. A métrica principal é a Taxa de Sucesso Conjunta Média.

Configuração Experimental

Os autores avaliaram dez LLMs de última geração (incluindo Gemini 3 Pro, GPT-5, Claude Opus 4.5 e modelos de pesos abertos como Qwen3 e Llama 4) através das 33 tarefas. A inferência foi conduzida com temperatura baixa (0.1) e configurações de alto raciocínio onde suportado. Os autores também realizaram um estudo preliminar usando o algoritmo de otimização de prompt GEPA para determinar se as lacunas de desempenho eram devidas à engenharia de prompt ou a déficits inerentes de conhecimento do domínio.

Principais Resultados

• Teto de Desempenho: Nenhum modelo completou com sucesso todo o conjunto FEM-Bench 2025. O modelo com melhor desempenho para escrita de funções, Gemini 3 Pro, resolveu 30/33 tarefas pelo menos uma vez em cinco tentativas e 26/33 tarefas consistentemente (5/5). O melhor modelo para escrita de testes unitários, GPT-5, alcançou uma Taxa de Sucesso Conjunta Média de 73,8%.
• Gradiente de Dificuldade de Tarefa: Os modelos reproduziram de forma confiável blocos de construção fundamentais (ex: elasticidade linear 1D, geração de malha básica), mas tiveram dificuldades significativas conforme as tarefas introduzam não linearidade geométrica ou exigissem raciocínio além da aplicação direta de fórmulas.
  • Tarefas Não Resolvidas: Três tarefas não foram resolvidas nem mesmo uma única vez por qualquer modelo: MSA_3D_assemble_global_geometric_stiffness_T3, MSA_3D_elastic_critical_load_T3 e MSA_3D_local_geometric_stiffness_T0. Estas tarefas exigem a geração de matrizes de rigidez geométrica complexas sem funções auxiliares.
• Análise de Erros: As falhas foram categorizadas em três déficits:
  1. Déficit de Conhecimento do Domínio: Incapacidade de recordar fórmulas específicas de mecânica (ex: termos de acoplamento de rigidez geométrica).
  2. Déficit de Raciocínio Composicional: Falha ao encadear corretamente funções auxiliares fornecidas.
  3. Déficit de Fidelidade Algorítmica: Erros de indexação, incompatibilidade de convenção de sinais ou rotinas incompletas.
• Otimização de Prompt: A otimização GEPA revelou que instruções de raciocínio genéricas (ex: "pense cuidadosamente") não melhoraram o desempenho. Ganhos significativos foram observados apenas quando os prompts de sistema otimizados injetaram explicitamente conhecimento específico do domínio (ex: a formulação exata da matriz de rigidez geométrica), confirmando que o principal gargalo é a falta de conhecimento específico do domínio, e não a capacidade de raciocínio geral.

Significância e Alegações

O artigo afirma que o FEM-Bench estabelece uma base estruturada para avaliar código científico gerado por IA, indo além da simples correção de sintaxe para avaliar a validade física e a consistência numérica.

• Utilidade Diagnóstica: O benchmark identifica efetivamente modos específicos de falha na computação científica, distinguindo entre modelos que podem seguir instruções e aqueles que possuem as capacidades de raciocínio físico necessárias.
• Limitações Atuais: Os resultados indicam que, embora os LLMs de última geração sejam cada vez mais capazes de contribuir para tarefas numéricas estruturadas, eles ainda não estão prontos para implementar ou verificar autonomamente fluxos de trabalho de computação científica avançada envolvendo não linearidade geométrica ou problemas complexos de autovalor sem andaimes externos ou injeção explícita de conhecimento do domínio.
• Direção Futura: Os autores postulam que futuras iterações do FEM-Bench incorporarão tarefas cada vez mais sofisticadas para rastrear o progresso. Eles sugerem que preencher a lacuna atual pode exigir a integração de LLMs com ferramentas externas para raciocínio simbólico, execução de código automatizada e recuperação autoritativa, em vez de depender apenas de conhecimento pré-treinado.

O trabalho serve como uma linha de base para a comunidade, destacando que a "última milha" da geração de código científico requer um nível de precisão e raciocínio específico do domínio que os modelos atuais lutam para alcançar em um cenário de passagem única e zero-shot.