Research and Prototyping Study of an LLM-Based Chatbot for Electromagnetic Simulations

Este trabalho apresenta um chatbot baseado em modelos de linguagem (Google Gemini 2.0 Flash) que automatiza a geração e resolução de modelos de simulação eletromagnética bidimensionais usando Gmsh e GetDP, reduzindo o tempo de configuração e permitindo a definição de geometrias variáveis e rotinas de pós-processamento personalizadas.

O essencial

Imagine que você é um engenheiro elétrico e precisa projetar um sistema complexo, como um transformador ou um motor. Tradicionalmente, para simular como a eletricidade e o magnetismo se comportam nesses dispositivos, você teria que passar horas (ou dias) escrevendo código matemático complexo, desenhando geometrias ponto por ponto e configurando regras físicas detalhadas. É como tentar construir uma casa desenhando cada tijolo e cada pregada manualmente, antes mesmo de colocar o primeiro tijolo no lugar.

Este artigo apresenta uma solução inteligente: um "Assistente de Construção" baseado em Inteligência Artificial (um chatbot) que faz esse trabalho chato por você.

Aqui está a explicação passo a passo, usando analogias do dia a dia:

1. O Problema: A "Burocracia" da Simulação

Antes, para simular um campo eletromagnético, você precisava ser um especialista em programação e física. Você tinha que dizer ao computador: "Coloque um fio aqui, outro ali, defina o raio, defina a corrente, escreva a equação para calcular o calor...". Era como pedir para alguém construir uma casa, mas você tivesse que escrever o manual de instruções de como assentar cada tijolo.

2. A Solução: O "Chef de Cozinha" (O Chatbot)

Os autores criaram um chatbot que funciona como um Chef de Cozinha de elite.

• Você (o cliente): Em vez de escrever o código, você apenas diz ao Chef o que quer. Por exemplo: "Quero 12 fios dispostos em um círculo, com raio de 5mm, e quero ver onde eles esquentam mais."
• O Chef (a Inteligência Artificial): O Chef (que usa um modelo de linguagem chamado Google Gemini) entende o seu pedido em linguagem natural. Ele não apenas "adivinha", ele escreve o código necessário para criar o modelo, configurar a simulação e gerar os resultados.

3. Como Funciona a "Cozinha" (O Fluxo de Trabalho)

O sistema conecta três ferramentas principais, que são como os utensílios do Chef:

1. O Desenho (Gmsh): O Chef desenha a geometria (os fios e o espaço ao redor) automaticamente.
2. O Cálculo (GetDP): O Chef escreve as equações matemáticas (a "receita" da física) para calcular como a corrente elétrica se comporta.
3. O Resultado: O Chef roda a simulação e te entrega um relatório visual (mapas de calor, por exemplo) e um resumo em texto explicando o que aconteceu.

4. Os Níveis de Complexidade (O que o Chef consegue fazer)

O estudo testou o Chef em diferentes níveis de dificuldade:

• Nível Básico: O Chef cria padrões simples, como fios em círculo ou em linha reta. Funciona muito bem.
• Nível Intermediário: O Chef cria formas mais estranhas, como fios preenchendo um formato de trapézio ou seguindo uma curva senoidal. Aqui, às vezes ele precisa de um pouco mais de ajuda (mais detalhes no pedido) para não errar.
• Nível Avançado: O Chef tenta criar estruturas complexas, como condutores do tipo "Milliken" (usados em cabos de alta tensão). É aqui que a IA pode "alucinar" (cometer erros), como colocar 5 fios em um quadrado (que só tem 4 cantos) ou errar a fórmula física.

5. O Grande Desafio: "Alucinações" e Validação

A parte mais interessante do artigo é a honestidade sobre os erros.

• O Erro de Sintaxe: O Chef escreve uma frase que não faz sentido gramaticalmente (o código não roda).
• O Erro Semântico: O Chef escreve uma frase gramaticalmente perfeita, mas que significa algo errado. Exemplo: Ele calcula a energia magnética usando a fórmula errada (como multiplicar por 2 em vez de 0,25). O código roda, mas o resultado físico é falso.

O artigo propõe uma forma de pensar sobre isso como uma "Pilha de Verificação":

1. O código está escrito corretamente? (Sintaxe)
2. O código faz o que a física pede? (Semântica)
3. A geometria desenhada bate com o que você pediu? (Geometria)

Se qualquer uma dessas camadas falhar, o resultado é inútil.

6. O Veredito: Vale a pena?

Sim, mas com supervisão.

• Economia de Tempo: O que um engenheiro júnior levaria 8 horas para configurar, o chatbot faz em segundos. Isso permite testar muitas ideias rapidamente.
• Custo: É muito barato (centavos de dólar por simulação).
• A Pegadinha: A IA ainda não é perfeita. Ela precisa de um "Chefe de Cozinha" humano para verificar se o prato final está bom. Se você pedir algo muito vago, ela pode criar algo que parece bonito, mas não funciona na vida real.

Resumo Final

Este artigo mostra que podemos usar a Inteligência Artificial para traduzir nossa linguagem humana em linguagem de engenharia complexa. Em vez de aprender a programar equações de Maxwell, os engenheiros podem apenas "conversar" com o computador para criar simulações.

É como ter um assistente que sabe desenhar, sabe matemática avançada e sabe física, mas que às vezes precisa que você diga: "Ei, você esqueceu de colocar o sal na receita" (ou seja, corrigir um detalhe físico). O futuro é usar essa ferramenta para acelerar a inovação, desde que tenhamos olhos humanos para validar o resultado final.

Resumo técnico

Resumo Técnico: Estudo de Pesquisa e Prototipagem de um Chatbot Baseado em LLM para Simulações Eletromagnéticas

1. Problema e Motivação

O campo da inteligência artificial (IA) aplicado à eletromagnetismo tem focado predominantemente na substituição de métodos numéricos tradicionais (como o Método dos Elementos Finitos - MEF) por redes neurais (ex: redes neurais informadas por física ou operadores neurais) para resolver equações de valor de contorno.

Este trabalho aborda um problema ortogonal: como utilizar métodos de IA para reduzir o tempo de configuração de modelos de simulação eletromagnética, em vez de resolver as equações numéricas em si. O objetivo é automatizar a geração de modelos de simulação (malhas, definições de materiais, condições de contorno e pós-processamento) através de linguagem natural, permitindo que engenheiros foquem no design físico e não na codificação técnica repetitiva.

2. Metodologia

Os autores desenvolveram um fluxo de trabalho (workflow) orientado por chatbot que integra um Modelo de Linguagem Grande (LLM) com ferramentas de código aberto para MEF.

• Arquitetura do Sistema:

  • LLM: Utiliza o modelo Google Gemini-2.0-Flash (versão multimodal, mas usada apenas para geração de texto). O modelo não é re-treinado (fine-tuning); em vez disso, é contextualizado via system prompts (instruções de sistema) contendo regras, exemplos e descrições de tarefas.
  • Ferramentas de Simulação:
    • Gmsh: Gerador de malhas de elementos finitos (2D), acionado via API Python.
    • GetDP: Solver de elementos finitos que utiliza uma linguagem específica de domínio (DSL) para definir formulações físicas e pós-processamento.
  • Orquestração: Python atua como a camada de coordenação, gerenciando a interação entre o usuário, o LLM e as ferramentas de simulação.

• Fluxo de Trabalho Básico:

  1. O usuário insere um prompt em linguagem natural (ex: "Simule 12 condutores em um círculo com raio R").
  2. O LLM gera código Python para criar uma lista de coordenadas (tuplas) representando a geometria dos condutores.
  3. O Python executa o código gerado, chamando a API do Gmsh para criar a malha (.msh).
  4. O Gmsh prepara os grupos físicos e o solver GetDP é executado via linha de comando (CLI) para resolver o problema de correntes parasitas (eddy currents) em regime magnetoquasistático.
  5. Os resultados são visualizados no Gmsh.

• Extensões Arquiteturais (Níveis de Autonomia):

  • Geração de Código DSL (GetDP): O LLM é instruído a gerar não apenas Python, mas também código na linguagem específica do GetDP (.pro) para definir quantidades de pós-processamento (ex: densidade de perda ôhmica, energia magnética).
  • Inferência sem Exemplos: Testou-se a capacidade do LLM de gerar código DSL correto sem exemplos explícitos no system prompt, dependendo apenas de descrições físicas detalhadas no prompt do usuário.
  • Resumo Textual: Um segundo chamado à API do LLM é usado para gerar um resumo textual natural dos resultados da simulação, explicando fenômenos físicos observados (ex: efeito pelicular e de proximidade).

3. Contribuições Principais

• Fluxo de Trabalho Automatizado: Apresentação de um protótipo funcional que permite a geração completa de modelos de simulação 2D de correntes parasitas a partir de prompts de linguagem natural.
• Inferência de Linguagem Específica de Domínio (DSL): Demonstração de que LLMs podem inferir e gerar código para solvers especializados (GetDP), uma tarefa complexa devido à baixa presença dessa linguagem nos dados de treinamento gerais.
• Estrutura de Avaliação de Falhas: Proposição de uma estrutura conceitual (representada como uma "pilha" ou stack) para classificar erros em quatro níveis:
  1. Sintaxe e Semântica do código Python.
  2. Sintaxe e Semântica da geometria gerada.
  3. Sintaxe e Semântica do código DSL (GetDP).
  4. Sintaxe e Semântica do resumo textual gerado.
• Benchmarking Comparativo: Avaliação quantitativa de diferentes modelos de IA (Gemma e Gemini) em tarefas de complexidade variada (básica, intermediária e avançada).

4. Resultados

O estudo foi avaliado através de três níveis de complexidade de prompts (configurações geométricas simples, trapezoidais e condutores do tipo Milliken) e diferentes modelos de IA.

• Desempenho dos Modelos:

  • Gemma-3-1b-It: Falhou completamente em gerar execuções sintaticamente corretas para qualquer nível de complexidade.
  • Gemma-3-27b-It: Conseguiu gerar código sintaticamente correto para casos básicos e intermediários, mas falhou na validação semântica (geometria correta e pós-processamento correto). Por exemplo, gerou geometrias válidas, mas plotou a perda ôhmica nos condutores errados.
  • Gemini-2.5-Flash: Demonstrou ser o modelo mais confiável. Para prompts básicos, alcançou quase 100% de sucesso em geometria e pós-processamento. Para casos avançados, obteve 75% de sucesso na geometria e 100% no pós-processamento (quando a geometria estava correta).
  • Gemini-3.1-Flash-Lite: Desempenho intermediário, com sucesso variável dependendo da complexidade.

• Eficácia do Prompting:

  • A inclusão de exemplos de código DSL no system prompt reduziu drasticamente erros de sintaxe (como chaves não fechadas).
  • Sem exemplos, o LLM frequentemente produzia código sintaticamente válido, mas semanticamente incorreto (ex: fatores físicos errados na fórmula de energia magnética), exigindo prompts de usuário mais detalhados para corrigir a física.

• Eficiência Temporal:

  • O fluxo de trabalho com IA reduziu o tempo de "experimentação" de horas (para um engenheiro humano) para segundos.
  • Um engenheiro júnior levaria ~8 horas para configurar um caso básico manualmente; o sistema de IA fez isso em segundos.

5. Significância e Conclusão

• Aceleração da Pesquisa: A ferramenta permite a exploração rápida de cenários físicos e configurações de modelos, reduzindo a barreira de entrada para simulações complexas.
• Mudança de Paradigma: O trabalho promove um estilo de desenvolvimento declarativo (o usuário descreve o que quer, não como codificar), transferindo a complexidade técnica para o LLM.
• Desafios Identificados:
  • A natureza probabilística dos LLMs torna difícil a garantia formal de que o resultado é sempre correto.
  • A validação automática é um desafio crítico; atualmente, a avaliação depende de revisão humana.
• Futuro: Os autores sugerem o uso de RAG (Retrieval-Augmented Generation) para fornecer ao LLM manuais e documentação técnica específicos das ferramentas (Gmsh/GetDP) em tempo real, e o desenvolvimento de métodos de avaliação semi-automatizados para validar a qualidade dos resumos e resultados gerados.

Em suma, o artigo demonstra que a IA generativa, quando devidamente contextualizada, é uma ferramenta viável e poderosa para automatizar a fase de pré-processamento e configuração de simulações eletromagnéticas, embora a validação robusta dos resultados físicos ainda exija supervisão humana ou métodos de verificação mais avançados.