Research and Prototyping Study of an LLM-Based Chatbot for Electromagnetic Simulations

Dit onderzoek presenteert een op een groot taalmodel (Google Gemini 2.0 Flash) gebaseerde chatbot die de opzet en uitvoering van tweedimensionale elektromagnetische simulaties met Gmsh en GetDP automatiseert, waardoor de tijdsinvestering voor het modelleren van geleiders met variabele geometrieën en aangepaste post-processing aanzienlijk wordt gereduceerd.

De kern

Titel: De "Chatbot-architect" voor elektromagnetische simulaties

Stel je voor dat je een heel ingewikkeld bouwwerk moet ontwerpen, zoals een brug of een elektriciteitscentrale. Vroeger moest je als ingenieur eerst alle blauwdrukken met de hand tekenen, elke bout en schroef in een computerprogramma invoeren en wachten tot de berekening klaar was. Dit kon dagen duren.

Dit onderzoek introduceert een nieuwe manier van werken: een slimme chatbot die als een "architect-assistent" fungeert. In plaats van dat jij alles handmatig invoert, vertel je de chatbot gewoon in gewone taal wat je wilt, en hij bouwt het digitale model voor je.

Hier is hoe het werkt, uitgelegd in simpele termen:

1. Het Probleem: De "Bouwwerf"

In de wereld van elektromagnetisme (denk aan hoe stroom door kabels loopt of hoe motoren werken) moeten ingenieurs complexe wiskundige modellen maken. Ze gebruiken daarvoor speciale software (Gmsh en GetDP) die als een digitale bouwwerf werkt.

• De uitdaging: Om een simulatie te starten, moet je eerst de vorm van de draden, hun positie en hun eigenschappen in een heel specifieke, moeilijke programmeertaal invoeren. Dat is als proberen een huis te bouwen door elke steen met een vergrootglas te inspecteren en met een pen op een briefje te noteren waar hij moet liggen. Het duurt lang en is foutgevoelig.

2. De Oplossing: De "Tolk" (De Chatbot)

De auteurs hebben een chatbot gemaakt die werkt met een Grote Taalmodel (LLM), vergelijkbaar met de slimme AI's die we vandaag de dag kennen.

• Hoe het werkt: Jij typt een zinnetje in, bijvoorbeeld: "Zet 10 koperdraden in een cirkel en laat zien waar de warmte ontstaat."
• De magie: De chatbot vertaalt die simpele zin in de complexe "bouwtaal" die de computer nodig heeft. Hij schrijft automatisch de code voor de vorm van de cirkel, de positie van de draden en de berekening van de warmte.
• Het resultaat: In plaats van uren te besteden aan het invoeren van data, krijg je binnen enkele seconden een visueel resultaat: een kaartje dat laat zien waar de stroom loopt en waar de draden heet worden.

3. De Creatieve Analogie: De Chef-kok en de Sous-chef

Stel je voor dat je een Chef-kok bent (de ingenieur) en je wilt een ingewikkeld gerecht maken (de simulatie).

• Vroeger: Jij moest zelf de ingrediënten afwegen, de messen slijpen, het vuur aansteken en het recept stap voor stap in de kookpot doen.
• Nu: Jij zegt tegen je Sous-chef (de AI-chatbot): "Maak een soep met 5 soorten groenten in een bloemvorm."
  • De Sous-chef pakt het recept (de code), snijdt de groenten (maakt de geometrie), kookt de soep (voert de simulatie uit) en serveert het bordje (het resultaat).
  • De Sous-chef kan zelfs zelf bedenken hoe je de groenten moet snijden als je het niet precies zegt, maar soms moet je hem wel een beetje helpen door te zeggen: "Zorg dat ze niet te groot zijn" (dit noemen ze 'prompt engineering').

4. Wat hebben ze ontdekt? (De "Testrit")

De onderzoekers hebben de chatbot op de proef gesteld met verschillende moeilijke opdrachten:

• Eenvoudig: Draden in een cirkel. Resultaat: De chatbot deed dit perfect.
• Moeilijk: Draden in een ingewikkeld patroon (zoals een letter 'A' of een ruitpatroon). Resultaat: Soms maakte de chatbot kleine foutjes, zoals draden die elkaar raakten (wat in de echte wereld niet mag).
• Zeer moeilijk: Draden in een heel specifiek patroon met een complexe berekening van de energie. Resultaat: Hier had de chatbot soms hulp nodig van de mens om de regels duidelijk te maken.

De belangrijkste les: De chatbot is niet perfect. Hij kan soms "hallucineren" (dromen) en code schrijven die er goed uitziet, maar technisch onzin is. Daarom is het belangrijk dat de mens (de ingenieur) altijd de eindcontrole doet. Maar voor de basiswerkzaamheden bespaart het enorm veel tijd.

5. Waarom is dit belangrijk?

Stel je voor dat je een auto wilt testen.

• Zonder AI: Je moet elke test opzetten, de auto bouwen en de weg plannen. Dit kost dagen.
• Met AI: Je zegt: "Test de auto op een regenachtige weg met een bocht." De AI bouwt de virtuele weg en de auto in een seconde.

Dit onderzoek laat zien dat we met AI de tijd tot het eerste resultaat drastisch kunnen verkorten. Ingenieurs hoeven niet meer uren te besteden aan het "invoeren" van data, maar kunnen zich richten op het ontwerpen en het interpreteren van de resultaten.

Kortom: Deze chatbot is als een tolk die de moeilijke taal van de computer vertaalt naar gewoon Nederlands, zodat ingenieurs sneller kunnen bouwen, testen en innoveren. Het is geen vervanging voor de ingenieur, maar een superkrachtige hulpmiddel die het saaie werk overneemt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Research and Prototyping Study of an LLM-Based Chatbot for Electromagnetic Simulations", geschreven in het Nederlands.

Titel: Onderzoek en Prototyping van een op LLM gebaseerde Chatbot voor Elektromagnetische Simulaties

Doel van het onderzoek
Dit werk onderzoekt hoe generatieve kunstmatige intelligentie (AI) kan worden ingezet om de tijd die nodig is voor het opzetten van elektromagnetische simulatiemodellen te verminderen. In plaats van de numerieke oplossingsmethoden zelf te vervangen (zoals vaak gebeurt met Physics-Informed Neural Networks), richt de studie zich op de geassisteerde generatie van simulatiemodellen. Het centrale vraagstuk is hoe een Large Language Model (LLM) kan worden gebruikt om de workflow van het definiëren van geometrieën, het opstellen van domeinspecifieke code en het interpreteren van resultaten te automatiseren.

Methodologie

De auteurs hebben een chatbot-gedreven workflow ontwikkeld die de volgende componenten integreert:

1. LLM Core: Het gebruik van het multimodale model Google Gemini-2.0-Flash (en latere varianten in de evaluatie) voor tekstgeneratie. Het model wordt niet getraind of fine-ge-tuned; in plaats daarvan wordt het gecontextualiseerd via zorgvuldig ontworpen systeemprompts (prompt engineering).
2. Open Source Tools:
   • Gmsh: Voor het genereren van het eindige-elementen (FE) mesh. Dit wordt aangestuurd via een Python API.
   • GetDP: Een solver voor de eindige-elementenmethode die gebruikmaakt van een domeinspecifieke taal (DSL) in .pro-bestanden.
   • Python: Fungeert als de coördinerende laag die interacties tussen de LLM, Gmsh en GetDP automatiseert.
3. Probleemdefinitie: De studie focust op tweedimensionale, tijd-harmonische wervelstroomproblemen (eddy currents) met massieve geleiders met een cirkelvormige doorsnede. De posities en het aantal geleiders worden dynamisch bepaald door de gebruikersinvoer.
4. Workflow-architectuur:
   • De gebruiker geeft een natuurlijke taal prompt (bijv. "Plaats 12 geleiders in een cirkel").
   • De LLM genereert Python-code om de coördinaten te berekenen en GetDP-code voor post-processing (zoals het visualiseren van ohmse verliezen).
   • Python voert deze code uit, genereert het mesh, lost het probleem op en visualiseert de resultaten.
   • Optioneel genereert de LLM een tekstuele samenvatting van de fysische uitkomsten (bijv. uitleg over het skin-effect en nabijheidseffect).

Belangrijkste Bijdragen en Architecturale Uitbreidingen

Het artikel presenteert een evolutionaire reeks functionaliteiten:

• Generatie van Python-code: De chatbot kan succesvol Python-code genereren om complexe geometrische patronen (zoals hexagonale roosters, trapeziumvormige sleuven of Milliken-geleiders) te definiëren op basis van natuurlijke taal.
• Inferentie van Domeinspecifieke Taal (DSL): Een cruciale uitbreiding is het genereren van correcte GetDP-code. De auteurs tonen aan dat het opnemen van betekenisvolle voorbeelden in de systeemprompt essentieel is om syntaxfouten in de GetDP-taal te minimaliseren. Zonder voorbeelden neigt het model naar semantische fouten (fysisch onjuiste formules) of syntaxfouten.
• Tekstuele Samenvattingen: De workflow kan automatisch een natuurlijke taal samenvatting genereren die de fysische betekenis van de simulatie uitlegt (bijv. de invloed van het nabijheidseffect op de stroomdichtheid).
• Foutanalyse Framework: De auteurs introduceren een conceptueel raamwerk om fouten te categoriseren in een "stapel" van syntaxis en semantiek op verschillende niveaus:
  1. Python-code (syntaxis/semantiek).
  2. Geometrie (syntaxis/semantiek).
  3. GetDP-code (syntaxis/semantiek).
  4. Fysica (syntaxis/semantiek).
     Dit helpt bij het begrijpen waar en waarom een workflow faalt (bijv. code die compileert maar een fysisch onjuist resultaat oplevert).

Resultaten en Evaluatie

De auteurs hebben een evaluatiestudie uitgevoerd met verschillende LLM-modellen (Gemma-3, Gemini-2.5, Gemini-3.1) en drie niveaus van complexiteit (basis, intermediair, geavanceerd).

• Succespercentages:
  • Gemma-3-1b-It: Faalt volledig bij het genereren van syntactisch correcte workflows voor de geteste prompts.
  • Gemma-3-27b-It: Bereikt syntactisch succes, maar faalt vaak semantisch (bijv. verkeerde geometrieën of foutieve post-processing), vooral bij intermediaire en geavanceerde prompts.
  • Gemini-2.5-Flash: Blijkt de meest betrouwbare optie. Voor basis- en intermediaire prompts levert het bijna altijd een geldige geometrie en post-processing. Zelfs bij geavanceerde prompts (zoals Milliken-geleiders) behaalt het een hoog succespercentage (75% voor geldige geometrieën).
  • Gemini-3.1-Flash-Lite: Presteert goed, maar iets minder betrouwbaar dan Gemini-2.5-Flash bij complexe geometrische configuraties.
• Kostenefficiëntie en Tijd:
  • De AI-workflow reduceert de tijd tot experimentatie drastisch. Waar een menselijke ingenieur 2 tot 8 uur nodig heeft om een model op te zetten, duurt de AI-workflow slechts enkele seconden.
  • De kosten per simulatie zijn laag (ongeveer €1 voor een reeks tests), wat de methode kosteneffectief maakt voor prototyping.
• Beperkingen: Het model kan "hallucineren" (bijv. een vierkant met 5 hoekpunten genereren) of fysisch incorrecte formules genereren als de prompt niet specifiek genoeg is of als er geen voorbeelden in de systeemprompt staan.

Significantie en Toekomstperspectief

• Versnelling van Onderzoek: De studie toont aan dat LLM's de drempel voor het opzetten van complexe elektromagnetische simulaties kunnen verlagen, waardoor onderzoekers sneller verschillende scenario's kunnen verkennen.
• Declaratieve Ontwikkelstijl: De tool verschuift de focus van "hoe" (stap-voor-stap coderen) naar "wat" (beschrijven van het gewenste resultaat), wat de toegankelijkheid van simulatiesoftware vergroot.
• Noodzaak van Validatie: Een belangrijke conclusie is dat volledige automatisatie nog niet mogelijk is zonder menselijke validatie of geavanceerde (semi-)automatische evaluatiemethoden. De probabilistische aard van LLM's maakt het moeilijk om formele garanties te geven.
• Toekomstige Richtingen: De auteurs suggereren het gebruik van Retrieval-Augmented Generation (RAG) om de LLM toegang te geven tot specifieke documentatie van de software (Gmsh/GetDP) in plaats van alleen te vertrouwen op de trainingsdata. Daarnaast wordt gepleit voor de ontwikkeling van gestructureerde evaluatiemethoden en het uitbreiden van de tool naar een "AI-agent" die complexere workflows kan plannen.

Conclusie
Dit papier levert een waardevolle bijdrage aan het veld van computerelektromagnetisme door te demonstreren dat een goed ontworpen LLM-workflow, ondersteund door open-source tools en prompt engineering, een krachtige tool kan zijn voor het versnellen van het modelopzetproces. Hoewel er nog uitdagingen zijn met betrekking tot de semantische nauwkeurigheid bij complexe taken, biedt de aanpak een solide basis voor toekomstige geautomatiseerde simulatieomgevingen.