Multi-Agent Collaboration for Automated Design Exploration on High Performance Computing Systems

Dit artikel introduceert MADA, een door grote taalmodellen aangedreven multi-agent framework dat geautomatiseerde ontwerpoplossingen voor complexe wetenschappelijke uitdagingen, zoals het onderdrukken van Richtmyer-Meshkov-instabiliteiten, mogelijk maakt door gespecialiseerde agenten te coördineren voor het beheren van HPC-simulaties en het iteratief optimaliseren van ontwerpen.

De kern

Stel je voor dat je een enorm complex puzzelstuk moet maken, bijvoorbeeld een ontwerp voor een sterrenkloofmachine (zoals die in kernfusie-experimenten wordt gebruikt). Vroeger moest een wetenschapper dit zelf doen: hij of zij tekende het ontwerp, stuurde het naar een supercomputer, wachtte dagenlang op het resultaat, keek naar de uitkomst, dacht na over wat er misging, en begon dan weer van voren af aan. Dit proces is traag, saai en vatbaar voor fouten.

Deze paper introduceert MADA (Multi-Agent Design Assistant). Je kunt MADA zien als een slimme, digitale projectmanager die een team van gespecialiseerde robots leidt om dit hele proces voor je te doen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Team: Een digitaal bouwteam

In plaats van dat één persoon alles doet, heeft MADA een team van drie speciale "agenten" (robots) die samenwerken, net als een goed georganiseerd bouwteam:

• De Job Manager (De Logistiek-Manager):
  Stel je voor dat je een enorme fabriek hebt met duizenden machines (de supercomputer). Deze agent is de manager die zegt: "Oké, we gaan 20 verschillende ontwerpen tegelijk testen." Hij zorgt dat de machines aan het werk worden gezet, kijkt of ze niet vastlopen, en haalt de resultaten op. Hij praat met de computer van de supercomputer (HPC) alsof het een gewone bestelling is.
• De Geometry Agent (De Tekenaar):
  Voordat je een machine kunt testen, moet je eerst het blauwdruk maken. Deze agent is de tekenaar. Hij neemt een beschrijving in gewone taal (bijvoorbeeld: "Maak een golvend oppervlak") en zet dit om in een perfect 3D-model (een 'mesh') dat de computer kan begrijpen. Hij gebruikt hiervoor slimme hulpmiddelen die hij zelf heeft geleerd.
• De Inverse Design Agent (De Innovator):
  Dit is de slimste denker van het team. Hij kijkt naar de resultaten van de tests. Als hij ziet dat ontwerp A faalt en ontwerp B werkt iets beter, denkt hij na: "Aha! Als we de golvende lijn iets anders buigen, werkt het misschien nog beter." Hij bedenkt het volgende, betere ontwerp en geeft dat door aan de tekenaar.

2. Hoe ze praten: De "Model Context Protocol" (MCP)

Hoe praten deze robots met elkaar en met de oude, complexe computerprogramma's? Ze gebruiken een universele vertaler genaamd MCP.
Stel je voor dat de supercomputer en de tekensoftware oude, koppige machines zijn die alleen in een specifieke code praten. MCP is als een tolk die tussen hen en de robots staat. De robots hoeven niet te weten hoe de oude machines werken; ze geven gewoon een opdracht in gewone taal, en de tolk zorgt dat de oude machine het doet. Dit maakt het heel makkelijk om nieuwe tools toe te voegen zonder het hele team opnieuw te hoeven opleiden.

3. Het Experiment: Het stoppen van een "Explosie"

Om te bewijzen dat dit werkt, hebben ze het getest op een heel moeilijk probleem uit de kernfusie: de Richtmyer-Meshkov Instabiliteit (RMI).

• Het probleem: Stel je voor dat je een schokgolf door twee verschillende materialen (zoals staal en plastic) stuurt. Vaak zorgt dit ervoor dat de randen tussen de materialen gaan trillen en "spatten" (zoals een explosie), wat de fusie laat mislukken.
• De missie: Het team van MADA moest een ontwerp vinden waarbij deze "spatten" zo klein mogelijk blijven.

Ze deden dit op twee manieren:

1. De zware methode: Ze lieten de robots echte, zware simulaties draaien op de supercomputer. Dit duurt lang (20 minuten per test), maar is heel nauwkeurig.
2. De snelle methode: Ze gebruikten een "voorspeller" (een AI-model dat al eerder is getraind). Dit is alsof je in plaats van een echte auto te bouwen en te crashen, eerst een simulatie in een computerspel doet. Dit gaat razendsnel.

4. Het Resultaat: Sneller en slimmer

Wat gebeurde er?

• Zelfstandig werken: De robots deden het werk van een menselijke expert die dagenlang zou moeten werken. Ze tekenden, testten, keken naar de resultaten en bedachten een beter ontwerp, allemaal in een doorlopende cyclus.
• Betere ontwerpen: In de snelle test vonden de robots binnen enkele seconden het perfecte ontwerp (waarbij de "spatten" minimaal waren). Ze deden dit zelfs beter dan traditionele wiskundige methoden, omdat ze niet alleen het antwoord zochten, maar ook begrepen waarom het werkte.
• Uitleg: Het mooiste is dat de robots niet alleen het antwoord gaven, maar ook uitlegden: "We hebben dit gedaan omdat de vorige keer te veel trillingen waren." Dit helpt de menselijke wetenschapper om te leren.

Conclusie

Deze paper laat zien dat we niet langer hoeven te wachten tot een menselijke wetenschapper elke stap van een complex experiment handmatig regelt. Met MADA hebben we een team van digitale specialisten dat de saaie, zware en repetitieve taken doet. Hierdoor kunnen echte wetenschappers zich concentreren op het grote plaatje: het bedenken van nieuwe ideeën en het begrijpen van de natuur, terwijl de robots het zware werk op de supercomputer voor hun rekening nemen.

Kortom: MADA is de automatische piloot voor wetenschappelijke ontdekkingen, waardoor we sneller naar de sterren kunnen kijken.

Technische samenvatting

Titel: Multi-Agent Samenwerking voor Geautomatiseerde Ontwerpverkenning op High Performance Computing (HPC)

1. Het Probleem

Wetenschappelijke uitdagingen, variërend van klimaatmodellen tot Inertial Confinement Fusion (ICF) en materiaalontwerp, vereisen het verkennen van enorme ontwerpruimtes die te complex en groot zijn voor handmatig onderzoek. Hoewel High Performance Computing (HPC) het mogelijk maakt om fysica met hoge precisie te simuleren, zijn de huidige werkstromen voor ontwerpverkenning vaak lastig en sterk afhankelijk van handmatige tussenkomst.

• Huidige beperkingen: Wetenschappers moeten workflow-graafjes handmatig construeren, simulatiespecificaties definiëren en strategieën voor verkenning vastleggen. Dit leidt tot een grote administratieve last waarbij onderzoekers meer tijd besteden aan het beheer van orkestratie dan aan de onderliggende wetenschappelijke doelen.
• Behoefte: Er is behoefte aan gesloten-luswerkstromen die simulatie, analyse en ontwerpverkenning naadloos integreren, zodat hypotheses snel getest en geoptimaliseerd kunnen worden.

2. Methodologie: Het MADA Framework

De auteurs stellen MADA (Multi-Agent Design Assistant) voor, een framework dat wordt aangedreven door Large Language Models (LLM's) en is geïntegreerd met domeinspecifieke tools via het Model Context Protocol (MCP). MADA moduleert de wetenschappelijke ontwerpworkflow in gespecialiseerde agenten die samenwerken.

Kerncomponenten:

• Job Management Agent (JMA): Beheert en lanceert ensemble-simulaties op HPC-systemen. Deze agent communiceert met de Flux-scheduler en zorgt voor het indienen, monitoren en verzamelen van resultaten.
• Geometry Agent (GA): Genereert en valideert meshes voor ontwerpen. Deze agent automatiseert het vertalen van tekstuele CAD-beschrijvingen naar meshes met behulp van tools zoals Cubit en PMesh. De GA maakt gebruik van Retrieval-Augmented Generation (RAG) om documentatie en voorbeeldscripts te raadplegen en gebruikt een topologische graafrepresentatie om geometrische informatie te begrijpen.
• Inverse Design Agent (IDA): Verantwoordelijk voor het verkennen van de ontwerpruimte en het voorstellen van nieuwe ontwerpen op basis van simulatie-uitkomsten. De IDA berekent 'Quantities of Interest' (QoI), analyseert resultaten en gebruikt LLM-redenering om de volgende iteratie te plannen.
• Orkestratie: Het systeem gebruikt een planner (gebaseerd op het AutoGen-framework) die taken dynamisch delegeert aan de juiste agent. De agenten communiceren via MCP-servers, waardoor ze directe toegang hebben tot tools zonder dat de tools zelf aangepast hoeven te worden.
• Mens-in-de-lus: Experts kunnen via CLI of GUI interageren om doelen te specificeren, tussentijdse resultaten te beoordelen en de zoekstrategie bij te sturen.

3. Belangrijkste Bijdragen

1. MADA Framework: Een end-to-end multi-agent systeem voor geautomatiseerde wetenschappelijke ontwerpverkenning op HPC, dat de workflow decomposeert in gespecialiseerde agenten voor mesh-generatie, job-orkestratie en inverse ontwerp.
2. Gespecialiseerde Agenten: Implementatie van drie specifieke agenten:
   • JMA voor het indienen van jobs via Flux.
   • GA voor automatische mesh-generatie via Cubit/PMesh.
   • IDA voor ontwerpverkenning geleid door simulatie-resultaten.
3. Tool Integratie via MCP: Gebruik van het Model Context Protocol om bestaande HPC-tools (zoals Laghos, Flux, Cubit) en surrogate-modellen te koppelen aan agenten via een gestandaardiseerde interface.
4. Validatie op RMI: Een uitgebreide evaluatie gericht op het onderdrukken van Richtmyer-Meshkov Instabiliteit (RMI), een kritiek probleem in fusie-energieonderzoek.

4. Resultaten en Evaluatie

De auteurs evalueren MADA in twee complementaire scenario's gericht op RMI-onderdrukking:

• Scenario A: Volledige Simulatiecyclus op HPC

  • MADA voerde een volledige ontwerplus uit: mesh-generatie, het lanceren van Laghos (hydrodynamica) simulaties op het Tuolumne-supercomputer-systeem, en analyse van de output.
  • Resultaat: Binnen twee rondes van verkenning (40 configuraties) verbeterde MADA het ontwerp met 10% (QoI daalde van 4.1 naar 3.7) door de jet-vorming aan het interface te verminderen.
  • Efficiëntie: Het proces duurde ongeveer 40 minuten. Zonder MADA zou een expert dagen nodig hebben voor handmatige configuratie, monitoring en analyse.

• Scenario B: Verkenning met een Surrogaatmodel

  • Agenten gebruikten een vooraf getraind machine learning-surrogaatmodel in plaats van zware simulaties voor snelle verkenning.
  • Resultaat: De agent vond de globale optimum voor het maximaliseren van RMI in minder dan 40 evaluaties, wat vergelijkbaar is met of beter presteert dan traditionele gradient-based methoden (L-BFGS-B), maar dan met interpreteerbare redenering.
  • Inzicht: De agent ontdekte autonoom dat afwisselende tekens in de geometrische parameters de RMI-groei maximaliseren, en leverde een logische uitleg voor deze bevinding.

5. Betekenis en Impact

• Versnelling van Wetenschappelijke Ontdekking: MADA verlaagt de drempel voor complexe ontwerpverkenning door de orkestratie-overhead te elimineren. Wetenschappers kunnen zich richten op wetenschappelijke inzichten in plaats van workflow-beheer.
• Schaalbaarheid en Flexibiliteit: Het framework is generiek toepasbaar en kan eenvoudig worden uitgebreid met nieuwe tools of simulatiecodes via MCP, zonder de kernarchitectuur aan te passen.
• Interpreteerbaarheid: In tegenstelling tot traditionele "black-box" optimalisatie, biedt MADA een traceerbare redenering (reasoning trace) die uitlegt waarom bepaalde ontwerpen worden gekozen, wat cruciaal is voor wetenschappelijke validatie.
• Toekomstperspectief: Dit werk toont aan dat de combinatie van LLM-redenering, multi-agent samenwerking en directe tool-integratie een krachtige nieuwe paradigma is voor het automatiseren van complexe wetenschappelijke workflows op HPC-systemen.