AutoSAM: an Agentic Framework for Automating Input File Generation for the SAM Code with Multi-Modal Retrieval-Augmented Generation

Dit paper introduceert AutoSAM, een agentisch framework dat door middel van multimodale retrieval-augmented generation ongestructureerde engineeringdocumenten automatiseert om geldige invoerbestanden voor de SAM-thermohydraulische code te genereren, waardoor de arbeidsintensieve modellering van geavanceerde kernreactors aanzienlijk wordt versneld.

De kern

AutoSAM: De Slimme Architect die Bouwplannen voor Kernreactoren Schrijft

Stel je voor dat je een enorm, complex bouwwerk moet ontwerpen, zoals een kernreactor. Om dit veilig te laten werken, hebben ingenieurs een soort "recept" nodig voor de computer: een ingangsbestand dat precies vertelt hoe de buizen, pompen en warmtewisselaars met elkaar verbonden zijn en wat de eigenschappen van het materiaal zijn.

In het verleden was het schrijven van dit recept een enorme, saaie klus. Ingenieurs moesten urenlang bladeren door stapels documenten: oude rapporten, krullerige schetsen, Excel-sheets en PDF-bestanden. Ze moesten de informatie eruit halen, de puzzelstukjes samenvoegen en het vervolgens handmatig typen in een heel specifieke, moeilijke computercode. Een kleine foutje in dit recept kon leiden tot gevaarlijke berekeningen.

AutoSAM is de oplossing voor dit probleem. Het is een slimme, digitale assistent (een "agent") die deze hele klus voor je overneemt. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Super-Intern" met een geheugen

Stel je AutoSAM voor als een super-intern die niet alleen alles kan lezen, maar ook alles kan zien.

• Hij leest alles: Of het nu een Excel-tabel is, een ingewikkeld PDF-rapport of een foto van een schets, AutoSAM kan het allemaal verwerken.
• Hij heeft een bibliotheek: Hij heeft de handleidingen en theorieboeken van de computercode (SAM) in zijn hoofd (of beter: in een digitaal geheugen). Als hij twijfelt over een regel, slaat hij snel op in die bibliotheek. Dit heet Retrieval-Augmented Generation (RAG), maar je kunt het zien als een slimme student die altijd zijn naslagwerk bij de hand heeft.

2. De "Vertaler" van Chaos naar Orde

Ingenieurs werken vaak met rommelige documenten. AutoSAM doet het volgende:

1. Inname: Hij neemt al je documenten in ontvangst (foto's, teksten, tabellen).
2. Vertaling: Hij haalt de belangrijke cijfers en feiten eruit. Bijvoorbeeld: "De buis is 10 meter lang" of "De temperatuur is 500 graden".
3. Tussenstap (De Veiligheidscheck): Dit is het belangrijkste! AutoSAM schrijft het recept niet direct in de moeilijke computercode. Hij maakt eerst een tussenversie in een leesbaar formaat (zoals een duidelijke lijst of YAML-bestand).
   • Waarom? Stel dat hij een getal verkeerd heeft gelezen op een foto. Dan kan de menselijke ingenieur deze tussenversie zien, het foutje opmerken en corrigeren. Pas als de mens zegt "Goed zo!", zet AutoSAM het om naar de definitieve computercode.

3. De "Bouwpakketten" (De Tools)

AutoSAM heeft een gereedschapskist met zeven speciale gereedschappen:

• De PDF-lezer: Kan tekst, formules en zelfs afbeeldingen uit documenten halen.
• De Beeld-analist: Kijkt naar tekeningen en zegt: "Ah, dit is een pomp die hier verbonden is met een buis."
• De Code-schrijver: Zet de gecontroleerde informatie om in de exacte code die de computer nodig heeft.
• De Controleur: Kijkt of het eindresultaat logisch is (bijvoorbeeld: "Wacht, deze buis loopt dood? Dat kan niet.").

4. De Proefballonnen (De Testcases)

De auteurs hebben AutoSAM getest met vier verschillende scenarios, van makkelijk tot heel moeilijk:

• Test 1 & 2 (De simpele cases): Een enkele pijp en een brander. Hier gaf de mens alleen een Excel-sheet. AutoSAM maakte direct een perfect werkend model.
• Test 3 (De ABTR-reactor): Hier moest AutoSAM een foto van een reactorkern combineren met een PDF-rapport. Hij kon de foto "lezen", de verbindingen begrijpen en het model bouwen.
• Test 4 (De MSRE-reactor): De moeilijkste test. Een compleet rondlopend systeem met pompen en warmtewisselaars. AutoSAM kon de hele "slang" reconstrueren uit losse documenten en foto's, en het resultaat was een werkend simulatiemodel.

Waarom is dit geweldig?

• Snelheid: Wat dagen van handmatig werk kostte, gebeurt nu in minuten.
• Veiligheid: Omdat er altijd een menselijke tussenstap is (de tussenversie), blijven fouten beperkt. De mens blijft de baas.
• Transparantie: Als AutoSAM een waarde moet raden omdat het niet in het document staat, zegt hij dat hardop: "Ik heb dit niet gevonden, dus ik heb aangenomen dat..." Dit maakt het proces eerlijk en controleerbaar.

Kortom:
AutoSAM is als een slimme, onuitputtelijke assistent die de saaie, foutgevoelige klus van het overtypen van bouwplannen doet. Hij zorgt ervoor dat ingenieurs zich kunnen focussen op het echte ontwerpen en de veiligheid, terwijl de computer de administratieve rommel regelt. Het is een stap richting een toekomst waar je een reactor kunt "ontwerpen" door gewoon je documenten te uploaden en te zeggen: "Maak hier een werkend model van."

Technische samenvatting

Probleemstelling

Bij het ontwerp en de veiligheidsanalyse van geavanceerde kernreactorsystemen vormt het handmatig maken van invoerbestanden voor systeemcodes (zoals de System Analysis Module, SAM) een grote knelpunt. Analisten moeten ontwerpgegevens uit diverse, ongestructureerde bronnen (zoals PDF-rapporten, technische tekeningen, spreadsheets en diagrammen) extraheren, deze reconciliëren en handmatig overzetten naar de specifieke syntaxis van de solver.

• Uitdagingen: Dit proces is tijdrovend, vatbaar voor menselijke fouten en vereist vaak dat informatie uit verschillende formaten (tekst, tabellen, afbeeldingen) wordt samengevoegd.
• Beperkingen van bestaande oplossingen: Traditionele methoden zoals OCR of regelgebaseerde extractie falen vaak bij complexe, visuele informatie of wanneer gegevens versnipperd zijn over meerdere documenten. Daarnaast zijn gespecialiseerde codes zoals SAM (gesloten bron) niet goed vertegenwoordigd in de trainingsdata van grote taalmodellen (LLMs), wat leidt tot hallucinaties of onnauwkeurigheden bij direct gebruik.

Methodologie: Het AutoSAM Framework

AutoSAM is een agentisch framework dat een Large Language Model (LLM) combineert met Retrieval-Augmented Generation (RAG) en gespecialiseerde hulpmiddelen om invoerbestanden voor SAM te genereren. Het framework volgt een ReAct-architectuur (Reasoning + Acting) en maakt gebruik van drie pijlers voor specialisatie:

1. Systeem-instructies (System Instructions):

   • De agent krijgt permanente instructies die zijn afgeleid van de SAM-gebruikershandleiding en theoriehandleiding.
   • Deze instructies definiëren de rol van de agent, de structuur van het invoerbestand (blokken zoals global parameters, components, materials, etc.) en de domeinspecifieke logica (stroom, warmteoverdracht, reactorfysica).

2. Retrieval-Augmented Generation (RAG):

   • Om de beperkingen van de contextvenster en de kennis van de LLM te overwinnen, worden de handleidingen van SAM geëmbed in een vectoropslag.
   • De agent kan tijdens het inferentieproces relevante informatie ophalen via semantische zoekopdrachten, zodat het altijd toegang heeft tot de juiste syntaxisregels en theorie.

3. Gespecialiseerde Hulpmiddelen (Tools):
   Het framework beschikt over zeven tools die zijn onderverdeeld in vier categorieën:

   • Content Parsing: Tools voor het lezen van Excel-bestanden en tekstbestanden.
   • Retrieval & Multi-modal Analyse:
     • PDF-analyse-tool: Gebruikt het Nougat-model (vision-to-text) voor tekst, formules en tabellen, en vision-language modellen voor het interpreteren van figuren en diagrammen.
     • Image-analyse-tool: Interpreteert schematische tekeningen en diagrammen via visuele embeddings.
   • Instructie-doorgeven:
     • Input File Creator: Transformeert een tussenliggend gestructureerd bestand naar de definitieve SAM-syntaxis.
     • Input File Validator: Voert deterministische checks uit op syntaxis, eenheden en fysieke consistentie.
   • Python-executie: Voor het uitvoeren van berekeningen en validaties.

Werkstroom:
De agent verwerkt ongestructureerde documenten, extrahert parameters en bouwt een menselijk controleerbaar tussenliggend gestructureerd bestand (YAML). Dit dient als een "human-in-the-loop" checkpoint. Experts kunnen dit bestand verifiëren en corrigeren voordat de agent het definitieve, uitvoerbare SAM-invoerbestand genereert en valideert.

Belangrijkste Bijdragen

• Multi-modale Documentverwerking: AutoSAM is in staat om informatie uit een mix van tekst, tabellen, PDF's en visuele diagrammen (zoals pijpleidingdiagrammen) te integreren tot één coherent model.
• Agentic Workflow voor SAM: Het is het eerste framework dat specifiek is ontworpen om de complexe, gesloten-syntaxis van SAM te automatiseren door RAG en tools te combineren.
• Transparantie en Traceerbaarheid: Door het gebruik van een tussenliggend gestructureerd bestand en het expliciet markeren van aannames (waar gegevens ontbreken), blijft het proces transparant en controleerbaar, wat essentieel is voor nucleaire veiligheidsanalyses.
• Prompt-driven Modeling: Het introduceert een paradigma waarbij analisten systeembeschrijvingen en documentatie leveren, en de agent deze vertaalt naar uitvoerbare simulaties.

Resultaten

Het framework werd geëvalueerd aan de hand van vier casestudies met toenemende complexiteit:

1. Enkelpijp-model (Gestructureerde data): 100% succes in het verwerken van Excel-data naar een geldig model.
2. Vaste brandstofkanaal met reactievitheid (Gestructureerde data): Succesvolle integratie van gekoppelde fysica (warmtegeleiding en feedbackmechanismen).
3. Advanced Burner Test Reactor (ABTR) kern (Multi-modaal): De agent extraherde topologie uit een afbeelding en parameters uit een PDF. Het slaagde erin een parallel kanaalmodel te bouwen.
4. Molten Salt Reactor Experiment (MSRE) primaire lus (Multi-modaal): De agent reconstrueerde een compleet circulatielusmodel (kern, pompen, warmtewisselaars) uit een schema en rapporten.

Kwantitatieve prestaties:

• Gestructureerde invoer: 100% gebruik van parameters uit spreadsheets.
• PDF-tekstextractie: Ongeveer 88% van de verwachte tekstuele data-items werd succesvol geëxtraheerd.
• Visuele extractie: 100% volledigheid bij het extraheren van geometrische en topologische attributen uit afbeeldingen en diagrammen.
• Fysieke consistentie: In alle gevallen produceerde de agent modellen die resulteerden in thermohydraulisch fysisch realistische uitkomsten (bijv. juiste temperatuurverdelingen en drukverliezen).

Betekenis en Impact

AutoSAM biedt een praktische oplossing voor de "model-opzet bottleneck" in de nucleaire sector.

• Efficiëntie: Het reduceert de tijd die analisten kwijt zijn aan het zoeken in handleidingen en het handmatig overtypen van data van dagen/weeks naar minuten.
• Veiligheid: Door de mens in de loop te houden via het tussenliggende bestand en het gebruik van validatietools, wordt de integriteit van de simulaties gewaarborgd, wat cruciaal is voor regelgevende goedkeuringen.
• Toekomstperspectief: Het framework legt de basis voor "prompt-driven reactor modeling", waarbij modellen regenerabel worden gemaakt op basis van veranderende documentatie. Hoewel het momenteel specifiek is voor SAM, is de architectuur modulair opgezet en kan het worden uitgebreid naar andere systeemcodes (zoals RELAP5 of TRACE) en volledig geautomatiseerde werkstromen (inclusief uitvoering en foutoplossing).

Samenvattend demonstreert AutoSAM dat AI-agenten, wanneer ze worden versterkt met domeinspecifieke kennis en gespecialiseerde tools, een betrouwbare en transparante rol kunnen spelen in het automatiseren van complexe engineeringstaken in de nucleaire veiligheidsanalyse.