🤖 AI

CAX-Agent: A Lightweight Agent Harness for Reliable APDL Automation

Dit artikel introduceert CAX-Agent, een lichtgewicht hulpmiddel dat is ontworpen om de betrouwbaarheid van APDL-automatisering te verbeteren door een meerlagige architectuur met een hersteltrap te implementeren, en toont aan de hand van empirische benchmarks dat modelgestuurde regeneratie aanzienlijk beter presteert dan regelgebaseerde of herstelstrategieën zonder herstel wat betreft taakvoltooiing en interventiereductie.

Oorspronkelijke auteurs: Chenying Lin, Yichen Hai, Yi He, Ran Wang, Haiyan Qiang, Liang Yu

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chenying Lin, Yichen Hai, Yi He, Ran Wang, Haiyan Qiang, Liang Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een briljante maar licht impulsieve architect (de AI) te leren een brug te bouwen met behulp van een zeer strikte, ouderwetse bouwhandleiding (de software genaamd MAPDL). De architect is uitstekend in het schrijven van blauwdrukken, maar als de handleiding zegt "Fout: Balk te dun", kan de architect in de war raken, proberen een nieuwe blauwdruk te schrijven die dezelfde fout maakt, of helemaal opgeven.

Dit artikel introduceert CAX-Agent, een "bouwplaatsmanager" die is ontworpen om tussen de architect en de handleiding te zitten om ervoor te zorgen dat de brug daadwerkelijk wordt gebouwd.

Hier is de uiteenzetting van hoe het werkt en wat de onderzoekers hebben gevonden, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Eén-en-Klaar" Valstrik

Meestal probeert een AI, wanneer je het vraagt code te schrijven voor een simulatie, het één keer. Als de computer "Fout" zegt, raakt de AI vaak in paniek of stopt. Het hele project mislukt.

Het Standpunt van het Artikel: Zonder een manager die fouten opvangt, stopt een enkele fout de hele pijplijn.

2. De Oplossing: De "Agent Harness" (De Bouwplaatsmanager)

In plaats van de AI de vrije loop te laten, hebben de auteurs een Harness gebouwd. Denk hierbij aan een strenge bouwplaatsmanager die:

De AI in de gaten houdt: Het ziet wat de AI schrijft.
De Handleiding controleert: Het voert de code uit en leest de foutmeldingen.
De volgende zet bepaalt: Als er een fout is, beslist de manager of het met een snelle regel moet worden opgelost of dat de AI het opnieuw moet proberen.

Het systeem is opgebouwd uit drie lagen:

De AI (De Architect): Schrijft de code.
De Harness (De Manager): Organiseert het werk, controleert op fouten en beheert nieuwe pogingen.
De Solver (Het Bouwteam): Bouwt de simulatie daadwerkelijk.

3. De "Herstel Ladder" (Hoe ze fouten oplossen)

Wanneer het bouwteam vastloopt, heeft de manager een "ladder" met manieren om het op te lossen, beginnend met de makkelijkste tot de moeilijkste:

Sprookje 1 (Regels): "Oh, het rooster is te groot? Laten we de getallen gewoon automatisch kleiner maken." (Zoals een vooraf geschreven spiekbriefje).
Sprookje 2 (Model): "Het foutenlogboek zegt dat de balk verkeerd is. AI, lees deze fout en herschrijf de blauwdruk zelf."
Sprookje 3 (Context): "Laten we de AI meer details over het probleem geven."
Sprookje 4 (Mens): "Oké, we zitten vast. Bel een menselijk ingenieur."

4. Het Experiment: Een Wedstrijd tussen Drie Teams

De onderzoekers testten drie verschillende manieren om fouten te behandelen op 50 eenvoudige brugbouwtaken (balken, platen en cilinders). Ze voerden elke taak drie keer uit om zeker te zijn.

Team A (Geen Herstel): De AI probeert één keer. Als het mislukt, stopt het.
- Resultaat: Zoals een bestuurder die een kassei raakt en direct de auto stopt. Ze faalden vaak.
Team B (Alleen Regels): De AI probeert één keer. Als het mislukt, past de manager een strenge, vooraf geschreven regel toe om het op te lossen (bijv. "Als fout X, doe Y").
- Resultaat: Beter dan Team A, maar de regels waren te star. Soms paste het "spiekbriefje" niet bij het specifieke probleem.
Team C (Alleen Model): De AI probeert één keer. Als het mislukt, dwingt de manager de AI om het foutenbericht te lezen en de code zelf te herschrijven, tot drie keer toe.
- Resultaat: Dit team won met overmacht. De AI was slim genoeg om te begrijpen waarom het mislukte en het creatief op te lossen.

5. De Resultaten: Waarom "Alleen Model" Won

De onderzoekers lieten twee menselijke beoordelaars de uiteindelijke blauwdrukken beoordelen (blind, zodat ze niet wisten welk team ze had gemaakt) en ze scoren.

Succespercentage: Team C (Alleen Model) slaagde 93% van de tijd. Team B (Regels) slaagde 77%, en Team A (Geen Herstel) slechts 69%.
Autonomie: Team C voltooide de klus zonder dat een mens hoefde in te grijpen 84% van de tijd. Team B en Team A hadden 100% van de tijd menselijke hulp nodig wanneer ze faalden.
De "Menselijke" Factor: Het "Alleen Regels"-team vereiste eigenlijk dat een mens de oplossing bevestigde voordat het opnieuw probeerde, vandaar dat hun "nul-interventie" score 0 was. Het door AI aangedreven team loste dingen zelf op.

6. De Vangst (Beperkingen)

De auteurs zijn eerlijk over de grenzen van hun studie:

Eenvoudige Taken: Ze testten alleen eenvoudige, rechttoe-rechtaan structuren (zoals rechte balken). Ze testten geen complexe, gedraaide of "rommelige" realistische engineeringproblemen.
Specifieke Hulpmiddelen: Ze gebruikten slechts één specifieke software (MAPDL) en één specifiek AI-model.
Het "Dunne Wand"-Probleem: Zelfs het winnende team had moeite met zeer dunne, delicate delen die moeilijk te meshen zijn (zoals een zeer dun metalen plaatje). De AI kon soms niet uitzoeken hoe het het rooster voor die specifieke vormen moest bouwen.

De Conclusie

Dit artikel bewijst dat als je wilt dat een AI engineering-simulaties automatiseert, je het niet zomaar code kunt laten schrijven en hopen op het beste. Je hebt een manager (de Harness) nodig die de AI dwingt zijn eigen fouten te lezen en het opnieuw te proberen.

Hoewel eenvoudige "spiekbriefjes" (regels) een beetje helpen, is het laten nadenken over zijn eigen fouten en het herschrijven van zijn plan door de AI de enige manier om een systeem te krijgen dat betrouwbaar werkt zonder dat een mens elke keer zijn hand moet vasthouden wanneer het struikelt.

Technische Samenvatting: CAX-Agent voor Betrouwbare APDL-Automatisering

Probleemstelling

Grote Taalmodellen (LLMs) die worden ingezet voor eindige-elementen-simulatie in Mechanische Analyse en Ontwerp (MAPDL), staan voor aanzienlijke betrouwbaarheidsuitdagingen. Hoewel LLMs code kunnen genereren, missen ze vaak de gestructureerde uitvoeringscontrole, tool-encapsulatie en foutherstelmechanismen die vereist zijn voor engineering-workflows. In simulatiepijplijnen zijn runtime-fouten – zoals meshingsfouten, convergentieproblemen of ontbrekende resultaten – zelfs voor structureel eenvoudige taken gebruikelijk. Zonder expliciete herstelmechanismen beëindigt een enkele fout de volledige pijplijn. Bestaande agent-frameworks gaan er vaak van uit dat de LLM zijn eigen uitvoering beheert, wat niet het benodigde engineering-skelet biedt voor robuuste, herhaalbare automatisering. Er ontbreekt gecontroleerd, empirisch bewijs dat verschillende herstelbeleid (bijv. regelgebaseerd versus modelgestuurd) vergelijkt onder herhaalde omstandigheden met door mensen gevalideerde uitkomsten.

Methodologie

Systeemarchitectuur: CAX-Agent

Het artikel introduceert CAX-Agent, een lichtgewicht, domein-native agent-harness die specifiek is ontworpen voor APDL-automatisering in plaats van een generiek framework aan te passen. De architectuur is georganiseerd in drie lagen:

LLM-service-laag: Omvat een lokaal lichtgewicht model (Qwen-27B) voor snelle eerste-generatie en een externe API met hoge capaciteit (Claude Sonnet 4.6) voor complexe redenering en reparatie.
Agent-harness (Orchestrator): Deze middleware beheert toollevenscycli, workflowstatus en foutdiagnose. Cruciaal is dat de orchestrator – niet de LLM – beschikt over retry-budgetten, tool-distributie en stopcondities. Het implementeert een Recovery Ladder die oploopt van deterministische regel-patching naar modelgestuurde regeneratie, contextverrijking en uiteindelijk menselijke interventie.
Solver-backend: Een uniforme interface die verbinding maakt met MAPDL-engines (PyMAPDL, CLI of fallback-modi).

Experimenteel Ontwerp

De studie evalueert drie verschillende herstelstrategieën op een benchmark van 50 standaard structurele taken (balken, platen, cilinders onder statische, modale en thermische belasting). De taken zijn bewust eenvoudig gehouden om het effect van het herstelbeleid te isoleren in plaats van de taakmoeilijkheid.

Geen herstel: Eén-shot uitvoering zonder reparatiepogingen.
Alleen regels: Deterministische, log-naar-patch correctie met vier string-transformatieregels (bijv. elementgrootte verdubbelen voor meshingsfouten, tijdstappen invoegen voor convergentieproblemen) zonder aanvullende modelredenering.
Alleen model: Modelregeneratie geconditioneerd op foutlogs met gebonden retries (tot 3 geforceerde retry-rondes) waarbij de LLM de foutlog leest, de fout diagnoseert en het script regenerert.

Evaluatiemetrics

Elke van de 450 totale case-runs (50 taken × 3 strategieën × 3 herhalingen) werd geëvalueerd aan de hand van:

Taakscore ( $t_i$ ): Een door mensen beoordeelde score (0–4) voor correctheid en volledigheid van de uitvoerimage.
Autonomie-score ( $a_i$ ): Een door het systeem afgeleide score (0–3) gebaseerd op of menselijke interventie vereist was.
Hersteldefficiëntiescore ( $e_i$ ): Gebaseerd op retry-aantallen en solveruitkomsten.
Totale score ( $q_i$ ): De som van bovenstaande ( $t_i + a_i + e_i$ ), variërend van 0 tot 10.
Voltooiingspercentage: Binaire metric die aangeeft of er ten minste één post-processing image is geproduceerd.
Statistische analyse: Paarsgewijze vergelijkingen met Cliff's $\delta$ (effectgrootte) en Mann–Whitney U-tests, waarbij inter-rater overeenstemming werd gemeten met kwadratisch gewogen Cohen's $\kappa$ (0,84).

Belangrijkste Bijdragen

CAX-Agent-architectuur: Een drie-laags, MAPDL-native agent-harness met een recovery ladder en een orchestrator-gecentreerd controlemodel dat semantische reparatie (LLM) scheidt van uitvoeringscontrole (Harness).
Gecontroleerde empirische evaluatie: Een rigoureuze, herhaalde-run vergelijking van drie herstelstrategieën op 50 gestandaardiseerde APDL-taken, met gebruik van blinde menselijke scoring en inter-rater validatie.
Empirisch bewijs: Aantonen dat modelgestuurde herstel aanzienlijk beter presteert dan zowel regelgebaseerde reparatie als geen-herstel-baselines in voltooiingspercentages, uitvoerkwaliteit en autonomie.

Resultaten

De Alleen model-strategie behaalde superieure prestaties op alle metrics vergeleken met Alleen regels en Geen herstel:

Voltooiingspercentage: Alleen model (0,9267) presteerde significant beter dan Alleen regels (0,7733) en Geen herstel (0,6933). De 95% betrouwbaarheidsintervallen voor Alleen model overlappen niet met de baselines.
Taakkwaliteit: Alleen model behaalde een gemiddelde taakscore van 3,59/4, vergeleken met 3,17/4 voor Alleen regels en 2,74/4 voor Geen herstel.
Totale score: Alleen model scoorde 9,16/10, significant hoger dan Alleen regels (7,03/10) en Geen herstel (5,60/10).
Percentage zonder interventie: Alleen model behaalde 0,84, terwijl Alleen regels 0,00 behaalde. Het artikel merkt op dat de nulscore van Alleen regels zijn ontwerpeigenschap weerspiegelt die een menselijke bevestigingsstap vereist vóór heruitvoering, waardoor volledig autonome werking wordt voorkomen.
Effectgroottes: Grote effectgroottes werden waargenomen (Cliff's $\delta$ = 0,81–0,87) tussen Alleen model en de andere strategieën, wat aangeeft dat er een hoge kans is dat een willekeurig geselecteerde Alleen model-run beter presteert dan een Alleen regels-run.

Foutanalyse: Resterende fouten waren geconcentreerd in statische structurele instellingen, met name die met dunwandige of mesh-gevoelige geometrische kenmerken. Deterministische regels bleken ontoereikend voor lange-staart solver- en scriptpad-fouten, terwijl modelgestuurde reparatie zich aanpaste aan bredere foutpatronen.

Betekenis en Claims

Het artikel stelt dat CAX-Agent aantoont dat een lichtgewicht, domein-native harness MAPDL-simulatie kan transformeren van verspreide, onbetrouwbare LLM-aanroepen naar een gestandaardiseerde, traceerbare en herhaalbare engineering-workflow.

Belangrijkste bevindingen zijn:

Noodzaak van herstel: Expliciete herstelmechanismen zijn centraal voor systeembetrouwbaarheid; zonder hen beëindigt een enkele fout pijplijnen.
Superioriteit van modelgestuurde reparatie: Hoewel deterministische regels enige verbetering bieden ten opzichte van geen herstel, verhogen ze de uitvoerkwaliteit niet betrouwbaar of bereiken ze volledige autonomie. Modelgestuurde herstel is de meest praktische standaardstrategie voor huidige CAX-implementatie.
Orchestrator-gecentreerde controle: Het scheiden van de redenering van de LLM van de uitvoeringscontrole van de harness (retry-budgetten, stopcondities) biedt gedragsgaranties die alleen via prompting niet kunnen worden bereikt.
Methodologische bijdrage: De studie biedt een reproduceerbaar sjabloon voor empirische harness-evaluatie (gecontroleerde ablatie, herhaalde runs, multi-as scoring) dat kan worden toegepast op andere harness-componenten en simulatie-backends.

De auteurs houden bescheidenheid regarding de reikwijdte, met de opmerking dat de benchmark eenvoudige geometrieën en lineaire elasticiteit gebruikt. Zij stellen dat validatie op grotere, diversere benchmarks en over meerdere solver-backends vereist is voordat praktische implementatie in complexe industriële omgevingen mogelijk is. De kernbevinding – dat modelgestuurde herstel onder gecontroleerde omstandigheden beter presteert dan regelgebaseerde en geen-herstel-benaderingen – wordt echter gepresenteerd als robuust en statistisch significant.