🤖 AI

ASIA: an Autonomous System Identification Agent

Het artikel introduceert ASIA, een autonoom agentkader dat grote taalmodellen benut om het end-to-end proces van systeemidentificatie te automatiseren – van modelselectie tot training en evaluatie – uitsluitend op basis van probleembeschrijvingen in gewoon Engels, waardoor de afhankelijkheid van experttrial-and-error wordt verminderd, terwijl tegelijkertijd uitdagingen op het gebied van transparantie en reproduceerbaarheid worden benadrukt.

Oorspronkelijke auteurs: Dario Piga, Marco Forgione

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dario Piga, Marco Forgione

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren autorijden, maar je kent de verkeersregels niet, de eigenaardigheden van de motor niet, en ook niet de beste manier om te sturen. In het verleden zou een menselijk expert jaren moeten besteden aan het raden welke leermethode het beste werkt, het aanpassen van de lessen, en het steeds opnieuw proberen totdat de robot eindelijk leert. Dit proces is traag, duur en steunt zwaar op het ingewand van de expert.

Dit artikel introduceert ASIA (Autonomous System Identification Agent), een nieuw instrument dat fungeert als een super-slimme, onuitputtelijke leerling die dit raden en aanpassen helemaal zelf kan doen.

Hier is hoe ASIA werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: Het "Probeer-en-Fout" Labyrint

Stel je voor dat het bouwen van een model van een real-world systeem (zoals een watertank of een drone) hetzelfde is als proberen het perfecte cake-recept te vinden. Je moet beslissen:

De Ingrediënten: Moet je bloem, suiker of misschien een geheim kruid gebruiken? (In technische termen: het kiezen van het modeltype, zoals een neurale net of een natuurkundige vergelijking).
De Oventemperaturen: Welke temperatuur en hoe lang? (In technische termen: hyperparameters zoals leersnelheid of data-grootte).
De Mengmethode: Hoe combineer je ze? (In technische termen: het trainingsalgoritme).

Meestal moet een menselijke chef het gebak proeven, beseffen dat het te droog is, meer eieren toevoegen, het langer bakken en opnieuw proeven. Dit duurt eeuwen.

2. De Oplossing: ASIA als de "Robot-chef"

ASIA is een computerprogramma aangedreven door een Large Language Model (denk hierbij aan een zeer geavanceerde AI die code kan schrijven en begrijpen). In plaats van een menselijke chef, geef je ASIA een simpele instructie in gewoon Engels, zoals: "Hier zijn gegevens van een watertanksysteem; zoek uit hoe het werkt."

ASIA gaat vervolgens een lus van zelfverbetering in:

Hypothese: Het raadt een nieuw "recept" in (een nieuwe modelstructuur).
Bakken: Het schrijft de code om dit recept te testen.
Proeven: Het voert de code uit en ziet hoe goed het model de toekomst voorspelt.
Leren: Als de cake slecht is, leest het de resultaten, denkt het: "Misschien moet ik een ander type bloem gebruiken," en probeert het opnieuw.

Het doet dit honderden keren zonder ooit een mens nodig te hebben om het toetsenbord aan te raken, totdat het het best mogelijke recept vindt.

3. De Proefrit: Twee Real-world Uitdagingen

De auteurs testten ASIA in twee zeer verschillende "keukens" om te zien of het een goede maaltijd kon bereiden:

De Watertanks (De Simpele Keuken): Stel je twee emmers water voor die met een pijp met elkaar verbonden zijn. Het doel is het waterpeil in de onderste emmer te voorspellen op basis van hoeveel water er in de bovenste emmer wordt gegoten.
- Resultaat: ASIA begon met een basis, simpel model. Na een paar pogingen besefte het dat het simpele model niet sterk genoeg was. Het upgradeerde naar een complexer "brein" (een LSTM-netwerk) en vond vervolgens een specifiek type netwerk (LTC) dat op natuurlijke wijze nabootst hoe water afloopt. Het eindigde met het behalen van de beste resultaten die ooit voor dit probleem zijn gepubliceerd.
De Nanodrone (De Complexe Keuken): Stel je een tiny, vier-propeller drone voor die rondvliegt. Het heeft 12 verschillende bewegende delen (positie, snelheid, hoeken) die allemaal tegelijkertijd met elkaar interageren.
- Resultaat: ASIA begon met een standaardbenadering. Toen had het een briljant idee: in plaats van de positie van de drone direct te voorspellen, besloot het te voorspellen hoe de snelheid verandert en de positie daaruit te berekenen (nabootsend hoe natuurkunde eigenlijk werkt). Het vond ook uit hoe het trainingsproces gestabiliseerd kon worden.
- Vergelijking: Toen de auteurs ASIA vergeleken met een "willekeurige zoektocht" (waarbij een computer gewoon willekeurige instellingen kiest als een loterij), vond ASIA een veel betere oplossing veel sneller. Het versloeg de willekeurige zoektocht en presteerde zelfs beter dan de beste door mensen ontworpen methoden uit eerdere studies.

4. De Haken: De "Zwarte Doos" en de "Geest in de Machine"

Hoewel ASIA indrukwekkend is, zijn de auteurs eerlijk over de gebreken:

De "Geest" (Testlek): Soms, zelfs als je de AI zegt "kijk niet naar het eindexamen", kan het per ongeluk hints leren uit de examenvragen omdat het erover las in zijn trainingsdata of de onderzoeksartikelen die je gaf. Het is als een student die het antwoordenboekje uit een schoolboek heeft uit het hoofd geleerd in plaats van de wiskunde te leren.
De "Zwarte Doos" (Gebrek aan Transparantie): ASIA kan een perfecte cake bakken, maar het kan misschien niet uitleggen waarom het die specifieke ingrediënten heeft gekozen. In de wetenschap is het weten waarom een model werkt vaak net zo belangrijk als het model zelf. Omdat ASIA zijn eigen code aanpast, is het pad dat het heeft afgelegd om daar te komen een beetje een mysterie.
Reproduceerbaarheid: Als je ASIA vraagt om twee keer dezelfde taak te doen, kan het twee lichtelijk verschillende oplossingen bedenken omdat AI een beetje willekeurig is. Het is alsof je een menselijke chef vraagt om twee keer hetzelfde gerecht te maken; ze kunnen iets verschillende hoeveelheden zout gebruiken.

De Conclusie

Het artikel concludeert dat ASIA geen vervanging is voor menselijke experts, maar eerder een krachtige assistent.

Denk hierbij aan een versneller voor onderzoek. Het kan snel duizenden mogelijkheden verkennen die een mens nooit de tijd zou hebben om te controleren. Het vindt het "beste recept" sneller dan wie dan ook, maar mensen zijn nog steeds nodig om de ingrediënten te begrijpen, de resultaten te verifiëren en te zorgen dat de wetenschap logisch is.

De auteurs zien dit als een eerste stap naar een toekomst waarin AI ingenieurs helpt bij het ontwerpen van betere regelaars, het optimaliseren van machines en het oplossen van complexe technische problemen, maar de menselijke "hoofdchef" heeft nog steeds het gezag in de keuken.

Technische Samenvatting: ASIA – Een Autonome Agent voor Systeemidentificatie

Probleemstelling

Systeemidentificatie omvat het leren van dynamische modellen uit in- en uitgangsdata, een proces dat een complexe reeks onderling verbonden ontwerpkeuzes vereist. Beoefenaars moeten een modelklasse selecteren (variërend van lineaire toestandsruimtemodellen tot niet-lineaire neurale netwerken), architecturale hyperparameters definiëren (bijvoorbeeld netwerkdiepte, kernfuncties, recurrente celtypen) en optimalisatiehyperparameters afstemmen (bijvoorbeeld leersnelheden, regularisatie, batchgroottes). Momenteel berusten deze beslissingen sterk op empirisch trial-and-error en domeinexpertise. Hoewel er sprake is van gedeeltelijke automatisering voor vaste modelfamilies (bijvoorbeeld via Bayesiaanse optimalisatie), blijft de selectie van de modelklasse en het ontwerp van het trainingsalgoritme zelf grotendeels handmatig, tijdrovend en afhankelijk van expertintuïtie.

Methodologie: Het ASIA-kader

De auteurs stellen ASIA (Autonomous System Identification Agent) voor, een kader dat de iteratieve zoektocht naar optimale identificatieconfiguraties delegeren aan een Large Language Model (LLM) dat fungeert als een autonome coderingsagent. In plaats van een nieuw identificatiealgoritme in te voeren, automatiseert ASIA het proces van ontdekking.

Kerncomponenten

Het kader werkt volgens een iteratieve lus met minimale menselijke tussenkomst, waarbij alleen een beschrijving van het identificatieprobleem in gewone taal vereist is. Het bestaat uit vier hoofdcomponenten:

Probleembeschrijving: Een document dat de taak, beschikbare data, eerdere fysieke kennis, kandidaatbenaderingen en het zoekprotocol in detail beschrijft.
Onveranderlijke Evaluatiepijplijn: Een schrijfbeveiligd systeem dat verantwoordelijk is voor datavoorverwerking, het splitsen voor kruisvalidatie en het berekenen van de evaluatiemetric ( $V(\theta)$ ). Dit garandeert dat alle kandidaatoplossingen onder identieke omstandigheden worden geëvalueerd.
Wijzigbare Componenten ( $\theta$ ): Een set codebestanden die modelarchitecturen, verliesfuncties en trainingsstrategieën vertegenwoordigen die de agent vrijelijk kan bewerken.
Iteratieve Experimentatielus:
- De agent analyseert de geschiedenis van eerdere trials ( $T$ ), inclusief code-aanpassingen en prestatiemetrics.
- Het formuleert een nieuwe hypothese en bewerkt de relevante code om een nieuwe configuratie $\theta_k$ te implementeren.
- De agent voert de training en evaluatie uit, observeert de nieuwe metric en werkt zijn interne staat bij.
- Deze cyclus gaat door totdat een computatiebudget is uitgeput of de prestaties verzadigen.

Het kader wordt geïmplementeerd met Claude Code aangedreven door de Sonnet 4.6 LLM. Het ondersteunt het injecteren van domeinkennis (bijvoorbeeld natuurwetten, literatuurverwijzingen) en kandidaatstrategieën, maar vereist deze niet.

Empirische Casestudies

De auteurs hebben ASIA geëvalueerd op twee verschillende benchmarks, waarbij ze de zoekefficiëntie en de uiteindelijke modelkwaliteit vergeleken met baselines.

1. Gekoppeld Twee-Tanksysteem

Taak: Identificatie van een niet-lineair systeem van twee watertanks met niet-gemeten niveaus in de bovenste tank en een harde verzadigingsniet-lineariteit.
Protocol: 2-voudige kruisvalidatie op een trainings-trajectorie van 1024 samples; evaluatie via open-lus simulatie RMSE.
Zoekproces: Uitgaande van een standaard RNN (4 verborgen eenheden, RMSE 0,681), deed de agent het volgende:
- Iteratie 3: Overschakeling naar een 2-laags LSTM (128 eenheden) met afgekapt backpropagation, waardoor de RMSE daalde naar 0,430.
- Iteratie 5: Invoering van een inductieve bias door de LSTM te vervangen door een Liquid Time-Constant (LTC/CfC)-netwerk (64 verborgen toestanden). Deze architectuur, structureel voorbestemd voor dissipatieve systemen, bereikte een validatie-RMSE van 0,250.
Resultaat: Het uiteindelijke ensemble-model bereikte een test-RMSE van 0,298, presterend op gelijke hoogte met de beste resultaten die in de benchmarkliteratuur worden gerapporteerd.

2. Dynamica van Nanodrones

Taak: Identificatie van de vluchtdynamica van een Crazyflie 2.1 quadcopter (12-toestands MIMO-systeem) uit real-world vluchtdata.
Protocol: Leave-one-trajectory-out kruisvalidatie; evaluatie via Mean Absolute Error (MAE) op 50-staps rollouts.
Zoekproces: Uitgaande van een enkel-laags LSTM (MAE 0,707), deed de agent het volgende:
- Iteratie 3: Invoering van een physics-informed architectuur (KinematicsLSTM) waarbij het recurrente netwerk alleen snelheids- en hoeksnelheidsincrementen voorspelt, terwijl positie en houding worden hersteld via expliciete kinematische integratie. Het voegde ook ingangen toe met de kwadraten van motorsnelheden als proxy voor stuwkracht.
- Iteratie 7: Implementatie van scheduled sampling om training te stabiliseren, waardoor de MAE daalde naar 0,310.
- Vervolgende iteraties verfijnden de capaciteit en het trainingsritme, wat resulteerde in een uiteindelijke MAE van 0,286.
Vergelijking: ASIA presteerde beter dan een random search-baseline (30 iteraties) in zowel uiteindelijke prestaties als zoekefficiëntie, en bereikte de beste prestatie van de random search in slechts drie iteraties. Het uiteindelijke model overtrof de beste methode uit het originele benchmarkpaper [9] voor alle uitgangsgroepen (positie, snelheid, houding, hoeksnelheid).

Belangrijkste Bijdragen en Claims

Het paper doet de volgende technische bijdragen en claims:

Autonome Pijplijnautomatisering: ASIA demonstreert dat een LLM-gebaseerde agent de volledige pijplijn voor systeemidentificatie autonoom kan uitvoeren, inclusief selectie van modelklasse, architecturaal ontwerp en optimalisatie van trainingsstrategieën, zonder menselijke tussenkomst buiten de initiële prompt.
Uitbreiding van Hypothese-ruimte: In tegenstelling tot klassieke optimalisatiemethoden (grid search, Bayesiaanse optimalisatie) die opereren over vaste, eindig-dimensionale parameterruimten, verkent ASIA een combinatorische ruimte van modelklassen en trainingsstrategieën. De agent slaagde erin niet-triviale oplossingen voor te stellen, zoals hybride fysica/black-box structuren en Koopman-geïnspireerde representaties, die niet expliciet vooraf waren gedefinieerd.
Concurrerende Prestaties: Het kader ontdekte modellen die de state-of-the-art resultaten op gevestigde benchmarks evenaren of overtreffen, wat de haalbaarheid van agentic AI in dit domein valideert.

Beperkingen en Kritische Analyse

De auteurs bespreken expliciet verschillende beperkingen en risico's die gepaard gaan met de aanpak:

Impliciete Testlek: Zelfs zonder directe toegang tot testlabels kan de agent indirect beïnvloed worden door testprestatie-logboeken of door eerdere kennis (literatuur) die is afgeleid van evaluaties op de testset, wat mogelijk leidt tot overfitting of impliciete bias.
Methodologische Transparantie: Hoewel de gegenereerde code lokaal interpreteerbaar is, is de globale reeks beslissingen die leiden tot de uiteindelijke configuratie ondoorzichtig. Dit vermindert de "wetenschappelijke bijdrage" van de methodologie, aangezien de redenering voor specifieke ontwerpkeuzes voortkomt uit een geautomatiseerd, iteratief proces in plaats van een expliciete menselijke hypothese.
Reproduceerbaarheid: Vanwege de stochastische aard van LLM-outputs kan de exacte zoektrajectie niet perfect worden gereproduceerd over verschillende runs. Echter, zodra een specifieke configuratie is geselecteerd, is de training van dat specifieke model reproduceerbaar met standaardpraktijken.
Bias: De zoektocht van de agent is bevooroordeeld door zijn trainingsdata en interne priors, wat mogelijk gevestigde architecturen bevoordeelt boven nieuwe, onconventionele benaderingen.

Betekenis en Conclusie

Het paper concludeert dat ASIA niet moet worden gezien als een vervanging voor door mensen geleide systeemidentificatie, maar als een aanvullend hulpmiddel. De primaire waarde ligt in:

Versnellen van de experimentatiecyclus.
Automatiseren van routine-ontwerpkeuzes.
Uitbreiden van de verkenning van de hypothese-ruimte buiten menselijke intuïtie.

De auteurs benadrukken dat menselijke expertise essentieel blijft voor het interpreteren van resultaten, valideren van modellen, ontwerpen van prompts en injecteren van relevante eerdere kennis. Dit werk dient als een eerste empirische studie naar het potentieel en de beperkingen van agentic AI in engineeringonderzoek, wat toekomstige toepassingen suggereert in controller-tuning en experimentontwerp.