🤖 AI

Generalist AI Control: Towards Multi-purpose Adaptive Algorithms

Dit artikel introduceert een Generalist Controller, een op single-shot learning gebaseerd algoritme dat aandachtmechanismen en een mixture-of-experts-architectuur gebruikt om effectief diverse single-input single-output-systemen van variërende orde en dynamiek aan te sturen zonder dat systeemspecifieke afstemming of architecturale wijzigingen vereist zijn.

Oorspronkelijke auteurs: Klinsmann Agyei, Pouria Sarhadi

Gepubliceerd 2026-07-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Klinsmann Agyei, Pouria Sarhadi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin elke machine die je bezit, van de broodrooster in je keuken tot de drone in je achtertuin, een compleet andere taal spreekt. Om je broodrooster aan het werk te krijgen, heb je een specifieke handleiding nodig; om je drone te vliegen, heb je weer een andere nodig. In de wereld van robotica en techniek is dit precies hoe het decennialang is gegaan. Ingenieurs bouwen een op maat gemaakt "brein" voor elke afzonderlijke machine, een proces dat traag, duur en afhankelijk is van een perfect begrip van hoe die specifieke machine beweegt. Maar wat als we één enkel, superintelligent brein zouden kunnen leren om elke machine te begrijpen, simpelweg door het te laten zien hoe het een paar verschillende machines moet besturen? Dit is de droom van "generalistische" besturing. Het is alsof je een mens leert om een auto, een boot en een fiets te besturen zonder dat hij voor elk voertuig de natuurkunde opnieuw hoeft te leren. Het kernidee is dat, hoewel de machines er verschillend uitzien, de wiskunde achter hoe ze bewegen vaak vergelijkbare patronen volgt. Als een computer deze patronen kan leren, kan hij misschien alles direct besturen, zonder voor elk nieuw gadget een nieuwe handleiding nodig te hebben.

Dit artikel introduceert een nieuw soort "Generalist Controller", een op leren gebaseerd systeem dat is ontworpen om die universele bestuurder te zijn. In plaats van voor elke machine een unieke controller te bouwen, hebben de onderzoekers één enkel neuraal netwerk (een type computerbrein) getraind op een enorme dataset van 314.630 demonstraties van 25 zeer verschillende systemen. Deze systemen varieerden van stabiele, gemakkelijk te besturen machines tot chaotische, onstabiele systemen, en omvatten alles van chemische reactoren en onderwatervoertuigen tot vliegtuigen en eenvoudige mechanische veren. Het geheime ingrediënt? De controller probeert niet te raden welke machine hij bestuurt. In plaats daarvan overhandigt de gebruiker simpelweg een "systeemtag" — zoals een naamkaartje waarop staat "Ik ben een drone" of "Ik ben een chemische tank". Met deze tag schakelt de controller zijn interne strategie om, waarbij gebruik wordt gemaakt van een speciale architectuur genaamd een "Mixture of Experts" om te beslissen welk deel van zijn brein hij moet gebruiken.

De resultaten, gevonden via uitgebreide simulaties en tests met echte hardware, suggereren dat deze enkele controller net zo goed kan presteren als de traditionele, op maat gemaakte controllers voor elke specifieke machine. In tests hanteerde hij lastige situaties zoals onstabiele systemen en non-minimum-phase dynamica (waarbij een machine eerst de verkeerde kant op beweegt voordat hij corrigeert) met indrukwekkend succes. Het slaagde er zelfs in om een echte nano-quadcopter (een kleine drone genaamd een Crazyflie 2.1+) te besturen zonder enige herkalibratie, waarbij het succesvol vloog ondanks sensorruis en aerodynamische eigenaardigheden die het nog nooit eerder had gezien. Misschien wel het belangrijkste: wanneer de onderzoekers onverwachte problemen toevoegden — zoals motoren die niet snel genoeg konden draaien (verzadiging) of plotselinge uitbarstingen van ruis — hield de Generalist Controller de machine stabiel, terwijl de traditionele, op maat gemaakte controllers vaak faalden of onstabiel werden.

Het artikel stelt echter ook duidelijke grenzen aan wat dit "superbrein" kan doen. Het is geen toverstaf die onmiddellijk elke machine kan besturen die het nog nooit heeft gezien; het moet nog steeds getraind zijn op dat specifieke type machine (of een zeer vergelijkbaar type) en heeft de juiste systeemtag nodig om te functioneren. Het kan de identiteit van de machine niet zelfstandig afleiden door er alleen naar te kijken. Bovendien, hoewel de controller een grote robuustheid vertoonde in simulaties en op een kleine drone, merken de auteurs op dat het bewijzen dat het wiskundig "veilig" is voor elke mogelijke situatie een uitdaging blijft voor de toekomst. De studie laat zien dat één geleerd beleid effectief een brede familie van systemen met variërende orde en dynamica kan besturen, maar het is een stap naar generalisatie, niet een definitieve oplossing voor elke machine die bestaat. Door aan te tonen dat één brein vele verschillende voertuigen kan besturen, suggereert dit werk een toekomst waarin we misschien niet voor elke nieuwe robot die we bouwen een nieuwe controller hoeven te ontwerpen.

Technische Samenvatting: Generalistische AI-besturing: Naar Multi-purpose Adaptieve Algoritmen

Probleemstelling
Traditionele regeltechniek leunt op modelgebaseerde ontwerpparadigma's waarbij regelaars expliciet worden gesynthetiseerd voor specifieke systemen. Deze regelaars zijn doorgaans niet overdraagbaar naar systemen met andere orden, dynamica of structuren. Hoewel leergestuurde benaderingen (imitation learning, behavioral cloning) zijn opgekomen, worden hiervoor meestal aparte policies getraind voor elk systeem, waardoor het mogelijk niet lukt om gedeelde structurele eigenschappen over diverse dynamische systemen heen te exploiteren. Bestaande foundation models in de robotica opereren bovendien vaak op het niveau van perceptie-actie, waardoor de beslissingen voor de besturing verstrengeld raken met visuele kenmerken. Dit beperkt hun toepasbaarheid op zuivere regeltechnische problemen waarbij sensorische modaliteiten kunnen variëren of afwezig kunnen zijn. De kernuitdaging die wordt geadresseerd, is de ontwikkeling van een enkele, verenigde besturingspolicy die in staat is een heterogene familie van dynamische systemen te reguleren (variërend in orde, stabiliteit en lineariteit) zonder per systeem vereiste afstemming of architecturale modificatie.

Methodologie
De auteurs stellen de Generalist Controller voor, een leergestuurd framework dat besturingspolicies direct in de toestandsruimte (state-space) leert. De aanpak is gebaseerd op het inzicht dat hoewel visuele kenmerken variëren per embodiment, de onderliggende wiskunde van dynamische systemen (toestandsruimte-representaties) invariant blijft.

Input-representatie: De controller accepteert een historie van toestandmetingen, een referentietraject en een discrete systeemtag ( $\phi_i$ ). De systeemtag is een gelabelde identifier die aangeeft welk specifiek systeem wordt aangestuurd; het model leidt de identiteit van het systeem niet af uit observaties alleen.
Dynamische Toestandsruimte-representatie: Om systemen van variërende dimensies (ordes) aan te kunnen, maakt de architectuur gebruik van een dynamische toestandsruimte-representatie met behulp van validiteitsmaskering. Toestandsvectoren worden met nullen opgevuld tot een maximale dimensie ( $n_{max}$ ), en een binaire maskering onderscheidt de werkelijke toestanden van de opgevulde nullen, waardoor één enkel netwerk inputs van verschillende groottes kan verwerken.
Architectuur:
- Feature Encoding: Parallelle encoders verwerken de gemaskeerde toestandshistorie, het referentietraject en de systeemtag tot een verenigde latente feature-vector.
- Temporele Verwerking: Een multi-scale temporele processor maakt gebruik van twee parallelle LSTMs (één die de volledige sequentie verwerkt, en één op een gedownsamplede sequentie om langzamere dynamica te vangen) en een multi-head attention mechanisme om temporele afhankelijkheden te aggregeren.
- Mixture of Experts (MoE): De laatste fase gebruikt een gating-netwerk om de outputs van meerdere expert-netwerken ( $M=3$ in de baseline) dynamisch te wegen. Dit stelt de controller in staat om te specialiseren in verschillende dynamische regimes (bijv. stabiel versus instabiel, oscillerend versus niet-oscillerend) binnen één enkele policy.
Training: Het model wordt getraind via supervised learning (behavioral cloning) op 314.630 demonstraties gegenereerd van 25 diverse systemen. De trainingsdata bevat lineaire en niet-lineaire systemen, stabiele en instabiele dynamica, alsmede minimum/non-minimum-phase gedrag. Het doel is om de gemiddelde kwadratische fout (MSE) te minimaliseren tussen de voorspelde acties en de acties gegenereerd door systeem-specifieke Linear Quadratic Integral (LQI) regelaars.

Belangrijkste Bijdragen

Verenigde Besturingspolicy: Introductie van een enkele neurale netwerkpolicy die in staat is systemen van variërende orden (2e tot 4e orde) en dynamica aan te sturen zonder architecturale wijzigingen of systeem-specifieke herafstemming.
Toestandsruimte-generalisatie: Demonstratie dat controlekennis kan worden overgedragen naar heterogene systemen door direct op toestandsruimte-representaties te opereren in plaats van op perceptieniveau-kenmerken.
Nieuwe Architectuur: Ontwikkeling van een specifieke architectuur die validiteitsmaskering voor inputs met variërende orde, multi-scale temporele verwerking en een Mixture-of-Experts mechanisme combineert om diverse dynamische regimes te hanteren.
Robuustheid tegen Ongeziene Condities: Validatie dat de geleerde policy opereert onder condities die niet aanwezig waren tijdens de training, waaronder actuator-verzadiging, input-rate limits, externe verstoringen en meetruis.

Resultaten

Simulatieprestaties: Over 25 benchmark-systemen heen (waaronder CSTR chemische reactoren, REMUS AUV's, Boeing 747 longitudinale dynamica en mechanische veer-massa-systemen), behaalde de Generalist Controller prestaties die vergelijkbaar zijn met systeem-specifieke LQI-regelaars. Metrieken zoals stijgtijd, overshoot en stationaire fout waren vergelijkbaar, waarbij de Generalist Controller in sommige gevallen (bijv. hydraulische actuatoren) licht verbeterde insteltijden liet zien en in zeer uitdagende non-minimum-phase gevallen marginaal hogere insteltijden vertoonde.
Hardware Validatie: De policy is succesvol ingezet op een Crazyflie 2.1+ nano-quadrotor. De hardware-experimenten bevestigden een succesvolle sim-to-real transfer, waarbij de controller stabiele tracking behield ondanks ongemodelleerde aerodynamica, sensorruis en actuatorvertragingen, zonder bijsturing.
Evaluatie van Robuustheid: Onder verstoorde condities (actuator-verzadiging, rate-verzadiging, ruis) behield de Generalist Controller stabiele tracking. In contrast hiermee vertoonden baseline LQI-regelaars significante oscillaties, windup-fenomenen of instabiliteit onder dezelfde beperkingen.
Ablatie-studies:
- Mixture of Experts: Het reduceren van het model tot een enkele expert ( $M=1$ ) veroorzaakte een significante daling in prestaties (de MSE steeg met ordes van grootte voor complexe systemen zoals de quadrotor), wat de noodzaak van MoE voor het hanteren van diverse dynamica bevestigt.
- Hidden Dimension: Een verborgen dimensie van $d=32$ bood de beste balans tussen prestaties en computationele efficiëntie vergeleken met $d=16$ (onderpresterend) en $d=64$ (marginale winst met 4x meer parameters).

Betekenis en Claims
Het artikel positioneert dit werk als een belangrijke stap richting generalistische besturingspolicies binnen een gedefinieerde familie van dynamische systemen. De auteurs beweren dat controlekennis op een taak-agnostische wijze kan worden geleerd over systemenfamilies heen, analoog aan foundation models in natuurlijke taalverwerking en computer own vision.

De betekenis ligt in de verschuiving van het paradigma van het ontwerpen van regelaars voor specifieke plants naar het leren van regelaars die algemene principes belichamen die toepasbaar zijn op volledige systeemklassen. Dit biedt een potentiële oplossing voor industrieën die flexibele automatisering en snelle herconfiguratie vereisen.

Beperkingen en Reikwijdte
De auteurs vermelden expliciet de volgende beperkingen en grenzen:

Vereiste van Systeemtag: De controller vereist een bekende systeemtag bij implementatie; het voert geen impliciete systeemidentificatie of zero-shot adaptatie uit naar volledig onbekende systemen.
Afhankelijkheid van Trainingsset: Generalisatie is beperkt tot de distributie van de systemen die in de trainingsset zijn opgenomen. Het model kan niet generaliseren naar geheel nieuwe systeemstructuren die niet tijdens de training zijn gezien.
SISO-beperking: De huidige implementatie is beperkt tot Single-Input Single-Output (SISO) systemen. Het uitbreiden naar Multi-Input Multi-Output (MIMO) configuraties brengt extra uitdagingen met zich mee wat betreft de coördinatie tussen staat en actie.
Stabiliteitsgaranties: Hoewel empirische robuustheid is aangetoond, blijft een formele stabiliteitsgarantie voor de neurale netwerkcontroller in een multi-systeem generalisatie-framework een open theoretische uitdaging.

Meer zoals dit