A Control-Theoretic Foundation for Agentic Systems

Dit artikel biedt een wiskundig raamwerk op basis van regeltheorie om agente systemen te analyseren die als hiërarchische beslissingsautoriteit fungeren binnen feedback-lussen, waarbij dynamische mechanismen zoals adaptatie en herconfiguratie worden geformaliseerd om stabiliteit en veiligheid te garanderen.

De kern

Stel je voor dat je een auto bestuurt. In de oude wereld van de techniek was de "bestuurder" (de computer) een heel strakke robot. Hij volgde precies de regels die een mens hem had gegeven: "Houd de snelheid op 100 km/u" of "Rem als er een obstakel is". Hij deed niets anders dan wat hij was opgedragen.

Maar nu komen er AI-agenten (slimme computersystemen) die niet alleen de stuurknop vasthouden, maar ook zelf kunnen beslissen hoe ze rijden, waar ze naartoe gaan, en zelfs welke gereedschappen ze gebruiken om de weg te vinden.

Deze paper van Ali Eslami en Jiangbo Yu probeert een nieuwe manier te vinden om te begrijpen hoe veilig en stabiel deze nieuwe, slimme systemen zijn. Ze gebruiken de taal van de regeltechniek (control theory) – de wiskunde die zegt of een brug niet instort of een vliegtuig niet uit de lucht valt – om deze slimme AI's te analyseren.

Hier is de kern van hun idee, vertaald in een simpel verhaal:

1. De Vijf Niveaus van "Bestuurderschap"

De auteurs zeggen dat "agentie" (het vermogen van de AI om zelf beslissingen te nemen) niet zomaar "aan" of "uit" is. Het is meer als een trap met vijf treden. Hoe hoger je komt, hoe meer macht de AI krijgt, maar hoe moeilijker het wordt om te voorspellen of het systeem veilig blijft.

• Niveau 1: De Strikte Robot (Reageren)

  • Analogie: Een automatische deur die alleen opent als iemand voor de sensor staat.
  • Wat doet de AI? Hij volgt strakke regels: "Als X gebeurt, doe dan Y." Hij kan niets zelf bedenken.
  • Risico: Zeer laag. Hij doet precies wat hij moet doen, maar is niet slim.

• Niveau 2: De Aangepaste Chauffeur (Adaptatie)

  • Analogie: Een cruise control-systeem dat de motor automatisch iets zachter of harder laat lopen als de wind verandert, maar het blijft op de snelweg rijden.
  • Wat doet de AI? Hij kan de instellingen (zoals hoe hard hij remt) aanpassen terwijl hij rijdt, maar hij blijft binnen de regels van de auto.
  • Risico: Als hij de instellingen te snel aanpast, kan de auto gaan trillen of onstabiel worden.

• Niveau 3: De Strategische Planner (Kiezen)

  • Analogie: Een chauffeur die zelf kiest: "Nu is het druk, ik ga de snelweg op. Nu is het rustig, ik neem de landweg voor een snellere rit."
  • Wat doet de AI? Hij kan kiezen tussen verschillende vooraf gemaakte plannen of doelen (bijv. "veiligheid eerst" vs. "snelheid eerst").
  • Risico: Als hij te vaak en te snel wisselt tussen deze plannen, kan het systeem in de war raken en instabiel worden (net als een auto die te vaak van rijstrook wisselt).

• Niveau 4: De Architect (Hervormen)

  • Analogie: Een chauffeur die tijdens het rijden zelf de motor uit zijn auto haalt en een nieuwe, krachtigere motor installeert, of een extra navigatiesysteem toevoegt.
  • Wat doet de AI? Hij kan de structuur van het systeem zelf veranderen. Hij voegt nieuwe stappen toe aan zijn denkproces of schakelt tussen heel verschillende manieren van werken.
  • Risico: Dit is complex. Als hij de "motor" te vaak vervangt terwijl hij rijdt, kan de auto uit elkaar vallen. De wiskunde wordt hier heel lastig.

• Niveau 5: De Schepper (Genereer)

  • Analogie: Een chauffeur die tijdens het rijden zelf bedenkt: "Ik heb een nieuw idee! Laten we niet naar huis gaan, maar naar de kust, en laten we een nieuwe auto bouwen die over water kan varen."
  • Wat doet de AI? Hij kan volledig nieuwe doelen bedenken en nieuwe manieren van werken creëren, zolang het maar binnen de veilige grenzen (de wetten) blijft.
  • Risico: Dit is het gevaarlijkst. Omdat hij zelf de regels van het spel kan herschrijven, is het heel moeilijk om te garanderen dat hij niet iets doet wat het hele systeem laat crashen.

2. Waarom is dit belangrijk? (De "Gevaarlijke" Mechanismen)

De paper legt uit dat hoe meer macht de AI krijgt, hoe meer "geheime valkuilen" er in de wiskunde ontstaan:

• Tijdsverandering: Als de AI zijn instellingen continu aanpast (Niveau 2), verandert de auto eigenlijk elke seconde. Dat is lastig om veilig te houden.
• Schakelen: Als de AI te snel wisselt tussen verschillende plannen (Niveau 3), kan het systeem gaan trillen, net als een auto die te snel van rijstrook wisselt.
• Vertraging: Als de AI eerst een tool moet gebruiken om iets te berekenen (bijv. een kaart raadplegen), duurt het even voordat hij reageert. Die vertraging kan ervoor zorgen dat hij te laat remt.
• Structuurverandering: Als de AI zelf de auto herbouwt (Niveau 4), verandert de manier waarop de auto reageert. Wat gisteren veilig was, kan vandaag gevaarlijk zijn.

3. De Simulaties (Het Experiment)

De auteurs hebben dit getest in simulations:

• Ze lieten een AI de remkracht aanpassen. Als hij te snel aanpaste, begon de auto te schokken en viel hij uit elkaar.
• Ze lieten een AI kiezen tussen twee veilige rijmanieren. Als hij te snel wisselde tussen deze twee, werd de auto onstabiel, terwijl beide manieren op zich veilig waren.
• Ze lieten een AI een extra computer (een "tool") toevoegen aan de auto. Als hij te vaak wisselde tussen de auto met en zonder die extra computer, werd het systeem onstabiel.

Conclusie: Wat leren we hieruit?

De boodschap van dit papier is niet dat AI's gevaarlijk zijn, maar dat we andere regels nodig hebben om ze veilig te houden.

Vroeger keken we alleen of de motor (de controller) goed liep. Nu, met slimme AI's, moeten we ook kijken naar:

1. Hoe snel mag de AI zijn instellingen veranderen?
2. Hoe vaak mag hij van plan wisselen?
3. Hoe lang mag hij nadenken voordat hij reageert?

Het papier biedt een wiskundig raamwerk om deze vragen te beantwoorden. Het helpt ingenieurs om te zeggen: "Je mag die AI gebruiken, maar alleen als hij niet sneller dan X keer per seconde van plan wisselt."

Kortom: We bouwen nu auto's die zelf kunnen nadenken over hoe ze rijden. Om te voorkomen dat ze in de greppel belanden, moeten we de regels voor dat "nadenken" net zo streng maken als de regels voor het sturen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "A Control-Theoretic Foundation for Agentic Systems" in het Nederlands.

Titel: Een Control-theoretische Basis voor Agente Systemen

Auteurs: Ali Eslami en Jiangbo Yu (McGill University)

---

1. Probleemstelling

Moderne AI-systemen worden steeds vaker ingezet binnen feedback-regelkringen. In tegenstelling tot traditionele AI-toepassingen die slechts als "tuning-assistent" fungeren, hebben nieuwe "agente" systemen de bevoegdheid om tijdens de operatie:

• Regelaarparameters aan te passen.
• Tussen verschillende regelstrategieën te kiezen.
• Externe rekenkracht (tools) aan te roepen.
• De beslissingsarchitectuur te herconfigureren.
• De controle-objectieven (doelen) te wijzigen.

De huidige literatuur mist een uniek wiskundig kader om deze systemen te analyseren. Traditionele theorieën voor adaptieve systemen, geschakelde systemen (switched systems) of hybride systemen dekken deze complexe, gelijktijdige dynamieken niet adequaat. De kernvraag is: Welk type dynamisch systeem moet worden geanalyseerd wanneer de AI niet alleen de stuursignalen berekent, maar ook autoriteit heeft over de structuur, parameters en doelen van het regelsysteem zelf? Dit heeft directe gevolgen voor de stabiliteit, veiligheid en prestaties van kritieke cyber-fysische systemen.

2. Methodologie

De auteurs ontwikkelen een uniek control-theoretisch raamwerk dat "agenticheid" (agency) interpreteert als hiërarchische beslissingsautoriteit over de regelarchitectuur.

A. Unificatie van Agente Capabiliteiten
In plaats van geheugen, leren, tool-gebruik en interactie als losse modules te behandelen, worden deze geïntegreerd in één gesloten-lus dynamische representatie:

• Informatie-set ($I(t)$): Bestaat uit observaties ($y$), interne geheugen ($m$), tool-outputs ($z$) en interactiesignalen ($r$).
• Doelrepresentatie: Het controle-objectief wordt geparametriseerd door een doel-descriptor ($\zeta$), die de kostenfunctie bepaalt.
• Tools: Gemodelleerd als operatoren met vertragingen, waarvan de activatie en compositie door de agent kunnen worden gestuurd.
• Leren: Gemanifesteerd als de evolutie van aanpasbare parameters ($\theta$).
• Regelaar: De algemene vorm is $u(t) = \pi_{\alpha(t)}(I(t); \theta(t), \zeta(t))$, waarbij $\alpha(t)$ de actieve architectuur aangeeft.

B. De Vijf-Niveaus Hiërarchie van Agenticheid
De auteurs definiëren een hiërarchie van 5 niveaus, waarbij elk niveau een toenemende autoriteit over de regelstapel vertegenwoordigt:

1. Niveau 1 (Reactief): Vooraf gedefinieerde regels (if-then). Geen aanpassing, geen leren, statische doelen.
2. Niveau 2 (Adaptief): De structuur is vast, maar interne parameters ($\theta$) en geheugen ($m$) passen zich online aan (bijv. gain scheduling).
3. Niveau 3 (Strategisch): De agent kan kiezen uit een vooraf gedefinieerde set van regelaars, doelen of tools op basis van context (switching).
4. Niveau 4 (Structureel): De agent kan de architectuur zelf herconfigureren (bijv. volgorde van modules, workflow-compositie).
5. Niveau 5 (Generatief): De agent kan nieuwe doelen en workflows genereren binnen grenzen van governance- en veiligheidsbeperkingen.

C. Lineaire en Niet-Lineaire Formulering
Het raamwerk wordt zowel in een algemene niet-lineaire vorm als in een lineaire vorm (LTI-systemen) uitgewerkt. In de lineaire setting worden de niveaus vertaald naar concrete controle-objecten:

• Niveau 1: Vaste lineaire terugkoppeling.
• Niveau 2: Adaptieve gains.
• Niveau 3: Schakelen tussen vaste matrices of doelmatrices ($Q, R$).
• Niveau 4: Compositie van lineaire subsystemen.
• Niveau 5: Generatie van admissibele doelmatrices en architecturen onder beperkingen.

3. Belangrijkste Bijdragen

1. Unificerend Dynamisch Model: Een wiskundige formulering die geheugen, leren, tool-gebruik en doelstelling in één gesloten-lus structuur integreert.
2. Hiërarchie van Autoriteit: De definitie van de 5 niveaus van agenticheid, die de overgang van reactieve automatisering naar generatieve synthese van doelen en architecturen formaliseert.
3. Koppeling aan Bestaande Theorie: Het interpreteren van agente gedragingen via bekende controleconcepten zoals tijdsvariërende systemen, geschakelde systemen, hybride dynamica en vertragingen.
4. Stabiliteitsanalyse: Het identificeren van de specifieke dynamische mechanismen die stabiliteit bedreigen bij toenemende agenticheid.

4. Resultaten en Analyse

De analyse toont aan dat toenemende agenticheid nieuwe dynamische mechanismen introduceert die de stabiliteit van het gesloten-lus systeem beïnvloeden:

• Tijdsvariërende Systemen (Niveau 2): Snelle aanpassing van parameters kan leiden tot instabiliteit, zelfs als het systeem voor elke vaste parameter stabiel is.
• Endogeen Schakelen (Niveau 3): De beslissing om te schakelen wordt intern gegenereerd door de agent. Simulaties tonen aan dat snelle schakeling tussen twee stabiele regelaars (bijv. regeling vs. tracking) het totale systeem kan destabiliseren (het product van de systeemmatrices kan een spectrale straal $>1$ hebben).
• Vertragingen (Niveau 3-5): Redeneerprocessen en tool-gebruik introduceren vertragingen in de feedback-lus, wat de stabiliteitsmarges verkleint.
• Hybride Dynamica (Niveau 4): Het herconfigureren van de architectuur (bijv. het inschakelen van een schatter) verandert de orde van het systeem en introduceert interne dynamica die de stabiliteit beïnvloeden.

Simulatievoorbeelden:

• Een veer-massa-demper systeem toont dat snelle aanpassing van de versterkingsfactor leidt tot instabiliteit.
• Een lineair systeem toont dat snelle schakeling tussen twee stabiele doelen (regeling vs. tracking) leidt tot exponentiële groei van de toestand.
• Een voorbeeld met pipeline-herconfiguratie laat zien dat het inschakelen van extra modules (estimators) de dynamica verandert en bij frequente schakeling instabiliteit veroorzaakt.

5. Betekenis en Conclusie

Dit artikel biedt de eerste systematische poging om agente AI-systemen binnen een strikt control-theoretisch kader te plaatsen. De belangrijkste inzichten zijn:

• Verandering van Systeemtype: Toenemende autoriteit verandert de aard van het te analyseren systeem van een vast systeem naar tijdsvariërend, geschakeld, vertraagd of hybride.
• Design Implicaties: Voor het veilig inzetten van agente systemen moeten nieuwe beperkingen worden opgelegd, zoals limieten op aanpassingssnelheden, "dwell-time" constraints voor schakeling, en beperkingen op de synthese van doelen.
• Brug tussen Disciplines: Het werk overbrugt de kloof tussen de emergente architecturen van agente AI en de gevestigde theorie van dynamische systemen.

De auteurs benadrukken dat agenticheid op zich niet per se instabiliteit betekent, maar wel de dynamische mechanismen introduceert die zorgvuldig moeten worden beheerd en geverifieerd, vooral in veiligheidskritieke toepassingen zoals robotica en vervoerssystemen. Toekomstig werk richt zich op het afleiden van formele stabiliteitsgaranties en het uitbreiden naar multi-agent systemen.