🤖 AI

Engagement Process: Rethinking the Temporal Interface of Action and Observation

Dit artikel introduceert het Engagement-proces (EP), een nieuw interactieformalisme dat acties en waarnemingen ontkoppelt in continue gebeurtenisstromen om complexe temporele dynamieken zoals deliberatielatentie en vertraagde feedback expliciet te modelleren, waardoor de beperkingen van traditionele vaste-stapinterfaces in zowel single-agent- als multi-systeemscenario's worden overwonnen.

Oorspronkelijke auteurs: Jialian Li, Yuchen Cao, Junhong Liu, Weiran Guo, Xutao Wang, Jiaming Song, Jiahao Zhang, Jie Chen

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jialian Li, Yuchen Cao, Junhong Liu, Weiran Guo, Xutao Wang, Jiaming Song, Jiahao Zhang, Jie Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een drukke keuken te beheren terwijl je tegelijkertijd een student bijstaat via een videogesprek. In de oude manier van denken over hoe computers (of "agenten") werken, is het proces als een streng, stijf spel van "beurtelings handelen".

De Oude Manier: Het "Stop-en-Doorgaan"-Spel
In het traditionele model (een POMDP genaamd) moet de agent alles stoppen om na te denken, een zet te doen, wachten op het resultaat, en daarna weer nadenken.

Het Probleem: Het echte leven is niet zo. Terwijl je een stoofpot kookt (een actie die tijd kost), kan de timer afgaan (een waarneming). Terwijl je een lang e-mail schrijft (nadenken), kan er een nieuwe dringende boodschap binnenkomen.
De Fout: Als de computer gedwongen wordt om te wachten tot het e-mail volledig is geschreven voordat hij de nieuwe boodschap kan "zien", kan de boodschap verouderd raken of een deadline missen. Het is als proberen een auto te besturen waarbij je alleen naar de weg kunt kijken wanneer de auto volledig stilstaat.

Het Nieuwe Idee: Het "Engagement-proces" (EP)
De auteurs van dit artikel stellen een nieuwe manier voor om te beschrijven hoe een agent interactie heeft met de wereld, wat zij het Engagement-proces (EP) noemen.

Denk aan EP niet als een spel van beurten, maar als twee aparte radiozenders die op hetzelfde tijdsverloop stromen:

Het Actie-kanaal: Dit is de agent die commando's verstuurt (zoals "begin met koken", "bel dit hulpmiddel" of "schrijf deze zin"). Deze acties nemen tijd om te gebeuren.
Het Waarnemings-kanaal: Dit is de wereld die informatie terugstuurt (zoals "de timer ging af", "het hulpmiddel is klaar" of "een nieuwe e-mail is aangekomen"). Deze berichten kunnen op elk moment arriveren, zelfs terwijl de agent nog druk bezig is met de eerste actie.

Creatieve Analogieën om het Concept uit te leggen

De Orkestleider versus de Solist:
- Oude Manier: De dirigent (de agent) tilt zijn baton op, wacht tot het hele orkest één noot speelt, stopt, luistert, en tilt dan de baton op voor de volgende noot. Als een violist plotseling hoest (een waarneming) tijdens de noot, hoort de dirigent het pas bij de volgende "beurt".
- EP Manier: De dirigent dirigeert een vloeiend muziekstuk. De violist hoest terwijl de muziek speelt. De dirigent hoort het direct en kan het tempo of volume direct aanpassen, zonder de muziek te stoppen. De "actie" (dirigeren) en de "waarneming" (het hoesten horen) gebeuren gelijktijdig op hetzelfde tijdsverloop.
De Drukke Chef-kok:
- Oude Manier: Een chef-kok zet een pan op het fornuis en gaat dan in een stoel zitten, starend naar de muur, wachtend tot de pan kookt voordat hij iets anders kan doen. Als de telefoon gaat, kan hij niet opnemen totdat de pan kookt.
- EP Manier: De chef-kok zet de pan op het fornuis (een actie die tijd kost). Terwijl het water opwarmt, gaat de telefoon (een waarneming). De chef-kok hoort het, neemt op en gaat dan terug naar het controleren van de pan. Het "koken" en het "telefoneren" overlappen.

Wat het Artikel Eigenlijk Vond

De auteurs testten dit idee op drie verschillende manieren om te zien of het echt helpt:

De "Denktijd"-test (Spelexperimenten):
Ze creëerden een spel waarbij een agent moest beslissen hoe lang hij moest nadenken voordat hij antwoordde.
- Resultaat: De oude "Stop-en-Doorgaan"-agenten bleven steken. Ze dachten te lang omdat denken in hun training geen tijd kostte. Ze bleven kiezen voor de "langzaamste, meest accurate" optie en liepen tegen de tijd aan.
- EP Resultaat: De EP-agenten leerden dat nadenken tijd kost. Ze leerden eerder stoppen met nadenken als de deadline krap was, en balanseerden snelheid en nauwkeurigheid veel beter.
De "Drukke Assistent"-test (LLM-experimenten):
Ze simuleerden een digitale assistent die probeerde een lang rapport te schrijven terwijl e-mails bleven binnenkomen.
- Resultaat: De oude agenten (die alleen op e-mails controleerden aan het einde van een alinea) mistten veel dringende e-mails of reageerden te laat.
- EP Resultaat: De EP-agenten konden hun schrijven pauzeren, de dringende e-mail afhandelen en vervolgens precies waar ze waren gebleven doorgaan met schrijven. Ze misten veel minder deadlines en reageerden sneller.
De "Robot in de Keuken"-test (Embodied-experimenten):
Ze simuleerden een robot die probeerde een student bij te staan terwijl hij meerdere gerechten kookte die op verschillende tijdstippen aandacht nodig hadden.
- Resultaat: De oude agenten waren te stijf. Als een gerecht klaar was om uit de oven te halen, negeerde de robot dit totdat hij de huidige tutorzin had afgemaakt.
- EP Resultaat: De EP-agent kon het "oven-timer"-signaal zien terwijl hij sprak, besluiten de tutoring te pauzeren, het gerecht uit de oven halen en vervolgens de les hervatten. Dit redde het eten en hield de tutoring gaande.
De "Leren Tijd Besparen"-test:
Ze trainden een AI om wiskundeproblemen op te lossen met een strikte limiet op het aantal woorden (tokens) dat het mocht gebruiken.
- Resultaat: Standaard training maakte de AI slimmer in wiskunde, maar het leerde niet beknopt te zijn. Het gebruikte te veel woorden, zelfs als het werd verteld snel te zijn.
- EP Resultaat: De EP-getrainde AI leerde anders te "spreken" op basis van de tijdslimiet. Als het weinig tijd had, gaf het korte, directe antwoorden. Als het meer tijd had, legde het meer uit. Het leerde zijn "denksnelheid" aan te passen aan de situatie.

De Conclusie

Het artikel betoogt dat we moeten stoppen met het behandelen van tijd als een verborgen detail in hoe we AI bouwen. In plaats daarvan moeten we een systeem bouwen waarbij acties en waarnemingen aparte stromen van gebeurtenissen zijn die tegelijkertijd kunnen gebeuren.

Door dit te doen, worden AI-agenten meer als mensen: ze kunnen multitasken, omgaan met onderbrekingen en betere beslissingen nemen als de tijd op is, in plaats van vast te komen zitten in een stijf cyclus van "nadenken, handelen, wachten, nadenken, handelen, wachten".

Technische Samenvatting: Engagement Process (EP)

Probleemstelling

Recente vooruitgang in grote taalmodellen (LLM's), belichaamde intelligentie en agents verrijkt met hulpmiddelen, heeft opereren in steeds realistischere digitale en fysieke omgevingen mogelijk gemaakt. Er bestaat echter een fundamentele mismatch tussen de temporele structuur van acties en observaties in deze omgevingen. Traditionele interactieformalismen, zoals Partially Observable Markov Decision Processes (POMDP's), vertrouwen op vaste beslismomenten waarbij een observatie gekoppeld is aan een enkel, direct momentane actie. In werkelijkheid staan agents vaak voor:

Tijdsproblemen aan de actiezijde: Latentie bij deliberatie (bijv. redeneertijd van LLM's), persistente acties (bijv. navigatiecommando's) en tooloproepen met vertraagde resultaten.
Tijdsproblemen aan de observatiezijde: Asynchrone of spaarzame aankomst van berichten, alarmen en toolresponsen, naast continue of multi-rate sensorfeedback.

Huidige benaderingen behandelen deze tijdsverschijnselen vaak als implementatiedetails of hanteren ze via externe patches (bijv. vaste pollingintervallen of handgemaakte onderbrekingsregels). Dit vertroebelt de temporele structuur die agents nodig hebben om hun gedrag aan te passen aan expliciete tijdkosten, wat leidt tot suboptimale beleidsregels die mogelijk te lang delibereren, dringende gebeurtenissen missen of bestaande processen niet effectief onderbreken.

Methodologie: De Engagement Process (EP)

De auteurs stellen de Engagement Process (EP) voor, een nieuw interactieformalisme dat de besluitvormingsstructurele structuur van POMDP's overneemt, maar de temporele interface fundamenteel herdenkt.

Kerndefinitie

Een EP wordt gedefinieerd over een discrete reeks tikken $T = \{0, 1, 2, \dots\}$ (uitbreidbaar naar continue tijd) en gespecificeerd door $E = (S, A, Y, F, O, U)$ :

Toestand ( $S$ ): Samenvatting van de omgeving, lopende processen en interfacecondities. Het kan persistente actie-effecten en toestand-afhankelijke observatietoegang coderen.
Acties als interventies: In tegenstelling tot standaard POMDP's, waarbij een actie een standaardbesturing is bij elke tik, behandelt EP acties als getimede interventies. De agent selecteert een set interventies $A_t \subseteq A$ (die leeg kan zijn of meerdere gelijktijdige atomaire acties kan bevatten).
Observaties als gebeurtenissen: Observaties worden gegenereerd vanuit het toestandsproces als informatiegebeurtenissen $Y_t \subseteq Y$ , onafhankelijk van beslismomenten. Ze kunnen asynchroon aankomen, leeg zijn of meerdere gebeurtenissen bevatten.
Dynamiek: De toestand evolueert als $s_{t+1} \sim F(\cdot | s_t, A_t)$ . Cruciaal is dat het systeem evolueert zelfs wanneer $A_t = \emptyset$ , wat modellering van persistente processen mogelijk maakt.
Nut: Het momentane nut $u_t$ kan taakbeloningen vertegenwoordigen, evenals kosten voor actie-uitvoering, waarneming, onderbrekingen en deliberatietijd.

Belangrijkste Onderscheidspunten

Koppeling: EP scheidt het interne beslissingsproces van de agent van de externe timing van observaties en interventies. De agent onderhoudt een informatietoestand $w_t$ op basis van de geschiedenis van interventiesets en observatiegebeurtenissets, waardoor het lopende berekeningen, tooloproepen en deadlines kan bijhouden.
Compositional Hergebruik: De interface ondersteunt hiërarchische organisatie. Subsystemen binnen een agent kunnen zelf als EP-achtige processen worden gemodelleerd, waarbij moduleoproepen interventies zijn en teruggegeven berichten observaties, allemaal met dezelfde abstracte interface.
Relatie tot Bestaande Modellen:
- POMDP's: Herwonnen als een gesynchroniseerd speciaal geval waarbij elke tik precies één actie en één observatie heeft.
- SMDP's/Options: Weergegeven als beperkte EP's waarbij interventies "actieve" componenten in de toestand creëren, maar EP staat toe dat observaties de interface tijdens de uitvoering van deze opties binnenkomen, niet alleen bij beëindiging.

Belangrijkste Bijdragen

Expliciete Temporele Interface: EP biedt een uniforme taal voor tijdsverschijnselen (deliberatielatentie, vertraagde feedback, persistente acties, onderbrekingen, multi-rate observaties) die vaak afzonderlijk worden behandeld of verborgen blijven in het toestandsontwerp.
Scheiding van Belangen: Het ontkoppelt de externe actie-observatieinterface van de interne organisatie van de agent, waardoor componenten die op verschillende frequenties werken (bijv. hoog-niveau planners versus laag-niveau controllers) kunnen coördineren op een gedeelde tijdlijn.
Unificerend Formalisme: Het biedt een homogene interface voor zowel agent-omgeving-interactie als interne module-module-interactie, wat compositional ontwerp faciliteert zonder dat er aparte interfaces nodig zijn voor elke grens.

Experimentele Resultaten

De auteurs evalueren EP in drie settings:

1. Speelgoedexperimenten

Urgentiebewuste Deliberatie: In taken waarbij redeneernauwkeurigheid verbetert met de tijd maar een deadline verbruikt, leren door EP getrainde beleidsregels om de reken diepte in evenwicht te brengen met urgentie. Daarentegen gebruiken stap-gebaseerde beleidsregels (die deliberatie als direct momentaan behandelen) de langzaamste, meest accurate modus overmatig, wat leidt tot hoge time-outpercentages (79,0% versus 0,0% voor EP in single-task settings).
Hiërarchische Patrouille met Onderbrekingen: In een patrouilletaak met asynchrone alarmen, stelt EP de agent in staat om lopende navigatie- of afhandelingsroutines onmiddellijk te onderbreken bij aankomst van een alarm.
- Module-niveau: EP lost 90,9% van de alarmen op, vergeleken met 51,5% voor een baseline die alleen bij modulegrenzen besluit.
- Toestandsniveau: EP presteert beter dan handgeschreven patches en op grenzen gebaseerde baselines door afwegingen te leren tussen urgentie, afstand, fasevoortgang en onderbrekingskosten, wat aanzienlijk hogere opbrengsten en lagere vervaldpercentages oplevert.

2. LLM-gebaseerde Experimenten

Digitale Assistent (Asynchrone E-mails): Een agent moet een hoofdtaken voltooien terwijl hij tijdgevoelige e-mails afhandelt.
- EP behandelt generatie van de hoofdtaken als een onderbreekbare actie, waardoor de agent e-mails kan triëren naarmate ze binnenkomen.
- Baselines: AgentLoop (gesynchroniseerd) mist veel deadlines; Periodic Poll verbetert maar is beperkt door vaste intervallen.
- Resultaat: EP bereikt de hoogste nutswaarde en gebalanceerde scores, verlaagt e-mail time-outpercentages met ongeveer 40% ten opzichte van AgentLoop en vermindert de first-response latentie met bijna de helft.
Belichaamde Planning: Een agent coördineert tutoriële en kookprocessen.
- EP blootlegt kooksignalen direct tijdens tutoriële sessies, waardoor de agent kan beslissen of hij moet onderbreken, uitstellen of doorgaan.
- Resultaat: EP bereikt de hoogste nutswaarde en succespercentages voor kritieke gerechten, en presteert beter dan polling-gebaseerde en engine-side reflex baselines, vooral in multi-gerecht scenario's met overlappende deadlines.

3. Tijd-bewuste LLM Training

De auteurs trainden redeneermodellen (Qwen3-8B) op wiskundeproblemen met expliciete token-budgetten en urgentie-instructies.
EP-bewuste Training: Beloningen worden alleen gegeven als het antwoord correct is en binnen het token-budget valt.
Resultaat: EP-bewuste modellen leren de generatielengte aan te passen aan het budget (bijv. genereren van ongeveer 420 tokens voor een budget van 1k versus ongeveer 1400 voor een budget van 8k). Daarentegen verbeteren RL-modellen die alleen op correctheid zijn getraind (RLVR) de nauwkeurigheid, maar respecteren ze geen budgetten, vaak door veel meer tokens te genereren dan toegestaan.

Betekenis en Claims

Het artikel stelt dat de Engagement Process niet streeft naar grotere uitdrukkingskracht van de toestandsruimte dan verrijkte POMDP's. In plaats daarvan is de primaire bijdrage een expliciete temporele interface die acties en observaties ontkoppelt op een gedeelde tijdlijn.

Beperkte Scope: EP wordt gepresenteerd als een interactieformalisme, niet als een specifieke agentarchitectuur of leeralgoritme. Het laat geheugenbeheer, planning en beleidsleer over aan de systemen die erop zijn gebouwd.
Kernwaarde: Door tijd expliciet te maken op de interface, blootlegt EP temporele structuren (zoals deliberatielatentie en asynchrone feedback) die vaak verborgen blijven in standaard stap-gebaseerde formuleringen. Dit stelt agents in staat om zich aan te passen aan expliciete tijdkosten, onderbrekingen flexibeler te hanteren en subsystemen met heterogene temporele dynamiek samen te stellen zonder te vertrouwen op externe patches of rigide polling-schema's.
Toekomstig Werk: De auteurs suggereren dat toekomstige richtingen EP-bewuste architecturen, rijkere formuleringen voor continue tijd en grootschalige evaluaties in belichaamde, hiërarchische en multi-agent settings omvatten.