🤖 machine learning

Adaptive Reinforcement Learning for Unobservable Random Delays

Dit artikel introduceert een algemeen interactielaagframework en een modelgebaseerd Actor-Critic met Delay Adaptation (ACDA) algoritme die reinforcement learning-agenten in staat stellen om dynamisch zich aan te passen aan onwaarneembare, tijdvariërende vertragingen en pakketverliezen, waarmee zij bestaande methoden in locomotie-benchmarks aanzienlijk overtreffen.

Oorspronkelijke auteurs: John Wikman, Alexandre Proutiere, David Broman

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: John Wikman, Alexandre Proutiere, David Broman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een razendsnelle videogame speelt waarin je een robot bestuurt. In een perfecte wereld zie je het scherm, druk je op een knop en beweegt de robot direct. Maar in de echte wereld is het rommelig. Je signaal kan vastlopen in het verkeer, het brein van de robot kan een moment nodig hebben om na te denken, of het bericht kan volledig verloren gaan. Tegen de tijd dat jouw commando eindelijk aankomt, heeft de robot al bewogen en is je instructie nu foutief.

Dit is het probleem waar onderzoekers John Wikman, Alexandre Proutiere en David Broman zich mee bezighielden. Ze ontdekten dat standaard AI-training ervan uitgaat dat alles direct gebeurt, wat niet werkt bij te maken hebben met echte vertragingen die willekeurig en onzichtbaar zijn voor de AI.

De "Oude Manier" vs. Het Echte Probleem
Eerdere methoden probeerden dit op te lossen door extreem voorzichtig te zijn. Ze gingen uit van het slechtste scenario: "Wat als de vertraging 10 seconden is?" Dus lieten ze de AI precies 10 seconden wachten voordat er actie werd ondernomen, zelfs als de vertraging meestal slechts 1 seconde was. Het is als een bestuurder die altijd 10 minuten bij een groen licht wacht voor het geval het licht langer rood blijft, ook al wordt het meestal binnen 2 seconden groen. Dit is veilig, maar het is ongelooflijk traag en inefficiënt.

Andere methoden probeerden de vertraging te voorspellen, maar dat mislukte vaak omdat de AI niet echt wist hoe lang de vertaging zou zijn op het moment dat de beslissing werd genomen. Het artikel spreekt zich uit tegen deze rigide, vaste-vertraging-benaderingen en stelt dat ze te conservatief zijn en niet kunnen aanpassen aan de chaos van echte netwerken.

De Nieuwe Oplossing: De "Interaction Layer"
Het team introduceerde een slim nieuw framework genaamd de Interaction Layer. Denk aan dit als een slimme "commandocentrale" die tussen het AI-brein en de robot zit.

In plaats van één enkel commando te sturen zoals "Spring nu", stuurt de AI een matrix van toekomstige acties — een gigantisch rooster van mogelijkheden. Het is als een schaker die niet alleen één zet doet, maar een heel boek met zetten opschrijft: "Als de tegenstander hierheen beweegt, doe ik dit; als hij daarheen beweegt, doe ik dat."

De AI vult dit rooster in voor vele verschillende mogelijke toekomstige vertragingen. De AI weet niet welke rij van het rooster daadwerkelijk gebruikt zal worden, omdat de AI niet weet hoe lang het bericht zal duren om aan te komen. Maar de Interaction Layer fungeert als de scheidsrechter. Wanneer het bericht eindelijk aankomt, controleert de Layer de tijd, bepaalt exact hoe lang de vertraging was, en kiest de juiste rij uit het rooster om uit te voeren. Als een bericht verloren gaat of in de verkeerde volgorde aankomt, heeft de Layer reserve-rijen klaarstaan.

De "Actor-Critic with Delay Adaptation" (ACDA)
Om dit werkend te krijgen, bouwden ze een nieuw AI-algoritme genaamd ACDA. Deze AI is een beetje een glimpenaar. Omdat het de toekomst niet kan zien, gebruikt het een "model" om zich voor te stellen hoe de wereld eruit zal zien wanneer de actie eindelijk landt.

Stel je voor dat je een bal naar een vriend gooit die wegrent. Je mikt niet alleen op waar hij nu is; je mikt op waar je denkt dat hij zal zijn wanneer de bal aankomt. ACDA doet dit wiskundig. Het berekent een "distributie" van waar de robot zich in de toekomst zal bevinden en genereert acties op basis van die voorspelling. Het gokt niet blindelings; het gebruikt een geleerd model van hoe de robot beweegt om de gaten in de ontbrekende informatie op te vullen.

Wat de Cijfers Zeggen
De onderzoekers testten dit in een gesimuleerde wereld met behulp van MuJoCo, een physics engine voor robots, in vijf verschillende omgevingen: Ant-v4, Humanoid-v4, HalfCheetah-v4, Hopper-v4 en Walker2d-v4. Ze gebruikten niet alleen nep-vertragingen; ze gebruikten echte data verzameld van WiFi-netwerken in een universiteitsbibliotheek en een kantoor.

De resultaten waren duidelijk:

In de Ant-v4 omgeving met een specifieke gesimuleerde vertraging (GE1,23) scoorde de oude beste methode (BPQL) 2691.88, terwijl ACDA 4112.78 scoorde.
In de Humanoid-v4 omgeving met dezelfde vertraging scoorde BPQL 585.19, terwijl ACDA 4608.76 scoorde.
Zelfs met echte WiFi-vertragingen uit de bibliotheek (DLib) presteerde ACDA consequent beter dan de state-of-the-art methoden.

Het artikel merkt op dat ACDA in bijna elk getest scenario hogere gemiddelde rendementen behaalde dan de beste bestaande methoden. Er was één uitzondering: in de Ant-v4 omgeving met een specif kind type vertraging (MM1), presteerde BPQL iets beter. Echter, in 15 van de 25 geteste benchmarks was ACDA de beste performer.

Hoe Zeker Zijn Ze?
De auteurs zijn zeer confident over deze resultaten op basis van hun simulaties en afgespeelde real-world data. Ze hebben hun tests uitgevoerd over 1 miljoen stappen van training. Ze merken echter voorzichtig op dat hoewel de resultaten sterk zijn, ze niet wiskundig hebben bewezen dat het algoritme altijd naar de perfecte oplossing zal convergeren in elke mogelijke situatie. Het succes wordt gemeten door hoe goed het presteerde in hun specifieke tests, niet door een theoretische garantie dat het 100% van de tijd werkt in elk universum.

De Kern van het Verhaal
Dit artikel suggereert dat door de AI een "menu" van toekomstige acties te laten sturen en een slimme tussenlaag te laten kiezen welke de juiste is op basis van wanneer deze daadwerkelijk aankomt, we veel beter om kunnen gaan met rommelige, onvoorspelbare vertragingen dan door simpelweg te wachten of te gokken. Het verandert een chaotisch, onvoorspelbaar probleem in een beheersbaar spel van "wat als", waardoor robots vloeiend kunnen bewegen, zelfs wanneer hun signalen vaststaan in het verkeer.

Technische Samenvatting: Adaptief Reinforcement Learning voor Onwaarneembare Willekeurige Vertragingen

Probleemstelling

Standaard Reinforcement Learning (RL) algoritmen, zoals Proximal Policy Optimization (PPO) en Soft Actor-Critic (SAC), gaan doorgaans uit van een Markov Beslissingsproces (MDP) waarbij de agent de systeemtoestand onmiddellijk waarneemt en acties uitvoert zonder vertraging. In reële cyber-fysieke systemen faalt deze aanname frequent door interactievertragingen die voortvloeien uit de transmissie van observaties, berekening en actuatie.

Bestaande benaderingen om vertragingen te hanteren vallen over het algemeen uiteen in twee categorieën:

Partieel Observeerbare MDP's (POMDP's): Het modelleren van vertragingen als verouderde observaties, wat de toegang van de agent tot informatie over de evolutie van de omgeving tijdens de vertraging beperkt.
Vaste Vertragingsaannames: Het afdwingen van een constante vertraging (vaak de slechtst denkbare bovengrens) via actiebuffers. Hoewel dit de besluitvorming vereenvoudigt door perfecte informatie over de timing van acties te bieden, is het te conservatief. Het dwingt de agent om onder worst-case latentie te opereren, zelfs wanneer de werkelijke vertragingen minimaal zijn, wat leidt tot suboptimale prestaties.

Er bestaat een kritieke kloof in het omgaan met onwaarneembare, tijdsvariërende willekeurige vertragingen. In veel reële scenario's (bijv. netwerkcontrole) weet de agent op het moment van besluitvorming niet hoe lang een actie zal duren om uit te voeren, noch kan het voorspellen of pakketten verloren zullen gaan of in de verkeerde volgorde zullen aankomen. Bestaande methoden zoals DCAC maken weliswaar unobservable vertragingen mogelijk, maar hebben geen controle over wanneer acties worden toegepast, terwijl andere state-of-the-art algoritmen (bijv. BPQL, VDPO) vertrouwen op vaste-vertraging-paradigma's.

Methodologie

1. Het Interaction Layer Framework

De auteurs introduceren een nieuw framework genaamd de Interaction Layer, dat zich tussen de agent en het gecontroleerde systeem bevindt. Deze laag beheert de onzekerheid van onwaarneembare vertragingen via twee hoofdcomponenten: een Observer en een Action Buffer.

Observatiepakketten: De observer samplet de systeemtoestand en stuurt een observatiepakket naar de agent. Dit pakket bevat de toestand, de huidige inhoud van de actiebuffer, de vertraging van het pakket dat de buffer heeft bijgewerkt, en een verschuivingscounter.
Actiepakketten (Matrix Generatie): In plaats van een enkele actie te sturen, genereert de agent een actiepakket dat een matrix van kandidaat-acties bevat.
- De matrix heeft $L$ rijen (voorspellingslengte) en $h$ kolommen (actiebuffer-horizon).
- De $i$ -de rij komt overeen met de sequentie van acties die worden uitgevoerd als het pakket aankomt op tijdstip $t+i$ .
- De kolommen handelen scenario's af waarin geen nieuw pakket aankomt; als een pakket bij een specifieke stap ontbreekt, schakelt het systeem over naar de volgende kolom in de buffer.
Executielogica: Wanneer een actiepakket bij de interaction layer aankomt, berekent het systeem de round-trip delay ( $\delta$ ) met behulp van lokale klokken. Vervolgens wordt de specifieke rij uit de matrix geselecteerd die overeenkomt met die vertraging. Als de vertraging de matrixrijen ( $L$ ) overschrijdt of als pakketten in de verkeerde volgorde aankomen, wordt het pakket weggegooid.

2. Actor-Critic met Delay Adaptation (ACDA)

Bouwend op de interaction layer, stellen de auteurs ACDA voor, een model-gebaseerd RL-algoritme dat is ontworpen om dynamisch aan te passen aan variërende vertragingen.

Heuristiek voor Veronderstelde Vorige Acties: Omdat de agent niet exact kan weten welke acties er op het systeem zijn toegepast tussen het genereren van een pakket en de aankomst ervan, gebruikt ACDA een heuristiek. Het neemt aan dat als het huidige pakket een vertraging heeft van $k$ , vorige pakketten ook een vertraging van $k$ hadden. Dit stelt de agent in staat om de sequentie van toegepaste acties op het systeem te reconstrueren, wat het mogelijk maakt om de huidige toestandverdeling te voorspellen.
Model-Based Distribution Agent: Standaard neurale netwerken (MLP's) vereisen inputs van vaste grootte, maar de sequentie van "onthouden" acties in ACDA varieert in lengte. Om dit op te lossen, gebruikt ACDA een multi-step distributiemodel om de variabele lengte van de actiegeschiedenis in te bedden in een latente representatie van vaste grootte.
- EMBED: Codeert de huidige toestand in een latente distributie.
- STEP: Een Gated Recurrent Unit (GRU) die de latente distributie bijwerkt door het effect van het toepassen van de sequentie van onthouden acties te simuleren.
- EMIT: Een decoder die tijdens de training wordt gebruikt om ervoor te zorgen dat de latente representatie de toekomstige toestanden nauwkeurig voorspelt (minimaliseren van de KL-divergentie).
- De policy $\pi_\theta$ genereert vervolgens acties op basis van deze fixed-size embedding van de toekomstige toestandverdeling, in plaats van op basis van ruwe state-action geschiedenissen.
Training: ACDA volgt een Actor-Critic opzet gebaseerd op Soft Actor-Critic (SAC). De critic evalueert waarden op onvertragingde systeemtoestanden, wat vereist dat het algoritme het traject reconstrueert vanuit het perspectief van de onvertragingde MDP tijdens de training.

Belangrijkste Bijdragen

Interaction Layer Framework: Een algemeen framework dat agents in staat stelt om te gaan met onwaarneembare, stochastische vertragingen en pakketverlies door een matrix van toekomstige acties te genereren. Dit maakt geïnformeerde besluitvorming onder onzekerheid mogelijk zonder een vaste vertraging aan te nemen.
ACDA Algoritme: Een model-gebaseerd RL-algoritme dat gebruikmaakt van de interaction layer. Het introduceert een heuristiek voor het schatten van toegepaste acties en een distributie-gebaseerd inbeddingsmechanisme om variabelen lengte actiegeschiedenissen te verwerken, waardoor de policy kan redeneren over toekomstige toestandverdelingen.
Empirische Validatie: Uitgebreide evaluatie op MuJoCo locomotie-taken met zowel gesimuleerde vertragingsprocessen (Gilbert-Elliot en M/M/1 wachtrijmodellen) als werkelijk gemeten WiFi-vertragingen.

Resultaten

Het paper evalueert ACDA tegen state-of-the-art baselines, inclusief SAC (met en zonder Constant-Delay Augmentation), Dreamer, BPQL, VDPO en DCAC.

Prestaties: ACDA presteert consistent beter dan alle baselines over een breed scala aan omgevingen (Ant, Humanoid, HalfCheetah, Hopper, Walker2d) en vertragingsprocessen.
Reële Vertragingen: In experimenten met opgenomen WiFi-netwerkvertragingen (DLib en DOff) toonde ACDA superieure prestaties, vooral omdat reële vertragingen temporele correlaties vertonen die ACDA is ontworpen om te exploiteren.
Robuustheid: Hoewel ACDA uitgaat van temporele correlatie in vertragingen, behoudt het acceptabele prestaties, zelfs onder onafhankelijke en identiek verdeelde (i.i.d.) vertragingsprocessen, zij het met een kleinere marge.
Vergelijking met Fixed-Delay Methoden: Methoden die vertrouwen op worst-case vaste vertragingen (zoals BPQL en VDPO met Constant-Delay Augmentation) presteerden aanzienlijk slechter, wat de inefficiëntie van conservatieve aannames in stochastische omgevingen benadrukt.

Betekenis en Claims

De auteurs beweren dat dit werk het eerste framework is dat agents in staat stelt om geïnformeerde, gecontroleerde beslissingen te nemen onder willekeurige, onwaarneembare vertragingen in RL. Door verder te gaan dan het vaste-vertraging-paradigma, maken de interaction layer en ACDA agents in staat om zich aan te passen aan de werkelijke latentie van het systeem in plaats van aan een conservatieve bovengrens.

Het paper benadrukt dat hoewel convergentiegaranties voor deep RL onder willekeurige vertragingen (POMDP-formulering) theoretisch nog openstaan, de empirische resultaten aantonen dat ACDA aanzienlijk hogere gemiddelde rendementen behaalt dan huidige state-of-the-art benaderingen. Het werk suggereert dat het direct afhandelen van de onzekerheid van vertraging, in plaats van het afdwingen van kunstmatige constantie, een effectievere strategie is voor de inzet van RL in reële cyber-fysieke systemen. Toekomstige onderzoeksrichtingen omvatten het uitbreiden van het framework om complexere interactiegedragingen te hanteren en het optimaliseren van de actiepakketstructuur om de computationele en communicatieve overhead te verminderen.