🤖 machine learning

OnDeFog: Online Decision Transformer under Frame Dropping

Dit artikel stelt OnDeFog voor, een online reinforcement learning-methode die Decision Transformer-mechanismen integreert voor het afhandelen van frameverlies met directe interactie met de omgeving om bestaande offline en online benaderingen te overtreffen in omgevingen met hoge frameverliespercentages en data met lage beloningen.

Oorspronkelijke auteurs: Daiki Yotsufuji, Kenta Nishihara, Shoma Shimizu, Kento Uchida, Shinichi Shirakawa

Gepubliceerd 2026-06-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Daiki Yotsufuji, Kenta Nishihara, Shoma Shimizu, Kento Uchida, Shinichi Shirakawa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert lopen, een auto te laten rijden of een videogame te laten spelen. Meestal geef je de robot een constante stroom aan informatie: "Hier ben je, dit heb je gedaan, en dit is hoe goed je het hebt gedaan."

Maar in de echte wereld gaat er wel eens wat mis. Soms hapert de camera, vertraagt het internet of faalt een sensor. Dit wordt frame dropping genoemd. Het is alsoast iemand die plotseling pagina's uit je instructiehandleiding rukt terwijl je aan het lezen bent. De robot weet niet meer waar hij is of wat er een seconde geleden gebeurde, en begint te wankelen.

Het probleem met eerdere oplossingen

Wetenschappers hebben geprobeerd dit eerder op te lossen, maar zij hadden twee hoofpproblemen:

De "Bibliotheekstudent" (DeFog): Eén methode, genaamd DeFog, is als een student die alleen studeert uit een enorme, vooraf geschreven bibliotheek van eerdere spellen. Ze onthouden hoe ze met ontbrekende pagina's moeten omgaan als die ontbrekende pagina's in de bibliotheek voorkwamen. Maar als de robot een volkomen nieuwe situatie tegenkomt die niet in de bibliotheek stond, bevriest de "student" omdat ze dit nog nooit eerder hebben gezien. Bovendien is het verzamelen van die bibliotheek duur en moeilijk.
De "Live Gamer" (ODT): Een andere methode, genaamd ODT, is als een gamer die leert door live te spelen. Ze kunnen omgaan met nieuwe situaties omdat ze in realtime aan het ontdekken zijn. Echter, als het internet hapert (frame dropping) terwijl ze aan het spelen zijn, raken ze in de war en presteren ze slecht omdat ze niet getraind zijn om met ontbrekende informatie om te gaan.

De nieuwe oplossing: OnDeFog

De auteurs van dit artikel hebben een nieuwe methode ontwikkeld genaamd OnDeFog. Zie OnDeFog als een hybride student die het beste van beide werelden combineert:

De Training: Eerst bestuderen ze de "bibliotheek" (offline data), net als DeFog. Maar hier komt de truc: tijdens het studeren doen ze alsof er pagina's ontbreken. Ze oefenen met het lezen van de handleiding met gaten erin, zodat ze leren hoe ze het ontbrekende kunnen raden op basis van wat eraan voorafging.
De Live Praktijk: Daarna gaan ze live een spel spelen (online learning), net als ODT. Omdat ze tijdens hun studie fase al geoefend hebben met "ontbrekende pagina's", raken ze niet in paniek wanneer het internet hapert tijdens het live spelen. Ze blijven soepel vooruitgaan.

Hoe het werkt (De metafoor)

Stel je voor dat je een auto rijdt met een GPS die soms het signaal verliest.

Oude ODT: Je vertrouwt volledig op de GPS. Als het signaal wegvalt, stop je of rijd je in cirkels omdat je niet weet waar je bent.
Oude DeFog: Je hebt een kaart van elke mogelijke route uit je hoofd geleerd. Als de GPS wegvalt, kijk je op je kaart. Maar als je een afkorting neemt die niet op de kaart staat, raak je verdwaald.
OnDeFog: Je hebt de kaart uit je hoofd geleerd én je hebt geoefend met het rijden terwijl de GPS willekeurig werd uitgezet. Dus wanneer het signaal wegvalt, weet je instinctief dat je moet vertrouwen op herkenningspunten en je geheugen van de afgelopen paar seconden om veilig door te blijven rijden, zelfs op nieuwe wegen.

Wat de experimenten lieten zien

De onderzoekers hebben deze nieuwe robotbestuurder getest in drie verschillende "gesimuleerde werelden" (opdrachten voor huppen, lopen en rennen) met verschillende niveaus van "signaalverlies" (frame dropping).

Hoge signaalverlies: Wanneer het signaal verschrikkelijk was (veel gedropte frames), was OnDeFog de duidelijke winnaar. Het bleef goed presteren, terwijl de "Live Gamer" (ODT) volledig de fout in ging.
Slechte datasets: Wanneer ze een "bibliotheek" gebruikten vol slechte, lage-beloningsvoorbeelden (zoals een oefenboek vol fouten), presteerde OnDeFog beter dan de "Bibliotheekstudent" (DeFog). Dit komt omdat OnDeFog live is gaan oefenen en zo betere manieren vond om te bewegen dan wat de slechte bibliotheek hen leerde.
Het nadeel: OnDeFog is niet overal perfect. Als de bibliotheek al erg goed was (vol met voorbeelden met een hoge beloning), had OnDeFog soms moeite om zelfs betere paden te vinden dan wat er al in het boek stond. Het is alsof een student die zo druk is met het ontdekken van nieuwe routes, vergeet dat de oorspronkelijke kaart eigenlijk de beste route was.

De kern van het verhaal

OnDeFog is een slimmere manier om AI-agenten te trainen voor rommelige, echte omgevingen. Door de AI te leren om ontbrekende informatie te verwachten en te verwerken terwijl het leert van live ervaringen, wordt het veel robuuster dan eerdere methoden. Het gaat niet alleen over het onthouden van het verleden; het gaat over leren hoe je doorgaat wanneer de toekomst onzeker is.

Technische Samenvatting: OnDeFog: Online Decision Transformer onder Frame Dropping

Probleemstelling
In real-world reinforcement learning (RL) toepassingen, zoals autonoom rijden of dronebesturing, komen agenten frequent incomplete observaties tegen door communicatievertragingen of sensorfouten, een fenomeen dat bekend staat als frame dropping. Dit resulteert erin dat de agent staten en bijbehorende beloningen mist, wat leidt tot significante prestatiedegradatie. Hoewel de Decision Transformer onder Random Frame Dropping (DeFog) is ontwikkeld om dit aan te pakken door specifieke mechanismen in de Decision Transformer (DT) te integreren, is DeFog een offline RL-methode. Bijgevolg heeft DeFog moeite met het generaliseren naar nieuwe staten die niet adequaat vertegenwoordigd zijn in de vooraf verzamelde trainingsdatasets en is het afhankelijk van hoogwaardige, uitgebreide datasets, wat hoge verzamelkosten met zich meebrengt. Daartegenover staat de Online Decision Transformer (ODT), die leren mogelijk maakt door directe interactie met de omgeving, maar die geen inherente mechanismen bezit om frame dropping aan te pakken, waardoor het vatbaar is voor prestatiedalingen wanneer observaties verloren gaan.

Methodologie: OnDeFog
De auteurs stellen OnDeFog (Online DeFog) voor, een nieuwe online RL-methode die de robuustheidsmechanismen van DeFog integreert in het ODT-framework. OnDeFog beoogt een stabiele training te bereiken in omgevingen met frame dropping, terwijl het vermogen behouden blijft om te exploreren en te leren van nieuwe interacties.

De voorgestelde methode maakt gebruik van een tweestaps-trainingsaanpak:

Offline Pre-training: Het beleid (policy) wordt initieel getraind met behulp van een vooraf verzamelde dataset via offline RL.
Online Fine-tuning: Het beleid wordt verder verbeterd door directe interactie met de omgeving.

Om frame dropping tijdens de training af te handelen, incorporeert OnDeFog twee belangrijke technieken uit DeFog:

Train-time Frame Dropping: Tijdens de training worden inputs (staten en returns) opzettelijk gedropt op specifieke tijdstappen met een gedefinieerde waarschijnlijkheid ( $p$ ). Voor gedropte frames wordt de staat en de return van het voorgaande frame overgenomen. Dit simuleert de omgeving met frame dropping, waardoor het model leert om robuust te zijn tegen ontbrekende data.
Drop Span Embedding: De methode berekent het aantal opeenvolgende gedropte frames ( $D$ ) op elk tijdstip. Deze telling wordt via een drop span encoder omgezet in een vector en toegevoegd aan de state- en return-tokens. Dit stelt het model in staat om expliciet te leren omgaan met ontbrekende patronen.

In tegen tegenstelling tot DeFog gebruikt OnDeFog geen "freeze-trunk fine-tuning", aangezien experimenten aangaven dat dit in de online setting geen substantiële resultaten opleverde. In plaats daarvan maakt OnDeFog gebruik van een replay buffer waarin trajecten die tijdens online interactie zijn verzameld, worden opgeslagen. Tijdens online leren wordt de target return geschaald (gesteld op tweemaal de optimale return) om agressieve exploratie aan te moedigen, en wordt de werkelijke gemeten return gebruikt voor het leren (hindsight return relabeling) om discrepanties tussen de target en de geobserveerde returns te corrigeren.

Belangrijkste Bijdragen

Integratie van Robuustheid en Online Leren: OnDeFog slaagt erin de kloof tussen offline robuustheid en online aanpasbaarheid te overbruggen door de mechanismen van DeFog voor het afhandelen van frame dropping in de ODT-architectuur te integreren.
Mitigatie van Dataset-afhankelijkheid: Door gebruik te maken van online interactie vermindert OnDefog de afhankelijkheid van hoogwaardige, uitgebreide offline datasets, waarmee het een primaire beperking van DeFog aanpakt.
Tweestaps-trainingsframework: De methode vestigt een protocol voor pre-training op offline data gevolgd door online fine-tuning, specifiek aangepast om frame dropping te verwerken via train-time simulatie en drop span embeddings.

Experimentele Resultaten
De auteurs evalueerden OnDeFog op de D4RL benchmark (Gym-MuJoCo taken: Hopper, Walker2d en HalfCheetah) over variërende frame drop rates (0 tot 0,9).

Vs. ODT: In omgevingen met hoge frame drop rates vertoonde OnDeFog superieure prestaties en een meer geleidelijke degradatiecurve vergeleken met ODT, dat te maken kreeg met scherpe prestatiedalingen. In omgevingen met lage drop-rates presteerde OnDeFog vergelijkbaar met of licht inferieur aan ODT; een resultaat dat de auteurs toeschrijven aan het feit dat de hoge drop rates die tijdens de training werden gebruikt, de adaptatie aan scenario's met lage drop rates mogelijk hebben belemmerd.
Vs. DeFog: Op de medium-replay datasets (gekarakteriseerd door een hoog aandeel data met lage beloningen) presteerde OnDeFog vaak beter dan DeFog. Dit wordt toegeschreven aan het vermogen van OnDeFog om trajecten met hoge beloningen te verwerven via online exploratie, terwijl DeFog beperkt is door de kwalitatief minder goede data in de offline dataset.
Beperkingen: Op de HalfCheetah medium-replay dataset en de standaard medium dataset (exclusief Hopper) presteerde OnDeFog iets minder goed dan DeFog. De auteurs schrijven dit toe aan onvoldoende exploratie in grote actieruimtes (HalfCheetah) en het onvermogen van online exploratie om trajecten te ontdekken met beloningen die hoger zijn dan die al aanwezig waren in de medium dataset, wat de kwaliteit van de replay buffer potentieel kan verslechteren.

Betekenis en Claims
Het artikel claimt dat OnDeFog een robuuste oplossing biedt voor RL-agenten die opereren in real-world omgevingen die gevoelig zijn voor communicatievertragingen en sensorfouten. Het demonstreert dat het integreren van frame-dropping mechanismen in een online leerframework het mogelijk maakt voor agenten om prestaties te handhaven waar conventionele online methoden (ODT) falen en waar offline methoden (DeFog) beperkt worden door de kwaliteit van de dataset.

De auteurs merken bescheiden op dat hoewel OnDeFog effectief de prestatiedegradatie in omgevingen met hoge drop-rates en op datasets met lage beloningen mitigeert, het voor uitdagingen staat in scenario's met extreem lage-belonings-trajecten of grote actieruimtes waar exploratie moeilijk is. Toekomstig werk wordt geïdentificeerd als het ontwikkelen van methoden om het moment van schakelen tussen offline en online leren automatisch aan te passen op basis van de datasetkwaliteit en de prestaties van het beleid.