⚡ electrical engineering

Online Intention Prediction via Control-Informed Learning

Dit artikel presenteert een online raamwerk voor intentievoorspelling dat via inverse optimale controle en een verschuivende horizon strategie in real-time veranderende doelen van autonome systemen, zoals een kwadracopter, accuraat voorspelt, zelfs bij onbekende dynamica en ruis.

Oorspronkelijke auteurs: Tianyu Zhou, Zihao Liang, Zehui Lu, Shaoshuai Mou

Gepubliceerd 2026-04-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tianyu Zhou, Zihao Liang, Zehui Lu, Shaoshuai Mou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je op een drukke kruising staat en een drone ziet vliegen. Je ziet waar hij nu is, maar je weet niet waar hij naartoe wil. Wil hij naar het dak van het gebouw, naar de boom in de park, of misschien gewoon ergens anders heen? En wat als hij halverwege zijn plan verandert?

Dit is precies het probleem dat dit wetenschappelijke artikel oplost. De onderzoekers hebben een slimme manier bedacht om de "intentie" (het doel) van een robot of drone in echt te voorspellen, zelfs als die robot zijn plan tussendoor verandert of als we niet precies weten hoe de robot werkt.

Hier is de uitleg, vertaald naar alledaags taal en met een paar leuke vergelijkingen:

1. Het Probleem: De "Onzekere Drukte"

Vroeger waren er twee manieren om te raden waar een robot naartoe gaat:

De "Fysicus"-aanpak: Je probeert de robot te begrijpen door de zware wiskunde van zijn bewegingen te berekenen. Dit werkt goed als je precies weet hoe de motor werkt, maar als de robot een beetje "raar" doet (bijvoorbeeld door wind of een defect), gaat het mis.
De "Leraar"-aanpak: Je leert de robot met veel voorbeelden. Maar als de robot iets nieuws doet dat hij nooit eerder heeft gedaan, weet hij het niet meer.

Het echte probleem is dat robots in de echte wereld vaak hun doel tijdens het vliegen veranderen (bijvoorbeeld om een obstakel te ontwijken) en dat we vaak niet precies weten hoe zwaar ze zijn of hoe hun motoren reageren.

2. De Oplossing: De "Slimme Voorspeller"

De onderzoekers hebben een nieuw systeem bedacht dat werkt als een slimme detective die meekijkt met de drone. Ze noemen het Online Control-Informed Learning.

Hier zijn de drie belangrijkste trucjes die ze gebruiken:

A. De "Schuifende Horizon" (Het Vergeten van het Oude)

Stel je voor dat je een film kijkt, maar je hebt een slecht geheugen. Als de hoofdpersoon plotseling van richting verandert, helpt het niet om te blijven kijken naar wat hij 10 minuten geleden deed. Je moet je focussen op wat hij nu doet.

Hoe het werkt: Het systeem kijkt niet naar de hele geschiedenis van de drone, maar alleen naar de laatste paar seconden.
De metafoor: Het is alsof je een schuifraam hebt. Als de drone van doel verandert, schuift het raam door. De oude, verouderde informatie (waar hij eerst naartoe wilde) valt eruit en wordt genegeerd. Zo kan het systeem snel zien: "Oh, hij draait nu naar links, zijn doel is dus verandert!"

B. Het "Gokken en Aanpassen" (Online Leren)

We weten niet precies hoe zwaar de drone is of hoe snel hij accelereert. Het systeem maakt dus een gok over deze eigenschappen én over het doel.

Hoe het werkt: Het systeem zegt: "Ik denk dat hij naar de boom wil en dat hij 2 kilo weegt." Dan kijkt hij naar de drone: "Oh, hij beweegt niet zoals ik dacht."
De aanpassing: Het systeem past zijn gok direct aan. "Oké, misschien weegt hij 2,5 kilo en wil hij toch naar het dak." Dit gebeurt elke milliseconde. Het is alsof je een bal gooit en terwijl hij in de lucht is, pas je je handbeweging aan om hem toch te vangen.

C. De "Wiskundige Spiegel" (PDP)

Om dit zo snel te doen dat het in echt werkt, gebruiken ze een geavanceerde wiskundige techniek (genaamd Pontryagin Differentiable Programming).

De vergelijking: Stel je voor dat je een auto bestuurt en je wilt weten hoe hard je moet remmen als er een kind op de weg loopt. In plaats van elke keer een nieuwe berekening te maken, heb je een spiegel die je direct vertelt: "Als je 1% harder remt, land je precies op de juiste plek." Dit maakt de berekeningen supersnel, zodat de drone niet hoeft te wachten.

3. De Test: De Drone in de Vloer

De onderzoekers hebben dit getest met een echte drone (een quadcopter).

Het scenario: De drone vloog rond en veranderde halverwege zijn doel. Soms was het doel ver weg, soms dichtbij. Soms was er veel ruis (zoals wind of slechte camera-beelden).
Het resultaat:
- De oude methodes (zonder de "schuifende horizon") bleven vastlopen op het oude doel. Ze dachten: "Hij wilde naar links, dus hij blijft naar links vliegen," terwijl de drone al naar rechts was gedraaid.
- De nieuwe methode zag de draaiing direct, vergat het oude doel en voorspelde het nieuwe doel binnen een fractie van een seconde. Zelfs als de drone zijn gewicht veranderde of de wind hem duwde, bleef de voorspelling nauwkeurig.

Waarom is dit belangrijk?

Stel je voor dat een robot in een ziekenhuis moet helpen, of een auto op de snelweg moet rijden. Als die robot niet snapt dat een mens of een andere auto zijn plan verandert, kan dat gevaarlijk zijn.

Met deze nieuwe methode kunnen robots:

Sneller reageren op onverwachte veranderingen.
Veilig samenwerken met mensen, zelfs als ze niet communiceren.
Werken in chaotische omgevingen waar we niet alles van tevoren weten.

Kortom: Het is alsof we een robot hebben gegeven een "buikgevoel" en een kort geheugen, zodat hij niet vastzit aan het verleden, maar perfect meebeweegt met wat er nu gebeurt.

Titel: Online Intentiepredictie via Leerprocessen Geïnformeerd door Controle (Control-Informed Learning)

Auteurs: Tianyu Zhou, Zihao Liang, Zehui Lu en Shaoshuai Mou (Purdue University en onafhankelijk onderzoeker).

1. Probleemstelling

Het artikel adresseert het probleem van het voorspellen van de intentie (definieerd als de gewenste doeltoestand) van autonome systemen in real-time. De specifieke uitdagingen die dit onderzoek aanpakt, zijn:

Tijdsvariërende doelen: Autonome systemen kunnen tijdens het uitvoeren van een traject van doel wisselen (bijvoorbeeld in adversariele of dynamische omgevingen). Bestaande methoden gaan vaak uit van een vast of vooraf gedefinieerd setje doelen.
Onbekende parameters: Het systeem kan onbekende parameters bevatten in zowel de dynamica (hoe het systeem beweegt) als in de objectiviteitsfunctie (wat het systeem probeert te minimaliseren, zoals gewichten voor kosten).
Online vereiste: De schatting moet continu worden bijgewerkt naarmate nieuwe, ruisbeïnvloede metingen binnenkomen, zonder dat er een offline trainingsfase nodig is.

De kernvraag is: Hoe kan men de huidige doeltoestand $x^*_{g,t}$ schatten, terwijl de onderliggende dynamica en de kostenfunctie onbekend zijn en het doel tijdens het proces kan veranderen?

2. Methodologie

De auteurs stellen een nieuw raamwerk voor genaamd Online Control-Informed Learning (OCIL) dat een combinatie is van inverse optimal control (IOC) / inverse reinforcement learning (IRL) en online state schatting.

A. Probleemformulering

Het gedrag van het agent wordt gemodelleerd als het oplossen van een optimalisatieprobleem waarbij een kostenfunctie $J$ wordt geminimaliseerd onder dynamische beperkingen. De intentie (doeltoestand) wordt behandeld als een parameter binnen deze kostenfunctie.

De totale parameter vector $\theta_t$ omvat de onbekende dynamica-parameters ( $p^*$ ), de gewichten van de kostenfunctie ( $\omega^*_r, \omega^*_f$ ) en de doeltoestand ( $x^*_{g,t}$ ).
Het doel is om $\hat{\theta}_t$ online te schatten zodat de geschatte doeltoestand convergeert naar de ware doeltoestand.

B. Verschuivende Horizont Strategie (Shifting Horizon)

Om om te gaan met tijdsvariërende doelen, wordt een verschuivende horizont ingevoerd. In plaats van te optimaliseren over de volledige geschiedenis van het traject, wordt de berekening beperkt tot een recent venster van observaties (grootte $T_m$ ).

Voordeel: Dit "verwaarloost" verouderde informatie die bij een oud doel hoorde, waardoor de schatting sneller kan adapteren naar een nieuw doel.
Robuustheid: Het vermindert de accumulatie van meetruis en parameter-drift over de tijd.

C. Online Parameterschatting en Gradiënten

Het probleem wordt omgezet in een state-schatting probleem waarbij de parameters $\theta$ als de "toestand" worden behandeld.

Update-mechanisme: Er wordt een recursieve update-regel gebruikt (gebaseerd op Lemma 1 in het artikel) die lijkt op een Kalman-filter, maar is aangepast voor niet-lineaire optimalisatieproblemen.
Gradiëntberekening: De cruciale stap is het berekenen van de gradiënt van de voorspelde toestand ten opzichte van de parameters ( $\frac{\partial \hat{x}_t}{\partial \theta}$ ). Hiervoor maken de auteurs gebruik van Pontryagin Differentiable Programming (PDP). Dit stelt hen in staat om efficiënt de gradiënten te berekenen die nodig zijn voor de online update, zelfs binnen een complex optimalisatiekader.

Algoritme Flow:

Observeer de huidige toestand.
Update het geheugenvenster (shifting horizon).
Los het optimalisatieprobleem op met de huidige parameterschatttingen om een voorspeld traject te genereren.
Bereken de gradiënten via PDP.
Update de parameterschatttingen (inclusief het doel) op basis van de residual (verschil tussen voorspelling en observatie).

3. Belangrijkste Bijdragen

Nieuwe Probleemformulering: Voor het eerst wordt intentiepredictie geformuleerd voor systemen met tijdsvariërende doelen in een continue ruimte, zonder een vooraf gedefinieerd setje mogelijke doelen.
Omgaan met Onbekenden: Het raamwerk schat simultaan de doeltoestand, de gewichten van de kostenfunctie en de dynamica-parameters, zelfs als deze allemaal onbekend zijn.
Verschuivende Horizont: Een innovatieve strategie die specifiek is ontworpen om de schatting te laten "resetten" of aanpassen bij doelwisselingen, wat een groot tekort is in bestaande IOC/IRL-methoden.
Efficiëntie: Door PDP te gebruiken, wordt de berekening van gradiënten efficiënt genoeg gemaakt voor real-time toepassing.

4. Resultaten

De methode is getest via simulaties en hardware-experimenten met een quadcopter-drone.

Simulaties (Ruis): De methode toonde snelle en accurate convergentie naar de ware doeltoestand, zelfs bij hoge niveaus van Gaussische meetruis ( $\sigma = 0.5$ ).
Doelwisselingen: Bij scenario's met meerdere doelwisselingen (twee of drie keer van doel wisselen) slaagde de voorgestelde methode erin om de nieuwe doelen snel te detecteren en de voorspellingsfout (loss) te laten dalen.
- Vergelijking: De bestaande OCIL-methode (zonder verschuivende horizont) faalde bij doelwisselingen; de voorspellingsfout bleef hoog omdat de methode te sterk werd beïnvloed door verouderde observaties van het oude doel.
Hardware Experimenten:
- Uitgevoerd op een drone in een 5m x 3m gebied met motion capture.
- De gemiddelde voorspellingstijd was 92,3 ms per stap, wat lager is dan de meetfrequentie van het systeem (100 ms), wat aantoont dat het geschikt is voor real-time gebruik.
- De voorspelling convergerde naar de waarheid, hoewel er tijdelijk een kleine toename in fout was tijdens scherpe bochten (doelwisselingen).

5. Betekenis en Conclusie

Dit onderzoek biedt een significante doorbraak in het veld van mens-robot interactie en samenwerking in dynamische omgevingen.

Adaptiviteit: Het lost het probleem op dat bestaande methoden statisch zijn en niet kunnen omgaan met veranderende strategieën van een tegenstander of partner.
Robuustheid: Het werkt goed zonder perfecte kennis van het fysieke model van het systeem.
Toepasbaarheid: De combinatie van optimal control theorie met online learning maakt het mogelijk om complexe, niet-lineaire systemen in real-time te begrijpen en te anticiperen.

De conclusie is dat het voorgestelde framework een robuuste, snelle en nauwkeurige oplossing biedt voor intentiepredictie in onzekere en dynamische omgevingen, waarbij het de beperkingen van zowel puur fysiek-gebaseerde als puur datagedreven methoden overwint.