🤖 machine learning

Enhancing Goal Inference via Correction Timing

Dit onderzoek toont aan dat het moment waarop een mens ingrijpt om een robot te corrigeren een waardevol signaal biedt voor het beter afleiden van taakdoelen en menselijke voorkeuren, wat leidt tot snellere en nauwkeurigere robotlering.

Oorspronkelijke auteurs: Anjiabei Wang, Shuangge Wang, Tesca Fitzgerald

Gepubliceerd 2026-02-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anjiabei Wang, Shuangge Wang, Tesca Fitzgerald

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot hebt die een taak uitvoert, zoals het zetten van een blokje in een gat. Soms doet de robot het verkeerd: hij gaat naar het verkeerde gat of hij beweegt te traag. Jij, als mens, grijpt dan in. Je pakt de robotarm vast en duwt hem in de goede richting.

In de wetenschap noemen we dit correcties. Tot nu toe hebben onderzoekers vooral gekeken naar waar je de robot naartoe duwde (de ruimtelijke informatie). Maar deze nieuwe studie, geschreven door Anjiabei Wang en collega's van Yale, vraagt zich iets heel belangrijks af: Wanneer grijp je precies in?

Hier is een simpele uitleg van hun ontdekkingen, met wat creatieve vergelijkingen.

1. Het Moment van Ingrijpen is een Geheimcode

Stel je voor dat je naar een film kijkt. Als de held een fout maakt, reageer je misschien direct met een "Nee!" (een vroege correctie), of wacht je tot hij bijna in de afgrond valt (een late correctie).

De onderzoekers ontdekten dat het tijdstip waarop je ingrijpt, net zo veel informatie bevat als de duw zelf.

De vergelijking: Het is alsof je niet alleen kijkt naar waar je de robot duwt, maar ook naar hoe snel je dat deed nadat je zag dat hij een fout maakte.
De bevinding: Als een robot te traag beweegt, grijpen mensen vaak later in. Als de robot naar het verkeerde gat gaat, grijpen mensen vaak heel snel in. Het tijdstip vertelt de robot dus iets over wat de mens belangrijk vindt (bijvoorbeeld: "Hij moet sneller" of "Hij moet niet naar dat gat").

2. Drie Vragen die ze wilden beantwoorden

De onderzoekers stelden drie vragen, die we kunnen vergelijken met het besturen van een auto:

Vraag 1: Wat maakt dat mensen ingrijpen?
- Vergelijking: Waarom duw je de stuurwiel van een zelfrijdende auto? Is het omdat hij te snel gaat? Omdat hij naar de berm rijdt? Of omdat hij onzeker beweegt?
- Antwoord: Ze ontdekten dat mensen niet op één ding letten. Het is een mix van snelheid, richting en hoe "natuurlijk" de beweging voelt. Als de robot te onzeker beweegt, grijpen mensen sneller in.
Vraag 2: Kunnen we het doel voorspellen voordat de correctie klaar is?
- Vergelijking: Stel je voor dat iemand in een auto plotseling de stuurknuppel pakt en een beetje naar links duwt. Kun je al zeggen dat ze naar de supermarkt willen, voordat ze helemaal bij de supermarkt zijn aangekomen?
- Antwoord: Ja! Als je kijkt naar het tijdstip waarop de persoon de robot pakt én de eerste duwrichting, kun je het doel al veel sneller raden dan als je alleen naar de duwrichting kijkt. Het tijdstip is als een snelle hint die de rest van de weg bespaart.
Vraag 3: Kunnen we het doel nog preciezer maken als we wachten tot de correctie klaar is?
- Vergelijking: Als de persoon de auto nu helemaal naar de supermarkt heeft gereden en stopt, heb je dan nog iets aan het tijdstip waarop hij begon met sturen?
- Antwoord: Nee, niet echt. Als de robot al bij het doel is (of de mens de robot al heeft losgelaten bij het doel), is de boodschap al heel duidelijk. Het tijdstip voegt dan niets meer toe. Het is als het raden van een woord dat al op het bord staat geschreven.

3. De "Tijds- en Ruimte"-Mix

De onderzoekers bouwden een slim computermodel dat twee dingen combineert:

Ruimte (WHERE): Waar duwde de mens?
Tijd (WHEN): Wanneer duwde de mens?

Ze noemen dit het COMBINED-model.

Het resultaat: Dit model werkt fantastisch als de robot nog halverwege zijn taak is. Het kan dan al zeggen: "Ah, je grijpt nu in en duwt naar links, dus je wilt waarschijnlijk dat ik naar het blauwe gat ga."
De nuance: Zodra de robot het doel al bijna heeft bereikt, werkt het tijdsaspect niet meer zo goed, omdat de menselijke duw dan al heel duidelijk is.

Waarom is dit belangrijk?

Stel je een robot voor die helpt in een ziekenhuis of in een fabriek.

Vroeger: De robot moest wachten tot de mens de hele correctie had gedaan voordat hij wist wat er mis was.
Nu: Dankzij deze studie kan de robot al tijdens het grijpen van de mens begrijpen wat er aan de hand is. Hij kan dan direct reageren, net als een goede danspartner die al weet waar je naartoe wilt bewegen voordat je je voet hebt gezet.

Samenvatting in één zin

Het tijdstip waarop een mens een robot corrigeert, is net zo waardevol als de correctie zelf; het helpt de robot om sneller te begrijpen wat de mens wil, vooral als de robot nog halverwege zijn taak is.

Kortom: Luister niet alleen naar wat de mens doet, maar ook naar wanneer hij het doet.

Titel: Verbetering van Doelinferentie via Correctietiming

Auteurs: Anjiabei Wang, Shuangge Wang, Tesca Fitzgerald (Yale University)
Publicatie: AAMAS 2026

1. Probleemstelling

In de interactieve robotleer kunnen mensen fysiek ingrijpen om een robot te corrigeren wanneer deze faalt of op het punt staat te falen bij het uitvoeren van een taak. Bestaande methoden voor het leren van dergelijke correcties behandelen deze meestal als:

Demonstraties: Het gemodificeerde pad wordt gezien als een nieuwe demonstratie.
Voorkeuren: Het gecorrigeerde pad wordt geprefereerd boven het originele pad.

Echter, deze benaderingen negeren een cruciaal element: het moment waarop de mens besluit in te grijpen. De timing van deze beslissing wordt beïnvloed door factoren zoals de voortgang van de taak, de uitlijning met menselijke verwachtingen, bewegingsdynamica, leesbaarheid en optimaliteit. De auteurs stellen de vraag of deze tijdsinformatie (wanneer de correctie plaatsvindt) een waardevol signaal kan zijn voor het infereren van de onderliggende taakdoelen en -beperkingen, naast de ruimtelijke informatie (waar de correctie plaatsvindt).

De onderzoeksvragen (RQ's) zijn:

RQ1: Welke kenmerken van de robotbeweging leiden mensen tot het corrigeren?
RQ2: Kan men het doel van de correctie direct afleiden op basis van de timing en de initiële beweging (aan het begin van de correctie)?
RQ3: Kan men nauwkeurigere taakbeperkingen leren door timinginformatie te combineren met ruimtelijke cues?

2. Methodologie

De auteurs hanteren een tweestapsbenadering om menselijke correctietiming te modelleren en te gebruiken voor robotleer.

A. Data en Experimentele Opzet

Dataset: Gebaseerd op een eerdere studie met 120 deelnemers die een 7-DoF Kinova Gen3-robotarm bedienden. De taak bestond uit het oppakken en plaatsen van vormen (cirkel, vierkant, driehoek, rechthoek) in gekleurde gaten.
Interactie: De robot voerde vooraf geplande trajecten uit. Deelnemers konden op elk moment fysiek ingrijpen. Er werden 7.435 interacties en 3.585 correctietrajecten verzameld.
Datarepresentatie: Voor niet-gecorrigeerde trials wordt het volledige traject gebruikt. Voor gecorrigeerde trials wordt het traject samengesteld uit het uitgevoerde deel voor de correctie en het beoogde (ongebruikte) resterende deel van het originele plan.

B. Fase 1: Voorspellen van Correctietiming (RQ1)

Om te begrijpen wanneer mensen ingrijpen, trainen de auteurs een Transformer-model.

Input: Een tijdreeks van 7 bewegingskenmerken afgeleid van het robottraject $\xi$ $ξ$ en het doel $g$ $g$ . Deze kenmerken omvatten:
- Verwacht uitlijning: Cosine-similariteit van snelheid met een optimale PID-traject, en afstand tot een optimale positie.
- Directheid: Snelheidsuitlijning met een rechte lijn naar het doel.
- Dynamica: Snelheidsconsistentie (cosine tussen $v_t$ en $v_{t-1}$ ).
- Taakprestatie: Leesbaarheid (legibility), afstand tot doel, en Boltzmann-rationaliteit (optimaliteit).
Output: Een cumulatieve verdelingsfunctie (CDF) die de waarschijnlijkheid aangeeft dat een correctie op of voor tijdstip $t$ plaatsvindt.
Doel: Analyseren welke kenmerken de menselijke beslissing tot ingrijpen het beste voorspellen.

C. Fase 2: Doelinferentie (RQ2 & RQ3)

Drie modellen worden vergeleken om de waarschijnlijkheidsverdeling van het doel $P(g|\cdot)$ te schatten:

WHERE-model (Baseline): Gebruikt alleen ruimtelijke informatie.
- Voor RQ2 (begin correctie): Gebruikt grijppositie ( $c_p$ ) en initiële snelheid ( $c'_p$ ) via een MLP om de releasepositie te voorspellen, gevolgd door een GMM (Gaussian Mixture Model) voor de doelverdeling.
- Voor RQ3 (einde correctie): Gebruikt direct de releasepositie ( $c_l$ ) in een GMM.
WHEN-model: Gebruikt alleen de tijdstip $t_c$ van de correctie om de doelverdeling af te leiden via Bayesiaanse inferentie.
COMBINED-model: Integreert zowel ruimtelijke als tijdsinformatie.
- De posterior wordt berekend als een product van de timing-waarschijnlijkheid en de ruimtelijke waarschijnlijkheid (optioneel gewogen met een parameter $\alpha$ ).

3. Belangrijkste Resultaten

Voorspelling van Timing (RQ1)

Het multi-kenmerk Transformer-model presteerde significant beter dan een enkelvoudige Boltzmann-baseline (die alleen optimaliteit gebruikt).
Kenmerkbelang: Geen enkel kenmerk domineerde volledig.
- Optimaliteit was cruciaal voor late correcties (80-100% van het traject).
- Directe snelheidsuitlijning had de grootste impact op middentijdse correcties (80-90%).
- Interessant genoeg leidde het verwijderen van de "afstand tot doel" feature tot een verbetering van de voorspelling, wat suggereert dat mensen minder kijken naar de absolute afstand en meer naar bewegingskwaliteiten zoals efficiëntie en uitlijning.

Doelinferentie (RQ2 & RQ3)

RQ2 (Begin van correctie): Het COMBINED-model presteerde significant beter (lagere Kullback-Leibler Divergentie) dan de WHERE- en WHEN-modellen apart, vooral voor correcties die vroeg in het traject plaatsvinden (70-90%). Dit betekent dat timinginformatie helpt om het doel sneller te raden voordat de correctie voltooid is.
RQ3 (Einde van correctie): Wanneer de releasepositie ( $c_l$ ) bekend is, voegt timing weinig waarde toe. Het COMBINED-model presteerde niet beter dan het WHERE-model. Dit komt doordat in dit specifieke experiment de releasepositie al een zeer nauwkeurige indicatie van het doel was; de ruimtelijke informatie was dus al "volledig".

4. Bijdragen en Significatie

De belangrijkste bijdragen van dit werk zijn:

Inzicht in Menselijke Interventie: Het aantonen dat de timing van correcties niet willekeurig is, maar afhankelijk van een complexe combinatie van bewegingskenmerken (niet alleen optimaliteit) en dat deze beslissingen niet-Markoviaans zijn (afhankelijk van de geschiedenis).
Verbeterde Vroege Doelinferentie: Het bewijzen dat het combineren van tijdsinformatie met initiële ruimtelijke cues (grijppositie en snelheid) robots in staat stelt om menselijke intenties sneller en nauwkeuriger te infereren. Dit is cruciaal voor proactieve assistentie, waarbij de robot kan reageren zodra de mens begint te corrigeren, in plaats van te wachten tot de correctie voltooid is.
Beperkingen van Timing: Het inzicht dat timinginformatie minder waardevol is wanneer de ruimtelijke informatie al zeer specifiek en volledig is (zoals bij de eindpositie van een correctie in een eenvoudige taak).

Significatie voor de Robotica:
Dit onderzoek verschuift de focus van het louter analyseren van wat de mens corrigeert, naar het begrijpen van wanneer en waarom de correctie plaatsvindt. Het biedt een nieuwe signaalbron voor robots om menselijke feedback efficiënter te verwerken, wat leidt tot meer intuïtieve en responsieve samenwerking, vooral in scenario's waar snelle reactie op menselijke interventie essentieel is.