💻 computer science

HINT-Plan: Human Intention-Aware Robot Task Planning in Context-Rich Environments using Vision Language Models

HINT-Plan is een nieuw raamwerk dat Vision Language Models gebruikt om menselijke intenties te voorspellen vanuit visuele observaties en deze integreert met hiërarchische Scene Graphs in formele taakplanning, waardoor mobiele robots proactief gezamenlijke mens-robottaken kunnen uitvoeren in contextrijke omgevingen met aanzienlijk hogere succespercentages dan bestaande baselines.

Oorspronkelijke auteurs: Yuchen Liu, Luigi Palmieri, Lujun Li, Radu State, Ilche Georgievski, Marco Aiello

Gepubliceerd 2026-09-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuchen Liu, Luigi Palmieri, Lujun Li, Radu State, Ilche Georgievski, Marco Aiello

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de stille brom van een modern huis beweegt een robot met een doel, terwijl hij een dienblad draagt of een vloer veegt. Om deze machine werkelijk nuttig te maken, moet hij meer doen dan alleen botsen met mensen voorkomen; hij moet begrijpen wat die mensen proberen te doen. Deze uitdaging bevindt zich op het snijvlak van robotica en kunstmatige intelligentie, waar onderzoekers ernaar streven machines een gevoel van sociaal bewustzijn te geven. Traditioneel zijn robots getraind om mensen te zien als obstakels waar ze omheen moeten navigeren, waarbij ze paden berekenen om botsingen te vermijden. Een geavanceerder doel is echter om menselijke behoeften en intenties te anticiperen, waardoor de robot proactief kan handelen in plaats van alleen reactief. Om dit te bereiken, wenden wetenschappers zich steeds vaker tot grote taalmodellen en visiesystemen—computerprogramma's die een afbeelding kunnen bekijken en het verhaal kunnen begrijpen dat het vertelt, net zoals een persoon een scène leest. De vraag blijft: kunnen deze systemen de volgende stap van een persoon goed genoeg voorspellen om een gezamenlijke taak te coördineren zonder in de weg te zitten?

Een team van onderzoekers heeft een nieuwe methode ontwikkeld genaamd HINT-Plan om deze vraag te beantwoorden. Hun aanpak gaat verder dan eenvoudige botsingsvermijding door een robot te leren het verborgen doel van een mens te raden en vervolgens zijn eigen acties rond die vermoedens te plannen. Het systeem werkt door een persoon via een camera te observeren, waarbij een krachtig visueel taalmodel wordt gebruikt om te interpreteren wat er gebeurt. In plaats van te proberen elke kleine beweging die de mens mogelijk maakt te voorspellen, wat vaak onmogelijk is door geblokte zichtlijnen of beperkte videokwaliteit, concludeert het systeem de bredere intentie. Als de camera bijvoorbeeld ziet dat een persoon een taart in de magnetron plaatst, registreert het systeem niet alleen de handeling; het redeneert dat de persoon waarschijnlijk de taart wil opwarmen en deze daarna aan een tafel wil eten. Dit afgeleide doel wordt vervolgens vertaald naar een formeel plan dat de robot kan begrijpen en waarmee hij kan werken.

De kern van deze innovatie is het behandelen van de mens als een partner in een gezamenlijk planningsprobleem in plaats van een willekeurige variabele. Zowel de robot als de mens worden gemodelleerd als agenten die werken naar hun eigen doelstellingen binnen dezelfde digitale ruimte. Het systeem bouwt eerst een gedetailleerde kaart van de kamer, waarbij wordt genoteerd waar objecten zoals tafels, stoelen en apparaten zich bevinden en hoe ze met elkaar samenhangen. Vervolgens combineert het deze kaart met de visuele observatie van de mens en de eigen toegewezen taak van de robot, zoals het brengen van een koffiepot naar de persoon. Door al deze informatie in een planningsmotor te voeren, genereert het systeem een gecoördineerde reeks acties voor zowel de robot als een gesimuleerde versie van de mens. Dit stelt de robot in staat om potentiële conflicten te zien voordat ze gebeuren, zoals wanneer beide agenten tegelijkertijd dezelfde tafel willen gebruiken, en het plan aan te passen om de botsing te vermijden.

Om te testen of deze aanpak daadwerkelijk werkt, voerden de onderzoekers duizenden simulaties uit in een fotorealistisch digitaal huis. Ze creëerden scenario's waarin mensen diverse activiteiten uitvoerden, van eenvoudige taken zoals televisie kijken tot complexere taken zoals het opruimen van een kamer of het schoonmaken van een tafel. In deze tests moest de robot zijn eigen taak voltooien terwijl hij de afgeleide doelen van de mens respecteerde. De resultaten toonden aan dat HINT-Plan aanzienlijk succesvoller was dan eerdere methoden. Het behaalde een succespercentage van bijna 70 procent bij het voltooien van gezamenlijke taken zonder conflict, een substantiële verbetering ten opzichte van andere leidende benaderingen die moeite hadden om de 35 procent te bereiken. Wanneer het systeem het doel van de mens correct raadde, steeg het succespercentage naar bijna 100 procent, wat bewijst dat de planningsmotor zelf zeer betrouwbaar is wanneer deze over de juiste informatie beschikt.

De studie benadrukte ook waar het systeem nog steeds uitdagingen ervaart. De methode werkt uitzonderlijk goed wanneer menselijke activiteiten rechttoe rechtaan zijn, zoals gaan zitten om een boek te lezen of een lamp aan te zetten. Echter, het succespercentage daalt wanneer de mens complexe taken uitvoert die het bewegen van meerdere verschillende items omvatten, zoals het organiseren van een kamer. In deze moeilijkere gevallen mist het visuele taalmodel soms een stap of raadt het het verkeerde object, wat het hele plan in de war stuurt. Dit suggereert dat hoewel de logica van het coördineren van twee agenten solide is, het vermogen om menselijke intenties nauwkeurig uit een videofeed te lezen, de beperkende factor blijft. De onderzoekers ontdekten dat wanneer de intentievoorspelling perfect was, de doelen van de robot en de mens bijna altijd werden bereikt, maar dat fouten in die initiële gok leidden tot mislukkingen in de uiteindelijke uitvoering.

Dit werk demonstreert dat het expliciet opnemen van afgeleide menselijke intenties in formele planning robots veel effectievere partners kan maken. Door de focus te verleggen van het voorspellen van exacte toekomstige bewegingen naar het begrijpen van onderliggende doelen, vermijdt het systeem de valkuilen van het proberen te voorspellen van elk detail van menselijk gedrag. De bevindingen suggereren dat de toekomst van mens-robot samenwerking niet ligt in het sneller of wendbaarder maken van robots, maar in het beter begrijpen van de context van menselijke handelingen. Hoewel het huidige systeem afhankelijk is van simulaties en aanzienlijke rekenkracht vereist om afbeeldingen te verwerken en plannen te genereren, bieden de resultaten een duidelijk pad vooruit. De onderzoekers geven aan dat met betere data en snellere inferentie, dit type proactieve, intentiebewuste planning binnenkort van digitale simulaties naar echte huizen kan overgaan, waardoor robots mensen kunnen ondersteunen op een manier die natuurlijk en intuïtief aanvoelt.

Technische Samenvatting: HINT-Plan

Probleemstelling

Het artikel behandelt de uitdaging van mensbewuste robot-taakplanning in gedeelde, contextrijke omgevingen (bijv. huishoudens). Terwijl bestaand onderzoek uitgebreid heeft gefocust op laag-niveau bewegingsplanning voor botsingsvermijding, is er een aanzienlijke kloof in de hoog-niveau taakplanning die rekening houdt met menselijke intenties. Huidige benaderingen behandelen mensen vaak als statische obstakels of gaan uit van een vooraf gespecificeerde menselijke agenda, wat onrealistisch is in dynamische settings. Bovendien is het voorspellen van exacte toekomstige menselijke actiesequenties vanuit observaties door derden foutgevoelig door occlusie en partiële observeerbaarheid, wat leidt tot falen in de downstream-planning. De kern van het probleem is om een mobiele robot in staat te stellen latente menselijke doelen te anticiperen vanuit visuele observaties en een gezamenlijk taakplan te synthetiseren dat zowel het toegewezen taak van de robot als het geïnferreerde menselijke doel bereikt zonder functionele conflicten (bijv. twee agenten die strijden om hetzelfde object).

Methodologie: HINT-Plan

De auteurs stellen HINT-Plan (Human Intention-Aware Robot Task Planning) voor, een framework dat Vision Language Models (VLMs) integreert met formele multi-agent planning. Het systeem werkt via vier afzonderlijke stadia:

Multimodale Intentie-inferentie:
- Input: Een sequentie van eerdere RGB-beelden ( $I_{-T+1:0}$ ), een hiërarchische Scene Graph (SG) die de topologie en semantiek van de omgeving representeert, en een instructie voor de gebruikers-taak ( $\tau$ ).
- Proces: Een VLM verwerkt deze inputs om een gestructureerde output te genereren, inclusief:
  - Een narratie van het geobserveerde gedrag.
  - Redeneringen over waarschijnlijke toekomstige ontwikkelingen.
  - Latente Menselijke Intentie ( $\hat{g}_H$ ): Voorspeld als symbolische doeltoestanden (bijv. zitten_op(mens, bank)) in plaats van een sequentie van specifieke acties.
  - Identificatie van relevante items voor zowel de mens als de robot.
- Rationale: Het voorspellen van doeltoestanden is robuuster dan het voorspellen van exacte actiesequenties, omdat doelen invariant zijn voor het specifieke pad dat wordt genomen om ze te bereiken.
Gronding in een Formeel Multi-Agent Probleem (SG2Problem):
- Het systeem extraheert een taakrelevante subgraaf uit de Scene Graph op basis van de door de VLM geïdentificeerde items.
- Nodes en edges worden in kaart gebracht naar getypeerde planning-objecten en symbolische predicaten (bijv. op(taart, tafel), bereikbaar(robot, koelkast)).
- De mens wordt gemodelleerd als een expliciete planning-agent met een verzameling doelen afgeleid van de VLM-inferentie, in plaats van een externe verstoring.
- Het probleem wordt geformuleerd als een multi-agent planningprobleem $M = (A, O, s_0, G, D)$ , waarbij agenten $A = \{robot, mens\}$ , $G$ de unie is van de robot- en menselijke doelen, en $D$ het planning-domein is.
Multi-Agent Taakplanning:
- Een symbolische planner (met gebruik van de FMAP engine) lost het gezamenlijke probleem op om een gedeeltelijk geordend plan $\pi = (\Pi_R, \Pi_H, C)$ te genereren.
- $\Pi_R$ is de actiesequentie van de robot.
- $\Pi_H$ is een doel-geconditioneerd menselijk surrogaatplan: een haalbare sequentie van acties die het geïnferreerde menselijke doel bereikt, uitsluitend gebruikt voor coördinatie.
- $C$ representeert ordenings- en mutual-exclusion constraints om functionele conflicten te voorkomen (bijv. beide agenten die tegelijkertijd dezelfde magnetron proberen te openen).
Planvalidatie en Executie:
- Het gegenereerde plan wordt gevalideerd tegen het formele domein en de grondwaarheid-doelen (in simulatie) om uitvoerbaarheid en conflictvrijheid te garanderen.
- Alleen geldige plannen gaan door naar executie in de fotorealistische VirtualHome simulator.

Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

Formulering: Mensbewuste taakplanning wordt geformuleerd als een multi-agent planningprobleem waarbij de mens een agent is met geïnferreerde symbolische doeltoestanden, en de planner een doel-consistente menselijke voortzetting synthetiseert voor coördinatie.
Gronding-pipeline: Een nieuwe VLM-gebaseerde pipeline die visuele historie, Scene Graphs en taakinstructies combineert om intenties te infereren en deze te gronden in een formele planning-taal (PDDL-achtig), wat uitvoerbare gezamenlijke plannen mogelijk maakt.
Prestaties: Uitgebreide evaluatie toont aan dat HINT-Plan een algemene succesrate van 69,71% behaalt in gezamenlijke planning, waarmee het baselines met tot wel 35,29% verslaat, terwijl het functionele conflicten aanzienlijk vermindert en de voltooiing van doelen voor beide agenten verbetert.
Betrouwbaarheid: Wanneer de menselijke en robot-doelen correct zijn gegrond, slaagt de multi-agent planner in 99,60% van de proeven zonder functionele conflicten, wat de betrouwbaarheid van de planning-formulering zelf demonstreert.

Resultaten en Evaluatie

Het systeem werd geëvalueerd in VirtualHome over zes menselijke activiteiten (variërend van eenvoudige "TV kijken" tot complexe "Kamer opruimen"), vier scènes en twee robot-taaktypen (item levering en retour).

Vergelijking met Baselines: HINT-Plan presteerde aanzienlijk beter dan twee baselines:
- VLM-As-Planner: Een methode waarbij de VLM direct actiesequenties genereert zonder formele gronding (SR: 35,50% vs. HINT-Plans 69,71%).
- GG-LLM: Een recente benadering die activiteiten voorspelt en deze in een semantische kaart grondt, maar geen gezamenlijke symbolische planning gebruikt (SR: 34,42%).
Doelvoltooiing: HINT-Plan behaalde hoge voltooiingspercentages voor zowel robot-doelen (93,08%) als menselijke doelen (82,60%), terwijl baselines vaak faalden in het bereiken van menselijke doelen of conflicten veroorzaakten.
Conflictreductie: De Functional Conflict Rate (FCR) werd teruggebracht naar 14,62%, ongeveer de helft van die van de baselines.
Impact van Intentie-nauwkeurigheid: De resultaten tonen een sterke correlatie tussen de nauwkeurigheid van de intentievoorspelling en het succes van de planning. Wanneer het menselijke doel correct werd voorspeld (HINT-Acc), steeg de succesrate naar 97,90%. Omgekeerd, wanneer het doel onjuist was, daalde de succesrate naar 20,57%.
Complexiteit: De prestaties waren het hoogst bij eenvoudige en gemiddelde activiteiten (99,13% en 84,50% SR respectievelijk), maar daalden bij complexe activiteiten met meerdere items (25,50%), wat benadrukt dat robuuste gronding van complexe intenties nog steeds een uitdaging is.

Betekenis en Claims

Het artikel claimt dat het expliciet opnemen van geïnferreerde menselijke intenties in formele multi-agent taakplanning een cruciale stap is naar proactieve mensbewuste robotbesluitvorming. Door de verschuiving van het voorspellen van fragiele actiesequenties naar het infereren van robuuste symbolische doeltoestanden, kan het systeem de taak-niveau resource-benutting effectief coördineren.

De auteurs benadrukken dat hun benadering mensen behandelt als collaboratieve agenten die hun eigen latente doelen nastreven, in plaats van louter als beperkingen die vermeden moeten worden. Dit stelt de robot in staat om menselijke behoeften proactief te anticiperen en te accommoderen. De studie toont aan dat hoewel VLMs het noodzakelijke semantische begrip bieden, formele planning essentieel is om de haalbaarheid en de conflictvrijheid van het resulterende gezamenlijke gedrag te waarborgen.

De auteurs blijven bescheiden over beperkingen en erkennen dat het systeem vertrouwt op een coöperatief, doel-consistent menselijk model en nog niet om kan gaan met willekeurige afwijkingen of onzekerheid in menselijk gedrag. Ze merken op dat robuuste gronding voor complexe activiteiten met meerdere objecten nog steeds een uitdaging is en dat de huidige prestaties worden beperkt door het gebrek aan third-person datasets die menselijke intenties koppelen aan symbolische planning-doelen. Toekomstig werk richt zich op de constructie van dedicated datasets, VLM fine-tuning en implementatie in de echte wereld.