💻 computer science

IntentVLM: Open-Vocabulary Intention Recognition through Forward-Inverse Modeling with Video-Language Models

Het artikel introduceert IntentVLM, een innovatief tweestaps video-taalframework dat is geïnspireerd op forward-inverse modellering en state-of-the-art open-vocabulary menselijke intentieherkenning bereikt door de taak te ontleden in het genereren van doelkandidaten en gestructureerde selectie, waardoor hallucinaties aanzienlijk worden verminderd en de prestaties van mensen worden benaderd.

Oorspronkelijke auteurs: Hamed Rahimi, Clemence Grislain, Adrien Jacquet Cretides, Olivier Sigaud, Mohamed Chetouani

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hamed Rahimi, Clemence Grislain, Adrien Jacquet Cretides, Olivier Sigaud, Mohamed Chetouani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een vriend in een keuken observeert. Je ziet ze de koelkast openen, een pak melk eruit halen en vervolgens naar de koffiezetapparaat lopen.

Een standaardrobot zou misschien gewoon zeggen: "Persoon houdt melk vast" of "Persoon is in de buurt van koffie." Maar een echt behulpzame robot moet begrijpen waarom ze dit doen. Is de vriend koffie aan het zetten? Controleren ze gewoon of de melk er is? Of gaan ze het zo in een kopje gieten voor een gast?

Dit artikel introduceert IntentVLM, een nieuw soort "brein" voor robots dat is ontworpen om precies dit probleem op te lossen. Het helpt robots te achterhalen wat een mens van plan is te doen, zelfs wanneer de robot niet is geleerd een specifieke lijst met mogelijke antwoorden.

Zo werkt het, met eenvoudige analogieën:

Het Probleem: De "Meerkeuze"Valstrik

De meeste huidige robots zijn als studenten die een meerkeuzetoets maken waarbij de leraar hen slechts vijf opties geeft om uit te kiezen. Als het antwoord niet op de lijst staat, blijft de robot steken of raadt hij verkeerd.

De Oude Manier: De robot ziet de melk en de koffie en moet kiezen uit een vaste lijst zoals: "A) Koffie zetten, B) Thee zetten, C) Opruimen." Als de persoon eigenlijk "chocomel" maakt, kan de robot falen omdat die optie niet op de lijst stond.
De Nieuwe Manier (IntentVLM): De robot kan open-ended ideeën begrijpen. Hij heeft geen vooraf geschreven lijst nodig. Hij kan zelf "Chocomel maken" achterhalen.

De Oplossing: Een Tweestaps-Detectiveproces

De auteurs lieten zich inspireren door hoe menselijke hersenen werken. Ze noemen dit "Forward-Inverse Modeling". Denk hierbij aan een detective die een mysterie in twee stappen oplost:

Stap 1: De "Wat als?"-Generator (Forward Model)
In plaats van direct het antwoord te raden, doet de robot eerst alsof het een brainstormsessie is. Hij kijkt naar de video en vraagt: "Wat zijn alle mogelijke redenen waarom deze persoon dit doet?"

Analogie: Stel je een detective voor die verdachten opschrijft. "Misschien zetten ze koffie. Misschien verwarmen ze melk voor thee. Misschien controleren ze gewoon de houdbaarheidsdatum."
De robot genereert een korte lijst van deze "kandidaat-ideeën" op basis van wat hij ziet.

Stap 2: De "Beste Passende" Rechter (Inverse Model)
Zodra de robot een lijst met mogelijkheden heeft, treedt hij op als een strenge rechter. Hij kijkt opnieuw naar de video en vraagt: "Welk van deze ideeën past het beste bij het bewijs?"

Analogie: De detective kijkt naar de aanwijzingen (de persoon pakte een mok, geen theekopje) en zegt: "Oké, 'thee zetten' past niet. 'De datum controleren' past niet. 'Koffie zetten' past perfect."
De robot kiest de beste match uit zijn eigen lijst.

Waarom Dit Speciaal Is

Het Vermindert "Hallucinaties": Soms verzonnen AI-systemen dingen (hallucinaties). Door de robot eerst te dwingen om mogelijkheden op te sommen en vervolgens de beste te kiezen, voorkomt men dat de robot wild gaat raden. Het is alsof je een student vraagt om zijn werk te tonen voordat hij het eindantwoord geeft.
Het Is Open-minded: Omdat de robot zijn eigen lijst met ideeën genereert, is hij niet beperkt tot een klein vocabulaire. Hij kan complexe, unieke intenties begrijpen die een mens kan hebben.
Het Is Efficiënt: De onderzoekers gebruikten een "slimme afkorting" (genaamd LoRA) om de robot te leren. Dit is alsof je de robot een gespecialiseerd notitieboek geeft om de nieuwe vaardigheid te leren zonder dat hij zijn hele hersenen hoeft te herschrijven. Dit houdt de robot snel en zorgt ervoor dat hij niet vergeet hoe hij andere dingen moet doen (zoals objecten herkennen).

De Resultaten

Het team testte dit robotbrein op twee verschillende uitdagingen:

IntentQA: Een test waarbij de robot vragen moest beantwoorden over wat mensen probeerden te doen in video's.
Inst-IT Bench: Een test om te zien of de robot nog steeds objecten en scènes kon herkennen nadat hij had geleerd intenties te begrijpen.

De Uitkomst:

De nieuwe robot behaalde ongeveer 80% nauwkeurigheid, wat een enorme sprong is (ongeveer 30% beter) vergeleken met eerdere methoden.
Het presteerde even goed als mensen op deze tests.
Cruciaal: het leren van intenties liet de robot niet "vergeten" hoe hij objecten moest zien of de scène moest begrijpen. Hij behield zijn algemene kennis intact.

Samenvattend

IntentVLM is een systeem dat robots leert denken als een detective: eerst alle mogelijke redenen voor een actie bedenken, en vervolgens, met behulp van het bewijs, de meest logische kiezen. Dit stelt robots in staat menselijke doelen op een flexibele, natuurlijke manier te begrijpen, waardoor ze veel betere partners worden voor dagelijkse taken.

1. Probleemdefinitie

Het paper adresseert de uitdaging van open-vocabulary menselijke intentieherkenning in mens-robotinteractie (HRI).

De Kernuitdaging: In tegenstelling tot fysieke handelingen zijn intenties latente mentale toestanden die niet waarneembaar zijn. Bestaande methoden vertrouwen vaak op closed-vocabulary benaderingen (vooraf gedefinieerde sets labels), wat faalt in het vastleggen van de nuance, diversiteit en samengestelde motivaties van menselijke doelen in onbeperkte omgevingen.
Beperkingen van Huidige Benaderingen:
- Closed-Set Classificatie: Beperkt het model tot een vaste labelruimte, wat de expressiviteit beperkt.
- Directe Generatie: Enkele-pass generatie door Large Language Models (LLMs) of Vision-Language Models (VLMs) leidt vaak tot hallucinaties en inconsistente voorspellingen wanneer gevraagd wordt om intenties direct uit video af te leiden zonder beperkingen.
- Statische Perceptie: Veel eerdere werken vertrouwen op statische afbeeldingen, wat faalt in het vastleggen van de temporele dynamiek en contextuele evolutie die essentieel zijn voor het begrijpen van intentie.
Doel: Een systeem ontwikkelen dat vrije-vorm, natuurlijke taalbeschrijvingen van menselijke intenties kan afleiden uit videostreams zonder te vertrouwen op een vooraf gedefinieerde actievocabulaire, terwijl het robuustheid behoudt en hallucinaties reduceert.

2. Methodologie: IntentVLM

De auteurs stellen IntentVLM voor, een nieuw tweestaps video-taalframework geïnspireerd door forward-inverse modeling in de cognitiewetenschap. De kernhypothese is dat het brein eerst plausibele toekomstige toestanden simuleert (forward) voordat het terugredeneert om intentie af te leiden (inverse).

Architectuur Overzicht

Het framework maakt gebruik van twee bevroren Video-Language Models (VLMs) verrijkt met LoRA (Low-Rank Adaptation) adapters voor parameter-efficiënte fine-tuning. Het proces is verdeeld in twee sequentiële fasen:

Fase 1: Doelkandidaatgeneratie (De "Forward" Stap)

Input: Waargenomen videosequentie ( $V_O$ ) en een tekstuele query ( $Q_O$ ).
Functie: Een generatief module produceert een diverse set van $K$ plausibele doolkandidaten ( $G_t = \{G_1, ..., G_K\}$ ) die het waargenomen gedrag verklaren.
Mechanisme: Dit fungeert als een "voorstel"-stap, die potentiële uitkomsten of doelen simuleert op basis van de visuele context. Het breidt de zoekruimte uit om open-vocabulary mogelijkheden te omvatten in plaats van te beperken tot een vaste lijst.
Implementatie: Een Qwen3-VL model (8B parameters) wordt gefinetuned om deze kandidaten te genereren.

Fase 2: Gestructureerde Selectie (De "Inverse" Stap)

Input: De originele video, de query, en de set doolkandidaten gegenereerd in Fase 1.
Functie: Een inferentiemodule evalueert de kandidaten en selecteert de enige meest plausibele intentie.
Mechanisme: Dit fungeert als een "expert" die redeneert over de kandidaten, ze rangschikt op basis van consistentie met visueel bewijs en contextuele informatie.
Implementatie: Een apart Qwen3-VL instantie (2B of 4B parameters) wordt gefinetuned om de selectie uit te voeren. De uiteindelijke output is het doel met de hoogste posterior-kans, behandeld als de afgeleide intentie.

Trainingsstrategie:

Parameter-Efficiënte Fine-Tuning (PEFT): Alleen LoRA adapters worden getraind, waarbij de basis VLM-weights bevroren blijven om algemeen wereldkennis te behouden en catastrofaal vergeten te voorkomen.
Verliesfunctie: Cross-entropy verlies wordt berekend tussen de gegenereerde tokens en de ground-truth labels (kandidaten voor Fase 1, ware intentie voor Fase 2).

3. Belangrijkste Bijdragen

Open-Vocabulary Framework: Gaat voorbij aan closed-set classificatie naar een generatie-selectie paradigma, waardoor het model intenties kan herkennen die niet aanwezig zijn in een vooraf gedefinieerde trainingsvocabulaire.
Cognitief Geïnspireerd Tweestaps Ontwerp: Splitst intentieherkenning expliciet op in voorstel (hypothese genereren) en selectie (hypothese verifiëren). Deze structuur nabootst menselijke cognitieve processen (forward-inverse modeling) en reduceert hallucinaties aanzienlijk in vergelijking met directe generatie.
State-of-the-Art Prestaties: Bereikt menselijk niveau prestaties op benchmarks voor intentieherkenning, en presteert significant beter dan bestaande baselines.
Robuustheid en Efficiëntie: Toont aan dat het modulaire ontwerp catastrofaal vergeten voorkomt (behoud van algemeen scenebegrip) en hoge prestaties bereikt met kleinere modelgroottes (4B) in vergelijking met grotere baselines.

4. Experimentele Resultaten

Het model werd geëvalueerd op twee benchmarks: IntentQA (intentieherkenning) en Inst-IT Bench (instance-level redenering).

IntentQA Prestaties:
- Nauwkeurigheid: IntentVLM behaalde ~80% nauwkeurigheid op de testset.
- Vergelijking: Dit vertegenwoordigt een ~30% verbetering ten opzichte van bestaande baselines (bijv. HME, HQGA, VGT) en komt overeen met menselijke prestaties (78,49%).
- Ablatie: Het 4B parameter model presteerde beter dan de 2B versie. Fine-tuning verbeterde de prestaties aanzienlijk ten opzichte van zero-shot settings.
Open-Vocabulary Capaciteit:
- In een free-form generatie setting (geen kandidaatopties aangeboden), presteerde directe generatie door standaard VLMs slecht (<20 ROUGE score).
- De tweestaps aanpak van IntentVLM verbeterde de prestaties met ~5 punten gemiddeld in open-vocabulary settings door de generatieruimte te beperken via het kandidaatselectiemechanisme.
Generalisatie (Catastrofaal Vergeten):
- Training op IntentQA degradeerde niet het vermogen van het model om instance-level redenering uit te voeren op de Inst-IT Bench. Het gefinetunde model bleef concurrerend met zero-shot tegenhangers.
- Efficiëntie: De 4B parameter IntentVLM behaalde prestaties vergelijkbaar met modellen die 7B parameters overschrijden, wat een superieure grootte-prestatie trade-off benadrukt.

5. Betekenis en Impact

Vooruitgang in Mens-Robot Interactie: Door robots in staat te stellen subtiele, open-ended menselijke doelen te begrijpen (bijv. "Koffie zetten" versus "Water verwarmen voor thee") zonder vooraf geprogrammeerde scripts, effent IntentVLM de weg voor meer proactieve en sociaal bewustzijn robotassistenten.
Brug tussen Cognitiewetenschap en AI: Het werk slaagt erin het theoretische concept van forward-inverse modeling te vertalen naar een praktische, schaalbare deep learning architectuur.
Betrouwbaarheid in Redenering: De gestructureerde redeneeraanpak (genereren-dan-selecteren) biedt een oplossing voor het "hallucinatie"-probleem dat vaak voorkomt in generatieve AI, waardoor het beter geschikt is voor veiligheidskritische toepassingen zoals zorg of assistieve robotica.
Schaalbaarheid: Het gebruik van LoRA adapters maakt efficiënte adaptatie van grote foundation modellen naar specifieke cognitieve taken mogelijk zonder de computationele kosten van volledige fine-tuning.

Concluderend toont IntentVLM aan dat het ontleden van intentieherkenning in een gestructureerd, tweestaps cognitief proces video-taalmodellen in staat stelt menselijk niveau begrip te bereiken van complexe, open-vocabulary menselijke doelen, en zo een robuuste basis biedt voor de volgende generatie intelligente robotsystemen.