💻 computer science

Improving and Evaluating Hand-Object Interaction Detection

Dit artikel introduceert HOI-DETR, een state-of-the-art framework voor Hand-Object Interaction detectie dat een verbeterde Co-DETR architectuur en een uitgebreide evaluatiesuite benut om significante prestatiewinsten te behalen over meerdere diverse datasets.

Oorspronkelijke auteurs: Ahmad Darkhalil, Dima Damen, David Fouhey

Gepubliceerd 2026-06-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ahmad Darkhalil, Dima Damen, David Fouhey

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een kookprogramma kijkt. Een standaard computer vision-programma is als een gast die alleen de namen van dingen kent: "Dat is een pan," "Dat is een kopje," "Dat is een hand." Het geeft niet om wat ze doen.

Dit artikel introduceert een nieuw systeem genaamd HOI-DETR dat meer werkt als een menselijke waarnemer. Het benoemt niet alleen de objecten; het begrijpt het verhaal van wat er gebeurt. Het weet dat de hand de pan vasthoudt, en dat de pan de kookplaat aanraakt. Het begrijpt zelfs dat als de hand een spatel vasthoudt (het eerste object), en de spatel een burger omdraait (het tweede object), er een keten van actie is die alle drie verbindt.

Hier is een overzicht van wat de auteurs hebben gedaan, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Naam-Alleen" Detective

Eerdere computerprogramma's waren als detectives die alleen een lijst met namen hadden. Als ze een pan zagen, zeiden ze "Pan". Ze realiseerden zich niet dat als een pan gewoon op het aanrecht stond, het achtergrondruis was, maar als een hand het pakte, het een "gereedschap" werd.

De Fout: Ze konden het verschil niet zien tussen een pan die wordt gebruikt en een pan die er gewoon staat. Ze misten ook vaak de verbinding tussen de hand en het gereedschap, of het gereedschap en het voedsel.

2. De Oplossing: HOI-DETR (De Verhalenverteller)

De auteurs bouwten een nieuw AI-model genaamd HOI-DETR. Denk aan dit model als een regisseur op een filmset die rollen toewijst aan acteurs.

Rol 1 (De Hand): De acteur.
Rol 2 (Het 1e Object): De rekwisiet die de acteur direct vasthoudt (zoals een mes).
Rol 3 (Het 2e Object): Het doelwit waar de rekwisiet op inwerkt (zoals het voedsel dat wordt gesneden).

Het model kijkt naar een afbeelding en vraagt: "Wie raakt wie aan?" Het trekt onzichtbare lijnen die de hand verbinden met het gereedschap, en het gereedschap met het doelwit. Het kan zelfs complexe scènes aan, zoals één hand die tegelijkertijd drie kaarten vasthoudt, of twee mensen die handen schudden.

3. De "Trainingskamp" (De Data Opschonen)

Om dit nieuwe model te leren, moesten de auteurs de "leerboeken" (datasets) die ze gebruikten opschonen.

Het Rommelige Leerboek: Ze ontdekten dat de oude dataset (genaamd Hands23) veel verwarring veroorzaakte. Soms werd hetzelfde object per ongeluk twee keer gelabeld (zoals het tekenen van twee kaders rond dezelfde appel).
De Opruiming: De auteurs traden op als redacteurs, waarbij ze door duizenden afbeeldingen gingen om dubbele kaders te verwijderen en de verbindingen te herstellen. Dit maakte de trainingsdata veel schoner, wat het model hielp sneller en nauwkeuriger te leren.
De Nieuwe Uitdaging: Ze creëerden ook een nieuwe test gebaseerd op high-definition video's (van de HD-EPIC dataset). Dit is als de overstap van een statische fotoquiz naar een live-actie filmtest, waarbij het model objecten moet bijhouden terwijl ze bewegen en veranderen in de loop van de tijd.

4. De Resultaten: De Concurrentie Verslaan

De auteurs hebben hun nieuwe "Verhalenverteller" getest tegen de oude "Naam-Alleen" detectives.

Nauwkeurigheid: HOI-DETR was aanzienlijk beter. Op sommige tests verbeterde de nauwkeurigheid met meer dan 20 procentpunten. Dat is alsof je van een C naar een A+ gaat op een toets.
Videoconsistentie: Hoewel HOI-DETR frame voor frame kijkt (zoals een foto), was het beter in het bijhouden van objecten in video's dan andere modellen die specifiek voor video zijn getraind. Het "flikkerde" niet of verloor minder snel het spoor van het object.
Generalisatie: Het model was zo goed dat het naar compleet nieuwe soorten video's kon kijken (zoals biologische experimenten) die het nog nooit eerder had gezien, en nog steeds begreep wat er gebeurde.

5. Waarom het ertoe doet (Volgens het Papier)

Het artikel legt uit dat het begrijpen van deze interacties de eerste stap is voor veel andere taken.

3D-Reconstructie: Als je een 3D-model wilt maken van een hand die een kopje vasthoudt, moet je eerst precies weten waar de hand en het kopje zijn en hoe ze elkaar raken.
Robotica: Voor een robot om een gereedschap op te pakken en te gebruiken, moet hij de keten van interactie begrijpen (Hand → Gereedschap → Object).
Actieherkenning: Om te begrijpen wat iemand doet, moet je de relatie zien tussen de handen van een persoon en de objecten die zij aanraken.

Samenvatting

Kortom, de auteurs hebben een slimere AI gebouwd die niet alleen "objecten" ziet, maar relaties ziet. Ze hebben de trainingsdata opgeschoond, een nieuw model gebouwd dat ketens van actie begrijpt (Hand → Gereedschap → Doelwit), en bewezen dat het beter werkt dan alles wat momenteel beschikbaar is, zelfs in moeilijke, bewegende videoscènes. Ze hebben hun code en data beschikbaar gesteld zodat anderen deze kunnen gebruiken en verbeteren.

Technische Samenvatting: Verbeteren en Evalueren van Hand-Object Interactie Detectie

Probleemdefinitie

Hand-Object Interaction (HOI) detectie is een cruciale voorwaarde voor taken variërend van 3D-reconstructie en robotica tot actieperceptie. In tegenstelling tot standaard objectdetectie, die semantische klassen identificeert (bijv. "pan") ongeacht de context, vereist HOI-detectie het begrijpen van dynamische, door status gestuurde rollen. De classificatie van een object hangt af van de interactie: een pan kan achtergrond zijn, een "1ste object" (direct vastgehouden), of een "2de object" (gemanipuleerd via een hulpmiddel). Bovendien lijdt de bestaande literatuur aan ongelijke vooruitgang: sommige methoden detecteren handen maar negeren de vastgehouden objecten, anderen volgen objecten zonder de houdende hand te identificeren, en veel vertrouwen op verouderde detectoren. Daarnaast is de evaluatie historisch beperkt gebleven tot beeldgebaseerde metrieken (mAP), waarbij de spatiotemporele consistentie wordt genegeerd ondanks de prevalentie van video-gebaseerde toepassingen.

Methodologie: HOI-DETR

De auteurs stellen HOI-DETR voor, een framework dat de Co-DETR-architectuur uitbreidt om gezamenlijk handen, 1ste objecten (direct mee geïnteracteerd) en 2de objecten (mee geïnteracteerd via hulpmiddelen) te detecteren, terwijl interactielinks worden voorspeld.

Architectuur

Backbone en Encoder: Het model maakt gebruik van een Vision Transformer (ViT) backbone en een multi-scale deformable attention encoder om invoerbeelden naar latente feature tokens te mappen. Het gebruikt hulp-heads voor one-to-many supervisie tijdens de training om de encoder te stabiliseren.
Transformer Decoder: In tegen tegenstelling tot standaard Co-DETR, dat semantische categorieën voorspelt, voorspelt de decoder rolgebaseerde klassen: {0: handen, 1: 1ste object, 2: 2de object, 3: achtergrond}. Dit maakt het mogelijk dat hetzelfde fysieke object van klasse kan veranderen op basis van de relatie met een hand. De decoder gebruikt Hungarian matching om voorspellingen af te stemmen op de grondwaarheid (ground truth).
Interactie Module: Een nieuw component toegevoegd aan de decoder outputs. Het neemt paren van decoder latents (die bounding boxes representeren) en classificeert hun interactierelatie via een Multi-Layer Perceptron (MLP).
- Geldige Paren: Het model modelleert expliciet hand → 1ste object en 1ste object → 2de object ketens. Het sluit directe hand → 2de object paren uit bij definitie.
- Loss: De interactie module wordt getraind met een focal loss op geldige paren, gecombineerd met standaard detectie losses (classificatie, L1 regressie, GIoU).

Trainingsstrategie

HOI-DETR wordt end-to-end getraind. Het is geïnitialiseerd vanuit een Co-DETR model dat is voorgetraind op COCO en is gefinetuned op een verfijnde versie van de Hands23 dataset. Het trainingsdoel combineert detectie losses met de voorgestelde interactie-supervisie, gewogen door hyperparameters $\lambda_1, \lambda_2, \lambda_3$ .

Belangrijkste Bijdragen

1. Methodologische Vooruitgang

HOI-DETR is het eerste transformer-gebaseerde HOI-detectiemodel. Door een interactiemodule te integreren in een moderne detectie-architectuur, bereikt het state-of-the-art prestaties. Het model werkt op enkelvoudige frames, maar vertoont een superieure spatiotemporele consistentie vergeleken met video-gebaseerde methoden.

2. Data Verfijning en Nieuwe Benchmarks

De auteurs pakken data-inconsistenties aan en introduceren nieuwe evaluatiestandaarden:

Verfijnde Hands23: De originele Hands23 dataset bevatte dubbele annotaties voor objecten betrokken bij bimanuele interacties. De auteurs hebben een pipeline gebouwd om duplicaten te verwijderen en interactielinks te hermappen, waardoor inconsistenties in 56,2% van de overlappende afbeeldingen in de validatieset zijn gecorrigeerd.
HD-EPIC-HOI: Een nieuwe video-level benchmark afgeleid van de HD-EPIC dataset. Deze richt zich op uitdagende clips gecentreerd rond contact- en loslaat-staten van objecten, wat zorgt voor dichte annotaties voor het evalueren van spatiotemporele consistentie.
Uitgebreid Suite: De evaluatie beslaat vier diverse datasets (Hands23, HD-EPIC-HOI, HOIST, FineBio), die exocentrische/egocentrische views, beelden/video's en out-of-distribution scenario's (bijv. biologische experimenten in FineBio) dekken.

3. Evaluatiemetrieken

Naast standaard frame-level mAP en F1-scores, introduceert het paper rigoureuze spatiotemporele metrieken:

Video-AP: Breidt AP uit naar het video-niveau door trajecten als 'tubes' te behandelen en ze te matchen via spatio-temporele IoU.
Long-Term Temporal Consistency (LTC): Meet de maximale ononderbroken duur waarin een model een object correct volgt, genormaliseerd voor videolengte om bias naar langere clips te voorkomen.

Experimentele Resultaten

Prestaties op Frame-niveau

HOI-DETR presteert aanzienlijk beter dan de vorige state-of-the-art (Hands23 detector) en video-gebaseerde methoden (HOIST):

Hands23: Behaalt een algehele mAP van 86,1% (verfijnde data) vergeleken met 63,6% voor de originele Hands23 detector.
FineBio (Out-of-Distribution): Demonstreert sterke generalisatie met een algehele AP van 71,2% versus 50,2% voor de baseline.
Interactie Nauwkeurigheid: Vermindert de interactiefout-ratio's met 52% vergeleken met de state-of-the-art.
Zero-Shot Hand Detectie: Ondanks de optimalisatie voor HOI, bereikt HOI-DETR de beste pure handdetectie-prestaties op 4 van de 6 geëvalueerde datasets, waarmee het gespecialiseerde detectoren zoals WiLOR en MediaPipe overtreft in zero-shot settings.

Spatiotemporele Consistentie

Op de HD-EPIC-HOI benchmark behaalt HOI-DETR een Video-AP van 60,2 en een LTC van 61,0.

Het verslaat het video-gebaseerde HOIST-model met 44,1 Video-AP punten en 33,8 LTC punten.
Het verslaat de frame-gebaseerde Hands23 detector met 33,4 Video-AP punten.
Deze resultaten geven aan dat video-level training alleen niet garandeert dat er sprake is van temporele consistentie; de representatieve capaciteit van HOI-DETR en de kwaliteit van de trainingsdata zijn de primaire drijfveren van prestaties.

Ablatie Studies

Pretraining: Cruciaal voor prestaties; het verwijderen van pretraining verlaagt de AP met 33,4 punten.
Interactie Module: Het vervangen van de geleerde module door ruimtelijke heuristieken (dichtstbijzijnde box of max IoU) degradeert de interactie F1-scores aanzienlijk (bijv. -22,8% voor 1st→2nd object), wat bewijst dat ruimtelijke nabijheid onvoldoende is voor contextuele ketenredenering.
Trainingsstrategie: End-to-end gezamenlijke training presteert aanzienlijk beter dan ontkoppelde training, waarbij de interactie F1-scores met ~14-19% dalen bij ontkoppeling.

Betekenis en Claims

Het paper claimt dat HOI-DETR een nieuwe state-of-the-art vestigt voor hand-object interactie detectie door detectie en interactiemodellering te verenigen binnen een modern transformer-framework. De auteurs benadrukken dat hun werk niet alleen een beter model biedt, maar ook een strikter evaluatie-ecosysteem. Door de Hands23 dataset te verfijnen en de HD-EPIC-HOI benchmark te introduceren, onderstrepen zij dat eerdere evaluaties mogelijk opgeblazen waren door data-inconsistenties en een gebrek aan temporele metrieken. De resultaten laten zien dat een frame-gebaseerde aanpak, wanneer deze correct is gearchitecteerd en getraind, zowel in nauwkeurigheid als in temporele consistentie video-gebaseerde methoden kan overtreffen, wat een robuuste fundering biedt voor downstream taken zoals 3D-reconstructie en robotische grijpacties.