Zero-shot HOI Detection with MLLM-based Detector-agnostic Interaction Recognition

Deze paper introduceert een detector-onafhankelijk framework voor zero-shot mens-object-interactiedetectie dat multi-modale grote taalmodellen combineert met een deterministische generatiemethode en ruimtelijke pooling om interactieherkenning te verbeteren zonder hertraining van de objectdetector.

De kern

Stel je voor dat je een fotograaf bent die een foto maakt van een drukke markt. Je ziet een persoon en een fiets. De vraag is: wat gebeurt er precies? Is de persoon de fiets aan het rijden, vasthouden, of misschien repareren?

Vroeger waren computers heel goed in het vinden van de persoon en de fiets (dat noemen we "object detection"), maar ze hadden enorme moeite om te begrijpen wat ze samen deden. Ze waren als een detective die wel de verdachten kan identificeren, maar niet weet wat ze samen van plan zijn.

Dit nieuwe onderzoek, gepresenteerd op een grote conferentie (ICLR 2026), introduceert een slimme nieuwe manier om dit op te lossen. Hier is de uitleg, vertaald naar alledaags Nederlands:

1. Het oude probleem: De "Koppelwagen"

Vroeger werkten computersystemen voor dit soort taken als een koppelwagen. De detector (die de mensen en objecten ziet) en de "herkenner" (die de actie ziet) waren aan elkaar vastgelijmd.

• Het nadeel: Als je de detector verbeterde (bijvoorbeeld door een betere camera te gebruiken), moest je de hele koppelwagen opnieuw bouwen en trainen.
• De beperking: Als de computer een actie zag die hij nooit eerder had gezien (bijvoorbeeld "iemand die een fiets op zijn hoofd draagt"), gaf hij het op. Hij kon niet "out of the box" denken.

2. De nieuwe oplossing: De "Losgekoppelde" aanpak

De auteurs van dit paper hebben een briljant idee: Haal de koppelwagen uit elkaar.
Ze scheiden het vinden van de objecten (de detector) volledig van het begrijpen van de actie (de herkenning).

• De Detector: Dit is de "oog". Het kan elke moderne camera zijn. Het zegt alleen: "Hier is een mens, hier is een fiets."
• De Herkenner (De Ster): Dit is een MLLM (een Multi-Modal Large Language Model). Denk hierbij aan een super-intelligente, creatieve vertaler die zowel plaatjes als tekst begrijpt. Deze "vertaler" is getraind op miljoenen boeken en afbeeldingen en kan dus bijna alles begrijpen, zelfs dingen die hij nooit eerder heeft gezien.

3. Hoe werkt het? (De "Vraag en Antwoord" truc)

In plaats van de computer te dwingen om een moeilijke wiskundige vergelijking te maken, vragen ze de slimme vertaler gewoon:

"Ik zie een mens en een fiets. Kijk naar deze foto. Is de persoon de fiets aan het 'rijden', 'vasthouden' of 'repareren'? Kies het juiste antwoord."

Dit noemen ze een VQA-taak (Visual Question Answering). Omdat de slimme vertaler zo goed is in taal, kan hij dit antwoord geven zonder dat we hem eerst hebben getraind op die specifieke foto. Dit heet "Zero-Shot": het kan het direct, zonder voorafgaande oefening.

4. De twee slimme verbeteringen

Hoewel het idee van "vragen stellen" geweldig is, waren er twee haken en ogen:

1. De "Blinde Vlek": De computer kijkt alleen heel streng naar het vierkantje rondom de persoon en de fiets. Soms staat de fiets net buiten dat vierkantje, of staat de persoon er half in. De computer mist dan belangrijke details.

   • De oplossing: Ze hebben een "Ruimtelijke Pooling" module toegevoegd. Dit is als een verruimingsbril. De computer kijkt niet alleen naar het vierkantje, maar ook naar de ruimte eromheen en hoe de persoon en het object ten opzichte van elkaar staan. Dit maakt het veel robuuster tegen onnauwkeurige detecties.

2. De "Traagheid": Als er 50 mogelijke acties zijn (rijden, vasthouden, repareren, stelen, etc.), moest de computer vroeger 50 keer de hele vraag stellen en wachten op het antwoord. Dat duurde eeuwen.

   • De oplossing: Ze hebben een "Eén-pass Match" bedacht. In plaats van 50 keer vragen, stelt de computer één keer een vraag met alle opties erin, en kijkt hij in één keer of de foto past bij welke optie dan ook. Het is alsof je in plaats van 50 keer een brief te schrijven, één grote envelop met alle antwoorden erin stopt en in één keer de juiste stempel zet. Dit maakt het veel sneller.

5. Waarom is dit geweldig?

• Flexibiliteit: Je kunt de "oog" (de detector) vervangen door een nog betere camera of een nieuw systeem, en je hoeft de "vertaler" (de herkenning) niet opnieuw te leren. Ze werken samen als losse blokken.
• Alles begrijpen: Omdat de "vertaler" zo breed is opgeleid, kan hij nieuwe acties begrijpen die in de training niet voorkwamen.
• Snelheid en Nauwkeurigheid: Door de nieuwe technieken is het niet alleen slimmer, maar ook veel sneller dan eerdere methoden.

Kort samengevat:
De auteurs hebben een systeem gebouwd dat werkt als een slimme assistent. De assistent laat een fotograaf (de detector) de mensen en objecten vinden, en vraagt vervolgens aan een super-intelligente vertaler (de MLLM) om te vertellen wat er gebeurt. Door ze los te koppelen en slimme hulpmiddelen (zoals een vergrootglas voor details en een snelle manier om antwoorden te kiezen) toe te voegen, kan de computer nu interacties zien die niemand voorheen kon begrijpen, en dat allemaal zonder maandenlang te hoeven oefenen.

Technische samenvatting

Probleemstelling

De detectie van mens-object interacties (HOI) heeft als doel mensen en objecten in afbeeldingen te lokaliseren en hun onderlinge interacties te herkennen. Hoewel er recente vooruitgang is geboekt met open-vocabulary objectdetectie, blijft de interactierecognitie (IR) een grote uitdaging, vooral in zero-shot scenario's (waarbij de model interacties moet herkennen die niet in de trainingsset voorkomen).

De bestaande methoden hebben twee fundamentele beperkingen:

1. Koppeling aan detectoren: De meeste methoden (zowel twee-staps als één-staps) koppel de interactierecognitie strak aan een specifieke objectdetector. Dit betekent dat het model opnieuw getraind moet worden als de detector wordt gewijzigd, wat de flexibiliteit beperkt.
2. Beperkte generalisatie: Bestaande methoden vertrouwen vaak op Vision-Language Models (zoals CLIP) met ruwe, grofkorrelige features. Deze hebben moeite om visueel vergelijkbare interacties te onderscheiden en generaliseren slecht naar ongezette interacties omdat ze afhankelijk zijn van features die tijdens het trainen zijn gezien.

Methodologie

De auteurs stellen een ontkoppelde (decoupled) framework voor dat objectdetectie en interactierecognitie volledig scheidt. Hierdoor kan elke objectdetector worden gebruikt zonder het interactiemodel opnieuw te hoeven trainen. Het kernidee is het gebruik van Multi-Modal Large Language Models (MLLMs) voor de interactierecognitie.

De methodologie bestaat uit de volgende componenten:

1. MLLM-gebaseerde Zero-Shot IR (VQA-aanpak):

   • Het probleem wordt omgezet naar een Visual Question Answering (VQA) taak. Voor elk mens-object paar wordt een prompt gegenereerd die de MLLM vraagt de interactie te selecteren uit een lijst van kandidaten.
   • Deterministische Generatie: Omdat MLLMs van nature open-ended tekst genereren (wat foutgevoelig is voor classificatiemetrics), introduceren de auteurs een deterministische generatiemethode. In plaats van tekst te genereren, berekent het model de conditionele waarschijnlijkheid (semantische gelijkenis) tussen de prompt en elke kandidaat-interactie. Dit zorgt voor betrouwbare confidence scores zonder extra training.

2. Spatial-Aware Pooling (SAP):

   • Om de gevoeligheid voor imperfecte detectie (bijv. onnauwkeurige bounding boxes) te verminderen en ruimtelijke relaties te benutten, wordt een SAP-module ontwikkeld.
   • Deze module integreert uiterlijke features (via ROIAlign) met paarsgewijze ruimtelijke cues (zoals overlap, aspectratio, en richting tussen mens en object).
   • Een Cross-Attention laag verzamelt informatie uit de volledige afbeelding, niet alleen binnen de bounding box, waardoor het model robuuster wordt tegen ruis in de detectieresultaten.

3. One-Pass Deterministic Matching:

   • De oorspronkelijke deterministische generatie vereiste meerdere forward passes (één per kandidaat-interactie), wat computatie intensief is.
   • De auteurs stellen een one-pass strategie voor waarbij de generatie wordt omgezet in een feature matching taak. Alle kandidaat-interacties worden in één enkele prompt verwerkt met speciale tokens. De cosine-相似iteit tussen de gegenereerde features en de interactie-features wordt gebruikt als confidence score. Dit verlaagt de inferentie-tijd aanzienlijk.

4. Training en Inference:

   • Training: Het model wordt in twee fasen getraind: eerst de SAP-module (om interactieve paren te filteren) en vervolgens de LLM-component (met LoRA) voor de matching. De visuele encoder van de MLLM blijft bevroren.
   • Inference: Het systeem accepteert detectieresultaten van elke detector. Niet-interactieve paren worden gefilterd op basis van een interactie-score, waarna de resterende paren in één keer worden verwerkt door de MLLM.

Belangrijkste Bijdragen

• Detector-Agnostic Framework: Het is een van de eerste werken dat objectdetectie en interactierecognitie volledig ontkoppelt. Dit maakt het mogelijk om de sterkste beschikbare objectdetector te gebruiken zonder het HOI-model aan te passen.
• Training-Free Zero-Shot IR: Door het gebruik van deterministische generatie met MLLMs, kan het model zero-shot presteren zonder enige training op de HOI-dataset.
• Efficiëntie en Robuustheid: De introductie van Spatial-Aware Pooling en One-Pass Matching lost de problemen op van ruwe detecties en hoge rekenkosten, waardoor het model zowel nauwkeurig als efficiënt is.
• Superieure Generalisatie: Het framework toont sterke prestaties in zero-shot, cross-dataset en cross-detector scenario's.

Resultaten

De methode is geëvalueerd op de HICO-DET en V-COCO datasets:

• Zero-Shot Prestaties: Op HICO-DET behaalt de methode de beste resultaten in alle zero-shot settings (Unseen Verb, Unseen Object, Unseen Combination). Bijvoorbeeld, op de 'Unseen Object' (UO) setting scoort het 48.67% mAP, wat een aanzienlijke verbetering is ten opzichte van de state-of-the-art (bijv. BC-HOI scoorde hier 37.87%).
• Cross-Dataset Generalisatie: Bij training op HICO-DET en testen op V-COCO (een zeer uitdagende setting) behaalt het model 59.91% mAP, wat 12.26% hoger is dan de vorige beste methode (CMMP).
• Cross-Detector Flexibiliteit: Het model presteert consistent goed wanneer het wordt gekoppeld aan verschillende detectoren (ResNet50 DETR, Grounding-DINO, Yolo-World) zonder hertraining.
• Training-Free: Zelfs zonder enige fine-tuning (alleen deterministische generatie) behaalt het model 31.50% mAP, wat beter is dan veel methoden die complexe trainingsstrategieën vereisen.

Betekenis

Dit paper markeert een paradigmaverschuiving in HOI-detectie. Door de afhankelijkheid van specifieke detector-features te doorbreken en de kracht van MLLMs voor semantisch begrip te benutten, biedt het een schaalbaar en flexibel kader. Het bewijst dat interactierecognitie niet langer een bottleneck hoeft te zijn voor objectdetectie, maar als een aparte, krachtige module kan functioneren die profiteert van de snelle vooruitgang in zowel objectdetectie als grote taalmodellen. De openbaarmaking van de code en de flexibiliteit om elke detector te gebruiken, maakt deze aanpak zeer waardevol voor praktische toepassingen in robotica, autonoom rijden en beeldbeschrijving.