RegFormer: Transferable Relational Grounding for Efficient Weakly-Supervised Human-Object Interaction Detection

1. Het Probleem

Zwaktoezicht HOI-detectie (Human-Object Interaction) is cruciaal voor schaalbare scene-interpretatie, omdat het interacties leert op basis van alleen beeldniveau-annotaties (bijv. "een persoon rijdt op een paard") zonder de exacte locaties (bounding boxes) van mensen of objecten te specificeren.

Bestaande methoden hebben echter twee fundamentele beperkingen:

• Rekenkundige inefficiëntie: Traditionele frameworks genereren vaak alle mogelijke paren van mens- en objectinstanties (via een externe detector) en verwerken deze paren individueel. Dit leidt tot een enorme rekenlast, vooral in dichte scènes met veel objecten.
• Valse positieven: Omdat er geen lokale supervisie is, hebben deze modellen moeite om te onderscheiden welke mens-objectparen daadwerkelijk interacteren en welke niet. Ze genereren vaak valse positieven door niet-interactieve combinaties te classificeren als interacties.

2. Methodologie: RegFormer

De auteurs introduceren RegFormer (Relational Grounding Transformer), een lichtgewicht en veelzijdig module dat beeldniveau- en instantieniveau-resoneren verenigt binnen één raamwerk. Het kernidee is het leren van ruimtelijk verankerde signalen om de redenering te sturen.

Het systeem bestaat uit de volgende componenten:

A. Pairwise Instance Encoder (Ruimtelijk Verankerde Queries)

In plaats van alleen tekstuele embeddings te gebruiken (zoals in eerdere werken), bouwt RegFormer queries voor mens-objectparen (HO) door ruimtelijke cues te integreren:

1. Patch-level Similariteit: Het model berekent de cosine-相似iteit tussen patch-features van het beeld en tekstuele embeddings van mens- en objectklassen.
2. Belangrijke Weegfactoren: Een softmax-functie genereert een "patch importance score" ($\alpha$) die aangeeft waar in het beeld een mens of object waarschijnlijk voorkomt.
3. Aggregatie: De visuele features worden geaggregeerd op basis van deze scores om een ruimtelijk verankerde query ($q_{ho}$) te creëren. Deze query bevat zowel semantische als ruimtelijke informatie.

B. Interaction Decoder

De decoder voert cross-attention uit tussen de ruimtelijk verankerde query en de beeldfeatures. Dit resulteert in scores voor de interactieklasse (bijv. "rijden"). Door de query al ruimtelijk te verankeren, kan het model direct redeneren over specifieke instanties zonder extra training.

C. Interactiveness-Aware Learning (Gating Mechanisme)

Om het probleem van valse positieven op te lossen, introduceert het model een interactiveness score ($r_{ho}$):

• Het model leert een score die aangeeft hoe waarschijnlijk het is dat een mens en object interacteren binnen hun respectievelijke regio's.
• Deze score fungeert als een gating mechanisme (vermenigvuldiging) voor de interactiescore.
• Het combineert een lokale interactiveness (binnen de instantieregio) met een gemaskerde globale interactiveness (context van het hele beeld). Dit helpt het model om niet-interactieve paren te onderdrukken, zelfs als ze semantisch sterk lijken.

D. Transfer naar Instantieniveau (Inferentie)

Een unieke eigenschap van RegFormer is dat het zonder extra training kan worden overgedragen van beeldniveau-classificatie naar instantieniveau-detectie:

• Tijdens inferentie worden de bounding boxes van een externe objectdetector gebruikt.
• Een region-aware mask wordt toegepast om de patch-importance scores en interactiveness scores te beperken tot de specifieke instantieregio's.
• Hierdoor kan het model direct de interacties van gedetecteerde paren voorspellen met hoge efficiëntie (slechts één forward pass van de backbone nodig, ongeacht het aantal paren).

3. Belangrijkste Bijdragen

1. Unificatie van Schalen: RegFormer verenigt beeldniveau-classificatie en instantieniveau-detectie in één framework, wat de kloof tussen zwaktoezicht en volledig toezicht overbrugt.
2. Ruimtelijk Verankerde Queries: Door het integreren van ruimtelijke cues in de query-construction, leert het model effectief lokale interactie-signalen, wat de overdraagbaarheid naar instantieniveau mogelijk maakt.
3. Interactiveness Scoring: Een nieuw leermechanisme dat valse positieven onderdrukt door een expliciete "gating" score te gebruiken die focust op interactieve regio's.
4. Efficiëntie en Schaalbaarheid: Het model elimineert de noodzaak om duizenden paren individueel te verwerken. De inferentietijd neemt nauwelijks toe naarmate het aantal instanties groeit, in tegenstelling tot bestaande methoden.

4. Resultaten

De auteurs evalueren RegFormer op de benchmarks V-COCO en HICO-DET:

• Prestaties: RegFormer presteert aanzienlijk beter dan eerdere zwaktoezicht-methoden en komt in de buurt van (en overtreft in sommige gevallen) volledig toezicht methoden.
  • Op HICO-DET (Full) bereikt het een mAP van 33.33 (met Faster R-CNN en DINO-B), wat een verbetering is van +12.52 mAP ten opzichte van de basis ML-Decoder.
  • Het presteert ook uitstekend op zeldzame klassen ("Rare"), waar andere methoden vaak falen.
• Efficiëntie: Figuur 1 in het paper toont aan dat de inferentietijd van RegFormer lineair en marginaal toeneemt met het aantal paren, terwijl concurrenten (zoals ML-Decoder) exponentieel trager worden.
• Zero-Shot Capabiliteit: RegFormer toont sterke generalisatie naar ongeziene composities (Unseen Compositions) in zero-shot settingen, zelfs zonder grote-scale pre-training, en overtreft methoden die wel gebruikmaken van dergelijke pre-training.
• Detector-onafhankelijkheid: Het model werkt naadloos met verschillende objectdetectoren (van Faster R-CNN tot Transformer-based DETR) zonder specifieke aanpassingen.

5. Betekenis en Impact

RegFormer lost een kritiek probleem op in de computer vision: de schaalbaarheid van HOI-detectie.

• Kostenreductie: Het maakt het mogelijk om HOI-modellen te trainen met goedkope beeldniveau-annotaties in plaats van dure, gedetailleerde bounding box-annotaties.
• Efficiëntie: Het maakt real-time of snelle verwerking mogelijk in complexe scènes met veel objecten, wat essentieel is voor praktische toepassingen zoals robotica en autonome voertuigen.
• Algemene Toepasbaarheid: De aanpak is detector-agnostisch en kan eenvoudig worden geïntegreerd in bestaande pipelines, wat het een krachtige tool maakt voor de bredere gemeenschap.

Kortom, RegFormer bewijst dat het mogelijk is om nauwkeurige, schaalbare en efficiënte interactiedetectie te bereiken zonder de noodzaak van volledige instantieniveau-annotaties, door slim gebruik te maken van ruimtelijke verankering en interactiviteits-scoring.