HOI-R1: Exploring the Potential of Multimodal Large Language Models for Human-Object Interaction Detection

Technische Samenvatting van HOI-R1: Het verkennen van het potentieel van Multimodale Grote Taalmodellen voor Human-Object Interaction Detection

Probleemstelling
Human-Object Interaction Detection (HOID) beoogt interacties tussen mensen en objecten in afbeeldingen te identificeren, waarbij de output bestaat uit tupels van menselijke bounding boxes, object bounding boxes, objectklassen en interactieklassen. Traditionele HOID-methoden vertrouwen op een detector-gecentreerd paradigma, waarbij objectdetectoren worden gebruikt om proposities te genereren, gevolgd door een specifieke interactie-head (vaak op basis van transformers) om labels te voorspellen. Recente state-of-the-art benaderingen integreren steeds vaker Vision-Language Model (VLM) priors om langgevoelige (long-tailed) annotaties aan te pakken. Deze methoden introduceren echter complexe pipelines die extra modules, specifieke trainingsdoelstellingen en architecturale koppeling tussen detectoren en interactie-decoders vereisen, wat de uitbreidbaarheid en herbruikbaarheid belemmert. Bovendien blijft het inherente redeneervermogen van Multimodale Grote Taalmodellen (MLLMs) voor gestructureerde HOID-taken — specifiek het gelijktijdig redeneren over interacties en de lokalisatie van paren binnen een gestandaardiseerd protocol — onderbelicht.

Methodologie
De auteurs stellen HOI-R1 voor, een framework dat objectdetectoren volledig elimineert en HOID end-to-end oplost via natuurlijke taalredenering met behulp van MLLMs. De aanpak omvat een tweestaps trainingsparadigma:

1. Taalgebaseerde Voorspelling & Prompt Design:
   In plaats van bounding box regressie, geeft het model HOI-instanties uit in een gestructureerd natuurlijk taalformaat (JSON). De input-prompt is ontworpen met drie componenten:

   • Taakinstructie: Definieert de rol van het model en biedt uitputtende lijsten van geldige object- en interactieklassen om de outputruimte te beperken en hallucinaties te voorkomen.
   • Redeneerbegeleiding: Een "Thinking Process"-sectie die de taak deelt in sequentiële stappen (het identificeren van mensen, het analyseren van acties, het bepalen van interacties) om het menselijke cognitieve proces te spiegelen.
   • Formaatvoorbeeld: Een template die vereist dat de output een redeneerketen bevat (binnen <thought> tags) en definitieve voorspellingen (binnen <answer> tags), waarbij ruimtelijke coördinaten direct in de tekst worden opgenomen.

2. Supervised Fine-Tuning (SFT) met Thinking Distillation:
   Om taakspecifieke kennis over te dragen, wordt een teacher-student paradigma toegepast. Een krachtig teacher-model (GPT4o-mini) genereert stap-voor-stap redeneersporen voor trainingsafbeeldingen. Het student-MLLM wordt getraind via SFT om zowel de door de teacher gegenereerde redeneersporen als de ground-truth HOI-triplets te voorspellen. Deze "thinking distillation" internaliseert het logische proces van HOID.

3. Reinforcement Learning (RL) met Custom Rewards:
   Na de SFT wordt het model uitgelijnd met behulp van Group Relative Policy Optimization (GRPO). De auteurs hebben een samengestelde rewardfunctie ontworpen die uit vier componenten bestaat om structurele, semantische en geometrische uitlijning te waarborgen:

   • Format Reward: Zorgt ervoor dat de output de vereiste tags bevat (<thought>, <answer>) en geldige JSON-keys (human, object, object class, verb class). Het straft dubbele bounding boxes en incorrecte keystructuren af.
   • Object en Verb Label Rewards: Moedigt nauwkeurige voorspelling van object- en interactieklassen aan door voorspelde labels te vergelijken met de ground truth middels een drop-on-match strategie.
   • HOI IoU Reward: Gebruikt het Hongaarse algoritme om voorspelde mens-object paren te matchen met ground-truth paren op basis van de Intersection over Union (IoU) van zowel de menselijke als de object bounding boxes, wat een geometrisch uitlijningssignaal biedt.

Belangrijkste Bijdragen

• HOI-R1 Framework: Het eerste MLLM-framework dat HOID end-to-end oplost via natuurlijke taal, waardoor de afhankelijkheid van objectdetectoren wordt weggenomen.
• Trainingsparadigma: Introductie van een tweestaps trainingsstrategie die SFT combineert met thinking distillation (om HOI-kennis te injecteren) en RL met gespecialiseerde rewardfuncties (om uit te lijnen met HOID-metrieken).
• Reward Design: Ontwikkeling van element-specifieke rewardfuncties (formaat, label en IoU) die MLLMs begeleiden bij het produceren van gestructureerde, nauwkeurige en ruimtelijk gegronde voorspellingen.

Experimentele Resultaten
Experimenten zijn uitgevoerd op de HICO-DET dataset met gebruik van meerdere open-source MLLMs, waaronder de Qwen-VL familie (Qwen2.5-VL, Qwen3-VL) en Rex-Omni.

• Prestatiewinst: HOI-R1 vertoont consistente verbeteringen over verschillende modellen. Opvallend genoeg resulteert het toepassen van HOI-R1 op Qwen2.5-VL-3B in een 2x nauwkeurigheidsboost (van ~8.39 mAP naar 18.33 mAP op de Full categorie onder Default instellingen) met slechts 1 epoch SFT en 40 stappen RL-training.
• Vergelijking met SOTA: De HOI-R1 variant van Rex-Omni-3B bereikt 27.00 mAP op de Known Object setting, waarmee het de 72B-parameter Qwen2.5-VL-AWQ en traditionele transformer-gebaseerde methoden zoals QPIC overtreft.
• Efficiëntie: De methode convergeert aanzienlijk sneller dan traditionele HOID-methoden, die vaak honderden epochs vereisen, en bereikt sterke prestaties met minimale trainingsstappen (1 epoch SFT + 40 RL stappen).
• Ablatie-studies: Het verwijderen van het "thinking" component leidt tot een significante verslechtering van de prestaties op zeldzame categorieën, wat de waarde van redeneren benadrukt. Het verwijderen van de IoU reward veroorzaakt een substantiële daling (3.62 mAP), wat de noodzaak van geometrische uitlijningsrewards bevestigt.

Betekenis en Claims
Het artikel beweert dat HOI-R1 nieuwe baselines vestigt voor MLLM-gebaseerde HOID, en aantoont dat grote taalmodellen het inherente potentieel hebben om complexe, gestructureerde visuele redeneertaken te verwerken zonder gespecialiseerde detectiemodules. Door gebruik te maken van natuurlijke taalredenering en reinforcement learning, vereenvoudigt het framework de HOID-pipeline terwijl het competitieve of superieure prestaties levert vergeleken met detector-gecentreerde benaderingen. De auteurs positioneren dit werk als een stap naar het vereenvoudigen van HOID-architecturen en het ontsluiten van de redeneervermogens van MLLMs voor fijnmazig visueel begrip.