HOI-R1: Exploring the Potential of Multimodal Large Language Models for Human-Object Interaction Detection

Sintesi Tecnica di HOI-R1: Esplorare il Potenziale dei Modelli Linguistici Multimodali Grandi per il Rilevamento delle Interazioni Uomo-Oggetto

Problematica
Il rilevamento delle interazioni uomo-oggetto (Human-Object Interaction Detection - HOID) mira a identificare le interazioni tra esseri umani e oggetti nelle immagini, restituendo le istanze sotto forma di tuple composte da bounding box dell'uomo, bounding box dell'oggetto, classi dell'oggetto e classi di interazione. I metodi tradizionali di HOID si basano su un paradigma centrato sul rilevatore, utilizzando rilevatori di oggetti per generare proposte seguite da una testa di interazione dedicata (spesso basata su transformer) per predire le etichette. Gli approcci allo stato dell'arte più recenti incorporano sempre più i priori dei Modelli Vision-Language (VLM) per gestire le annotazioni a coda lunga. Tuttavia, questi metodi introducono pipeline complesse che richiedono moduli aggiuntivi, obiettivi di addestramento specifici e un accoppiamento architettonico tra i rilevatori e i decoder di interazione, il che ne ostacola l'estensibilità e il riutilizzo. Inoltre, la capacità di ragionamento intrinseca dei Modelli Linguistici Multimodali Grandi (MLLM) per compiti HOID strutturati — specificamente il ragionamento simultaneo sulle interazioni e la localizzazione delle coppie all'interno di un protocollo standardizzato — rimane ancora poco esplorata.

Metodologia
Gli autori propongono HOI-R1, un framework che elimina completamente i rilevatori di oggetti, risolvendo il problema HOID end-to-end attraverso il ragionamento in linguaggio naturale utilizzando gli MLLM. L'approccio prevede un paradigma di addestramento in due fasi:

1. Predizione Basata sul Linguaggio e Progettazione del Prompt:
   Invece della regressione dei bounding box, il modello restituisce le istanze HOI in un formato di linguaggio naturale strutturato (JSON). Il prompt di input è progettato con tre componenti:

   • Istruzione del Task: Definisce il ruolo del modello e fornisce elenchi esaustivi di classi valide di oggetti e interazioni per vincolare lo spazio di output e prevenire le allucinazioni.
   • Guida al Ragionamento: Una sezione "Processo di Pensiero" (Thinking Process) che scompone il compito in passaggi sequenziali (identificazione degli umani, analisi delle azioni, determinazione delle interazioni) per rispecchiare i processi cognitivi umani.
   • Esempio di Formato: Un template che richiede all'output di includere una catena di ragionamento (all'interno dei tag <thought>) e le predizioni finali (all'interno dei tag <answer>), incorporando direttamente nel testo le coordinate spaziali.

2. Fine-Tuning Supervisionato (SFT) con Distillazione del Pensiero:
   Per trasferire la conoscenza specifica del task, viene impiegato un paradigma teacher-student. Un potente modello teacher (GPT4o-mini) genera tracce di ragionamento passo dopo passo per le immagini di addestramento. Lo studente MLLM viene addestrato tramite SFT per predire sia le tracce di ragionamento generate dal teacher, sia le triplette HOI reali (ground-truth). Questa "distillazione del pensiero" interiorizza il processo logico del rilevamento HOI.

3. Apprendimento per Rinforzo (RL) con Reward Personalizzati:
   Dopo l'SFT, il modello viene allineato utilizzando la Group Relative Policy Optimization (GRPO). Gli autori hanno progettato una funzione di reward composita composta da quattro componenti per garantire l'allineamento strutturale, semantico e geometrico:

   • Reward di Formato: Assicura che l'output contenga i tag richiesti (<thought>, <answer>) e chiavi JSON valide (human, object, object class, verb class). Penalizza i bounding box duplicati e le strutture di chiave errate.
   • Reward delle Etichette di Oggetto e Verbo: Incoraggia la predizione accurata delle classi di oggetto e di interazione confrontando le etichette predette con quelle reali tramite una strategia di "drop-on-match".
   • Reward IoU per HOI: Utilizza l'algoritmo di Hungarian per far corrispondere le coppie uomo-oggetto predette con le coppie reali basandosi sull'Intersezione su Unione (IoU) dei bounding box di uomo e oggetto, fornendo un segnale di allineamento geometrico.

Contributi Chiave

• Framework HOI-R1: Il primo framework MLLM che risolve il HOID end-to-end tramite linguaggio naturale, eliminando la dipendenza dai rilevatori di oggetti.
• Paradigma di Addestramento: Introduzione di una strategia di addestramento in due fasi che combina l'SFT con la distillazione del pensiero (per iniettare la conoscenza HOI) e l'RL con funzioni di reward specializzate (per l'allineamento con le metriche HOID).
• Design dei Reward: Sviluppo di funzioni di reward specifiche per elemento (formato, etichetta e IoU) che guidano gli MLLM a produrre predizioni strutturate, accurate e spazialmente fondate.

Risultati Sperimentali
Gli esperimenti sono stati condotti sul dataset HICO-DET utilizzando molteplici MLLM open-source, inclusi la famiglia Qwen-VL (Qwen2.5-VL, Qwen3-VL) e Rex-Omni.

• Incrementi di Performance: HOI-R1 dimostra miglioramenti costanti attraverso i vari modelli. In particolare, l'applicazione di HOI-R1 a Qwen2.5-VL-3B produce un incremento dell'accuratezza di 2 volte (da ~8.39 mAP a 18.33 mAP nella categoria Full sotto le impostazioni Default) con un solo epoch di SFT e 40 step di addestramento RL.
• Confronto con lo Stato dell'Arte (SOTA): La variante HOI-R1 di Rex-Omni-3B raggiunge 27.00 mAP nell'impostazione "Known Object", superando il modello Qwen2.5-VL-AWQ da 72B di parametri e i metodi tradizionali basati su transformer come QPIC.
• Efficienza: Il metodo converge significativamente più velocemente dei metodi HOID tradizionali, che spesso richiedono centinaia di epoch, raggiungendo prestazioni elevate con un numero minimo di step di addestramento (1 epoch SFT + 40 step RL).
• Studi di Ablazione: La rimozione della componente "pensiero" (thinking) degrada significativamente le prestazioni sulle categorie rare, evidenziando il valore del ragionamento. La rimozione del reward IoU causa un calo sostanziale (3.62 mAP), confermando la necessità di reward di allineamento geometrico.

Significatività e Rivendicazioni
Il paper afferma che HOI-R1 stabilisce nuovi baseline per l'HOID basato su MLLM, dimostrando che i grandi modelli linguistici possiedono il potenziale intrinseco per gestire compiti di ragionamento visivo complessi e strutturati senza moduli di rilevamento specializzati. Sfruttando il ragionamento in linguaggio naturale e l'apprendimento per rinforzo, il framework semplifica la pipeline HOID pur ottenendo prestazioni competitive o superiori rispetto agli approcci centrati sul rilevatore. Gli autori pongono questo lavoro come un passo verso la semplificazione delle architetture HOID e lo sblocco delle capacità di ragionamento degli MLLM per la comprensione visiva fine.