Rethinking Video Human-Object Interaction: Set Prediction over Time for Unified Detection and Anticipation

1. Il Problema

L'articolo affronta le sfide nella comprensione delle Interazioni Uomo-Oggetto (HOI) nei video. Mentre la rilevazione di interazioni in corso è un campo maturo, l'anticipazione (prevedere come evolverà un'interazione futura) rimane problematica a causa di due limiti fondamentali:

• Separazione tra Rilevamento e Anticipazione: I metodi esistenti seguono solitamente un approccio a due stadi: prima rilevano o tracciano le coppie uomo-oggetto, e poi trattano l'anticipazione come un compito di previsione downstream su queste coppie pre-costruite. Questo impedisce un ragionamento congiunto: il modello non impara a preservare l'identità della coppia e il suo stato attraverso il tempo, rendendo l'anticipazione fragile e disconnessa dalla rappresentazione visiva di base.
• Limitazioni delle Benchmark (Valutazione): Le benchmark attuali (come VidHOI e Action Genome) si basano su annotazioni sparse di fotogrammi chiave. Questo crea "buchi temporali" tra i fotogrammi osservati e le etichette future, rendendo difficile distinguere se un modello sta davvero imparando la dinamica futura o sta semplicemente sfruttando artefatti delle annotazioni.

2. Metodologia: HOI-DA

Gli autori propongono HOI-DA, un framework unificato e centrato sulla coppia (pair-centric) che tratta l'anticipazione non come un'aggiunta successiva, ma come un vincolo strutturale sulla rappresentazione delle interazioni.

Architettura Principale

Il modello utilizza una rappresentazione condivisa per il rilevamento presente e l'anticipazione futura:

1. Decodificatore Unificato Centrato sulla Coppia: Invece di generare coppie uomo-oggetto in modo esterno, il modello utilizza "slot di coppia" persistenti ($Q_s$ per il soggetto, $Q_o$ per l'oggetto) che mantengono l'identità della coppia attraverso il tempo senza bisogno di tracciamento esterno.
2. Modellazione Residuale: L'anticipazione futura non viene prevista da zero. Viene modellata come una transizione residua dallo stato presente dell'interazione.
   • Si calcola lo stato di interazione al confine dell'osservazione ($\bar{Z}_{det}$).
   • L'anticipazione futura ($Z_{ant}$) è vista come una deviazione da questo stato: $R = Z_{ant} - \bar{Z}_{det}$. Questo costringe il modello a concentrarsi sul cambiamento dell'interazione piuttosto che sulla ridescrizione del contesto presente.
3. Modulo di Riassunto Temporale: Per ogni orizzonte temporale futuro, il modello utilizza "ancore" apprese per attendere sull'intera storia delle interazioni osservate, non solo sull'ultimo fotogramma.
4. Ramo Semantico Guidato dal Linguaggio: Viene integrato un encoder testuale (basato su RoBERTa) per iniettare struttura semantica a livello di vocabolario (verbi e oggetti), aiutando a gestire la distribuzione a lunga coda dei verbi e migliorando la generalizzazione.

Tecniche di Regularizzazione

Per evitare che le previsioni future collassino verso lo stato presente o diventino ridondanti tra diversi orizzonti temporali, viene introdotta una doppia regolarizzazione di ortogonalità:

• Ortogonalità dei Compiti: Separa la rappresentazione dell'ancoraggio presente dal cambiamento futuro.
• Ortogonalità degli Orizzonti: Assicura che le direzioni di previsione per orizzonti temporali diversi (es. +1s, +3s) siano distinte e non ridondanti.

3. Contributi Chiave

1. Formulazione Unificata HOI-DA: Un'architettura che esegue localizzazione, rilevamento presente e anticipazione multi-orizzonte in uno spazio di rappresentazione condiviso, trattando l'identità della coppia come un oggetto di prima classe.
2. DETAnt-HOI (Benchmark Corretto): Gli autori hanno creato un nuovo protocollo di valutazione basato su VidHOI e Action Genome. Questo benchmark corregge le discontinuità temporali:
   • Per VidHOI, integrano annotazioni di fotogrammi non interattivi (presi da VidOR) per mantenere la continuità delle traiettorie degli oggetti.
   • Per Action Genome, rimuovono segmenti inattivi troppo lunghi che romperebbero la coerenza temporale.
   • L'obiettivo è valutare l'anticipazione su dinamiche temporali continue e reali, non su artefatti di annotazione.
3. Dimostrazione dell'Importanza della Struttura: Dimostrano che l'anticipazione è più efficace quando appresa congiuntamente al rilevamento come vincolo strutturale, piuttosto che come task separato.

4. Risultati Sperimentali

I test sono stati condotti su VidHOI e Action Genome utilizzando il nuovo benchmark DETAnt-HOI.

• Prestazioni Superiori: HOI-DA supera tutti i metodi precedenti (inclusi ST-HOI, STTran, Gaze-Tran) sia nel rilevamento presente che nell'anticipazione futura.
• Vantaggio Crescente nel Tempo: Il divario prestazionale tra HOI-DA e i metodi a due stadi si amplia significativamente man mano che l'orizzonte temporale aumenta (es. da $h=1$ a $h=7$). Questo conferma che la modellazione strutturata della persistenza della coppia è cruciale per previsioni a lungo termine.
• Metriche:
  • Su VidHOI, HOI-DA supera il miglior baseline (Gaze-Tran) di +5.10 mAP a $h=1$ e +8.59 mAP a $h=7$.
  • Migliora anche le metriche di Recall@k, indicando che le coppie di ipotesi future sono meglio classificate.
• Studi di Ablazione:
  • Rimuovere la regolarizzazione di ortogonalità degrada fortemente le prestazioni a lungo termine.
  • Rimuovere il modulo di riassunto temporale danneggia tutte le previsioni, confermando che la storia completa è necessaria, non solo l'ultimo frame.
  • L'approccio "unificato" (un solo decoder) funziona solo se strutturato correttamente; una fusione ingenua dei task peggiora le prestazioni rispetto a modelli separati.

5. Significato e Implicazioni

Questo lavoro rappresenta un cambio di paradigma nella visione artificiale per l'HOI video:

• Dall'Associazione Esterna alla Persistenza Interna: Sposta il focus dal "rilevare e poi tracciare" al "mantenere l'identità della coppia all'interno del modello".
• Ridefinizione dell'Anticipazione: L'anticipazione non è più un task di regressione o classificazione separato, ma una proprietà intrinseca di come le rappresentazioni video evolvono nel tempo.
• Benchmark più Affidabili: Il lavoro evidenzia la necessità di benchmark che rispettino la continuità temporale fisica, offrendo DETAnt-HOI come nuovo standard per valutare la vera capacità di anticipazione dei modelli.

In sintesi, il paper dimostra che per prevedere il futuro in modo robusto, un modello deve prima comprendere e mantenere coerentemente lo stato presente delle interazioni, trattando il tempo come una dimensione strutturale fondamentale della rappresentazione visiva.