Integrating Affordances and Attention models for Short-Term Object Interaction Anticipation

1. Il Problema: Anticipazione delle Interazioni a Breve Termine (STA)

L'obiettivo centrale del lavoro è risolvere il compito di Short-Term Object Interaction Anticipation (STA). Questo compito consiste nel prevedere, osservando un video in prima persona (egocentrico), quali saranno i prossimi oggetti con cui l'utente interagirà.
Nello specifico, il modello deve prevedere simultaneamente:

• Posizione: Il bounding box dell'oggetto attivo successivo.
• Categorie Semantiche: Il sostantivo (oggetto, es. "tazza") e il verbo (azione, es. "afferrare").
• Tempo: Il tempo stimato fino al contatto (Time-to-Contact).

Questa capacità è fondamentale per assistenti indossabili intelligenti e per l'interazione uomo-robot, permettendo di anticipare le intenzioni dell'utente e fornire assistenza tempestiva.

2. Metodologia Proposta

Gli autori propongono un approccio in due fasi principali: lo sviluppo di nuove architetture basate su Transformer e l'integrazione di modelli di affordance (le potenziali azioni che un ambiente offre a un agente) per ancorare le previsioni al comportamento umano.

A. Architetture Neurali: STAformer e STAformer++

Il cuore del sistema è la fusione di dati visivi da un'immagine ad alta risoluzione (l'ultimo frame) e un video a bassa risoluzione (la sequenza temporale precedente).

1. STAformer (Versione Base):

   • Backbone: Utilizza DINOv2 per l'estrazione di feature 2D dall'immagine e TimeSformer per le feature 3D spaziotemporali dal video.
   • Meccanismi di Attenzione:
     • Frame-guided Temporal Pooling: Mappa le feature video 3D nello spazio 2D dell'ultimo frame osservato, allineando temporalmente e spazialmente le informazioni.
     • Dual Image-Video Attention: Un meccanismo di cross-attention duale che arricchisce le feature dell'immagine con la dinamica del video e viceversa, permettendo una fusione profonda delle modalità.
   • Head di Predizione: Utilizza un adattamento di Faster R-CNN per la rilevazione degli oggetti e la previsione delle classi.

2. STAformer++ (Versione Avanzata):

   • Miglioramenti: Sostituisce i componenti convoluzionali con architetture puramente basate su Transformer.
   • Backbone: Utilizza Swin-T (per le immagini multiscala) e EgoVideo (uno stato dell'arte specifico per video egocentrici).
   • Head di Predizione: Sostituisce Faster R-CNN con un head basato su DETR (Detection Transformer). Questo elimina la necessità di NMS (Non-Maximum Suppression) e anchor manuali, migliorando la capacità di rilevazione e la convergenza del modello.
   • Fusione: Implementa un pooling temporale "per-scala" (per-scale) che adatta il pooling alle diverse dimensioni delle feature map.

B. Integrazione delle Affordance Ambientali

Per migliorare la generalizzazione, il modello non si basa solo sui dati visivi immediati, ma su una "memoria persistente" di interazioni passate in ambienti simili.

• Costruzione della Memoria: Viene creato un database di "zone di affordance" raggruppando video di addestramento con similarità visiva e semantica. Ogni zona contiene una distribuzione di sostantivi e verbi che vi sono stati osservati.
• Due Strategie di Integrazione:
  1. Fusione Tardiva (Inference): Si calcola una distribuzione di affordance fissa basata sulle $K$ zone più simili all'input corrente (usando similarità coseno). Questa distribuzione viene moltiplicata con le probabilità del modello end-to-end per raffinarle.
  2. Apprendimento Adattivo (Training): In STAformer++, viene introdotto un meccanismo di attenzione che impara dinamicamente a collegare il nuovo video a tutte le zone rilevanti del database durante l'addestramento. Questo permette al modello di apprendere una distribuzione di affordance flessibile senza dipendere da un numero fisso di vicini.

C. Hotspot di Interazione

Il sistema include un modulo per prevedere gli "hotspot" di interazione (dove è probabile che avvenga il contatto) osservando il movimento delle mani e degli oggetti. Le probabilità di confidenza delle previsioni di STA vengono poi ripesate in base alla vicinanza di queste hotspot, riducendo i falsi positivi in aree dove l'interazione è improbabile.

3. Contributi Chiave

1. Nuove Architetture: Introduzione di STAformer e STAformer++, le prime architetture end-to-end basate su Transformer per il compito STA, che integrano fusione immagine-video avanzata e head di rilevazione moderni (DETR).
2. Modellazione delle Affordance: Proposta di un metodo innovativo per ancorare le previsioni future al comportamento umano osservato in ambienti simili, utilizzando sia una fusione tardiva fissa che un apprendimento adattivo tramite attenzione.
3. Hotspot Dinamici: Integrazione di un modulo di previsione degli hotspot per ricalibrare la confidenza delle previsioni in base alla posizione spaziale.
4. Risorse Open Source: Rilascio di codice, annotazioni e feature pre-estratte per i dataset Ego4D e EPIC-Kitchens (incluso un nuovo set di annotazioni STA per EPIC-Kitchens).

4. Risultati Sperimentali

Il metodo è stato valutato sui benchmark Ego4D (versioni v1 e v2) e su un nuovo set di annotazioni per EPIC-Kitchens.

• Prestazioni su Ego4D v1: STAformer++ con affordance apprese raggiunge un mAP Overall Top-5 del 4.66, superando lo stato dell'arte precedente di un +23.6% rispetto alla versione conference (STAformer) e di un +36.3% rispetto alla baseline Faster R-CNN.
• Prestazioni su EPIC-Kitchens: Il modello ottiene un miglioramento drastico, con un +31.5% di mAP Overall rispetto alla baseline StillFast, dimostrando la generalizzabilità del framework su dataset diversi.
• Ablation Study: Gli esperimenti confermano che:
  • L'uso di DETR e Swin-T/EgoVideo è cruciale per le prestazioni.
  • Il pooling temporale guidato dal frame è superiore al pooling medio semplice.
  • L'integrazione delle affordance (specialmente quella appresa) porta guadagni significativi, specialmente nelle metriche semantiche (Noun e Verb).
  • Gli hotspot migliorano la precisione spaziale riducendo i falsi positivi.

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo nel campo della comprensione video egocentrica e della previsione di azioni.

• Superamento dei Limiti: Dimostra che le architetture basate su Transformer superano i metodi basati su CNN per compiti di anticipazione complessi.
• Grounding Comportamentale: Introduce un paradigma dove le previsioni non sono solo basate sulla dinamica visiva immediata, ma sono "ancorate" (grounded) su una conoscenza statistica di come gli esseri umani interagiscono con specifici ambienti. Questo migliora la robustezza in scenari con dati limitati o ambigui.
• Standard per la Ricerca: Fornendo codice e annotazioni estese, gli autori stabiliscono una nuova baseline solida per la comunità di ricerca, facilitando futuri sviluppi nell'assistenza robotica e nei dispositivi indossabili intelligenti.

In sintesi, il paper combina l'evoluzione delle architetture di visione artificiale (Transformer) con una modellazione cognitiva delle affordance ambientali, ottenendo risultati di stato dell'arte nella previsione delle interazioni a breve termine.