Hand Trajectory Fusion for Egocentric Natural Language Query Grounding

Sintesi Tecnica: Fusione della Traiettoria Manuale per il Grounding di Query in Linguaggio Naturale Egocentrico

Definizione del Problema
Il grounding di Natural Language Query (NLQ) egocentrica mira a localizzare l'intervallo temporale $[t_s, t_e]$ all'interno di un lungo video in prima persona che corrisponde a una query testuale a formato libero. Sebbene i sistemi allo stato dell'arte (ad esempio, GroundNLQ) fondano efficacemente l'aspetto del video con la semantica del testo utilizzando grandi encoder pre-addestrati, essi spesso ignorano il movimento delle mani. Questa è una svista significativa, dato che circa il 41% delle query nel dataset Ego4D NLQ è risposta durante momenti di manipolazione mano-oggetto o dei loro immediati esiti. Le modalità ausiliarie esistenti, come lo sguardo o il rilevamento di oggetti, sono state esplorate, ma la traiettoria manuale come modalità distinta per il grounding NLQ rimane inesplorata nonostante la sua centralità nelle attività in prima persona.

Metodologia
L'approccio proposto introduce un Hand-Trajectory Encoder (Encoder della Traiettoria Manuale) e un modulo di Trajectory Fusion (Fusione della Traiettoria) per integrare dati scheletrici manuali sparsi con le rappresentazioni video-testuali. L'architettura si compone di cinque componenti principali:

1. Encoder:

   • Video Encoder: Utilizza backbone pre-addestrati e congelati (InternVideo ed EgoVLP) per codificare clip egocentriche in token video ($E_v$).
   • Text Encoder: Utilizza un modello CLIP congelato per codificare query in linguaggio naturale in token testuali ($E_t$).
   • Trajectory Encoder: Un modulo addestrinabile che elabora una sequenza temporale di scheletri manuali (estratti tramite MediaPipe) in caratteristiche cinematiche dense e allineate al video ($E_h$). Impiega un transformer spazio-temporale fattorizzato in due stadi:
     • Aggregazione Spaziale: Utilizza l'attenzione incrociata (cross-attention) per raggruppare 21 landmark anatomici per mano in un singolo descrittore a livello di frame, mascherando esplicitamente i landmark non rilevati.
     • Modellazione Temporale: Applica l'auto-attenzione (self-attention) per modellare l'evoluzione di questi descrittori attraverso i frame, catturando la dinamica della manipolazione (approccio, contatto, rilascio). I frame non rilevati sono mascherati per prevenire la fuga di informazioni.

2. Traiettoria Fusion (Fusione della Traiettoria):

   • Questo modulo integra $E_h$ ed $E_t$ nei token video $E_v$ utilizzando una strategia di cross-attention con gating adattivo.
   • Due meccanismi indipendenti di attenzione incrociata permettono ai token video di interrogare i flussi della traiettoria e del testo, producendo rappresentazioni arricchite ($E_{vh}$ e $E_{vt}$).
   • Adaptive Gating (Gating Adattivo): Inveza di una sommatoria uniforme, i contributi dei rami della traiettoria e del testo sono scalati da gate scalari appresi ($g_h$ e $g_t$). Questi gate sono calcolati tramite MLP leggeri applicati alle medie temporali delle rispettive uscite di attenzione incrociata. Ciò consente alla rete di attenuare selettivamente il segnale della traiettoria quando il rilevamento manuale è rado o irrilevante.
   • Un blocco di raffinamento tramite auto-attenzione elabora ulteriormente la rappresentazione fusa per ottenere l'output multimodale finale ($E_o$).

3. Predizione:

   • Una testa di Predizione del Segmento Temporale predice l'intervallo di risposta $[t_s, t_e]$ dalla rappresentazione fusa $E_o$.

Contributi Chiave

• Nuova Modalità: Questo lavoro è il primo a studiare la traiettoria manuale come modalità ausiliaria per il grounding NLQ egocentrico, affrontando un vuoto in cui circa il 41% delle query dipende dall'attività manuale.
• Codifica della Traiettoria Robusta: Il design gestisce esplicitamente la scarsità del rilevamento manuale (le mani sono visibili solo in circa il 41% dei frame di Ego4D in media) attraverso meccanismi di masking negli stadi del transformer spaziale e temporale.
• Fusione Adattiva: L'introduzione di meccanismi di gating appresi e dipendenti dal contenuto permette al modello di pesare dinamicamente il segnale della traiettoria manuale rispetto alle caratteristiche video e testuali, evitando che il rumore dei frame non rilevati degradi le prestazioni.

Risultati Sperimentali
Il sistema è stato valutato sulla split di validazione Ego4D NLQ v2 (4.552 coppie query-clip) utilizzando la metrica $R_m@IoU=n$.

• Guadagni Specifici per Categoria: I miglioramenti più significativi sono stati osservati nelle categorie direttamente correlate alla manipolazione:
  • Interazione Mano-Oggetto (HOI): +2.54 di miglioramento in $R1@IoU=0.3$.
  • Quantità/Stato: +4.32 di miglioramento in $R1@IoU=0.3$.
  • All'interno di HOI, i guadagni si sono concentrati nei template di azione (es. "Cosa ho messo in X?"), confermando che i segnali di traiettoria aiutano a localizzare il momento specifico dell'azione.
• Prestazioni Complessive: Il modello proposto ha ottenuto un guadagno di +0.77 in $R1@IoU=0.3$ complessivo e un guadagno di +1.39 in $R1@IoU=0.5$. Il maggiore guadagno alla soglia di IoU più rigorosa suggerisce che la cinematica manuale non solo aiuta a recuperare la corretta regione temporale, ma affina anche la precisione della localizzazione.
• Efficienza: Il Trajectory Encoder aggiunge solo 195K parametri (lo 0.6% del modello completo) ed è addestrato partendo da zero mantenendo congelati i pesanti backbone video e testo.

Significatività e Limitazioni
Il documento afferma che la cinematica manuale fornisce un segnale leggero ma informativo che completa l'aspetto visivo, in particolare per le query che coinvolgono la manipolazione di oggetti. Il design dimostra che le modalità ausiliarie possono essere integrate efficacemente senza modificare i backbone pre-addestrati.

Gli autori riconoscono modestamente un limite primario: la scarsità del rilevamento (detection sparsity). Poiché le mani sono visibili solo nel 41% dei frame, il contributo del ramo della traiettoria è intrinsecamente limitato. Il documento ipotizza che futuri miglioramenti nel rilevamento manuale egocentrico si tradurranno direttamente in prestazioni di grounding più forti. Inoltre, il modulo Trajectory Fusion è descritto come agnostico rispetto alla modalità, suggerendo che potrebbe naturalmente estendersi ad altri segnali come lo sguardo o scenari di addestramento su scala più ampia.