Sintesi Tecnica: WristCompass

Problema

Il recupero dell'orientamento della camera ego-centrica (SO(3)) dai video di manipolazione egocentrica è un prerequisito critico per separare il movimento delle mani dal movimento della telecamera nell'apprendimento per imitazione. Gli approcci esistenti si affidano alla geometria della scena per inferire la posa della telecamera. Tuttavia, questa strategia fallisce negli scenari di manipolazione ravvicinata in cui le mani occludono frequentemente la scena.

Il documento dimostra che i modelli di ricostruzione della scena allo stato dell'arte, come VGGT (un transformer da 1 miliardo di parametri), performano peggio di un predittore costante sul benchmark TACO (23,98° di errore geodetico mediano rispetto ai 21,22° di un predittore costante). Questo fallimento avviene perché il concetto visivo di "geometria della scena" cessa di esistere quando l'inquadratura è occlusa dalle mani. Inoltre, le soluzioni basate su IMU sono inapplicabili agli archivi video esistenti composti solo da RGB. La sfida principale è recuperare l'orientamento della telecamera da un video monoculare RGB puro senza fare affidamento sulla struttura della scena visibile.

Metodologia: WristCompass

Gli autori propongono WristCompass, un metodo che recupera l'orientamento della telecamera sfruttando la dinamica di accoppiamento cinematico. Questo concetto si basa sulla relazione fisica strutturata tra il movimento del polso e l'orientamento della telecamera, imposta dalla catena umana braccio-spalla-testa. Quando la testa (telecamera) ruota, le braccia e i polsi devono muoversi per mantenere l'interazione con lo spazio di lavoro, creando un accoppiamento prevedibile anche quando lo sfondo è invisibile.

Componenti Tecnici Chiave

1. Rappresentazione dell'Input (Feature Inter-Polso 4D):

   • Invece di utilizzare l'intero set di keypoint delle mani (126 dimensioni da 42 giunti), il modello estrae solo il vettore di feature inter-polso 4D.
   • Questo vettore consiste nella distanza euclidea tra il polso sinistro e quello destro e nel vettore direzione unitario della loro differenza ($d_t = w^L_t - w^R_t$).
   • Razionale: Gli esperimenti dimostrano che il segnale di orientamento si concentra nel vettore inter-polso. I keypoint completi delle mani introducono rumore specifico del soggetto (articolazioni delle dita) che ostacola la generalizzazione. La rappresentazione 4D supera significativamente quella a 126D.

2. Modellazione Temporale (GRU):

   • Il metodo impiega una Unità Ricorrente Gated (GRU) a due strati con una finestra di 12 frame (~0,4s a 30fps).
   • Razionale: Il segnale di orientamento non è accessibile tramite recupero statico. Un lookup di tipo "nearest-neighbor" su feature statiche 4D ottiene un punteggio peggiore di un predittore costante (26,69°), provando che il concetto è intrinsecamente temporale e richiede un modello di sequenza per decodificarne la dinamica.

3. Architettura e Addestramento:

   • La GRU elabora la sequenza di feature per produrre una rappresentazione di rotazione a 6D, proiettata in SO(3) tramite l'ortogonalizzazione di Gram-Schmidt.
   • Il modello è addestrato sul dataset TACO (manipolazione su tavolo) utilizzando la verità fondamentale (ground truth) proveniente dal motion capture ottico NOKOV.
   • Efficienza dei Parametri: Il modello centrale contiene solo 200.000 parametri (escludendo l'estrattore di keypoint WiLoR congelato), rispetto al miliardo di parametri di VGGT.

4. Pipeline di Inferenza:

   • Il sistema viene eseguito in tempo reale su una CPU.
   • Elabora i frame in cui entrambi i polsi sono rilevati; i frame con un solo polso rilevato vengono scartati invece di essere interpolati per evitare l'introduzione di rumore.
   • L'valutazione utilizza l'allineamento di Procruste per misurare la struttura dell'orientamento relativo piuttosto che la posa assoluta, mitigando gli errori di calibrazione globale.

Risultati Chiave

1. Performance In-Distribution (TACO)

• WristCompass raggiunge un errore geodetico mediano di 13,80°.
• Supera significativamente:
  • VGGT (1B parametri): 23,98° (peggio del costante).
  • Predittore Costante: 21,22°.
  • Recupero Statico Nearest-Neighbor: 26,69°.
  • MLP su Keypoint 126D: 17,5°.
• Il modello performa meglio sui movimenti ciclici (es. mescolare: 5,9°) e fatica quando l'orientamento della testa si disaccoppia dalla dinamica del polso (es. misurare con un righello: 24,3°).

2. Trasferimento Zero-Shot (Epic Kitchens)

• Addestrato esclusivamente su TACO, WristCompass si trasferisce in modo zero-shot al dataset Epic Kitchens (GoPro montata sul petto, dominio della cucina).
• Raggiunge un errore geodetico mediano di 14,32°, superando la baseline costante (18,54°) per 33 partecipanti su 36.
• Confronto con VGGT su Epic Kitchens:
  • VGGT raggiunge 12,83° (leggermente meglio di WristCompass con 14,32°).
  • Tuttavia, VGGT è 1000 volte più grande (1 miliardo vs 200.000 parametri).
  • Gli autori notano che il vantaggio di VGGT potrebbe derivare dal suo affidamento sulla geometria della scena, che è più disponibile nei video di cucina rispetto ai compiti TACO ravvicinati. Al contrario, WristCompass vince di oltre 10° su TACO dove le caratteristiche della scena sono occluse.

Contributi e Significato

Il documento identifica la dinamica di accoppiamento cinematico come un concetto visivo compatto, strutturato e fisicamente fondato, sufficiente per il recupero dell'orientamento della telecamera nei video di manipolazione.

1. Identificazione del Concetto: Il lavoro stabilisce che la catena braccio-spalla-testa impone un vincolo fisico che codifica il moto proprio nei movimenti del polso, un concetto che esiste proprio quando la geometria della scena è assente.
2. Implementazione di WristCompass: Gli autori realizzano questo concetto partendo da un semplice RGB utilizzando un modello leggero da 200.000 parametri, dimostrando che il recupero ad alta fedeltà dell'orientamento non richiede modelli massicci di ricostruzione della scena.
3. Generalizzazione tramite l'Anatomia: Il trasferimento zero-shot su Epic Kitchens dimostra che il concetto si generalizza attraverso dataset e montaggi della telecamera perché è radicato nell'anatomia umana piuttosto che nell'aspetto della scena.

Limitazioni e Ambito

Gli autori notano esplicitamente i seguenti confini:

• Modalità di Fallimento: Il metodo fallisce quando l'orientamento della testa è quasi statico (bassa varianza) o quando la posizione del polso è vincolata indipendentemente dall'orientamento della testa (es. compiti di misurazione).
• Ambito di Valutazione: L'attuale valutazione è limitata alla manipolazione in piedi. Il trasferimento ad attività sedute o a tutto il corpo non è stato testato.
• Relativo vs Assoluto: Il metodo misura la struttura dell'orientamento relativo (tramite allineamento di Procruste); la calibrazione della posa assoluta rimane un problema separato.
• Dipendenza dai Dati: Sebbene il concetto sia fisicamente fondato, il modello richiede comunque un modello temporale (GRU) e non può funzionare con il recupero di frame statici.

In conclusione, WristCompass offre un'alternativa efficiente in termini di parametri e basata sull'anatomia per la stima della posa basata sulla scena, affrontando specificamente i fallimenti dei modelli attuali negli scenari di manipolazione egocentrica ravvicinata e occlusa.