Motion-aware Contrastive Learning for Temporal Panoptic Scene Graph Generation

1. Definizione del Problema

Il paper affronta la Generazione Temporale di Grafi di Scena Panottici (TPSGG), un compito che mira a generare grafi di scena dinamici da input video (inclusi video naturali, RGB-D e nuvole di punti 4D).

• Obiettivo: Rappresentare le entità come nodi e le loro relazioni spaziotemporali come archi, catturando sia le interazioni statiche (es. "in piedi su") che quelle dinamiche (es. "calciando", "aprendo").
• Limitazioni dei Metodi Esistenti: Gli approcci all'avanguardia attuali seguono tipicamente una pipeline a due stadi:
  1. Segmentazione e Tracciamento: Generazione di "tubi di maschera" (sequenze di maschere di segmentazione tracciate nel tempo).
  2. Predizione delle Relazioni: Codifica di questi tubi utilizzando un pooling globale (es. pooling medio) seguito da un MLP per classificare le relazioni.
• Il Problema Centrale: Le operazioni di pooling globale appiattiscono la dimensione temporale, eliminando di fatto i modelli di movimento e l'ordine dei frame. Ciò porta a scarse prestazioni sulle relazioni dinamiche, poiché il modello si affida pesantemente alle semantiche visive statiche piuttosto che all'evoluzione del movimento. I metodi esistenti di apprendimento contrastivo per video si concentrano spesso sulle semantiche a livello di frame o su clip intere, fallendo nell'isolare il movimento specifico dei tubi di maschera delle entità.

2. Metodologia

Gli autori propongono un nuovo Framework di Apprendimento Contrastivo Consapevole del Movimento, progettato per costringere il modello a imparare rappresentazioni sensibili alle traiettorie di movimento piuttosto che al semplice aspetto statico.

A. Panoramica del Framework

Il framework si integra con un backbone standard TPSGG (Segmentazione Panottica + Classificazione delle Relazioni) ma introduce un obiettivo specifico di apprendimento contrastivo durante l'addestramento per rifinire le rappresentazioni dei tubi di maschera delle entità ($H_i$).

B. Strategie di Apprendimento Contrastivo

L'obiettivo è avvicinare le rappresentazioni di modelli di movimento simili e allontanare quelle con modelli distinti.

1. Campionamento Positivo:
   • Seleziona tubi di maschera da video diversi che condividono la stessa categoria di tripletta soggetto-relazione-oggetto (S-R-O) (es. "persona che calcia palla" dal Video A e "persona che calcia palla" dal Video B).
   • Razionale: Poiché le semantiche visive differiscono tra i video, il modello è costretto a fare affidamento sulla traiettoria di movimento condivisa per associare il campione ancoraggio e i campioni positivi.
2. Campionamento Negativo (Due Strategie):
   • Basato su Mescolamento (Shuffle-based): Prende il tubo ancoraggio e mescola temporalmente i frame ($\pi(H_a)$).
     • Sfida: Le relazioni statiche (es. "su") hanno poco movimento, rendendo le versioni mescolate identiche all'originale.
     • Soluzione: Gli autori introducono una Strategia di Selezione del Movimento Forte utilizzando i bordi del flusso ottico per filtrare e selezionare solo i tubi con un'ampiezza di movimento significativa per il mescolamento.
   • Basato su Triplette: Seleziona tubi negativi dallo stesso video ma con triplette S-R-O diverse.
     • Strategia: Utilizza una distribuzione multinomiale per campionare preferenzialmente triplette che condividono le categorie visive (soggetto/oggetto) con l'ancoraggio ma hanno relazioni diverse. Ciò crea "negativi difficili" che costringono il modello a distinguere le relazioni basandosi sul movimento piuttosto che sulla somiglianza visiva.

C. Trasporto Ottimale per la Quantificazione delle Relazioni

Una sfida critica è misurare la somiglianza tra due tubi di maschera di potenzialmente diverse lunghezze (diverse durate degli eventi). Il pooling standard fallisce qui.

• Approccio: Gli autori trattano due tubi di maschera come distribuzioni di probabilità discrete ($\mu$ e $\nu$).
• Metrica: Utilizzano la distanza di Trasporto Ottimale (OT) (in particolare utilizzando l'algoritmo di Sinkhorn) per trovare il costo minimo per trasportare una distribuzione nell'altra.
• Vantaggio: Questo sincronizza efficacemente gli stati di movimento di due triplette, preservando l'evoluzione temporale e la traiettoria delle maschere senza richiedere che siano della stessa lunghezza. Il punteggio di somiglianza è derivato come $sim = \alpha - d_{OT}$.

3. Contributi Chiave

1. Framework Contrastivo Consapevole del Movimento: Un nuovo paradigma di apprendimento che incoraggia esplicitamente il modello a imparare rappresentazioni basate su modelli di movimento allineando triplette S-R-O simili tra video diversi e separandole da triplette mescolate temporalmente o visivamente simili ma semanticamente diverse.
2. Trasporto Ottimale per l'Allineamento dei Tubi: L'introduzione della distanza di Trasporto Ottimale per quantificare le relazioni tra tubi di maschera di lunghezze variabili, superando i limiti del pooling temporale nella cattura delle dinamiche di movimento.
3. Selezione del Movimento Forte: Una strategia euristica che utilizza il flusso ottico per filtrare le relazioni statiche durante il campionamento negativo, garantendo che l'obiettivo contrastivo rimanga efficace.
4. Prestazioni all'Avanguardia: Dimostrato significativi miglioramenti rispetto ai metodi esistenti sia su dataset di video naturali che 4D, in particolare nel riconoscimento di relazioni dinamiche.

4. Risultati Sperimentali

Il metodo è stato valutato su OpenPVSG (video naturali) e PSG4D (video RGB-D e nuvole di punti 4D).

• Dataset:
  • OpenPVSG: 400 video (ViDOR, Epic-Kitchens, Ego4D).
  • PSG4D: Include PSG4D-GTA (terza persona) e PSG4D-HOI (egocentrico).
• Metriche: Recall a K (R@K) e Recall medio a K (mR@K).
• Risultati Chiave:
  • Prestazioni Complessive: Il metodo proposto ("Ours") ha superato basi solide (IPS+T-Convolution, IPS+T-Transformer, PSG4DFormer) su tutte le metriche.
  • Relazioni Dinamiche: Come illustrato nella Figura 1, il metodo ha migliorato significativamente le prestazioni sui predicati dinamici (es. "calciando", "correndo su") rispetto alle basi che favorivano le relazioni statiche (es. "in piedi su").
  • Dati 4D: Ha ottenuto guadagni sostanziali sia su input di nuvole di punti che RGB-D, mostrando generalizzabilità oltre i video 2D standard.
  • Studi di Ablazione:
    • Rimuovere sia la perdita contrastiva basata su mescolamento che quella basata su triplette ha degradato le prestazioni, con quella basata su triplette che si è rivelata leggermente più fondamentale.
    • Sostituire il Trasporto Ottimale con Pooling standard + Distanza Cosine/L2 ha portato a una minore accuratezza, confermando la necessità di preservare la struttura temporale.
    • La soglia $\gamma$ per la selezione dei tubi a movimento forte ha mostrato un punto ottimale; troppo bassa include rumore statico, troppo alta riduce il volume dei dati.

5. Significato

Questo lavoro colma il divario tra segmentazione panottica e ragionamento temporale. Spostando il focus dalle caratteristiche visive statiche alle rappresentazioni consapevoli del movimento, il paper risolve un collo di bottiglia critico nella generazione di grafi di scena: l'incapacità di modellare accuratamente le interazioni dinamiche.

• Impatto Tecnico: Dimostra che l'apprendimento contrastivo, quando progettato con cura con vincoli specifici del dominio (tubi di maschera, trasporto ottimale), può estrarre efficacemente le dinamiche temporali che i livelli di pooling standard perdono.
• Applicazione: La migliorata capacità di comprendere le relazioni dinamiche è cruciale per agenti autonomi, robotica e sistemi di sorveglianza intelligenti che devono interagire con o prevedere azioni umane in tempo reale.