Riepilogo Tecnico: CEZSAR

Definizione del Problema

Il documento affronta il Riconoscimento Zero-Shot delle Azioni (ZSAR) nei video, un compito mirato a classificare istanze di azioni appartenenti a classi non presenti durante la fase di addestramento del modello. Gli autori identificano due sfide persistenti negli approcci ZSAR esistenti:

1. Il Divario Semantico: Un disallineamento tra il dominio visivo (rappresentato da CNN o Transformer) e il dominio testuale (rappresentato da modelli linguistici). Anche negli spazi di incorporamento congiunti, la distribuzione delle caratteristiche visive spesso diverge dalle loro controparti semantiche. Ad esempio, azioni come "Cavallo con maniglie" e "Parallele asimmetriche" condividono strutture sceniche simili (palestre) ma differiscono per movimenti specifici e attrezzature, portando a confusione negli spazi di incorporamento.
2. Spostamento del Dominio: La discrepanza nelle distribuzioni di probabilità tra il set di addestramento e il set di test non visto. Poiché il set di test è sconosciuto durante l'addestramento, i modelli faticano a generalizzare su nuove distribuzioni di dati.

I metodi esistenti spesso si basano su attributi definiti dall'uomo o su semplici incorporamenti di parole (ad es. Word2Vec, GloVe), che non riescono a catturare differenze semantiche fini o richiedono un notevole sforzo manuale. Inoltre, sebbene modelli pre-addestrati su larga scala come CLIP mostrino promesse, richiedono risorse computazionali e dati massicci (centinaia di milioni di coppie) spesso inaccessibili.

Metodologia: CEZSAR

Gli autori propongono CEZSAR (Metodo di Incorporamento Contrastivo per il Riconoscimento Zero-Shot delle Azioni), un modello progettato per apprendere uno spazio di incorporamento congiunto per video e descrizioni in linguaggio naturale utilizzando l'apprendimento contrastivo.

Architettura

Il modello è composto da due moduli principali:

• Modulo di Incorporamento Visivo (VEM):
  • I video vengono campionati a 1 fotogramma al secondo (FPS).
  • I fotogrammi vengono codificati utilizzando una Rete Neurale Convoluzionale (CNN) pre-addestrata, specificamente ResNet-152, producendo uno stack di caratteristiche.
  • Un livello completamente connesso riduce la dimensionalità, seguito da un Encoder Transformer con attenzione multi-testa per modellare le informazioni temporali.
  • L'output viene proiettato in uno spazio semantico congiunto (128 dimensioni).
• Modulo di Incorporamento della Frase (SEM):
  • Le descrizioni in linguaggio naturale vengono elaborate utilizzando Sentence-BERT (SBERT) per generare incorporamenti a 768 dimensioni.
  • Questi vengono proiettati tramite un livello completamente connesso nello stesso spazio semantico congiunto.

Strategia di Addestramento: Campionamento Automatico di Negativi Difficili

Un'innovazione fondamentale è la procedura di campionamento automatico di negativi difficili, che elimina la necessità di coppie negative annotate manualmente:

1. Filtraggio Semantico: Il modello utilizza un modello SBERT pre-addestrato per valutare la similarità tra le frasi. Le frasi con alta similarità coseno (sopra una soglia $\tau$) sono considerate semanticamente simili.
2. Augmentation Basata su Oggetti: Il sistema rileva oggetti nel video e genera frasi descrittive per essi. Successivamente seleziona descrizioni negative sufficientemente diverse sia dalla descrizione annotata manualmente sia dalle descrizioni generate dagli oggetti.
3. Generazione di Triple: Questo processo genera triple costituite da (video, descrizione positiva, descrizione negativa). Gli autori riportano la generazione di circa tre milioni di triple dal dataset ActivityNet Captions.
4. Funzione di Perdita: Il modello viene addestrato utilizzando una funzione di Triplet Loss, che minimizza la distanza tra un video e la sua descrizione positiva massimizzando contemporaneamente la distanza rispetto alla sua descrizione negativa.

Classificazione

Durante l'inferenza, il modello mappa sia il video di input sia i prototipi di classe (definiti da descrizioni testuali) nello spazio di incorporamento congiunto. La classificazione viene eseguita utilizzando una regola del vicino più prossimo basata sulla similarità coseno. L'incorporamento finale del video ($VidE$) può opzionalmente incorporare informazioni semantiche a livello di oggetto ($O(v)$) insieme alle caratteristiche visive grezze ($VE(v)$), controllato dai parametri di ponderazione $\alpha$ e $\beta$.

Contributi Chiave

Il documento delinea tre contributi principali:

1. Un Nuovo Metodo Contrastivo Cross-Modale: CEZSAR associa efficacemente le caratteristiche visive alle descrizioni testuali, riducendo significativamente il divario semantico tra le modalità.
2. Proiezione Modulare: L'architettura consente di proiettare video e descrizioni tramite sottoreti distinte, facilitando l'inclusione di modalità aggiuntive (testo, immagini o altri video) senza riaddestrare l'intero modello contrastivo.
3. Efficienza e Robustezza: Il metodo ottiene risultati allo stato dell'arte su benchmark standard utilizzando una singola GPU e una frazione dei dati e del tempo di addestramento richiesti da modelli su larga scala come CLIP.

Risultati Sperimentali

Il metodo è stato valutato sui dataset UCF-101 e Kinetics-400 in varie configurazioni di split zero-shot (ad es. 0% di classi viste, 100% di classi non viste).

• UCF-101: Nella configurazione 0/101 (tutte le classi non viste), CEZSAR ha raggiunto un'accuratezza del 95,2% (visualizzata nella Fig. 1b), un miglioramento significativo rispetto alla baseline ZSARCAP (67,2%) e ad altri metodi allo stato dell'arte. L'inclusione di semantiche a livello di oggetto ha fornito miglioramenti marginali ma coerenti.
• Kinetics-400: Il modello ha superato tutti i precedenti metodi allo stato dell'arte in tutte le configurazioni di test (25, 100 e 400 classi non viste). Per lo split a 400 classi, ha raggiunto un'accuratezza del 23,8%, superando il precedente record del 20,4%.
• Campioni Difficili: Su un sottoinsieme di 15 classi difficili e altamente simili (ad es. distinguere tra "equitazione" e "corsa di cavalli"), CEZSAR ha raggiunto un'accuratezza del 63,3% rispetto al 47,4% di ZSARCAP. Le matrici di confusione indicano una sostanziale riduzione degli errori di classificazione errata, in particolare per gruppi che coinvolgono attrezzature o scenari simili.

Significato e Affermazioni

Gli autori affermano che CEZSAR dimostra che l'apprendimento contrastivo è un approccio semplice ma efficace per colmare il divario semantico nello ZSAR. Condizionando l'apprendimento delle caratteristiche visive alle descrizioni testuali – una modalità meno suscettibile allo spostamento del dominio – il modello mitiga naturalmente il problema dello spostamento del dominio.

Il documento sottolinea che alte prestazioni nel riconoscimento zero-shot non richiedono necessariamente infrastrutture di pre-addestramento su scala massiva (ad es. migliaia di GPU e centinaia di milioni di coppie di dati). Al contrario, un framework contrastivo attentamente progettato con campionamento automatico di negativi può ottenere risultati superiori su dataset standard utilizzando risorse significativamente inferiori (1000 volte meno rappresentazioni visive e 100 volte meno coppie di dati rispetto ai modelli su scala CLIP, addestrati in poche ore su una singola GPU). Il lavoro suggerisce che il principale motore dei guadagni di prestazioni è la riduzione efficace del divario semantico piuttosto che semplicemente il volume di informazioni semantiche.