CAE-AV: Improving Audio-Visual Learning via Cross-modal Interactive Enrichment

Riepilogo Tecnico: CAE-AV

Problematica

L'apprendimento Audio-Visivo (AVL) mira a modellare congiuntamente il contenuto visibile e le sorgenti acustiche. Tuttavia, una sfida critica negli scenari video del mondo aperto è il disallineamento audio-visivo. Questo disallineamento deriva da sorgenti sonore fuori campo, rumore di fondo, tagli di ripresa (ad esempio, passare a una vista distante mentre l'audio continua) e colonne sonore post-prodotte (ad esempio, un visivo di un violino con un audio di un pianoforte).

I metodi esistenti, efficienti dal punto di vista dei parametri e basati su backbone pre-addestrati congelati, spesso assumono un rigoroso allineamento frame-per-frame. Quando si verifica il disallamento, questi metodi tendono a:

1. Amplificare regioni o momenti irrilevanti forzando la fusione cross-modale su frame non corrispondenti.
2. Introdurre rumore nel processo di ragionamento, portando a un addestramento instabile e a una degradazione della qualità delle rappresentazioni.
3. Non riuscire a distinguere tra scenari che richiedono un forte focus spaziale (allineati) rispetto a quelli che richiedono l'aggregazione temporale (disallineati).

Metodologia

Gli autori propongono CAE-AV (Caption-aligned and Agreement-guided Enhancement), un framework costruito su backbone pre-addestrati e congelati (Swin Transformer per il visivo e HTS-AT per l'audio). CAE-AV introduce due moduli complementari per mitigare il disallineamento senza sbloccare i pesanti parametri del backbone:

1. Cross-modal Agreement-guided Spatio-Temporal Enrichment (CASTE)

CASTE opera all'interno di ogni layer del backbone per bilanciare dinamicamente le relazioni spaziali e temporali in base all'accordo a livello di frame.

• Agreement Gate: Calcola i prototipi a livello di frame per i token visivi e audio e li proietta in uno spazio semantico condiviso. Calcola un punteggio di similarità del coseno ($g$) per misurare l'accordo.
• Meccanismo di Bias: Un vettore di fusione aggrega l'evidenza unimodale, le discrepanze cross-modali e le caratteristiche co-occorrenti. Un Multi-Layer Perceptron (MLP) genera preferenze per l'arricchimento spaziale rispetto a quello temporale. Fondamentalmente, il punteggio di accordo $g$ influenza questa decisione: i frame con alto accordo favoriscono la modellazione spaziale, mentre i frame con basso accordo (disallineamento) favoriscono la modellazione temporale per aggregare l'evidenza attraverso il tempo.
• Moduli di Arricchimento:
  • Arricchimento Spaziale: Utilizza l'attenzione separabile (ispirata a MobileViT) per ricalibrare i token all'interno di un frame con complessità lineare, evitando costi quadratici.
  • Arricchimento Temporale: Applica convoluzioni 1D depthwise lungo l'asse temporale per smussare le dinamiche e catturare informazioni di vicinato locale.
• Iniezione Selettiva: Una maschera di salienza Top-K seleziona i token più discriminanti per l'arricchimento, evitando l'iniezione di rumore uniforme. Gli output sono combinati tramite una combinazione convessa pesata dal gate di accordo.

2. Caption-Aligned Saliency-guided Enrichment (CASE)

CASE sfrutta prior semantici di alto livello per guidare l'allineamento dopo l'elaborazione del backbone.

• Generazione di Caption: Un MLLM (Multimodal Large Language Model) congelato genera didascalie testuali per i frame visivi grezzi e le forme d'onda audio. Queste didascalie vengono poi codificate da un encoder di testo CLIP congelato.
• Ancoraggio Semantico: Le caratteristiche delle didascalie sono proiettate per corrispondere alle dimensioni dei canali del backbone.
• Raffinamento Guidato: Il modulo utilizza la cross-attention per iniettare la semantica delle didascalie nelle caratteristiche visive e audio. Calcola l'accordo tra le caratteristiche arricchite e le caratteristiche delle didascalie per determinare la forza dell'iniezione.
• Consolidamento Temporale: Convoluzioni temporali depthwise separable smussano le caratteristiche, garantendo un focus stabile sulle regioni sonore anche in presenza di occlusioni o cambiamenti di prospettiva.

3. Obiettivi di Addestramento

Per guidare la selezione dei token e rafforzare l'allineamento, CAE-AV impiega funzioni di perdita leggere:

• Caption-to-Modality InfoNCE: Una perdita contrastiva allinea le caratteristiche visive/audio con le relative didascalie, escludendo i negativi all'interno dello stesso video per evitare negativi facili.
• Consistenza Visivo-Audio: Minimizza la distanza del coseno tra le rappresentazioni specifiche della modalità all'interno dello stesso frame.
• Regolarizzazione dell'Entropia: Incoraggia probabilità di selezione Top-K più nette per evitare una selezione diffusa dei token.

Contributi Chiave

1. Framework Innovativo: L'introduzione di CAE-AV, che affronta il disallineamento audio-visivo attraverso due percorsi complementari: l'equilibrio spazio-temporale guidato dall'accordo (CASTE) e l'iniezione semantica allineata alla didascalia (CASE).
2. Adattamento Dinamico: La capacità del modulo CASTE di passare dinamicamente dal focus spaziale a quello temporale in base all'accordo cross-modale stimato, permettendo al modello di gestire efficacemente sia scenari allineati che disallineati.
3. Guida Semantica: L'utilizzo di didascalie generate da MLLM come ancoraggi semantici espliciti e interpretabili per correggere la deriva dell'attenzione cross-modale, invece di fare affidamento solo sulle interazioni di caratteristiche latenti.
4. Efficienza dei Parametri: Il metodo raggiunge prestazioni allo stato dell'arte mantenendo i pesanti backbone pre-addestrati congelati, aggiungendo solo adapter e moduli di arricchimento leggeri.

Risultati Sperimentali

CAE-AV è stato valutato su quattro task downstream utilizzando i backbone congelati Swin-V2-L e HTS-AT:

• Localizzazione di Eventi Audio-Visivi (AVE): Ha raggiunto l'82,6% di accuratezza sul test set AVE, eguagliando il metodo attuale SOTA a backbone congelato (AVMoE) con la stessa configurazione di backbone.
• Parsing Video Audio-Visivo (AVVP): Ha superato AVMoE del 1,7% per l'tipo audio e dello 0,6% per le metriche a livello di evento sul dataset LLP.
• Domanda-Risposta Audio-Visiva (AVQA): Ha raggiunto un'accuratezza media del 76,7% su MUSIC-AVQA, superando AVMoE (75,7%) e altri metodi SOTA.
• Segmentazione Audio-Visiva (AVS): Su AVSBench, CAE-AV ha migliorato l'indice di Jaccard (MJ) di +0,8 (impostazione S4) e di +0,6 (impostazione MS3) rispetto a AVMoE.

Gli Studi di Ablazione hanno confermato che CASTE migliora significativamente il ragionamento temporale e la localizzazione in scenari disallineati, mentre CASE potenzia il focus semantico e l'allineamento. La combinazione di entrambi i moduli produce i migliori risultati in tutti i task.

L'Analisi Qualitativa ha dimostrato che CAE-AV gestisce con successo scenari complessi come:

• La segmentazione di oggetti quando l'angolo della telecamera cambia (es. falciatura del prato).
• La distinzione tra molteplici sorgenti sonore (es. pianoforte vs violino).
• Il mantenimento della coerenza della segmentazione quando la sorgente sonora è temporaneamente occlusa o fuori campo.

Significato

Il paper sostiene che CAE-AV fornisca una soluzione robusta al problema pervasivo del disallineamento audio-visivo nei video del mondo aperto. Decoupling (decouplando) il backbone pesante dal processo di adattamento e introducendo meccanismi espliciti per rilevare e gestire il disallineamento (tramite gate di accordo e didascalie semantiche), il framework raggiunge prestazioni allo stato dell'arte con una notevole efficienza dei parametri. Gli autori sottolineano che il loro approccio stabilizza l'addestramento e l'inferenza senza il costo computazionale di sbloccare grandi modelli pre-addestrati, rendendolo una soluzione pratica per applicazioni audio-visive multi-task.