Sintesi Tecnica: Sbloccare la Localizzazione Spaziale nei Grandi Modelli di Recupero Audio-Visivo

Definizione del Problema

La localizzazione della sorgente sonora audio-visiva (AV-SSL) mira a identificare le regioni spaziali all'interno di un fotogramma video che corrispondono a un segnale audio sincronizzato. Questo compito è intrinsecamente complesso a causa della scarsità di sorgenti sonore in scene visive dense e affollate. Un collo di bottiglia primario è la scarsità di annotazioni spaziali dense (maschere a livello di pixel) necessarie per l'addestramento supervisionato, poiché crearle per lunghi clip video è proibitivamente costoso. Di conseguenza, il campo si è affidato a metodi debolmente supervisionati che utilizzano solo coppie audio-video temporalmente allineate.

Sebbene il pre-addestramento contrastivo su larga scala abbia prodotto potenti modelli di recupero multimodale (ad es., PE-AV) che allineano gli embedding globali di audio e video, questi modelli sono ottimizzati per il matching globale piuttosto che per la corrispondenza spaziale fine. Nelle architetture di recupero standard, l'informazione spaziale densa viene progressivamente persa attraverso i meccanismi di pooling globale negli strati superiori dello backbone, produendo feature di frame e video che mancano della granularità necessaria per una localizzazione precisa. La domanda centrale affrontata da questo lavoro è se questi grandi modelli di recupero, che intrinsecamente scartano il dettaglio spaziale, possano essere adattati per recuperare una localizzazione spaziale fine utilizzando solo la supervisione debole.

Metodologia: Framework LAIP

Gli autori propongono LAIP (Localization via Audio-Informed Pooling), un framework progettato per iniettare informazioni audio temporalmente allineate nel backbone visivo di un modello di recupero pre-addestrato prima dell'aggregazione temporale.

Architettura Core

LAIP opera su un backbone di recupero su larga scala (specificamente PE-AV), che consiste in encoder audio, frame e video. Invece di addestrare un modello di localizzazione da zero o allegare una testa pesante a feature congelate, LAIP modifica l'interfaccia tra l'encoder dei frame e l'encoder del video.

1. Estrazione di Feature Intermedie: Riconoscendo che il dettaglio spaziale è soppresso negli strati finali dell'encoder dei frame, LAIP estrae token visivi intermedi ($V_t^\ell$) da uno strato precedente (specificamente il 16° strato di un encoder a 24 strati).
2. Allineamento Audio-Visivo: Poiché l'audio e il video operano a diverse risoluzioni temporali, un aggregatore locale leggero (una rete convoluzionale 1D seguita da pooling medio temporale) allinea lo stream audio al frame rate del video, producendo un embedding audio sincronizzato $a_t$ per ogni frame.
3. Audio-informed Spatial Pooling (AiSP): L'innovazione principale è il modulo AiSP, che sostituisce la standard aggregazione globale. Esso impiega un design gerarchico composto da tre strati AiSP impilati, ciascuno seguito da un blocco di adattamento convoluzionale leggero.
   • Meccanismo: In ogni fase, il token audio agisce come una query per prestare attenzione ai token visivi spaziali. I pesi dell'attenzione formano una mappa di segmentazione, e i token visivi vengono aggregati (pooled) all'interno di blocchi spaziali locali ($K \times K$) pesati da questi punteggi di attenzione.
   • Null Token: Per gestire i casi in cui l'audio non corrisponde a nessun oggetto visibile (ad es., suoni fuori campo), un null token apprendibile ($x_\emptyset$) viene aggiunto alle chiavi (keys). Ciò consente alla query audio di "astenersi" dal selezionare i token visivi se non è presente alcuna sorgente rilevante.
   • Raffinamento Progressivo: L'impilamento gerarchico riduce progressivamente la risoluzione spaziale dei token visivi, collassandoli in un singolo token visivo condizionato dall'audio ($\tilde{c}_t$) che è compatibile con l'originale encoder del video.

Obiettivo di Addestramento

Il modello è addestrato utilizzando un obiettivo contrastivo globale ispirato a SigLIP e FLAIR, adattato al dominio audio-visivo:

• Perdita Contrastiva ($L_{SIG}$): La rappresentazione video aggregata (generata tramite LAIP) è allineata con il token [CLS] audio globale utilizzando una perdita contrastiva basata sulla sigmoide. Le coppie negative sono formate disallineando l'audio e il video.
• Regolarizzazione Multi-Risoluzione ($L_{MRes}$): Per garantire che le mappe di attenzione intermedie siano spazialmente coerenti, un termine di perdita impone la coerenza tra le mappe di attenzione a diversi stadi di pooling (risalendo la risoluzione delle mappe a bassa risoluzione per farle corrispondere a quelle ad alta risoluzione).
• Regolarizzazione del Null Token ($L_\emptyset$): Una penalità viene applicata all'attenzione prestata al null token per le coppie negative, incoraggiando il modello ad astenersi dalla selezione di regioni visive quando non è presente una sorgente sonora.
• Adapter: Piccoli adapter vengono aggiunti ai blocchi MLP dell'encoder del video per evitare che il modello collassi nell'imitare il [CLS] originale, mentre il resto dei pesi pre-addestrati rimane congelato.

Contributi Chiave

1. Sfruttamento delle Rappresentazioni di Recupero: Gli autori dimostrano che i modelli di recupero audio-visivo su larga scala, nonostante siano ottimizzati per l'allineamento globale, conservano informazioni spaziali strutturate sfruttabili nei token visivi intermedi. Ciò consente la localizzazione senza annotazioni spaziali dense.
2. Il Framework LAIP: Introduzione di un'architettura leggera, informata dall'audio, che inietta query audio nel backbone visivo prima del pooling del video. Ciò consente una forte sinergia cross-modale mantenendo la compatibilità con la pipeline di recupero pre-addestrata.
3. Supervisione Globale per Compiti Locali: Il lavoro mostra che un obiettivo contrastivo globale, quando combinato con la specifica architettura (pooling gerarchico) e la regolarizzazione (coerenza multi-scala e gestione del null-token), è sufficiente per apprendere ricche rappresentazioni audio-visive spaziali.

Risultati Sperimentali

Il metodo è stato valutato su tre benchmark: AVATAR, AVSBench e ADE-SP.

• Benchmark AVATAR: LAIP ha raggiunto prestazioni state-of-the-art in tutti e quattro gli scenari (suono singolo, suono misto, entità multipla, fuori campo). In particolare, ha quasi raddoppiato le prestazioni dei modelli precedenti sul benchmark AVATAR (ad es., raggiungendo circa il 27,6% di CIoU rispetto al ~13,4% del precedente migliore TAVLO). Ha superato i baseline anche quando tali baseline operavano a frequenze di frame più elevate.
• AVSBench: Nei set di test a sorgente singola (S4) e sorgente multipla (MS3), LAIP ha raggiunto i migliori F-score con un ampio margine e il miglior mask-IoU sulla difficile suddivisione MS3.
• ADE-SP: Il modello ha superato tutti i baseline, inclusi quelli esplicitamente progettati per la segmentazione guidata dal suono (ad es., TACO, DenseAV), raggiungendo 33,35 m-IoU e 53,57 mAP.
• Studi di Ablazione: Gli esperimenti hanno confermato la necessità del design di pooling gerarchico, della regolarizzazione multi-risoluzione e del meccanismo del null-token. Sostituire l'AiSP gerarchico con un singolo strato di attenzione o utilizzare feature dall'ultimo strato dell'encoder ha causato cali significativi nelle prestazioni.

Significato e Rivendicazioni

Il paper sostiene che la localizzazione accurata della sorgente sonora non deve essere appresa da zero su piccoli dataset curati. Inveve, può essere "sbloccata" dalle esistenti rappresentazioni di recupero su larga scala. Intervenendo prima dello stadio di aggregazione finale di un backbone di recupero, gli autori forniscono un percorso unificato sia per il recupero che per i compiti di localizzazione.

Il lavoro evidenzia come, sebbene i modelli di recupero comprimano l'informazione spaziale, gli strati intermedi contengano una struttura sufficiente per essere recuperata tramite un meccanismo di pooling informato dall'audio. Questo approccio offre un regime pratico per l'AV-SSL che evita il costo della densa annotazione pur sfruttando la ricchezza semantica del massiccio pre-addestramento.

Limitazioni: Gli autori notano una limitazione riguardante il recupero scalabile. Poiché le feature visive in LAIP sono condizionate sull'audio in input, le rappresentazioni video non possono essere pre-calcolate indipendentemente dalla query. Sebbene il modello PE-AV originale possa ancora essere utilizzato per il recupero standard, la pipeline potenziata da LAIP richiede il ricalcolo dell'encoder del video per ogni coppia audio-video, il che è computazionalmente impraticabile per sistemi di recupero su larga scala. Si suggerisce come lavoro futuro il recupero del recupero scalabile mantenendo al contempo i benefici della localizzazione.