Sintesi Tecnica: VGGSounder: Valutazioni Audio-Visive per i Modelli di Fondazione

Definizione del Problema

L'emergere di modelli di fondazione audio-visivi rende necessari benchmark affidabili per valutare la loro comprensione multi-modale. Sebbene il dataset VGGSound sia lo standard di riferimento per la classificazione audio-visiva, gli autori identificano criticità fondamentali che distorcono la valutazione delle capacità uditive e visive:

1. Etichettatura Incompleta: VGGSound impiega uno schema di classificazione a etichetta singola, mentre il contenuto video è intrinsecamente multi-etichetta (ad esempio, un video può contenere sia "suonare un kit di batteria" che "suonare una chitarra acustica").
2. Classi Sovrapposte e Ambigue: Le 309 classi di VGGSound includono coppie sinonime (ad esempio, "timpani" vs "tympani"), sottoclassi strette (ad esempio, "muggito di mucca" vs "muggito di toro") e concetti semanticamente sovrapposti che non sono mutuamente esclusivi.
3. Disallineamento delle Modalità: Nonostante i passaggi di verifica, una parte significativa dei campioni (48,43% nel set di test) contiene etichette che non sono visibili, non sono udibili, o entrambe le cose. I confonditori comuni includono musica di sottofondo, voci fuori campo e immagini statiche, che creano indizi che non si allineano con l'etichetta di ground-truth in entrambe le modalità.

Questi problemi portano a una sottovalutazione sistematica dei modelli multi-modali, in particolare dei modelli di fondazione che non sono stati specificamente sottoposti a fine-tuning su VGGSound, e oscurano la specifica dipendenza dei modelli dai segnali audio rispetto a quelli visivi.

Metodologia

Per affrontare queste limitazioni, gli autori introducono VGGSounder, un set di test re-annotato in modo esaustivo e multi-etichetta che estende VGGSound. La metodologia prevede una rigorosa pipeline di annotazione:

1. Passaggio alla Classificazione Multi-Etichetta: Il benchmark passa dalla classificazione a etichetta singola a quella multi-etichetta per accomodare eventi co-occorrenti.
2. Pipeline di Annotazione Umana:
   • Creazione del Gold Standard: Un sottoinsieme di 417 campioni è stato etichettato manualmente da quattro esperti di computer vision per stabilire un set di riferimento.
   • Generazione delle Proposte: È stata utilizzata una strategia ibrida che combina le predizioni di modelli allo stato dell'arte e euristiche manuali per generare proposte di etichette con una recall >93%.
   • Re-annotazione tramite Crowdsourcing: L'intero set di test di VGGSound (15,1k clip) è stato re-annotato tramite Amazon Mechanical Turk. Gli annotatori avevano il compito di:
     • Identificare la presenza di musica di sottofondo, voce fuori campo o immagini statiche (meta-etichette).
     • Determinare la modalità di ogni proposta di etichetta (Udibile, Visibile o Entrambe).
     • Aggiungere classi mancanti non presenti nelle proposte.
3. Fusione delle Etichette: Le etichette finali sono state fuse tramite voto di maggioranza. Le classi sinonime e le relazioni superclasse/sottoclasse sono state applicate automaticamente per garantire la coerenza (ad esempio, se è presente "muggito di mucca", viene aggiunto "muggito di bovino").
4. Nuove Metriche di Valutazione:
   • Metriche Standard: Subset Accuracy, F1-score e Hit score sono stati calcolati per input unimodali (solo audio, solo visual) e multi-modali.
   • Confusione di Modalità ($\mu$): Una nuova metrica proposta per quantificare l'impatto negativo dell'aggiunta di una seconda modalità. Misura la frazione di campioni che un modello classifica correttamente con una singola modalità ma erroneamente quando entrambe le modalità sono presenti. Questo espone i modelli "distratti" in cui le modalità non riescono a fondersi con successo.

Contributi Chiave

1. Dataset VGGSounder: Un benchmark di classificazione audio-visiva multi-etichetta con dettagliate annotazioni per etichetta sulla modalità (Udibile/Visibile) e meta-etichette per i confonditori comuni (musica di sottofondo, voce fuori campo, immagini statiche).
2. Analisi delle Limitazioni: Una dimostrazione qualitativa e quantitativa dei difetti di VGGSound, inclusi gli alti tassi di disallineamento delle modalità e la co-occorrenza delle classi.
3. Benchmarking Completo: Valutazione di 11 modelli allo stato dell'arte, inclusi quattro modelli di embedding audio-visivi (CAV-MAE, DeepAVFusion, AV-Siam, Equi-AV) e sette modelli di fondazione (famiglia Gemini, VideoLLaMA-2, Unified-IO-2, PandaGPT, Ola).
4. Metrica di Confusione di Modalità: L'introduzione di $\mu$ per rilevare il degrado delle prestazioni quando i modelli sono esposti a input di modalità aggiuntive.

Risultati

Gli autori hanno testato i modelli su VGGSounder, rivelando diverse scoperte chiave:

• Modelli di Fondazione vs Modelli di Embedding: Mentre i modelli di fondazione performano in modo comparabile ai modelli di embedding specializzati sugli input multi-modali, la loro performance unimodale differisce significativamente. I modelli di embedding (fine-tuned su VGGSound) si affidano fortemente ai segnali audio, mentre i modelli di fondazione mostrano un forte bias verso i segnali visivi, performando spesso scarsamente sugli input solo audio.
• Confusione di Modalità: Tutti i modelli soffrono di confusione di modalità. Una frazione notevole di campioni (4–11%) è classificata correttamente con una singola modalità ma classificata erroneamente quando vengono fornite entrambe. Per la maggior parte dei modelli di fondazione, la confusione è maggiore quando l'audio viene aggiunto al visual ($\mu_A > \mu_V$), suggerendo che essi "dimenticano" le etichette udibili in presenza di informazioni visive.
• Impatto delle Meta-Classi:
  • Musica di Sottofondo: Tutti i modelli faticano a separare la musica di sottofondo dalla sorgente audio primaria, portando a cali di performance.
  • Voce Fuori Campo: I modelli di embedding subiscono cali di performance significativi con le voci fuori campo, mentre i modelli di fondazione sono meno distratti o addirittura migliorano.
  • Immagini Statiche: La performance visiva cala per tutti i modelli sulle immagini statiche, indicando una dipendenza dai segnali temporali.
• Qualità delle Etichette: L'inclusione di etichette curate dagli umani (rispetto alle sole etichette sinonime generate automaticamente) ha ridotto significativamente i falsi positivi e ha migliorato l'accuratezza del profiling delle performance rispetto all'originale VGGSound.

Significato

Il paper sostiene che VGGSounder sia uno strumento critico per la valutazione accurata della prossima generazione di modelli di fondazione audio-visivi. Fornendo annotazioni consapevoli della modalità, esso consente:

• Profiling Preciso: I ricercatori possono distinguere se un modello si affida a segnali audio, visivi o entrambi, e identificare specifici modi di fallimento (ad esempio, la distrazione da parte della musica di sottofondo).
• Valutazione Robusta: L'impostazione multi-etichetta e la rimozione dei campioni disallineati prevengono la valutazione distorta delle capacità dei modelli tipica del VGGSound originale.
• Insight Diagnostici: La metrica di confusione di modalità ($\mu$) fornisce una misura quantitativa di quanto bene i modelli integrano le modalità, evidenziando che l'aggiunta di una seconda modalità non sempre migliora le prestazioni e può talvolta degradarle.

Gli autori concludono che VGGSounder facilita lo sviluppo di strategie di mitigazione per la confusione di modalità e funge da base più affidabile per valutare la comprensione multi-modale.