Technische Samenvatting: VGGSounder: Audio-visuele Evaluaties voor Foundation Modellen

Probleemstelling

De opkomst van audio-visuele foundation modellen vereist betrouwbare benchmarks om hun multi-modale begrip te beoordelen. Hoewel de VGGSound dataset de standaard benchmark is voor audio-visuele classificatie, identificeren de auteurs kritieke beperkingen die de evaluatie van auditieve en visuele capaciteiten verstoren:

1. Onvolledige Labeling: VGGSound hanteert een single-label classificatieschema, terwijl videocontent inherent multi-label is (bijv. een video kan zowel "playing drum kit" als "playing acoustic guitar" bevatten).
2. Overlappende en Ambigue Klassen: De 309 klassen in VGGSound bevatten synonieme paren (bijv. "timpani" vs. "tympani"), strikte subklassen (bijv. "cow lowing" vs. "bull bellowing") en semantisch overlappende concepten die niet wederzijds exclusief zijn.
3. Modality Misalignment (Modale Discrepantie): Ondanks verificatiestappen bevat een aanzienlijk deel van de samples (48,43% in de testset) labels die niet zichtbaar, niet hoorbaar, of beide zijn. Veelvoorkomende confounders zijn achtergrondmuziek, voice-overs en statische afbeeldingen, die cues creëren die niet overeenkomen met het grondwaarheid-label in beide modaliteiten.

Deze problemen leiden tot een systematische onderwaardering van multi-modale modellen, met name foundation modellen die niet specifiek op VGGSound zijn gefinetuned, en vertroebelen de specifieke afhankelijkheid van modellen van respectievelijk audio- of visuele cues.

Methodologie

Om deze beperkingen aan te pakken, introduceren de auteurs VGGSounder, een uitgebreid opnieuw geannoteerde, multi-label testset die VGGSound uitbreidt. De methodologie omvat een rigoureuze annotatiepipeline:

1. Verschuiving naar Multi-Label Classificatie: De benchmark gaat over van single-label naar multi-label classificatie om gelijktijdige gebeurtenissen te accommoderen.
2. Menselijke Annotatiepipeline:
   • Creatie van de Gold Standard: Een subset van 417 samples werd handmatig gelabeld door vier computer vision experts om een referentieset vast te stellen.
   • Generatie van Voorstellen: Een hybride strategie, die voorspellingen van state-of-the-art modellen combineert met handmatige heuristieken, werd gebruikt om labelvoorstellen te genereren met een recall van >93%.
   • Crowdsourced Re-annotatie: De gehele VGGSound testset (15,1k clips) werd opnieuw geannoteerd via Amazon Mechanical Turk. Annotatoren kregen de taak om:
     • De aanwezigheid van achtergrondmuziek, voice-over of statische afbeeldingen (meta-labels) te identificeren.
     • De modaliteit van elk labelvoorstel te bepalen (Hoorbaar, Zichtbaar, of Beide).
     • Ontbrekende klassen toe te voegen die niet in de voorstellen aanwezig waren.
3. Label Merging: De definitieve labels werden samengevoegd via meerderheidsstemming. Synonieme klassen en superclass/subclass relaties werden automatisch afgedwongen om consistentie te waarborgen (bijv. als "cow lowing" aanwezig is, wordt "cattle mooing" toegevoegd).
4. Nieuwe Evaluatiemetrieken:
   • Standaard Metrieken: Subset Accuracy, F1-score en Hit score werden berekend voor unimodale (alleen audio, alleen visueel) en multi-modale inputs.
   • Modality Confusion ($\mu$): Een nieuwe metriek die wordt voorgesteld om de negatieve impact van het toevoegen van een tweede modaliteit te kwantificeren. Het meet het deel van de samples dat een model correct classificeert met één enkele modaliteit, maar incorrect wanneer beide modaliteiten aanwezig zijn. Dit legt "afgeleide" modellen bloot waarbij modaliteiten niet succesvol samensmelten.

Belangrijkste Bijdragen

1. VGGSounder Dataset: Een multi-label audio-visuele classificatie benchmark met gedetailleerde per-label modaliteitsannotaties (Hoorbaar/Zichtbaar) en meta-labels voor veelvoorkomende confounders (achtergrondmuziek, voice-over, statische afbeeldingen).
2. Beperkingsanalyse: Een kwalitatieve en kwantitatieve demonstratie van de gebreken van VGGSound, inclus incluyendo hoge percentages modality misalignment en klasse-co-occurrence.
3. Uitgebreide Benchmarking: Evaluatie van 11 state-of-the-art modellen, waaronder vier audio-visuele embedding modellen (CAV-MAE, DeepAVFusion, AV-Siam, Equi-AV) en zeven foundation modellen (Gemini familie, VideoLLaMA-2, Unified-IO-2, PandaGPT, Ola).
4. Modality Confusion Metriek: De introductie van $\mu$ om prestatie-degradatie te detecteren wanneer modellen worden blootgesteld aan aanvullende inputmodaliteiten.

Resultaten

De auteurs hebben modellen op VGGSounder gebenchmarkt, wat verschillende belangrijke bevindingen heeft opgeleverd:

• Foundation vs. Embedding Modellen: Hoewel foundation modellen vergelijkbaar presteren met gespecialiseerde embedding modellen op multi-modale inputs, verschilt hun unimodale prestatie aanzienlijk. Embedding modellen (gefine-tuned op VGGSound) vertrouwen zwaar op audio cues, terwijl foundation modellen een sterke bias vertonen naar visuele cues, en vaak slecht presteren op audio-only inputs.
• Modality Confusion: Alle modellen lijden aan modality confusion. Een opmerkelijk deel van de samples (4–11%) wordt correct geclassificeerd met één enkele modaliteit, maar misgeclassificeerd wanneer beide worden aangeboden. Voor de meeste foundation modellen is de confusion hoger wanneer audio wordt toegevoegd aan visuele input ($\mu_A > \mu_V$), wat suggereert dat ze hoorbare labels "vergeten" wanneer visuele informatie aanwezig is.
• Impact van Meta-klassen:
  • Achtergrondmuziek: Alle modellen hebben moeite om achtergrondmuziek te ontkoppelen van de primaire audiobron, wat leidt tot prestatievermindering.
  • Voice-Over: Embedding modellen lijden onder aanzienlijke prestatiedalingen bij voice-overs, terwijl foundation modellen minder afgeleid zijn of zelfs verbeteren.
  • Statische Afbeeldingen: Visuele prestaties dalen voor alle modellen bij statische afbeeldingen, wat wijst op een afhankelijkheid van temporele cues.
• Labelkwaliteit: De inclusie van menselijk gecureerde labels (in plaats van alleen automatisch gegenereerde synoniemen) verminderde fout-positieven aanzienlijk en verbeterde de nauwkeurigheid van de prestatieprofilering vergeleken met de originele VGGSound.

Betekenis

Het artikel stelt dat VGGSounder een cruciaal instrument is voor de nauwkeurige beoordeling van de volgende generatie audio-visuele foundation modellen. Door het te voorzien van modaliteitsbewuste annotaties, maakt het de volgende mogelijk:

• Precieze Profilering: Onderzoekers kunnen onderscheiden of een model vertrouwt op audio-, visuele of beide cues, en specifieke foutmodi identificeren (bijv. afleiding door achtergrondmuziek).
• Robuuste Evaluatie: De multi-label setting en de verwijdering van misaligned samples voorkomen de verstoorde evaluatie van modelcapaciteiten die in de originele VGGSound wordt aangetroffen.
• Diagnostisch Inzicht: De modality confusion metriek ($\mu$) biedt een kwantitatieve maatstaf voor hoe goed modellen modaliteiten integreren, waarbij wordt benadrukt dat het toevoegen van een tweede modaliteit de prestaties niet altijd verbetert en soms zelfs kan verslechteren.

De auteurs concluderen dat VGGSounder de ontwikkeling van mitigatiestrategieën voor modality confusion faciliteert en dient als een betrouwbaarder fundament voor het evalueren van multi-modaal begrip.