Technische Samenvatting: TB-AVA

Probleemstelling

Audiovisueel begrijpen is afhankelijk van het afstemmen van heterogene modaliteiten (audio en visueel). Echter, huidige systemen vertrouwen voornamelijk op temporele co-occurrentie als primaire afstemmingshint, waarbij audio- en visuele kenmerken die gelijktijdig worden geactiveerd, aan elkaar worden gekoppeld. Deze inductieve bias faalt in realistische scenario's waar hoorbare gebeurtenissen en zichtbare entiteiten niet frame-per-frame overeenkomen (bijvoorbeeld een kat buiten beeld die geluid maakt terwijl een stille hond zichtbaar is). Onder zwakke supervisie op videoniveau zijn modellen die uitsluitend vertrouwen op temporele overlap structureel bevooroordeeld om onjuiste paren te koppelen; een beperking die niet opgelost kan worden door uitsluitend de modelgrootte of trainingsdata te vergroten. Bestaande benaderingen koppelen tekst ofwel aan specifieke tri-modale backbones/taken, of vertrouwen op impliciete cross-modale fusie zonder een extern referentiesignaal om de afstemming te verifiëren.

Methodologie

De auteurs stellen TB-AVA (Text-Bridged Audio-Visual Adapter) voor, een parameter-efficiënt fine-tuning (PEFT) framework ontworpen om te opereren op bevroren audio- en visuele encoders. De kerninnovatie is het gebruik van tekst als een semantisch anker om interactie tussen modaliteiten te bemiddelen, waardoor afstemming wordt ontkoppeld van de backbone-training.

Overzicht Architectuur

1. Bevroren Encoders: Het framework maakt gebruik van vooraf getrainde, bevroren encoders:
   • Visueel: SigLIP2 (gekozen vanwege de tekst-gealigneerde visuele representaties).
   • Audio: BEATs.
   • Tekst: SigLIP2 tekst-encoder (gedeelde embedding-ruimte met de visuele encoder).
2. Lichtgewicht Adapters: TB-AVA voegt trainbare adapterblokken toe tussen de eerste 12 lagen van de bevroren encoders.
3. Tekstconditionering:
   • Class-level beschrijvingen (bijvoorbeeld "een geluid van een blaffende hond") worden gebruikt als prompts.
   • Leerzame soft prompts (K tokens) worden voorafgeplaatst aan de vaste class-tekst embeddings. Uitsluitend deze soft prompts zijn trainbaar; de tekst-encoder blijft bevroren.
   • Dit levert modaliteit-specifieke tekst embeddings op ($T_v$ voor visueel, $T_a$ voor audio).

Kernmechanisme: Gated Semantic Modulation (GSM)

Het hart van TB-AVA is het Gated Semantic Modulation (GSM)-blok, dat controleert hoe cross-modale context wordt geïnjecteerd in de backbone-kenmerken.

• Tweestaps Zoeken:
  1. Tekst-bewuste Context: De visuele bottleneck-kenmerken attenderen op de tekst embeddings om een tekst-bewuste visuele representatie te produceren ($c^v_t$).
  2. Cross-Modaal Zoeken: Deze tekst-bewuste representatie queryt de audio-kenmerken om audio-context ($c_a$) op te halen die semantisch is gealigneerd met de tekst, in plaats van slechts temporeel co-occurrent.
• Gating Logica:
  • GSM maakt gebruik van een lichtgewicht gating-netwerk dat kanaal-specifieke coëfficiënten ($w \in (0,1)$) genereert op basis van de tekst embeddings.
  • De definitieve bijgewerkte feature ($z'$) is een residu-som van de originele feature en de gegateerde cross-modale contexten:
    $$z' = z + w_a \odot c_{audio} + w_t \odot c_{text}$$
  • Selectieve Injectie: Als de tekst aangeeft dat een kanaal semantisch relevant is, versterkt de poort de context. Als de tekst de context irrelevant acht (bijvoorbeeld akoestische gelijkenis zonder semantische overeenkomst), onderdrukt de poort deze (nadert nul).
  • Dit mechanisme maakt het afstemmingsproces expliciet en inspecteerbaar, waardoor het "verdrinken" van bruikbare signalen in ruis van onbetrouwbare cross-modale correlaties wordt voorkomen.

Belangrijkste Bijdragen

1. Tekst als Semantisch Anker: Het artikel herformuleert tekst niet als een taak-specifiek auxiliair signaal, maar als een backbone-agnostisch, taak-agnostisch primitief dat audiovisuele ambiguïteit oplost. Het dient als een derde signaal om afstemming te verifiëren, onafhankelijk van temporele co-occurrentie.
2. TB-AVA Framework: Een parameter-efficiële adapter die tekst-gemedieerde interactie mogelijk maakt tussen bevroren audio- en visuele streams zonder de backbones te wijzigen.
3. Gated Semantic Modulation (GSM): Een nieuw module dat tekst-geconditioneerde kanaal-specifieke gating uitvoert. Het injecteert selectief cross-modale context alleen waar tekst semantische betrouwbaarheid bevestigt, en zet tekstgeleiding om in een controleerbaar architecturaal component.
4. State-of-the-Art Prestaties: Het framework bereikt nieuwe state-of-the-art resultaten op meerdere benchmarks, terwijl een hoge mate van parameter-efficiëntie wordt behouden.

Experimentele Resultaten

Het framework is geëvalueerd op drie benchmarks: AVE (Audio-Visual Event Localization), AVVP (Audio-Visual Video Parsing) en AVS (Audio-Visual Segmentation).

• AVE (Event Localization):
  • TB-AVA behaalde 85,0% nauwkeurigheid met 16,7% trainbare parameters.
  • Dit overtreft de vorige beste PEFT-methode (MoLT, 83,5%) met 1,5 procentpunten.
  • Kwalitatieve analyse toont aan dat TB-AVA correct gebeurtenisgrenzen identificeert waar audio- en visuele streams uiteenlopen (bijvoorbeeld het stoppen van de "bakken"-voorspelling wanneer het visuele tafereel verandert, zelfs als lage-niveau akoestische gelijkenis aanhoudt), terwijl modellen gebaseerd op co-occurrentie falen.
• AVVP (Video Parsing):
  • TB-AVA behaalde de hoogste F1-scores op 6 van de 10 metrieken, met name die welke modaliteit-toewijzing vereisen (Visueel, Audio-Visueel en Type categorieën).
  • Verbeteringen waren het meest significant op metrieken die gevoelig zijn voor zwakke supervisie op videoniveau, wat de rol van het tekstanker bevestigt bij het ontmantelen van modaliteitsbronnen.
• AVS (Segmentatie):
  • Op de single-source (S4) split bereikte TB-AVA 81,2 mIoU, presterend beter dan AVMoE (81,1), MoLT (80,8) en Mettle (80,7).
  • Op de multi-source (MS3) split bereikte het 53,4 mIoU, vergelijkbaar met AVMoE maar licht onder MoLT, wat een bekende beperking benadrukt van tekst-invoer met een vaste vocabulaire in settings voor dichte voorspellingen met meerdere gelijktijdige bronnen.
• Generalisatie:
  • TB-AVA toonde consistente winsten (+3,7 tot +8,1 pp) over diverse en heterogene backbone-paren (bijvoorbeeld CLIP+CLIP, Swin+HTS-AT), wat aangeeft dat de verbetering voortkomt uit het tekst-gebridgeerde mechanisme en niet uit een specifieke encoderkeuze.
  • Backbone-analyse bevestigde dat de prestatiestijging van ~77% (alleen backbone) naar 85% toe te schrijven is aan het adaptermechanisme, en niet aan de encoders zelf.

Betekenis en Claims

Het artikel stelt dat temporele co-occurrentie een fundamenteel beperkte inductieve bias is voor audiovisueel leren onder zwakke supervisie. Door tekst in te voeren als een expliciet, controleerbaar semantisch anker, lost TB-AVA de ambiguïteit op van het koppelen van hoorbare gebeurtenissen aan zichtbare entiteiten zonder volledige fine-tuning van grote backbones te vereisen.

De auteurs benadrukken dat GSM tekst transformeert van een impliciet conditioneringssignaal naar een inspecteerbare, kanaal-gealigneerde coëfficiënt. De poorten specialiseren zich spontaan in taal-gegrondeerde en co-occurrentie-gegrondeerde rollen zonder expliciete supervisie, en fungeren effectief als een semantische regularisator die kenmerkruimtes verscherpt. Het werk suggereert dat tekst kan dienen als een structureel primitief voor cross-modale grounding die verder gaat dan eenvoudige temporele afstemming, en biedt een schaalbare en efficiënte weg voor audiovisueel begrijpen.