PRIMED: Adaptive Modality Suppression for Referring Audio-Visual Segmentation via Biased Competition

Technische Samenvatting: PRIMED – Adaptieve Modale Suppressie voor Referentiële Audio-Visuele Segmentatie via Gebiaseerde Competitie

Probleemstelling
Referentiële Audio-Visuele Segmentatie (Ref-AVS) heeft als doel om doelobjecten in videoframes te lokaliseren en te segmenteren op basis van visuele, auditieve en tekstuele referentiehinten. Hoewel recente multimodale leermethodes bimodale taken hebben verbeterd, blijft het uitbreiden hiervan naar Ref-AVS uitdagend vanwege de noodzaak van fijne afstemming over drie heterogene modaliteiten. Bestaande benaderingen – gecategoriseerd als fusie-gebaseerd, prompt-gebaseerd of redenerings-gebaseerd – behandelen multimodale invoer doorgaans als homogene signalen die moeten worden gefuseerd of waarover moet worden geredeneerd. Een kritieke beperking van deze methoden is hun falen om expliciet de onderscheidende rollen en de variërende relevantie van elke modale te modelleren. Bijgevolg kunnen, wanneer meerdere kandidaatregio's een referentiële uitdrukking gedeeltelijk bevredigen, irrelevante of misleidende modaliteiten (bijvoorbeeld een opvallend geluid van een afleidend object) interfereren met robuuste doelsegmentatie.

Methodologie
De auteurs stellen PRIMED (PRior-Informed Modulation and Embedding Distillation) voor, een raamwerk gebaseerd op een bevroren SAM2-ruggengraat dat expliciet de theorie van "gebiaseerde competitie" uit de cognitieve neurowetenschappen modelleert. In dit paradigma concurreren bottom-up visuele bewijzen om representatie, terwijl top-down signalen (de referentiële uitdrukking) de competitie bevooroordeelen richting taakrelevante doelen. De architectuur bestaat uit vier kerncomponenten:

1. Semantische Stroomgenerator & Modale Prior Decoder (MPD):

   • Tekst- en audio-kenmerken worden uitgelijnd tot een uniforme semantische stroom. Om temporele dynamiek in audio te hanteren, versterkt een cache-geheugenmechanisme huidige audio-representaties wanneer deze significant afwijken van de historische context.
   • De Modale Prior Decoder (MPD) is een lichtgewicht MLP die een modale prior ($P_M$) voorspelt die karakteriseert of de referentiële uitdrukking primair vertrouwt op audio, visie, of hun gezamenlijke interactie. Aangezien expliciete modale annotaties niet beschikbaar zijn, gebruiken de auteurs Qwen3-omni om zachte labels voor training te genereren, geverifieerd door een audit-prompt om betrouwbaarheid te waarborgen.

2. Token Distiller:

   • Om een compacte hoog-niveau visuele bias te bieden, distilleert het raamwerk de hoogste kenmerken uit de Hiera-tronk naar een set leerbare globale visuele tokens.
   • Deze tokens worden gedeeld over alle fusiestadia via cross-attention, wat consistente globale context garandeert. Orthogonaliteitsregularisatie wordt tijdens training toegepast om diversiteit tussen deze tokens te stimuleren.

3. Cross-modale Gebiaseerde Competitie Fusie (CBCF):

   • Een cascade van CBCF-modules integreert de uniforme semantische stroom met multi-schaal visuele kenmerken.
   • In lagere stadia sturen semantische interacties fijne afstemming. In het hoogste stadium (Stadium 3) wordt de Modale Prior geïnjecteerd als een additieve attention-bias in de Multi-Head Cross-Attention (MHCA)-blokken. Deze bias moduleert de competitie tussen visuele en semantische hints, waarbij irrelevante modaliteiten worden onderdrukt op basis van de voorspelde prior.
   • De gefuseerde kenmerken worden geïnjecteerd in de SAM2-decoder als zowel dichte (visuele) als sparse (semantische) prompts.

4. Ruimtelijk-bewuste Semantische Afstemming (SASA) Loss:

   • Om discriminatie tussen voorgrond en achtergrond te versterken, aligneert een contrastieve loss de semantische anker van elk frame met het voorgrond-prototype, terwijl deze wordt weggeduwd van de top-$k$ meest vergelijkbare achtergrond-tokens.

Belangrijkste Bijdragen

1. Herformulering van Ref-AVS: Het paper interpreteert Ref-AVS opnieuw door de lens van modale-bewuste gebiaseerde competitie, met benadrukking van de noodzaak om de variërende relevantie van modaliteiten te modelleren om ambiguïteit in doelselectie op te lossen.
2. PRIMED Raamwerk: Een nieuw SAM2-gebaseerd architectuur dat deze theorie expliciet implementeert via:
   • Een Modale Prior Decoder die top-down begeleiding biedt.
   • CBCF-modules die semantiek progressief integreren in visuele hiërarchieën.
   • Een Token Distiller die compacte globale context propageert.
3. Verbeterde Discriminatie: De introductie van de SASA loss en orthogonaliteitsregularisatie om de scheiding van doelregio's van verwarrende achtergrondafleidingen te verbeteren.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op de Ref-AVS-benchmark (bevattende zichtbare, onzichtbare en null splits).

• Prestatie: PRIMED bereikt state-of-the-art algehele prestaties, met de beste gemengde Jaccard-index (J) en F-score (F). Specifiek verbetert het de zichtbare split J met 2,8% en de onzichtbare split J met 2,1% ten opzichte van de vorige beste methode, AURORA.
• Generalisatie: De methode toont consistente verbeteringen ten opzichte van andere SAM-gebaseerde benaderingen (bijvoorbeeld SAM2-LOVE, TSAM), met name in de onzichtbare split, wat suggereert dat expliciete modellering van modale competitie de generalisatie naar nieuwe objectklassen verbetert.
• Ablatiestudies: Het verwijderen van de modale prior of het gebiaseerde competitiemechanisme leidt tot prestatiedegradatie, met name in scenario's met sterke afleidingen (bijvoorbeeld een fluit die harder klinkt dan het doel-piano). De ablatie van de SASA loss bevestigt haar rol in voorgrond-achtergrond scheiding, terwijl de Token Distiller wordt aangetoond als kritiek voor stabiele competitie over stadia heen.

Betekenis en Claims
Het paper claimt dat PRIMED een veelbelovend alternatief biedt voor het behandelen van multimodale hints als homogene invoer. Door expliciet te modelleren hoe verschillende modaliteiten deelnemen aan kandidaatcompetitie, bereikt het raamwerk betrouwbaardere doelselectie onder multimodale ambiguïteit. De auteurs merken op dat hoewel PRIMED uitblinkt in het stabiliseren van doelverankering, er nog steeds een kloof bestaat in F-score ten opzichte van recente redeneringsmethodes gebaseerd op MLLM's, wat aangeeft dat fijne grensverfijning en hoog-niveau semantisch redeneren voor complexe scenario's gebieden blijven voor toekomstige verbetering. Het werk suggereert dat het benutten van modale-bewuste priors en hiërarchische visuele context een cruciale richting is voor toekomstig multimodaal segmentatieonderzoek.