PRIMED: Adaptive Modality Suppression for Referring Audio-Visual Segmentation via Biased Competition

Riepilogo Tecnico: PRIMED – Soppressione Adattiva delle Modalità per la Segmentazione Audio-Visiva di Riferimento tramite Competizione Biasata

Enunciato del Problema
La Segmentazione Audio-Visiva di Riferimento (Ref-AVS) mira a localizzare e segmentare oggetti target nei fotogrammi video basandosi su indizi di riferimento visivi, uditivi e testuali. Sebbene il recente apprendimento multimodale abbia avanzato i compiti bimodali, estendere questi alla Ref-AVS rimane una sfida a causa della necessità di un allineamento fine-granularità attraverso tre modalità eterogenee. Gli approcci esistenti – categorizzati come basati sulla fusione, basati sui prompt o basati sul ragionamento – trattano tipicamente gli input multimodali come segnali omogenei da fondere o su cui ragionare. Un limite critico di questi metodi è il loro fallimento nel modellare esplicitamente i ruoli distinti e la rilevanza variabile di ciascuna modalità. Di conseguenza, quando più regioni candidate soddisfano parzialmente un'espressione di riferimento, modalità irrilevanti o fuorvianti (ad esempio, un suono saliente proveniente da un oggetto distrattore) possono interferire con una segmentazione robusta del target.

Metodologia
Gli autori propongono PRIMED (PRior-Informed Modulation and Embedding Distillation), un framework costruito su un backbone SAM2 congelato che modella esplicitamente la teoria della "competizione biasata" dalle neuroscienze cognitive. In questo paradigma, l'evidenza visiva bottom-up compete per la rappresentazione, mentre i segnali top-down (l'espressione di riferimento) biasano la competizione verso i target rilevanti per il compito. L'architettura è composta da quattro componenti chiave:

1. Generatore di Flusso Semantico e Decodificatore di Priorità di Modalità (MPD):

   • Le caratteristiche testuali e audio sono allineate in un flusso semantico unificato. Per gestire le dinamiche temporali dell'audio, un meccanismo di memoria in cache amplifica le rappresentazioni audio correnti quando si discostano significativamente dal contesto storico.
   • Il Decodificatore di Priorità di Modalità (MPD) è un MLP leggero che prevede una priorità di modalità ($P_M$) caratterizzante se l'espressione di riferimento si basa principalmente sull'audio, sulla visione o sulla loro interazione congiunta. Poiché le annotazioni esplicite della modalità non sono disponibili, gli autori utilizzano Qwen3-omni per generare etichette soft per l'addestramento, verificate da un prompt di audit per garantire l'affidabilità.

2. Distillatore di Token:

   • Per fornire un bias visivo di alto livello compatto, il framework distilla le caratteristiche di livello più alto dal tronco Hiera in un insieme di token visivi globali apprendibili.
   • Questi token sono condivisi attraverso tutte le fasi di fusione tramite cross-attention, garantendo un contesto globale coerente. Durante l'addestramento viene applicata una regolarizzazione di ortogonalità per incoraggiare la diversità tra questi token.

3. Fusione di Competizione Biasata Cross-modale (CBCF):

   • Una cascata di moduli CBCF integra il flusso semantico unificato con le caratteristiche visive multi-scala.
   • Nelle fasi inferiori, le interazioni semantiche guidano l'allineamento fine-granularità. Nella fase più alta (Fase 3), la Priorità di Modalità viene iniettata come un bias di attenzione additivo nei blocchi Multi-Head Cross-Attention (MHCA). Questo bias modula la competizione tra indizi visivi e semantici, sopprimendo le modalità irrilevanti in base alla priorità prevista.
   • Le caratteristiche fuse vengono iniettate nel decoder SAM2 come prompt sia densi (visivi) che sparsi (semantici).

4. Funzione di Perdita di Allineamento Semantico Consapevole Spaziale (SASA):

   • Per migliorare la discriminazione primo piano-sfondo, una perdita contrastiva allinea l'ancora semantica di ciascun fotogramma con il prototipo del primo piano, spingendola lontano dai token di sfondo più simili (top-$k$).

Contributi Chiave

1. Riformulazione della Ref-AVS: Il documento reinterpreta la Ref-AVS attraverso la lente della competizione biasata consapevole delle modalità, sottolineando la necessità di modellare la rilevanza variabile delle modalità per risolvere l'ambiguità nella selezione del target.
2. Framework PRIMED: Un'architettura innovativa basata su SAM2 che implementa esplicitamente questa teoria tramite:
   • Un Decodificatore di Priorità di Modalità che fornisce guida top-down.
   • Moduli CBCF che integrano progressivamente la semantica nelle gerarchie visive.
   • Un Distillatore di Token che propaga un contesto globale compatto.
3. Discriminazione Migliorata: L'introduzione della perdita SASA e della regolarizzazione di ortogonalità per migliorare la separazione delle regioni target dai distrattori di sfondo confondenti.

Risultati Sperimentali
Sono stati condotti esperimenti estensivi sul benchmark Ref-AVS (contenente split visti, non visti e null).

• Prestazioni: PRIMED ottiene prestazioni complessive all'avanguardia, ottenendo il miglior indice di Jaccard (J) misto e punteggio F (F). Nello specifico, migliora lo split visto J del 2,8% e lo split non visto J del 2,1% rispetto al metodo precedente migliore, AURORA.
• Generalizzazione: Il metodo mostra miglioramenti coerenti rispetto ad altri approcci basati su SAM (ad esempio, SAM2-LOVE, TSAM), in particolare nello split non visto, suggerendo che la modellazione esplicita della competizione di modalità migliora la generalizzazione a nuove classi di oggetti.
• Studi di Ablazione: La rimozione della priorità di modalità o del meccanismo di competizione biasata porta a un degrado delle prestazioni, in particolare in scenari con forti distrattori (ad esempio, un flauto che suona più forte del pianoforte target). L'ablazione della perdita SASA ne conferma il ruolo nella separazione primo piano-sfondo, mentre il Distillatore di Token si rivela critico per una competizione stabile tra le fasi.

Significato e Affermazioni
Il documento afferma che PRIMED offre un'alternativa promettente al trattamento degli indizi multimodali come input omogenei. Modellando esplicitamente come diverse modalità partecipano alla competizione tra candidati, il framework ottiene una selezione del target più affidabile sotto ambiguità multimodale. Gli autori notano che, sebbene PRIMED eccella nel stabilizzare l'ancoraggio del target, presenta ancora un divario nel punteggio F rispetto ai recenti metodi di ragionamento basati su MLLM, indicando che il raffinamento fine dei confini e il ragionamento semantico di alto livello per scenari complessi rimangono aree per futuri miglioramenti. Il lavoro suggerisce che sfruttare priorità consapevoli delle modalità e contesto visivo gerarchico è una direzione cruciale per la futura ricerca sulla segmentazione multimodale.