LightAVSeg: Lightweight Audio-Visual Segmentation

Riepilogo Tecnico di LightAVSeg: Segmentazione Audio-Visiva Leggera

Enunciato del Problema
La Segmentazione Audio-Visiva (AVS) mira a localizzare oggetti emittenti suoni in sequenze video a livello di pixel. Sebbene i metodi all'avanguardia (SOTA) raggiungano elevate accuratezze modellando le dipendenze cross-modali tramite meccanismi di attenzione basati su Transformer densi, essi soffrono di costi computazionali proibitivi. Questi modelli si affidano tipicamente a moduli di interazione con complessità quadratica ($O(N^2)$), dove $N$ scala con la risoluzione spaziale. Ciò li rende inadatti a dispositivi edge con risorse limitate, come telefoni cellulari e visori per la realtà virtuale, dove è necessaria un'inferenza efficiente sul dispositivo per applicazioni come l'editing video e la realtà aumentata. Gli approcci esistenti orientati all'efficienza si concentrano spesso esclusivamente sulla riduzione del backbone visivo, trascurando il modulo di interazione come principale collo di bottiglia.

Metodologia
Il documento propone LightAVSeg, un framework leggero progettato per disaccoppiare il filtraggio semantico dal grounding spaziale, sostituendo così l'attenzione densa con operazioni a complessità lineare. L'architettura è composta da tre componenti principali:

1. Codificatore Audio-Visivo Reciproco:
   Invece di una fusione statica, questo modulo esegue aggiornamenti bidirezionali gerarchici per raffinare uno stato audio globale.

   • Filtraggio Semantico (Cosa): Affina iterativamente lo stato audio globale ($A_i$) utilizzando il contesto visivo. Poolizzando al massimo le caratteristiche visive ($V_i$) spazialmente in un descrittore $1\times1$, il modello scarta le informazioni di posizione per focalizzarsi esclusivamente sulla selezione semantica. Questo token audio globale viene aggiornato tramite ripesatura gateata ($\sigma_h$) basata sul descrittore visivo, sopprimendo i canali audio corrispondenti a oggetti non visibili.
   • Complessità: Questo design evita le matrici di affinità token-a-token dense, raggiungendo una complessità strettamente lineare ($O(N)$) rispetto ai token spaziali.
   • Miglioramento Visivo Guidato dall'Audio: Lo stato audio globale raffinato viene trasmesso alla risoluzione spaziale delle caratteristiche visive e fuso tramite addizione residua. Questo inietta indizi semantici globali come un bias a livello di canale senza introdurre rumore spaziale o pesanti livelli di proiezione.

2. Decodificatore di Fusione Cross-Modale:
   Questo modulo risale progressivamente le caratteristiche visive potenziate dall'audio per generare la maschera di segmentazione finale.

   • Mantiene un percorso di stato audio ricorrente parallelo al risalimento visivo. Lo stato audio viene aggiornato concatenando lo stato precedente del decodificatore con lo stato corrente del codificatore, quindi ripesato da un descrittore visivo globale.
   • Lo stato audio aggiornato viene iniettato nel percorso visivo tramite un residuo di trasmissione leggero, garantendo coerenza temporale e guidando il decodificatore a concentrarsi sugli oggetti sonori durante il recupero della risoluzione.

3. Perdita di Allineamento Audio-Visivo Multi-Scala ($L_{msa}$):
   Per mitigare il rischio che modelli leggeri apprendano correlazioni cross-modali spurie, viene introdotta una perdita ausiliaria.

   • Questa perdita impone un allineamento esplicito pixel-a-pixel tra l'indizio audio globale e le regioni visive valide a più scale.
   • Calcola una mappa di similarità cosinuale spaziale tra le caratteristiche visive normalizzate e l'embedding audio globale, affinata da un parametro di temperatura, e la supervisiona rispetto a una maschera di primo piano binaria utilizzando la Cross Entropy Binaria (BCE).
   • Crucialmente, questo ramo viene scartato durante l'inferenza, risultando in un sovraccarico aggiuntivo nullo.

Contributi Chiave

1. Design di Interazione Disaccoppiato: Il documento introduce un framework che separa il filtraggio semantico (gestito dal Codificatore Audio-Visivo Reciproco) dal grounding spaziale (gestito dal Decodificatore di Fusione Cross-Modale). Questo sostituisce l'attenzione quadratica con una modulazione gerarchica a livello di canale, raggiungendo una complessità lineare ($O(N)$) preservando al contempo una guida audio efficace.
2. Perdita di Allineamento Ausiliaria: Gli autori propongono una Perdita di Allineamento Audio-Visivo Multi-Scala ($L_{msa}$) per imporre la coerenza semantica durante l'addestramento, guidando il decodificatore a determinare "dove" segmentare senza aumentare il costo dell'inferenza.
3. Prestazioni Ottimizzate per Mobile: Il framework è esplicitamente adattato per il deployment mobile, utilizzando backbone leggeri (SeaFormer per la visione, MobileNetV2 per l'audio) e meccanismi di interazione efficienti.

Risultati Sperimentali
Sono stati condotti esperimenti estensivi sui benchmark AVS (S4, MS3 e AVSS) utilizzando una CPU mobile Snapdragon 8 Elite per la misurazione della latenza.

• Compromesso Accuratezza-Efficienza: LightAVSeg raggiunge un nuovo stato dell'arte tra i metodi leggeri. Sul benchmark MS3, raggiunge 50.4 mIoU con soli 20.5M parametri (circa 1/7 di AVSegFormer-R50 pesante).
• Latenza: Il modello raggiunge una latenza di inferenza di 163.4 ms su una CPU mobile, rappresentando un'accelerazione di circa 8× rispetto ad AVSegFormer-R50 (che impiega >1.2s per frame).
• Confronto: LightAVSeg supera altri baseline leggeri (ad esempio AVSBench-SeaFormer-L) e compete in accuratezza con controparti basate su ResNet-50 pesanti, mantenendo al contempo prestazioni in tempo reale.
• Studi di Ablazione: Gli esperimenti confermano che il Codificatore Reciproco (in particolare il Raffinamento Audio Gerarchico) e la perdita $L_{msa}$ sono critici per le prestazioni. L'interazione lineare proposta si dimostra più efficace per il deployment mobile rispetto alla semplice sostituzione del backbone.

Significato e Affermazioni
Il documento afferma che LightAVSeg colma il divario tra modelli di ricerca ad alte prestazioni e il deployment mobile pratico. Affrontando direttamente il collo di bottiglia del modulo di interazione, gli autori dimostrano che una fusione cross-modale efficiente è possibile senza fare affidamento su pesanti meccanismi di attenzione. Il lavoro stabilisce che un modello compatto può raggiungere prestazioni SOTA sui benchmark AVS abilitando al contempo applicazioni interattive sul dispositivo precedentemente limitate da vincoli computazionali. Gli autori posizionano questo lavoro come un passo verso la fattibilità dell'AVS per dispositivi edge, sebbene non speculino su applicazioni future specifiche oltre al contesto generale di editing video e realtà aumentata sul dispositivo.