PRIMED: Adaptive Modality Suppression for Referring Audio-Visual Segmentation via Biased Competition

Resumen Técnico: PRIMED – Supresión Adaptativa de Modalidades para Segmentación Audiovisual de Referencia mediante Competencia Sesgada

Enunciado del Problema
La Segmentación Audiovisual de Referencia (Ref-AVS) tiene como objetivo localizar y segmentar objetos objetivo en fotogramas de video basándose en pistas de referencia visuales, auditivas y textuales. Si bien el aprendizaje multimodal reciente ha avanzado en tareas bimodales, extender estos avances a Ref-AVS sigue siendo un desafío debido a la necesidad de una alineación fina-granular a través de tres modalidades heterogéneas. Los enfoques existentes —categorizados como basados en fusión, basados en prompts o basados en razonamiento— suelen tratar las entradas multimodales como señales homogéneas que deben fusionarse o sobre las cuales razonar. Una limitación crítica de estos métodos es su incapacidad para modelar explícitamente los roles distintos y la relevancia variable de cada modalidad. En consecuencia, cuando múltiples regiones candidatas satisfacen parcialmente una expresión de referencia, modalidades irrelevantes o engañosas (por ejemplo, un sonido saliente de un objeto distractor) pueden interferir con una segmentación robusta del objetivo.

Metodología
Los autores proponen PRIMED (Modulación Informada por Prioridades y Destilación de Incrustaciones), un marco construido sobre una base SAM2 congelada que modela explícitamente la teoría de la "competencia sesgada" de la neurociencia cognitiva. En este paradigma, la evidencia visual ascendente compite por la representación, mientras que las señales descendentes (la expresión de referencia) sesgan la competencia hacia los objetivos relevantes para la tarea. La arquitectura consta de cuatro componentes clave:

1. Generador de Flujo Semántico y Decodificador de Prioridad de Modalidad (MPD):

   • Las características de texto y audio se alinean en un flujo semántico unificado. Para manejar la dinámica temporal del audio, un mecanismo de memoria en caché amplifica las representaciones de audio actuales cuando se desvían significativamente del contexto histórico.
   • El Decodificador de Prioridad de Modalidad (MPD) es una MLP ligera que predice una prioridad de modalidad ($P_M$) que caracteriza si la expresión de referencia depende principalmente del audio, la visión o su interacción conjunta. Dado que las anotaciones explícitas de modalidad no están disponibles, los autores utilizan Qwen3-omni para generar etiquetas suaves para el entrenamiento, verificadas mediante un prompt de auditoría para garantizar la fiabilidad.

2. Destilador de Tokens:

   • Para proporcionar un sesgo visual de alto nivel compacto, el marco destila las características de nivel más alto del tronco Hiera en un conjunto de tokens visuales globales aprendibles.
   • Estos tokens se comparten en todas las etapas de fusión mediante atención cruzada, asegurando un contexto global consistente. Se aplica regularización de ortogonalidad durante el entrenamiento para fomentar la diversidad entre estos tokens.

3. Fusión de Competencia Sesgada Multimodal (CBCF):

   • Una cascada de módulos CBCF integra el flujo semántico unificado con características visuales multiescala.
   • En etapas inferiores, las interacciones semánticas guían la alineación fina-granular. En la etapa más alta (Etapa 3), la Prioridad de Modalidad se inyecta como un sesgo de atención aditivo en los bloques de Atención Cruzada Multi-Cabeza (MHCA). Este sesgo modula la competencia entre pistas visuales y semánticas, suprimiendo modalidades irrelevantes basándose en la prioridad predicha.
   • Las características fusionadas se inyectan en el decodificador SAM2 como prompts tanto densos (visuales) como dispersos (semánticos).

4. Pérdida de Alineación Semántica Consciente del Espacio (SASA):

   • Para mejorar la discriminación entre primer plano y fondo, una pérdida contrastiva alinea el ancla semántica de cada fotograma con el prototipo de primer plano, mientras lo aleja de los $k$ tokens de fondo más similares.

Contribuciones Clave

1. Replanteamiento de Ref-AVS: El artículo reinterpreta Ref-AVS a través de la lente de la competencia sesgada consciente de la modalidad, enfatizando la necesidad de modelar la relevancia variable de las modalidades para resolver la ambigüedad en la selección del objetivo.
2. Marco PRIMED: Una arquitectura novedosa basada en SAM2 que implementa explícitamente esta teoría mediante:
   • Un Decodificador de Prioridad de Modalidad que proporciona orientación descendente.
   • Módulos CBCF que integran progresivamente la semántica en las jerarquías visuales.
   • Un Destilador de Tokens que propaga un contexto global compacto.
3. Discriminación Mejorada: La introducción de la pérdida SASA y la regularización de ortogonalidad para mejorar la separación de las regiones objetivo de los distractores de fondo confusos.

Resultados Experimentales
Se realizaron experimentos extensos en el benchmark Ref-AVS (que contiene divisiones vistas, no vistas y nulas).

• Rendimiento: PRIMED logra un rendimiento general de vanguardia, obteniendo el mejor Índice de Jaccard (J) y puntuación F (F) mixtos. Específicamente, mejora la división vista J en un 2,8 % y la división no vista J en un 2,1 % sobre el método anterior más destacado, AURORA.
• Generalización: El método muestra mejoras consistentes sobre otros enfoques basados en SAM (por ejemplo, SAM2-LOVE, TSAM), particularmente en la división no vista, lo que sugiere que el modelado explícito de la competencia de modalidades mejora la generalización a nuevas clases de objetos.
• Estudios de Ablación: Eliminar la prioridad de modalidad o el mecanismo de competencia sesgada conduce a una degradación del rendimiento, particularmente en escenarios con distractores fuertes (por ejemplo, un flauta que suena más fuerte que el piano objetivo). La ablación de la pérdida SASA confirma su papel en la separación entre primer plano y fondo, mientras que se demuestra que el Destilador de Tokens es crítico para una competencia estable a través de las etapas.

Significado y Afirmaciones
El artículo afirma que PRIMED ofrece una alternativa prometedora a tratar las pistas multimodales como entradas homogéneas. Al modelar explícitamente cómo participan diferentes modalidades en la competencia de candidatos, el marco logra una selección de objetivos más fiable bajo ambigüedad multimodal. Los autores señalan que, aunque PRIMED destaca en estabilizar la anclaje del objetivo, aún presenta una brecha en la puntuación F en comparación con los métodos de razonamiento basados en MLLM recientes, lo que indica que el refinamiento fino de los límites y el razonamiento semántico de alto nivel para escenarios complejos siguen siendo áreas de mejora futura. El trabajo sugiere que aprovechar prioridades conscientes de la modalidad y contexto visual jerárquico es una dirección crucial para la futura investigación en segmentación multimodal.