3rd Place of MeViS-Audio Track of the 5th PVUW: VIRST-Audio

1. Definición del Problema

El trabajo aborda la Segmentación de Objetos en Video Referida por Audio (ARVOS). El objetivo es segmentar objetos específicos en un video basándose en una consulta de audio.

• Desafío principal: La dificultad radica en conectar señales acústicas con representaciones visuales espacio-temporales a nivel de píxel.
• Contexto específico: A diferencia de la segmentación guiada por sonidos ambientales genéricos, el ARVOS se centra en consultas de voz (habla) que describen semánticamente los objetos objetivo.
• Retos adicionales: El modelo debe manejar la consistencia temporal, la ambigüedad en las consultas y, crucialmente, evitar la generación de máscaras falsas (alucinaciones) cuando el objeto mencionado no está presente en el video.

2. Metodología: VIRST-Audio

Los autores proponen VIRST-Audio, un marco práctico que evita el entrenamiento específico con datos de audio, optando por una transferencia de conocimiento desde el dominio del texto.

Arquitectura General

El sistema se basa en VIRST (Video-Instructed Reasoning Assistant for Spatio-Temporal Segmentation), un modelo experto en RVOS (Referencing Video Object Segmentation) que integra un modelo de lenguaje y visión (VLM).

1. Conversión Audio-Texto (ASR):

   • En lugar de utilizar un codificador de audio nativo, el sistema emplea un módulo de Reconocimiento Automático de Voz (ASR), específicamente Whisper-Large, para transcribir la consulta de audio a texto.
   • Esto reformula el problema de ARVOS como un problema de segmentación referida por texto, permitiendo aprovechar modelos preentrenados en grandes conjuntos de datos de texto-visual.

2. Integración con VLM y Segmentación:

   • El texto transcrito se alimenta a un VLM (basado en CLIP para características de video y SAM2 para características de segmentación).
   • Se utiliza un módulo de Fusión Espacio-Temporal (ST-Fusion) que combina las características visuales y semánticas mediante atención cruzada.
   • Las representaciones fusionadas actúan como "prompts" para el decodificador de máscaras de SAM2, generando la segmentación a nivel de píxel.

3. Mecanismo de Puerta Consciente de la Existencia (Existence-Aware Gating):

   • Para mitigar las alucinaciones (predecir objetos cuando no hay ninguno), se introduce un módulo de predicción de existencia ligero.
   • Este módulo toma las características de la fusión espacio-temporal y estima la probabilidad ($p$) de que el objeto referido exista en el video.
   • Lógica de inferencia: Si la probabilidad $p$ es inferior a un umbral $\tau$, el sistema suprime la generación de máscaras y devuelve una predicción vacía. Si $p \geq \tau$, se procede con la segmentación normal.
   • Durante el entrenamiento, se utiliza una pérdida de entropía cruzada binaria (BCE) para supervisar esta predicción de existencia, y las muestras donde el objeto no existe no se usan para supervisar la máscara de segmentación, evitando el aprendizaje de patrones espurios.

3. Contribuciones Clave

• Transferencia de Modalidad sin Entrenamiento Específico: Demuestran que convertir el audio a texto permite utilizar modelos RVOS preentrenados en texto para tareas de audio sin necesidad de fine-tuning con datos de ARVOS, logrando una generalización efectiva.
• Mecanismo de Puerta de Existencia: Introducen una solución simple pero efectiva para el problema de las alucinaciones en VOS, mejorando la fiabilidad del sistema en casos negativos (cuando el objeto no está presente).
• Arquitectura Unificada: Integran exitosamente ASR, VLM y modelos de segmentación (SAM2) en un pipeline escalable y robusto.

4. Resultados Experimentales

El método fue evaluado en el Track MeViS-Audio del 5º Reto PVUW.

• Posicionamiento: VIRST-Audio obtuvo el 3er lugar entre 13 equipos participantes.
• Métricas Principales:
  • Puntuación J & F: 0.54 (J: 0.52, F: 0.56).
  • N-acc. (Precisión en ausencia de objetivo): 0.70.
  • T-acc. (Precisión en presencia de objetivo): 0.82.
• Análisis de Ablación:
  • La comparación con la línea base (VIRST sin puerta) mostró que el mecanismo de puerta aumentó la puntuación J & F de 0.49 a 0.54.
  • El umbral óptimo ($\tau = 0.8$) ofreció el mejor equilibrio entre la calidad de la segmentación y la robustez contra alucinaciones.
  • El sistema demostró una capacidad superior para suprimir predicciones falsas positivas cuando el objeto no estaba presente, manteniendo un alto rendimiento en casos positivos.

5. Significado e Impacto

• Eficiencia de Recursos: Al evitar el entrenamiento específico de audio-visual y utilizar la transcripción a texto, el enfoque reduce la necesidad de grandes conjuntos de datos anotados de audio-visual, que son costosos de obtener.
• Robustez en el Mundo Real: La incorporación del mecanismo de "conciencia de existencia" es crucial para aplicaciones prácticas, donde es fundamental que el sistema reconozca cuándo no debe segmentar algo, evitando errores críticos.
• Validación de Transferencia Modal: El éxito del método valida la hipótesis de que las capacidades de razonamiento semántico aprendidas en el dominio del texto pueden transferirse eficazmente al dominio del audio para tareas de visión por computadora complejas.

En resumen, VIRST-Audio presenta una solución elegante y de alto rendimiento para la segmentación de video basada en audio, combinando la potencia de los modelos de lenguaje grandes con un mecanismo de control de alucinaciones que asegura fiabilidad operativa.