AVTrack: Audio-Visual Tracking in Human-centric Complex Scenes

Resumen Técnico: AVTrack: Seguimiento Audiovisual en Escenas Complejas Centradas en Humanos

Planteamiento del Problema
El seguimiento de locutores audiovisual busca localizar y rastrear a los hablantes activos aprovechando las señales auditivas y visuales sincronizadas. Aunque es esencial para aplicaciones como la edición de video inteligente, la vigilancia y la interacción humano-computadora, los benchmarks existentes no logran evaluar rigurosamente los modelos en escenarios complejos del mundo real. Los conjuntos de datos actuales están predominantemente limitados a cámaras estáticas, escenas de instancia única o clips cortos y recortados (5 a 10 segundos) con anotaciones gruesas. Estos entornos simplificados sesgan la evaluación hacia la coocurrencia audiovisual estática en lugar de probar el modelado espaciotemporal robusto y el razonamiento transmodal bajo condiciones dinámicas, tales como la oclusión visual, el movimiento de la cámara y los cambios de posición relativa. En consecuencia, los métodos actuales de Segmentación de Instancias Audiovisuales (AVIS) tienen dificultades para generalizarse a las dinámicas fragmentadas, asíncronas y centradas en humanos que se encuentran en los entornos del mundo real.

Metodología
Para abordar estas limitaciones, los autores presentan AVTrack, un nuevo benchmark diseñado específicamente para AVIS centrado en humanos en escenas complejas, y AVTracker, un marco de trabajo base modular.

• El Conjunto de Datos AVTrack:

  • Alcance: AVTrack consta de 871 clips de video que contienen 3,120 tracklets de instancias anotadas densamente. Se publica exclusivamente como un conjunto de prueba para servir como una referencia estable y a largo plazo para medir el progreso, desacoplando la evaluación del entrenamiento específico del conjunto de datos.
  • Complejidad: El conjunto de datos está curado para imponer ocho condiciones desafiantes específicas: Oclusión Visual, Cambio de Posición Relativa, Cambio de Fondo, Cambio de Movimiento de Cámara, Múltiples Instancias, Sonido de Turnos Múltiples, Inconsistencia Audiovisual y Dinámica de Escala de Instancia.
  • Diversidad: A diferencia de otros conjuntos de datos limitados a entornos de laboratorio o fuentes únicas (por ejemplo, series de TV), AVTrack abarca diversos géneros, incluyendo películas, vlogs, entrevistas y actuaciones en escenarios.
  • Anotación: El conjunto de datos cuenta con anotaciones de máscara a nivel de píxel con consistencia de identidad entre fotogramas, construidas mediante un pipeline de cuatro etapas que involucra pre-anotación automática (Grounded-SAM), verificación de humano en el bucle y un riguroso control de calidad.

• El Baseline AVTracker:

  • Arquitectura: AVTracker emplea una estrategia de "divide y vencerás" estructurada como un marco modular de tres etapas:
    1. Agregación de Fragmentos de Locutor (Speaker Chunks Aggregation): Utilizando Whisper para la transcripción y ECAPA-TDNN para los embeddings de locutor, el sistema agrega segmentos de habla fragmentados en "fragmentos de locutor" coherentes basados en la similitud del locutor.
    2. Proceso de Ventana Local (Local Window Process): Para cada fragmento, un Razonador Local (Qwen3-VL) se condiciona a las transcripciones de voz y observaciones visuales para asociar las elocuciones con personas visibles. SAM3-Video genera máscaras candidatas, las cuales se alinean con las predicciones de cajas delimitadoras del razonador mediante la Intersección sobre Unión (IoU) para formar tracklets locales.
    3. Proceso de Ventana Global (Global Window Process): Un Razonador Global agrega los tracklets locales a través de todo el video para resolver las asociaciones de identidad entre fragmentos, produciendo trayectorias coherentes a nivel de instancia.
  • Filosofía de Diseño: El marco está diseñado para la extensibilidad, permitiendo la integración de componentes avanzados (por ejemplo, separación de voz mediante MossFormer2) sin una reestructuración arquitectónica.

Contribuciones Clave

1. Benchmark AVTrack: La introducción de un desafiante benchmark de AVIS centrado en humanos que cubre ocho condiciones complejas significativamente más exigentes que los benchmarks existentes (por ejemplo, AVISeg, AVA-ActiveSpeaker).
2. Identificación de la Brecha de Rendimiento: Evaluaciones exhaustivas revelan una degradación sustancial del rendimiento de los métodos de Segmentación de Instancias de Video (VIS) y AVIS de vanguardia en AVTrack, resaltando la insuficiencia de los modelos actuales en entornos complejos del mundo real.
3. Baseline AVTracker: La propuesta de un baseline modular, simple pero efectivo, que supera significativamente a los métodos existentes mediante el aprovechamiento del razonamiento audiovisual estructurado y la asociación de identidad a largo plazo.

Resultados
Los experimentos en el benchmark AVTrack demuestran una brecha significativa entre los métodos actuales y el baseline propuesto:

• Métodos VIS: Los enfoques puramente visuales (por ejemplo, VITA, LBVQ) producen puntuaciones HOTA extremadamente bajas (por debajo de 12.0), lo que indica que las pistas visuales por sí solas son insuficientes para el seguimiento centrado en humanos en estos escenarios.
• Métodos AVIS: Los modelos AVIS existentes (por ejemplo, AVISM, ACVIS) que incorporan información de audio mejoran las puntuaciones HOTA a aproximadamente 20–21, pero siguen sin alcanzar un rendimiento robusto.
• Rendimiento de AVTracker: AVTracker logra un HOTA de 29.08, superando al baseline AVIS más fuerte por más de 8 puntos. También logra puntuaciones superiores en Precisión de Asociación (AssA: 28.47) y MOTA (16.20).
• Estudios de Ablación: Los resultados confirman que una capacidad de modelo suficiente tanto en el procesamiento de voz como en el razonamiento visual (VLM) es crítica. Además, el uso de ventanado dinámico y la agregación de fragmentos de locutor contribuyen significativamente al rendimiento, mientras que la separación de voz (MossFormer2) ofrece ganancias marginales solo cuando la calidad de la separación es alta.
• Análisis Cualitativo: AVTracker demuestra robustez al manejar cambios de posición relativa y sonidos de turnos múltiples, mientras que los modelos de extremo a extremo suelen fallar bajo oclusión visual o cuando hay múltiples locutores presentes.

Significancia y Reivindicaciones
El artículo postula que AVTrack sirve como una prueba de estrés rigurosa para el campo de la comprensión audiovisual centrada en humanos. Los autores afirman que la degradación del rendimiento observada de los modelos actuales en AVTrack subraya la necesidad de capacidades de modelado espaciotemporal y razonamiento transmodal más robustas. Al proporcionar un benchmark desafiante y un baseline modular, AVTrack pretende fomentar la investigación en modelos de próxima generación capaces de un razonamiento fino en entornos dinámicos del mundo real. Los autores enfatizan que AVTrack se publica estrictamente como un benchmark de investigación para estudiar las limitaciones de los modelos y fomentar el desarrollo responsable y que preserva la privacidad, en lugar de permitir la vigilancia del mundo real. Sugieren que las direcciones futuras incluyen el razonamiento agéntico con mecanismos de memoria y un mejor manejo de las inconsistencias audiovisuales.