AVTrack: Audio-Visual Tracking in Human-centric Complex Scenes

Resumo Técnico: AVTrack: Rastreamento Áudio-Visual em Cenas Complexas Centradas no Ser Humano

Definição do Problema
O rastreamento de locutores áudio-visuais visa localizar e rastrear locutores ativos aproveitando pistas auditivas e visuais sincronizadas. Embora essencial para aplicações como edição de vídeo inteligente, vigilância e interação humano-computador, os benchmarks existentes falham em avaliar rigorosamente os modelos em cenários complexos do mundo real. Os conjuntos de dados atuais são predominantemente limitados a câmeras estáticas, cenas de instância única ou clipes curtos e recortados (5–10 segundos) com anotações grosseiras. Esses cenários excessivamente simplificados enviesam a avaliação para a coocorrência áudio-visual estática, em vez de testar a modelagem espaço-temporal robusta e o raciocínio cross-modal sob condições dinâmicas, como oclusão visual, movimento de câmera e mudanças de posição relativa. Consequentemente, os métodos de Segmentação de Instância Áudio-Visual (AVIS) existentes têm dificuldade em generalizar para a dinâmica fragmentada, assíncrona e centrada no ser humano encontrada em ambientes do mundo real.

Metodologia
Para abordar essas limitações, os autores introduzem o AVTrack, um novo benchmark projetado especificamente para AVIS centrado no ser humano em cenas complexas, e o AVTracker, um framework de baseline modular.

• O Conjunto de Dados AVTrack:

  • Escopo: O AVTrack consiste em 871 clipes de vídeo contendo 3.120 tracklets de instância densamente anotadas. Ele é lançado exclusivamente como um conjunto de teste para servir como uma referência estável e de longo prazo para medir o progresso, desacoplando a avaliação do treinamento específico do conjunto de dados.
  • Complexidade: O conjunto de dados é curado para impor oito condições desafiadoras específicas: Oclusão Visual, Mudança de Posição Relativa, Troca de Fundo, Mudança de Movimento de Câmera, Múltiplas Instâncias, Som de Turno Múltiplo, Inconsistência Áudio-Visual e Dinâmica de Escala de Instância.
  • Diversidade: Diferente de conjuntos de dados anteriores limitados a configurações de laboratório ou fontes únicas (ex: séries de TV), o AVTrack abrange diversos gêneros, incluindo filmes, vlogs, entrevistas e apresentações de palco.
  • Anotação: O conjunto de dados apresenta anotações de máscara ao nível de pixel com consistência de identidade entre frames, construídas por meio de um pipeline de quatro estágios envolvendo pré-anotação automática (Grounded-SAM), verificação com humano no loop e controle de qualidade rigoroso.

• O Baseline AVTracker:

  • Arquitetura: O AVTracker emprega uma estratégia de "dividir para conquistar" estruturada como um framework modular de três estágios:
    1. Agregação de Fragmentos de Locutor (Speaker Chcs Aggregation): Utilizando o Whisper para transcrição e o ECAPA-TDNN para embeddings de locutor, o sistema agrega segmentos de fala fragmentados em "chunks de locutor" coerentes baseados na similaridade do locutor.
    2. Processo de Janela Local (Local Window Process): Para cada chunk, um Raciocinador Local (Qwen3-VL) condiciona-se às transcrições de fala e observações visuais para associar as falas a pessoas visíveis. O SAM3-Video gera máscaras candidatas, que são alinhadas com as predições de bounding box do raciocinador via Intersecção sobre União (IoU) para formar tracklets locais.
    3. Processo de Janela Global (Global Window Process): Um Raciocinador Global agrega tracklets locais através de todo o vídeo para resolver associações de identidade entre chunks, produzindo trajetórias coerentes ao nível de instância.
  • Filosofia de Design: O framework é projetado para extensibilidade, permitindo a integração de componentes avançados (ex: separação de fala via MossFormer2) sem uma reformulação arquitetural.

Principais Contribuições

1. Benchmark AVTrack: A introdução de um benchmark AVIS centrado no ser humano e desafiador, que cobre oito condições complexas significativamente mais exigentes do que os benchmarks existentes (ex: AVISeg, AVA-ActiveSpeaker).
2. Identificação de Lacuna de Desempenho: Avaliações abrangentes revelam uma degradação substancial de desempenho dos métodos de Segmentação de Instância de Vídeo (VIS) e AVIS de última geração no AVTrack, destacando a inadequação dos modelos atuais em cenários complexos do mundo real.
3. Baseline AVTracker: A proposta de um baseline modular simples, porém eficaz, que supera significamente os métodos existentes ao alavancar o raciocínio áudio-visual estruturado e a associação de identidade de longo prazo.

Resultos
Experimentos no benchmark AVTrack demonstram uma lacuna significativa entre os métodos atuais e o baseline proposto:

• Métodos VIS: Abordagens puramente visuais (ex: VITA, LBVQ) produzem pontuações HOTA extremamente baixas (abaixo de 12.0), indicando que pistas visuais sozinhas são insuficientes para o rastreamento centrado no ser humano nestes cenários.
• Métodos AVIS: Modelos AVIS existentes (ex: AVISM, ACVIS) que incorporam informações de áudio melhoram as pontuações HOTA para aproximadamente 20–21, mas ainda ficam aquém de um desempenho robusto.
• Desempenho do AVTracker: O AVTracker atinge um HOTA de 29.08, superando o baseline AVIS mais forte em mais de 8 pontos. Ele também alcança pontuações superiores em Precisão de Associação (AssA: 28.47) e MOTA (16.20).
• Estudos de Ablação: Os resultados confirmam que capacidade de modelo suficiente tanto no processamento de fala quanto no raciocínio visual (VLM) é crítica. Além disso, o uso de janelamento dinâmico e agregação de chunks de locutor contribui significativamente para o desempenho, enquanto a separação de fala (MossFormer2) oferece ganhos marginais apenas quando a qualidade da separação é alta.
• Análise Qualitativa: O AVTracker demonstra robustez ao lidar com mudanças de posição relativa e som de turno múltiplo, enquanto modelos end-to-end frequentemente falham sob oclusão visual ou quando múltiplos locutores estão presentes.

Significância e Alegações
O artigo postula que o AVTrack serve como um teste de estresse rigoroso para o campo da compreensão áudio-visual centrada no ser humano. Os autores alegam que a degradação de desempenho observada dos modelos atuais no AVTrack ressalta a necessidade de capacidades de modelagem espaço-temporal e raciocínio cross-modal mais robustas. Ao fornecer um benchmark desafiador e um baseline modular, o AVTrack visa fomentar a pesquisa em modelos de próxima geração capazes de raciocínio fino em ambientes dinâmicos do mundo real. Os autores enfatizam que o AVTrack é lançado estritamente como um benchmark de pesquisa para estudar as limitações dos modelos e incentivar o desenvolvimento responsável e preservador de privacidade, em vez de permitir a vigilância do mundo real. Eles sugerem que direções futuras incluem o raciocínio agêntico com mecanismos de memória e a melhoria no tratamento de inconsistências áudio-visuais.