3rd Place of MeViS-Audio Track of the 5th PVUW: VIRST-Audio

Resumo Técnico: VIRST-Audio

1. Problema Abordado

O artigo foca na Segmentação de Objetos em Vídeo com Referência Baseada em Áudio (ARVOS - Audio-based Referring Video Object Segmentation). O objetivo é segmentar objetos específicos em um vídeo ao longo do tempo, utilizando consultas em áudio (fala) que descrevem semanticamente o objeto alvo.

Os principais desafios identificados são:

• Ponte entre Modalidades: Conectar sinais acústicos a representações visuais espaço-temporais em nível de pixel.
• Alucinação de Máscaras: O modelo pode gerar máscaras de segmentação para objetos que não existem na cena quando a consulta de áudio se refere a algo ausente, um problema crítico para aplicações do mundo real.
• Falta de Dados Específicos: A escassez de dados de treinamento grandes e diversificados especificamente para ARVOS, em comparação com os dados baseados em texto.

2. Metodologia

A equipe propôs o VIRST-Audio, um framework prático que evita o treinamento específico para áudio, utilizando uma estratégia de transferência de conhecimento.

• Arquitetura Base: O sistema é construído sobre o VIRST (Video-Instructed Reasoning Assistant for Spatio-Temporal Segmentation), um modelo pré-treinado de RVOS (Segmentação de Objetos com Referência em Vídeo) baseado em Visão-Linguagem (VLM).
• Conversão Áudio-Texto (ASR): Em vez de codificar o áudio diretamente, o sistema utiliza um módulo de Reconhecimento Automático de Fala (ASR), especificamente o Whisper-Large, para transcrever o áudio de entrada em texto.
• Reformulação da Tarefa: Ao converter o áudio em texto, o problema de ARVOS é transformado em um problema de segmentação baseada em texto. Isso permite que o modelo utilize todo o conhecimento de raciocínio linguístico adquirido durante o treinamento em dados de RVOS baseados em texto (como ReVOS, MeViSv1, etc.), sem necessidade de fine-tuning em dados de áudio.
• Mecanismo de Portão Consciente da Existência (Existence-Aware Gating):
  • Para mitigar alucinações (prever objetos que não existem), foi introduzido um módulo leve de previsão de existência.
  • Este módulo analisa as representações fusionadas (vídeo + texto) e estima a probabilidade ($p$) de o objeto referido estar presente no vídeo.
  • Lógica de Inferência: Se a probabilidade de existência for inferior a um limiar ($\tau$), o modelo suprime a geração de máscaras e retorna uma previsão vazia. Caso contrário, a segmentação prossegue normalmente.

3. Contribuições Principais

1. Abordagem de Transferência Eficiente: Demonstrar que a conversão de áudio para texto via ASR permite que modelos de RVOS baseados em texto generalizem com alto desempenho para cenários de áudio, eliminando a necessidade de treinamento complexo multimodal específico para áudio.
2. Mecanismo de Robustez contra Alucinações: A introdução do gating consciente da existência, que melhora significativamente a precisão em casos negativos (quando o objeto não está presente), um aspecto frequentemente negligenciado em tarefas de segmentação.
3. Desempenho de Estado da Arte: Alcançar o 3º lugar no MeViS-Audio Track do 5º Pixel-level Video Understanding in the Wild (PVUW) Challenge, competindo com 12 outras equipes.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados MeViS-Audio (PVUW 2026).

• Ranking: 3º lugar entre 13 equipes.
• Métricas Principais:
  • J & F (Média de Similaridade de Região e Precisão de Fronteira): 0.54 (J=0.52, F=0.56).
  • N-acc. (Precisão de Não-Alvo): 0.70 (Capacidade de identificar corretamente a ausência do objeto).
  • T-acc. (Precisão de Alvo): 0.82 (Capacidade de identificar corretamente a presença do objeto).
• Análise de Ablação:
  • A comparação entre a linha de base (VIRST sem gating) e o modelo com gating mostrou que o mecanismo aumentou a pontuação final de 0.66 para 0.68.
  • O limiar ótimo ($\tau = 0.8$) forneceu o melhor equilíbrio entre a qualidade da segmentação e a robustez contra alucinações.
• Qualidade Visual: Resultados qualitativos mostraram que o modelo consegue distinguir objetos corretos em cenários multi-objeto e, crucialmente, não gera máscaras falsas quando o objeto referido não está no vídeo.

5. Significado e Impacto

O trabalho destaca a eficácia de reformular tarefas multimodais complexas (áudio-vídeo) em tarefas mais maduras (texto-vídeo) através de módulos de conversão simples (ASR). Isso sugere que o conhecimento semântico aprendido em grandes modelos de linguagem e visão é transferível para o domínio do áudio, desde que a semântica seja preservada.

Além disso, a ênfase na modelagem explícita da existência do objeto resolve um problema prático crítico: a confiabilidade do sistema em cenários onde a consulta pode não corresponder a nenhum conteúdo visual. Isso torna a tecnologia mais viável para aplicações do mundo real, onde a precisão e a ausência de falsos positivos são tão importantes quanto a precisão de detecção.

O código do projeto está disponível publicamente, promovendo a reprodutibilidade e o avanço na área de compreensão de vídeo baseada em áudio.