Weakly-Supervised Referring Video Object Segmentation through Text Supervision

1. Problema e Motivação

A Segmentação de Objetos em Vídeo Referenciada por Texto (RVOS) tem como objetivo gerar máscaras de segmentação para uma instância específica em um vídeo, baseada em uma expressão textual (ex: "o homem correndo").

• Desafio Atual: Os métodos convencionais dependem de aprendizado supervisionado com anotações de máscaras em nível de pixel, que são extremamente caras e trabalhosas de obter, especialmente para vídeos que exigem anotação quadro a quadro.
• Limitação das Abordagens Fracamente Supervisionadas Recentes: Métodos existentes que tentam reduzir o custo de anotação ainda utilizam caixas delimitadoras (bounding boxes) ou pontos, que, embora mais baratos que máscaras, ainda exigem esforço manual repetitivo.
• Objetivo do Artigo: Desenvolver um método de RVOS que utilize apenas expressões textuais para o treinamento, eliminando a necessidade de qualquer anotação espacial (máscaras, caixas ou pontos).

2. Metodologia: Framework WSRVOS

Os autores propõem o WSRVOS, um framework de ponta a ponta que utiliza apenas supervisão textual. O processo é dividido em cinco componentes principais:

A. Augmentação Contrastiva de Expressões de Referência (CREA)

Para superar a escassez de dados e a simplicidade das expressões originais nos conjuntos de dados:

• Geração de Expressões Positivas: Utiliza um Modelo de Linguagem Multimodal (MLLM), especificamente o Qwen3-VL, para enriquecer a expressão original com detalhes visuais (cor, forma, textura), ações e interações.
• Geração de Expressões Negativas: O MLLM gera expressões "difíceis" (hard negatives) que são semanticamente plausíveis, mas inconsistentes com o vídeo (ex: alterando atributos ou ações do objeto). Isso força o modelo a aprender representações mais discriminativas.
• Validação: Um modelo de visão (InternVideo2) valida a coerência das expressões geradas antes de serem usadas no treinamento.

B. Seleção e Interação Bidirecional de Recursos Visão-Linguagem

Para lidar com a heterogeneidade entre vídeo e texto e a redundância temporal:

• Seleção de Recursos: Um módulo seleciona bidirecionalmente os tokens visuais mais relevantes para os tokens linguísticos e vice-versa, filtrando informações irrelevantes (como ruído visual ou palavras auxiliares no texto).
• Interação Bidirecional: Utiliza mecanismos de atenção cruzada para permitir que a linguagem refine a representação visual e que a visão refine a representação linguística, garantindo um alinhamento multimodal fino.

C. Classificação de Expressão Consciente de Instância (IEC)

Inspira-se no Multiple Instance Learning (MIL) para distinguir entre expressões positivas e negativas:

• O modelo gera mapas de similaridade entre os quadros do vídeo e as expressões.
• Agrupa as propostas (regiões candidatas) e realiza um matching (correspondência) entre propostas e expressões.
• Utiliza dois fluxos: um de classificação (para identificar qual expressão corresponde a qual proposta) e um de segmentação (para identificar quais propostas contêm fragmentos informativos do quadro).

D. Fusão de Predições Positivas (PPF)

Para gerar sinais de supervisão sem máscaras reais:

• As previsões provenientes das múltiplas expressões positivas geradas são fundidas.
• Cada mapa de similaridade é reponderado pela sua pontuação de confiança.
• A fusão resulta em máscaras pseudo de alta qualidade, que servem como sinal de supervisão adicional para treinar o modelo de segmentação.

E. Restrição de Ordenação de Segmentos Temporais (TSR)

Para garantir consistência temporal:

• O modelo é forçado a respeitar uma ordem de sobreposição (IoU) entre máscaras de quadros vizinhos.
• A restrição exige que a sobreposição entre quadros temporais mais próximos seja maior do que entre quadros distantes, mitigando erros de flutuação temporal.

3. Principais Contribuições

1. Primeiro Framework de RVOS com Supervisão Apenas Textual: Elimina a dependência de anotações espaciais (caixas/pontos), reduzindo drasticamente o custo de anotação.
2. Uso Inovador de MLLMs: Utiliza Grandes Modelos de Linguagem Multimodal não apenas para inferência, mas para augmentação de dados (gerando expressões positivas e negativas sintéticas) para treinamento supervisionado fraco.
3. Mecanismos de Alinhamento Fino: Propõe seleção e interação bidirecional de recursos para lidar com a complexidade temporal e semântica dos vídeos.
4. Geração de Pseudo-Máscaras Robustas: A estratégia de fusão de predições positivas cria um sinal de supervisão robusto a partir de texto puro.

4. Resultados Experimentais

O método foi avaliado em quatro conjuntos de dados públicos: A2D-Sentences, J-HMDB Sentences, Ref-YouTube-VOS e Ref-DAVIS17.

• Desempenho Superior: O WSRVOS superou consistentemente os métodos mais avançados (State-of-the-Art) em todas as métricas, mesmo sendo treinado apenas com texto.
  • Em A2D-Sentences, superou o método supervisionado por pontos (OCPG) em +0.4% de IoU Geral e +0.2% de IoU Médio.
  • Em Ref-YouTube-VOS e Ref-DAVIS17, superou significativamente métodos supervisionados por pontos e outros métodos fracamente supervisionados.
• Eficiência Computacional: O modelo é leve (31M parâmetros) e rápido (58 FPS), superando métodos concorrentes em velocidade de inferência e eficiência de memória.
• Comparação com MLLMs Puros: O artigo demonstra que usar MLLMs pré-treinados diretamente para RVOS (sem o framework WSRVOS) resulta em desempenho muito inferior, provando a necessidade de um pipeline de treinamento específico.

5. Significado e Impacto

Este trabalho representa um avanço significativo na área de visão computacional ao demonstrar que é possível realizar tarefas complexas de segmentação de vídeo com alta precisão utilizando apenas texto como supervisão.

• Viabilidade Prática: Torna a RVOS acessível para aplicações em larga escala onde a anotação de pixels é inviável.
• Sinergia com LLMs: Abre um novo caminho para integrar a capacidade de geração e compreensão de linguagem de modelos multimodais grandes em tarefas de visão tradicionais, transformando a "falta de dados" em uma oportunidade de geração de dados sintéticos de alta qualidade.
• Generalização: O método demonstra forte capacidade de generalização entre diferentes conjuntos de dados, sugerindo robustez para cenários do mundo real.

Em resumo, o WSRVOS redefine o estado da arte em RVOS fraca, provando que a combinação de MLLMs para augmentação de dados e estratégias de alinhamento multimodal fino pode superar métodos que dependem de anotações manuais caras.