AgentRVOS for MeViS-Text Track of 5th PVUW Challenge: 3rd Method

Resumo Técnico: AgentRVOS para o Desafio MeViS-Text (5º PVUW Challenge)

1. O Problema

O objetivo central é a Segmentação de Objetos de Vídeo por Referência (Ref-VOS), que consiste em prever máscaras de pixels frame a frame para um objeto especificado por uma expressão em linguagem natural.

Os autores identificam que modelos de fundação de ponta (como o Sa2VA) ainda enfrentam dois modos de falha recorrentes em cenários realistas:

1. Alucinação de Presença: O modelo tenta gerar uma máscara para um objeto que, na verdade, não existe no vídeo.
2. Instabilidade e Imprecisão: Quando o objeto é pequeno, ambíguo ou parcialmente visível, as máscaras tornam-se grosseiras, temporalmente instáveis ou mal localizadas.

2. Metodologia (Pipeline Agentic Ref-VOS)

A principal inovação é a transição de um modelo de ponta a ponta para um pipeline baseado em agentes. Em vez de confiar cegamente na primeira predição, o sistema utiliza uma camada de agentes para decidir se a hipótese inicial deve ser aceita, revisada ou refinada. O processo é dividido em cinco estágios:

• Estágio 1: Agente de Presença (Presence Agent): Antes da segmentação, um agente (utilizando Qwen3VL-32B) julga se o alvo descrito realmente existe no vídeo. Se o alvo for inexistente ($e=0$), o sistema encerra o processo e retorna máscaras vazias, evitando alucinações.
• Estágio 2: Segmentação Grosseira (Coarse Segmentation): Caso o objeto exista, o modelo Sa2VA é invocado para processar o vídeo completo e a expressão, gerando uma trajetória de máscaras grosseiras que serve como "prior semântico".
• Estágio 3: Seleção de Âncoras (Anchor Selection): O sistema extrai quadros de âncora confiáveis da trajetória do Sa2VA. A partir dessas máscaras, são gerados prompts geométricos (caixas delimitadoras e pontos) para inicializar um modelo de propagação mais forte.
• Estágio 4: Propagação via SAM3: Utilizando as âncoras, o modelo SAM3 é empregado para propagar as máscaras ao longo do tempo. Isso visa melhorar a consistência temporal e a precisão dos limites espaciais (bordas do objeto).
• Estágio 5: Seleção Baseada em Planejador (Planner-Based Selection): Para resolver conflitos em quadros ambíguos, um "Planner" leve compara a predição original do Sa2VA com a predição propagada pelo SAM3. O planejador decide qual das duas fontes é mais confiável para cada frame específico, combinando o melhor da semântica (Sa2VA) com o melhor da geometria (SAM3).

3. Principais Contribuições

• Arquitetura de Controle Agêntico: A introdução de um loop de controle que separa o grounding semântico (entender o que é o objeto) da tomada de decisão (verificar existência e refinar precisão).
• Decoupling (Desacoplamento): A separação entre a interpretação da linguagem (Sa2VA) e a propagação geométrica (SAM3), permitindo que cada módulo utilize sua especialidade.
• Mecanismo de Verificação de Existência: Um método robusto para mitigar o erro de alucinação em modelos de visão-linguagem.

4. Resultados

O método alcançou o 3º lugar no desafio 5th PVUW Challenge (track MeViS-Text). Os resultados experimentais mostram métricas competitivas:

• J&F (Métrica combinada): 0.7130
• J (IoU de Jaccard): 0.6882
• F (IoU de F1): 0.7378
• Acurácia Temporal (T-acc): 0.9893 (demonstrando alta estabilidade ao longo do tempo).

5. Significância

Este trabalho é significativo por demonstrar que, para tarefas complexas de visão computacional, a integração de modelos de fundação com sistemas multi-agentes supera a execução de modelos únicos. A abordagem prova que a "inteligência" do sistema não reside apenas na capacidade de segmentar pixels, mas na capacidade de raciocinar sobre a validade, a confiança e a consistência temporal das predições feitas.