Resumo Técnico: FeVOS - Segmentação de Objetos em Vídeo por Expressão de Previsão (Foresight)

Definição do Problema

As tarefas existentes de Segmentação de Objetos em Vídeo por Referência (RVOS) são limitadas ao agrupamento de expressões de linguagem dentro de frames observados, focando em atributos estáticos, aparências ou eventos que já ocorreram. Esse paradigma carece da capacidade de raciocínio espaço-temporal pré-decisivo, o qual é crítico para a tomada de decisão proativa em aplicações do mundo real, como direção autônoma e planejamento robótico.

Os autores propõem uma nova tarefa: Segmentação de Objetos em Vídeo por Expressão de Previsão (FeVOS). Nesta tarefa, um modelo recebe um clipe de vídeo e uma "expressão de previsão" (uma consulta sobre um evento futuro, ex: "Qual ferramenta será usada?"). O modelo deve raciocinar sobre os frames observados (anteriores ao evento) para prever qual(is) objeto(s) estará(ão) envolvido(s) na ação subsequente e gerar máscaras de segmentação em nível de pixel para esses objetos nos frames observados. Isso requer a ponte entre pistas visuais atuais e resultados futuros usando conhecimento de mundo e raciocínio causal.

Metodologia

1. O Conjunto de Dados FeVOS

Para suportar esta tarefa, os autores construíram o conjunto de dados FeVOS através de um rigoroso pipeline de cinco estágios:

• Coleta de Vídeos: Originados de diversos benchmarks (COIN, STAR, CLEVR, OOPS, EPIC-KITCHENS-VISOR) cobrindo atividades egocêntricas e vídeos instrucionais.
• Filtragem Automática: Utilizou o Qwen2.5-VL para filtrar vídeos baseando-se em narrativas claras de causa e efeito, múltiplos objetos interagindo e pistas acionáveis observáveis.
• Divisão Manual: Especialistas dividiram os vídeos em segmentos "observados" e "futuros", garantindo que a parte observada contenha pistas implícitas para o evento futuro.
• Anotação de Expressões: Um processo de dois estágios onde anotadores projetaram expressões de previsão (ex: "o objeto que será pego") e validadores confirmaram que era possível identificar o alvo via raciocínio preditivo sem ver os frames futuros.
• Anotação de Máscara e CoT: Gerou máscaras em nível de pixel usando SAM2 e criou 2.904 anotações sintéticas de Cadeia de Pensamento (CoT). Estas anotações de CoT detalham explicitamente os passos de raciocínio (analisando contexto temporal, pistas espaciais e relações causais) necessários para alcançar a previsão.

O conjunto de dados final compreende 968 clipes de vídeo, 14.525 expressões de previsão e 2.904 anotações de CoT.

2. Arquitetura do Modelo FeVOS-R1

Os autores desenvolveram o FeVOS-R1, um Modelo de Linguagem Grande Multimodal (MLLM) baseado no framework Sa2VA (integrando InternVL2.5 e SAM2). O modelo é treinado via um pipeline de dois estágios:

• Estágio 1: Ajuste Fino Supervisionado (SFT) com CoT

  • O modelo é ajustado finamente no conjunto de dados de CoT sintético.
  • Ele aprende a gerar processos de raciocínio passo a passo (analisando pistas visuais e relações causais) antes de emitir o token especial [SEG].
  • As funções de perda incluem cross-entropy por pixel, perda Dice e perda de geração de texto.
  • Este estágio estabelece os padrões de raciocínio e a formatação de saída.

• Estágio 2: Aprendizado por Reforço (RL) com GRPO

  • O modelo passa pelo Otimização de Política Relativa de Grupo (GRPO).
  • Design de Recompensa: Diferente de trabalhos anteriores que dependem de recompensas de formato complexas (ex: estrutura JSON), o FeVOS-R1 utiliza uma única recompensa de precisão baseada em IoU ($R_{IoU}$) derivada da intersecção sobre união entre as máscaras previstas e as reais (ground-truth).
  • Os autores descobriram que as restrições de formato eram redundantes após o SFT e que focar exclusivamente na precisão da segmentação via IoU gerava melhor desempenho.
  • Este estágio otimiza a cadeia de raciocínio para maximizar diretamente a qualidade da segmentação.

Principais Contribuições

1. Formulação da Tarefa: Introdução da Segmentação de Objetos em Vídeo por Expressão de Previsão, mudando o RVOS do agrupamento de eventos observados para a previsão de eventos futuros baseados em pistas visuais implícitas.
2. Conjunto de Dados (FeVOS): Um conjunto curado com 968 vídeos, 14.525 expressões de previsão e 2.904 anotações de CoT, fornecendo o primeiro benchmark para raciocínio preditivo em segmentação de objetos em vídeo.
3. Modelo (FeVOS-R1): Um framework de treinamento de dois estágios combinando SFT guiado por CoT e RL com recompensas de ponta a ponta, alcançando desempenho de estado da arte na nova tarefa.

Resultados Experimentais

Desempenho no FeVOS

• Baselines Zero-Shot: Modelos de RVOS existentes (ex: ReferFormer, LMPM) e MLLMs baseados em vídeo (ex: VideoLISA, VRS-HQ) enfrentam dificuldades significativas, com pontuações J&F abaixo de 31.0, indicando uma falta de capacidade de raciocínio preditivo.
• Baselines Ajustados (Fine-Tuned): O ajuste fino padrão do Sa2VA (sem CoT/RL) melhora o desempenho para 35.8 J&F.
• FeVOS-R1: O método proposto alcança 42.3 J&F, um aumento de +6.5 sobre o baseline de apenas SFT. Isso demonstra a necessidade de cadeias de raciocínio explícitas e otimização guiada por recompensa.

Generalização

• ReVOS & MeViS: O FeVOS-R1 generaliza bem para os benchmarks tradicionais de RVOS. No ReVOS, alcança 60.3 J&F, superando o baseline Sa2VA ajustado (58.1) e modelos zero-shot, particularmente no subconjunto de raciocínio. No MeViS, atinge 49.5 J&F, superando modelos de tamanho comparável.
• Estudos de Ablação:
  • O pipeline de dois estágios (SFT + RL) é superior ao treinamento de apenas SFT ou apenas RL.
  • O uso de recompensa IoU isolada no estágio de RL supera combinações com recompensas de formato, sugerindo que, uma vez que o formato é aprendido no SFT, o modelo se beneficia ao focar puramente na precisão da tarefa.

Análise Qualitativa

Comparações qualitativas mostram que o FeVOS-R1 analisa com sucesso o contexto temporal e as relações causais (ex: prevendo que uma rolha voará devido à pressão, ou que um saco de lavanderia irá encher com base nas ações contínuas), enquanto os modelos baseline frequentemente falham em distinguir entre objetos observados e alvos futuros.

Significância e Alegações

O artigo afirma que o FeVOS avança a compreensão de vídeo em nível de pixel da observação para a antecipação. Embora o desempenho absoluto no FeVOS (42.3 J&F) permaneça inferior aos benchmarks de RVOS tradicionais (ex: ReVOS com 60.3), essa lacuna ressalta a dificuldade inerente do raciocínio preditivo. O trabalho destaca que os modelos atuais carecem do raciocínio espaço-temporal e do conhecimento de mundo necessários para a tomada de decisão proativa.

Os autores posicionam este trabalho como uma fundação para pesquisas futuras em compreensão visual antecipatória, observando que, embora o FeVOS-R1 mostre forte potencial, permanecem desafios em escalar o contexto, modelar pistas transitórias, lidar com incertezas e permitir inferência em tempo real.