CoVR-R:Reason-Aware Composed Video Retrieval

1. O Problema: Limitações da Recuperação de Vídeo Composto (CoVR)

A Recuperação de Vídeo Composto (CoVR) tem como objetivo encontrar um vídeo de destino ($V_t$) dado um vídeo de referência ($V_r$) e um texto de modificação ($E$). O desafio central abordado neste trabalho é que a maioria dos métodos existentes trata o texto de modificação de forma literal, focando na sobreposição de palavras-chave entre o texto e os metadados do vídeo.

Os autores argumentam que essa abordagem falha em cenários do mundo real onde as modificações implicam consequências implícitas (efeitos posteriores) que não são explicitamente declaradas no texto, mas que são visualmente necessárias para a coerência do vídeo resultante. Exemplos incluem:

• Transições de estado: "Cozinhar" implica que os ingredientes mudam de cor e textura.
• Causalidade temporal: "Cair" implica uma sequência de movimento e impacto.
• Mudanças cinematográficas: Um "close-up" implica uma mudança na escala do plano e na duração, não apenas no objeto.
• Dinâmica da cena: "Chuva" implica superfícies molhadas e reflexos.

Métodos atuais ignoram essas cadeias de raciocínio causal e temporal, resultando em baixa precisão quando a recuperação depende de inferir o que deve acontecer visualmente após a edição, em vez de apenas corresponder palavras.

2. Metodologia: Abordagem "Reason-then-Retrieve" (Raciocinar e Depois Recuperar)

O CoVR-R propõe uma abordagem zero-shot (sem ajuste fino específico para a tarefa) que utiliza Grandes Modelos Multimodais (LMMs) para inferir e alinhar as consequências visuais da edição. O pipeline opera em duas etapas principais (ver Figura 3 do artigo):

Etapa 1: Geração de Rastros de Raciocínio (After-Effect Reasoning)

Dado o vídeo de referência e o texto de edição, um LMM forte (especificamente o Qwen3-VL-8B) é usado para gerar um rastro de raciocínio estruturado ($R$).

• Prompting: O modelo é instruído a prever as consequências visuais específicas em cinco dimensões:
  1. Estados de objetos (ex: cru $\to$ cozido).
  2. Ações ou fases temporais (ex: início $\to$ fim).
  3. Cena ou fundo.
  4. Câmera ou enquadramento (ex: zoom, ângulo).
  5. Ritmo ou tempo (tempo).
• Saída: Um registro estruturado que descreve as transformações esperadas, servindo como uma "expansão de consulta" baseada em raciocínio.

Etapa 2: Geração de Consulta e Recuperação Semântica

• Geração de Descrição Alvo: O LMM usa o vídeo de referência, o texto de edição e o rastro de raciocínio ($R$) para gerar uma descrição natural completa de como seria o vídeo alvo após a edição.
• Codificação de Embeddings:
  • Galeria (Vídeos Candidatos): Cada vídeo na galeria é codificado em um vetor de embedding semântico. O modelo gera uma descrição do vídeo e aplica um pooling ponderado por importância (dando mais peso a verbos de ação, substantivos de objetos e descritores de estado, e menos a palavras funcionais).
  • Consulta (Query): A descrição do vídeo alvo gerada na etapa anterior é codificada da mesma forma para criar o vetor de consulta $q(V_r, E, R)$.
• Recuperação: A similaridade de cosseno entre a consulta e os embeddings da galeria é calculada para classificar e recuperar o vídeo mais provável.

Características Chave:

• O backbone do LMM permanece congelado (frozen).
• Não há ajuste fino (fine-tuning) supervisionado para a tarefa de CoVR.
• O foco está na inferência de consequências causais e temporais.

3. Contribuições Principais

1. Benchmark CoVR-R (Reason-Aware):

   • Os autores introduzem um novo conjunto de dados com 2.800 trios (vídeo de referência, edição, vídeo alvo).
   • Diferente de benchmarks anteriores, cada trio é acompanhado por rastros de raciocínio estruturados (ground-truth reasoning) e distratores difíceis que exigem previsão de efeitos posteriores em vez de apenas correspondência de palavras-chave.
   • O benchmark avalia não apenas a precisão da recuperação, mas também a qualidade do raciocínio (consistência de passos e factualidade do efeito).

2. Framework CoVR-R Zero-Shot:

   • Propõe um pipeline que utiliza LMMs para prever explicitamente os efeitos posteriores da edição e usá-los para guiar a recuperação.
   • Demonstra que o raciocínio de propósito geral pode substituir a necessidade de supervisão específica para tarefas complexas de vídeo.

3. Análise de Desempenho e Escalabilidade:

   • Mostra que o raciocínio explícito é crucial para edições que envolvem transições de estado e mudanças cinematográficas.
   • Demonstra que modelos maiores (ex: Qwen3-VL-72B) melhoram o desempenho, mas modelos de tamanho médio (8B) já oferecem ganhos significativos sem ajuste fino.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark proposto CoVR-R e no benchmark existente Dense-WebVid-CoVR.

• No Benchmark CoVR-R (Focado em Raciocínio):

  • O método proposto (sem rastros de raciocínio explícito) alcançou 44,32% de Recall@1, superando os métodos anteriores em +10,89 pontos percentuais.
  • A versão com raciocínio explícito (CoVR-R+R) alcançou 49,88% de Recall@1 e uma pontuação de raciocínio de 8,31/10.
  • O método superou consistentemente baselines fortes (como CoVR-BLIP, BSE-CoVR) em todas as métricas (R@1, R@5, R@10, R@50).

• No Benchmark Dense-WebVid-CoVR:

  • O método alcançou 61,21% de Recall@1, superando o melhor baseline (BSE-CoVR) em +13,13 pontos.
  • O desempenho superior foi alcançado sem usar legendas de vídeo e sem ajuste fino, destacando a eficácia da abordagem zero-shot baseada em raciocínio.

• Análise de Ablação:

  • Granularidade do Raciocínio: Rastros de raciocínio "padrão" (cerca de 89 tokens) ofereceram o melhor equilíbrio entre precisão e custo. Rastros muito verbosos (186 tokens) degradaram a precisão da recuperação, introduzindo ruído, embora melhorassem a pontuação de raciocínio.
  • Estratégia de Pooling: O pooling ponderado por importância (focando em tokens semânticos) superou significativamente o pooling simples (média) e o uso do último token.

5. Significado e Conclusão

O trabalho CoVR-R representa uma mudança de paradigma na recuperação de vídeo composto:

• Do "Matching" para o "Raciocínio": Demonstra que a recuperação eficaz de vídeos compostos depende da capacidade de inferir consequências causais e temporais, não apenas de alinhar texto e imagem.
• Redução de Dependência de Dados: Ao utilizar LMMs de propósito geral congelados, o método reduz a necessidade de grandes conjuntos de dados anotados especificamente para CoVR, que são caros e difíceis de obter.
• Explicabilidade: O uso de rastros de raciocínio torna o processo de recuperação mais interpretável, permitindo entender por que um vídeo foi selecionado (baseado em efeitos previstos).
• Futuro: O artigo sugere que sistemas futuros devem adotar estratégias adaptativas, usando raciocínio profundo apenas para edições complexas e correspondência direta para edições simples, otimizando o custo computacional.

Em resumo, o CoVR-R estabelece que o raciocínio multimodal é um motor eficaz para a recuperação de vídeo, permitindo que sistemas entendam não apenas o que é dito, mas o que deve ser visualizado como consequência.