Resumo Técnico: R3-CoVR (Reason, Retrieve, Re-rank)

1. Definição do Problema

O artigo aborda a Recuperação de Vídeo Composta (Composed Video Retrieval - CoVR), uma tarefa onde um sistema deve recuperar um vídeo alvo de uma grande galeria dado um vídeo de referência ($V_r$) e uma instrução de modificação em linguagem natural ($E$). O objetivo é encontrar o vídeo que resulta da aplicação da edição ao vídeo de referência, preservando o contexto relevante.

O foco específico é o desafio Reason-Aware CoVR (CoVR-R) do workshop VidLLMs da CVPR 2026. Este cenário impõe duas restrições rigorosas:

1. Zero-Shot: Os modelos não podem ser treinados ou ajustados nos dados do desafio; o desempenho deve depender da generalização.
2. Consciência de Raciocínio (Reasoning-Aware): As edições são frequentemente implícitas (ex: "Mudar de digitar para frustração" implica estados visuais específicos como punhos cerrados). O emparelhamento simples de palavras-chave falha contra "distratores difíceis" que compartilham o vocabulário, mas violam as consequências visuais implícitas.

2. Metodologia: R3-CoVR

Os autores propõem o R3-CoVR, um pipeline de três estágios totalmente livre de treinamento (training-free), construído inteiramente a partir de modelos de fundação congelados.

Estágio 1: Reason (Raciocinar)

• Modelo: Um modelo de linguagem de grande escala multimodal congelado (Qwen3-VL-8B).
• Processo: O modelo observa o vídeo de referência ($V_r$) e a instrução de edição ($E$). Em vez de apenas buscar palavras-chave, ele raciocina sobre os efeitos posteriores da edição.
• Saída: Ele gera um traço estruturado ($R$) cobrindo estados, ações, cena, câmera e tempo, seguido por uma descrição concisa pós-edição ($D$).
• Estabilização: Para garantir a consistência, $K=3$ amostras são extraídas e seus embeddings são calculados pela média downstream. O traço estruturado é mantido para a métrica de raciocínio do desafio.

Estágio 2: Retrieve (Recuperar)

• Modelo: Um codificador de vídeo-texto contrastivo congelado (SigLIP-2).
• Processo: O codificador mapeia a descrição concisa ($D$) e todos os vídeos da galeria para um espaço métrico compartilhado.
  • Codificação de Vídeo: 8 frames amostrados uniformemente são agrupados pela média (mean-pooled) e normalizados com L2.
  • Codificação de Texto: A descrição é incorporada (embedded).
• Otimização (Crucial): Os autores identificaram que o codificador SigLIP-2 possui uma janela fixa de 64 tokens. Descrições longas, em formato de parágrafo, geradas pelo LLM são truncadas, perdendo conteúdo saliente. O sistema restringe $D$ a uma legenda concisa e com informações principais no início (≤40 palavras) para caber nesta janela.
• Saída: A similaridade de cosseno classifica a galeria, retornando uma lista curta de top-$K$ (padrão $K=10$).

Estágio 3: Re-rank (Reclassificar)

• Modelo: O mesmo Qwen3-VL-8B congelado atua como um juiz de restrição.
• Processo: O juiz recebe um vídeo candidato da lista curta, a edição original ($E$) e a descrição pretendida ($D$). Ele pontua o quão bem o candidato realiza o resultado pretendido em uma escala de [0, 100].
• Desruído (De-noising): Para evitar empates causados pelo juiz emitir apenas algumas pontuações distintas, o sistema faz a média da pontuação sobre 5 gerações amostradas, aumentando significativamente a resolução da pontuação (de 8 para 86 valores distintos no conjunto de teste).
• Pontuação Final: A pontuação final ($s_{final}$) combina a pontuação normalizada do juiz ($s_j$) com o ranking de recuperação ($rank_K$):
  $$s_{final}(V) = \lambda s_j(V) + (1 - \lambda) rank_K(V)$$
  Onde $\lambda$ é tipicamente definido como 0,8. Esta mistura permite que o juiz reordene a lista curta enquanto mantém o prior de recuperação para evitar falsos positivos.

3. Principais Contribuições

1. Pipeline Zero-Shot: Um sistema de CoVR totalmente livre de treinamento que alcança 91,9% de R@1 no conjunto de teste do desafio sem ajuste fino nos dados do desafio.
2. Otimização do Comprimento da Descrição: A observação de que ajustar o comprimento da descrição à janela de tokens do codificador contrastivo (64 tokens) é crítico. Esta única mudança elevou o R@1 de 67,5% para 72,7%.
3. Reclassificação Consciente de Restrições: A introdução de um LLM multimodal como juiz para reclassificar a lista curta. Este estágio contribuiu com um ganho massivo de +19,2 R@1, movendo a métrica de 72,7% para 91,9%.
4. Implementação Modular: Uma implementação limpa de três camadas (dados/modelo/executor) que permite a troca de backbones sem alterar a lógica de orquestração.

4. Resultados Experimentais

Avaliado no conjunto de teste do desafio CoVR-R (301 consultas através das galerias WebVid e Something-Something-v2):

• Baseline (Descrição Rica): Reason + Retrieve com uma descrição longa alcançou 67,5% R@1.
• Recuperação Otimizada: Restringir a descrição para caber na janela do codificador melhorou o R@1 para 72,7% (+5,2).
• Pipeline Completo: Adicionar o re-ranker consciente de restrições (com $\lambda=0,8$ e $K=10$) alcançou 91,9% R@1 e 98,2% R@10.
• Insights de Ablação:
  • Razão de Mistura ($\lambda$): Recuperação pura ($\lambda=0$) rendeu 72,7%. Juiz puro ($\lambda=1$) caiu para 88,2%. A mistura ideal ($\lambda=0,8$) aproveitou o sinal do juiz enquanto usava o ranking de recuperação para desempatar, atingindo o pico de 91,9%.
  • Profundidade da Lista Curta: Aumentar a lista de $K=10$ para $K=20$ melhorou o recall amplo (R@10 de 96,8% para 98,2%), mas não melhorou significativamente o R@1, pois listas mais profundas introduziram mais distratores de alta pontuação.

5. Significância e Limitações

Significância:
O artigo demonstra que a recuperação de vídeo composta consciente de raciocínio pode ser resolvida efetivamente sem treinamento, baseando-se nas capacidades de raciocínio de LLMs multimodais congelados e na eficiência de codificadores contrastivos. O sistema é interpretável (fornecendo traços de raciocínio e justificativas do juiz) e modular.

Limitações e Trabalhos Futuros:

• Custo: O custo do re-ranker cresce linearmente com a profundidade da lista curta e o número de gerações para desruído.
• Viés Perceptivo: O modelo juiz de 8B possui limitações em distinguir pares finos, deixando uma lacuna entre o R@1 (91,9%) e o teto do R@10 (~98%). Os autores sugerem que um juiz maior (ex: 72B) poderia fechar essa lacuna.
• Restrições de Token: A janela de 64 tokens do codificador contrastivo limita a riqueza da descrição usada para a recuperação inicial. Um recuperador de contexto longo ou nativo de vídeo poderia potencialmente melhorar ainda mais o recall da lista curta.
• Troca de Computação (Trade-off): O uso de autoconsistência (3 amostras) e pontuação desruída (5 amostras) troca computação por robustez, um trade-off que os autores observam que deve ser revisitado em escala.