VIRTUE: Versatile Video Retrieval Through Unified Embeddings

Título: VIRTUE: Recuperação de Vídeo Versátil Através de Embeddings Unificados

1. O Problema

Os sistemas modernos de recuperação de vídeo enfrentam o desafio de lidar com uma diversidade crescente de tarefas e consultas complexas. Existem três cenários principais de recuperação que geralmente exigem arquiteturas especializadas distintas:

1. Recuperação em Nível de Corpus: Identificar vídeos relevantes em grandes coleções a partir de uma consulta de texto.
2. Recuperação de Momentos (Moment Localization): Localizar o segmento temporal exato (início e fim) dentro de um vídeo que corresponde a uma consulta de linguagem natural.
3. Recuperação de Vídeo Composto (Composed Video Retrieval): Consultas que combinam múltiplas modalidades (ex: um vídeo de referência + uma instrução de texto para modificar o conteúdo, como "encontrar vídeos como este, mas em um ambiente nevado").

Limitações do Estado da Arte:

• Arquiteturas Especializadas: Modelos como o InternVideo2 alcançam desempenho superior em recuperação texto-vídeo, mas utilizam codificadores específicos para cada modalidade. Eles não conseguem processar nativamente consultas compostas multimodais.
• LLMs Multimodais (MLLMs): Embora suportem consultas ricas e multimodais, seus métodos de recuperação atuais (baseados em geração ou alinhamento genérico) geralmente têm desempenho inferior aos sistemas especializados em benchmarks de recuperação padrão.
• Falta de Unificação: Não existia, até o momento, uma única arquitetura capaz de realizar recuperação de corpus, localização de momentos e recuperação composta com desempenho competitivo (ou superior) em todas as tarefas, especialmente em cenários zero-shot (sem treinamento específico para a tarefa).

2. Metodologia

O VIRTUE é um framework baseado em MLLM que unifica essas capacidades através de um design centrado na recuperação e alinhamento contrastivo.

Arquitetura Principal:

• Backbone: Utiliza o modelo Qwen-VL 2.5 (7B parâmetros) como base.
• Adaptação Eficiente: Emprega LoRA (Low-Rank Adaptation) nas camadas de projeção e atenção, mantendo os pesos do modelo base congelados. O número total de parâmetros treináveis é de aproximadamente 48M.
• Estratégia de Treinamento:
  1. Alinhamento Imagem-Texto: Treinamento inicial em um grande conjunto de dados de imagens e legendas (CC-595K) para estabelecer alinhamento visão-linguagem.
  2. Alinhamento Vídeo-Texto: Fine-tuning subsequente em um conjunto menor de pares vídeo-texto (PE-Video, ~105K amostras) para adaptar o modelo à dimensão temporal.

Componentes do Sistema:

• VIRTUE-Embed (Modelo de Embedding):

  • Utiliza o estado oculto final do token End-of-Sequence (EOS) como um anchor de embedding unificado.
  • Objetivo: Alinhamento contrastivo (InfoNCE Loss) entre embeddings de vídeo e texto.
  • Prompting: Adiciona instruções como "Resuma este vídeo em uma palavra" antes do token EOS para forçar o modelo a gerar uma representação global compacta.
  • Função: Realiza a busca inicial de candidatos via similaridade de cosseno (busca densa).

• VIRTUE-Ranker (Refinamento de Candidatos):

  • Uma etapa de re-rankeamento para os top-K candidatos (ex: top-50) encontrados pelo VIRTUE-Embed.
  • Processa pares (consulta, vídeo) conjuntamente através do MLLM.
  • Saída: Um cabeçalho de projeção linear que prevê uma pontuação de confiança contínua entre [0, 1] (em vez de apenas "Sim/Não").
  • Função de Perda: Combina três componentes:
    1. BCE com Negativos Aleatórios.
    2. BCE com Negativos Difíceis (Hard Negatives): Amostrados do conjunto de top-K candidatos do VIRTUE-Embed.
    3. Loss de Preferência (Bradley-Terry): Otimiza a ordem relativa entre o alvo verdadeiro e os negativos difíceis, sem forçar pontuações absolutas rígidas.

• Recuperação de Momentos (Zero-Shot):

  • Não requer treinamento específico para momentos.
  • Calcula similaridade frame a frame entre a consulta e os frames do vídeo.
  • Aplica suavização Gaussiana para reduzir flutuações locais.
  • Detecta picos de similaridade e expande janelas temporais baseadas em um limiar adaptativo, aplicando Non-Maximum Suppression (NMS) para eliminar sobreposições.

• Recuperação Composta (Zero-Shot):

  • Aproveita a capacidade nativa do MLLM de processar sequências intercaladas.
  • A entrada é construída concatenando: [Vídeo Fonte] + [Texto de Modificação] + [Instrução] + [Token EOS].
  • O embedding resultante é usado para buscar o vídeo alvo no corpus.

3. Principais Contribuições

1. Arquitetura Unificada: O VIRTUE é o primeiro framework a suportar recuperação em nível de corpus (com re-rankeamento), localização de momentos e consultas compostas multimodais em uma única arquitetura, sem modificações estruturais específicas para cada tarefa.
2. Desempenho Competitivo com Dados Limitados: O modelo atinge desempenho comparável a sistemas especializados massivos (como o InternVideo2, treinado em centenas de milhões de amostras) utilizando apenas ~700K amostras de adaptação (das quais apenas ~105K são vídeos).
3. Capacidade Zero-Shot Emergente: Demonstra capacidades robustas em tarefas não vistas durante o treinamento, como recuperação composta e localização de momentos, superando métodos baseados em MLLM anteriores.
4. Eficiência Computacional: A abordagem de embedding permite busca eficiente em grandes coleções, e o re-rankeamento é aplicado apenas a um pequeno subconjunto de candidatos, mantendo o custo de inferência viável comparado a métodos que processam todos os pares consulta-vídeo conjuntamente.

4. Resultados Experimentais

Os resultados foram avaliados em benchmarks padrão em configuração zero-shot:

• Recuperação Texto-Vídeo (Corpus):

  • No conjunto de dados DiDeMo, o VIRTUE-Embed superou o InternVideo2 em 4,8 pontos percentuais no R@1 (46,6% vs 41,8%).
  • Com o re-rankeador (VIRTUE completo), superou o InternVideo2 em 0,9 pontos no R@1 em DiDeMo, apesar de não ter sido treinado com áudio (o InternVideo2 usa áudio).
  • No MSR-VTT e MSVD, superou significativamente outros métodos baseados em MLLM (como LamRA, CaRe, VLM2Vec).

• Recuperação de Vídeo Composto (CoVR):

  • Alcançou o estado da arte (SOTA) no conjunto de dados CoVR, superando a abordagem anterior (Thawakar et al.) em ~8% no R@1 (55,49% vs 47,52%).

• Recuperação de Momentos:

  • No Charades-STA e ActivityNet-Captions, o modelo alcançou o melhor desempenho em métricas-chave (R@0.3 e mIoU) em configuração puramente zero-shot, superando modelos especializados que utilizam milhões de amostras de anotação temporal para treinamento.

5. Significância e Conclusão

O trabalho VIRTUE demonstra que a adaptação orientada à recuperação de MLLMs via alinhamento contrastivo é uma escolha de design poderosa e escalável.

• Quebra de Paradigma: Prova que não é necessário treinar modelos massivos específicos para cada tarefa de vídeo (corpus, momento, composto) para obter resultados de ponta.
• Flexibilidade: Oferece uma solução "tudo-em-um" que se adapta a consultas complexas e multimodais, algo que os sistemas especializados tradicionais não conseguem fazer.
• Eficiência: Mostra que é possível alcançar desempenho de nível SOTA com um conjunto de dados de adaptação relativamente pequeno e eficiente em termos computacionais.

Em suma, o VIRTUE estabelece uma nova base para motores de busca de vídeo flexíveis e de propósito geral, capazes de lidar com consultas de usuário cada vez mais complexas e expressivas.