Resumo Técnico: RANKVIDEO – Reranking de Raciocínio para Recuperação de Texto-para-Vídeo

Declaração do Problema

A recuperação de texto-para-vídeo enfrenta desafios significativos devido à complexidade de alinhar consultas de linguagem natural com conteúdo audiovisual. Embora existam recuperadores de primeira etapa eficientes (bi-encoders), eles frequentemente lutam com a escala de coleções do mundo real (centenas de milhares de vídeos) e a necessidade de uma compreensão multimodal refinada. As abordagens de reranking existentes para vídeo são amplamente subexploradas ou dependem da extração de texto (legendas, transcrições) para alimentar modelos de raciocínio baseados em texto. Essa abordagem puramente textual é limitada porque omite informações visuais e de áudio críticas, pode não estar disponível para todos os vídeos e incorre em custos computacionais de geração. Além disso, os rerankers nativos de vídeo atuais falham em generalizar para tarefas de recuperação do mundo real, apresentando bom desempenho em conjuntos de dados artificiais, mas degradando em benchmarks de larga escala e intensivos em raciocínio.

Metodologia

Os autores introduzem o RANKVIDEO, um reranker de raciocínio nativo de vídeo projetado para avaliar a relevância entre consulta e vídeo através do raciocínio direto sobre entradas audiovisuais. O sistema opera dentro de um framework de recuperação de duas etapas e emprega um novo currículo de treinamento de duas etapas.

1. Síntese de Dados

Para enfrentar a falta de dados de treinamento para recuperação de vídeo intensiva em raciocínio, os autores desenvolveram um pipeline de síntese de dados:

• Extração de Características: Os vídeos são processados para extrair legendas visuais (usando QWEN3-OMNI), transcrições de áudio (usando WHISPER-LARGE-V2) e texto na tela (OCR).
• Geração de Consultas: Um modelo de raciocínio textual (QWEN3-32B) gera variações diversas de consultas baseadas nessas características extraídas (apenas legenda, apenas áudio, apenas OCR, apenas metadados e combinadas).
• Filtragem: As consultas são filtradas para garantir alta qualidade e intensidade de raciocínio. Isso envolve o descarte de consultas onde o vídeo positivo não está entre os 1000 candidatos de um recuperador de linha de base, a remoção de consultas onde os negativos difíceis são facilmente distinguíveis e a filtragem de pares mal classificados por um modelo professor. O conjunto de dados final contém cerca de 35.000 registros com pares consulta-vídeo positivos e negativos únicos.

2. Processo de Treinamento de Duas Etapas

O RANKVIDEO é treinado usando um currículo que separa a percepção da otimização de ranking:

• Etapa 1: Ajuste Fino Supervisionado Baseado em Percepção (SFT)

  • Objetivo: Ancorar o modelo no conteúdo do vídeo antes de introduzir objetivos de ranking.
  • Método: O modelo é ajustado para gerar legendas para vídeos com base em legendas fornecidas pelo professor. Isso incentiva o modelo a atender a entidades e eventos visuais discriminativos em vez de aprender imediatamente uma decisão de relevância binária.
  • Objetivo: Perda de entropia cruzada padrão para geração de legenda ($L_{cap}$).

• Etapa 2: Ajuste Fino de Ranking

  • Objetivo: Otimizar o modelo para o reranking de pares consulta-vídeo.
  • Mineração de Negativos Difíceis (Hard Negative Mining): Os candidatos são estratificados usando um professor de raciocínio (REASONRANK) em "negativos confiáveis" (claramente irrelevantes), "suspeitos de positivos" (descartados para evitar falsos negativos) e "negativos difíceis" (candidatos ambíguos que se assemelham aos positivos).
  • Objetivo Unificado: O modelo é treinado para produzir um score de relevância escalar $s_\theta(q, v)$ derivado da diferença de logit entre os tokens "sim" e "não" em um ponto de decisão, evitando a necessidade de decodificar longos rastros de raciocínio. A função de perda combina três componentes:
    1. Perda de Ranking Pareada (Pairwise): Incentiva o vídeo positivo a ter uma pontuação maior do que os negativos difíceis dentro de um lote.
    2. Destilação de Probabilidade do Professor: Utiliza a confiança (logits) do professor para fornecer supervisão calibrada além de rótulos binários.
    3. Perda de Ponto Único (Pointwise): Uma perda de classificação binária com alvos suavizados para estabilizar o treinamento contra desequilíbrio de classes e ruído nos dados.

3. Mecanismo de Inferência

Ao contrário de outros modelos de raciocínio que geram rastros verbosos de Cadeia de Pensamento (CoT) para cada consulta, o RANKVIDEO prevê a relevância comparando as log-probabilidades de tokens de resposta discretos ("sim" vs. "não"). Isso produz um score de relevância escalar sem exigir a geração de texto de raciocínio intermediário, reduzindo significativamente a latência de inferência.

Principais Contribuições

1. Modelo RANKVIDEO: Um reranker de raciocínio nativo de vídeo treinado diretamente em entradas audiovisuais, eliminando a dependência de texto extraído para a etapa de inferência.
2. Pipeline de Síntese de Dados: Um método para gerar pares consulta-vídeo intensivos em raciocínio aproveitando características multimodais de vídeo (visual, áudio, OCR, metadados).
3. Currículo de Duas Etapas: Uma estratégia de treinamento que primeiro ancora a percepção do modelo via legendagem, seguida por um ajuste fino de ranking multi-objetivo (pareado, pontual e destilação).
4. Eficiência: O modelo alcança alto desempenho sem o overhead computacional de gerar rastros completos de raciocínio durante a inferência, adaptando o esforço de raciocínio dinamicamente.

Resultados Experimentais

Os experimentos foram conduzidos no benchmark MULTIVENT 2.0, um conjunto de dados de larga escala contendo mais de 100.000 vídeos.

• Desempenho: O RANKVIDEO melhorou consistentemente o desempenho de recuperação em vários recuperadores de primeira etapa (incluindo OMNIEMBED, MMMORRF, CLIP, LanguageBind e Video-ColBERT).
  • Alcançou uma melhoria média de 31% no nDCG@10 em comparação com a linha de base de primeira etapa.
  • Superou rerankers de raciocínio baseados apenas em texto (REASONRANK) e outras linhas de base de linguagem-visão (QWEN3-VL-8B-INSTRUCT, QWEN3-VL-8B-THINKING e QWEN3-VL-RERANKER-8B). Notavelmente, algumas linhas de base nativas de vídeo na verdade degradaram o desempenho da primeira etapa, enquanto o RANKVIDEO o melhorou.
• Distribuição de Scores: O treinamento deslocou a distribuição de scores de modo que pares relevantes recebessem margens positivas maiores e pares não relevantes recebessem margens negativas maiores, reduzindo a sobreposição e melhorando a qualidade do ranking.
• Eficiência: O RANKVIDEO foi significativamente mais rápido do que as linhas de base de raciocínio como o QWEN3-VL-THINKING (que gera rastros de CoT) e comparável em latência aos rerankers baseados em texto, apesar de operar em vídeo bruto.
• Impacto Downstream: Em um cenário de Geração Aumentada por Recuperação (RAG) usando o dataset WIKIVIDEO, o RANKVIDEO melhorou a cobertura de afirmações e a factualidade dos artigos, demonstrando sua utilidade além das métricas padrão de recuperação.

Significância e Alegações

O artigo afirma que o RANKVIDEO aborda uma lacuna crítica na recuperação de vídeo ao demonstrar que o reranking baseado em raciocínio pode ser aplicado efetivamente a entradas nativas de vídeo. Os autores argumentam que confiar em texto extraído para o reranking de vídeo é suboptimal devido à perda de informação e custos computacionais. Ao treinar um modelo para raciocinar diretamente sobre sinais audiovisuais, o RANKVIDEO alcança um desempenho de estado da arte enquanto permanece computacionalmente eficiente.

O trabalho destaca que:

• Modelos de linguagem-visão frequentemente lutam com julgamento de relevância zero-shot devido a alucinações e baixa precisão.
• Rerankers treinados em conjuntos de dados artificiais (legenda-para-vídeo) não generalizam bem para a recuperação de vídeo intensiva em raciocínio do mundo real.
• Um currículo que separa a percepção (legendagem) do raciocínio (ranking) leva a um treinamento multimodal mais estável e eficaz.

Os autores concluem que, embora a otimização list-wise e novos raciocínios dinâmicos sejam direções futuras, o RANKVIDEO estabelece uma linha de base sólida para a recuperação de vídeo eficiente e orientada pelo raciocínio.