💻 computer science

LoVR: A Benchmark for Long Video Retrieval in Multimodal Contexts

Este artigo apresenta o LoVR, um benchmark de larga escala para recuperação de vídeo-texto longo apresentando mais de 40.000 clipes detalhados e legendas de alta qualidade geradas por meio de um novo pipeline de refinamento baseado em VLM, projetado para superar as limitações de conjuntos de dados existentes e avaliar rigorosamente modelos avançados de recuperação multimodal.

Autores originais: Qifeng Cai, Hao Liang, Zhaoyang Han, Hejun Dong, Meiyi Qiang, Ruichuan An, Quanqing Xu, Bin Cui, Wentao Zhang

Publicado 2026-02-05

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Qifeng Cai, Hao Liang, Zhaoyang Han, Hejun Dong, Meiyi Qiang, Ruichuan An, Quanqing Xu, Bin Cui, Wentao Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando encontrar um momento específico e minúsculo dentro de um filme de três horas. Você conhece a cena: um personagem está usando uma camisa azul, segurando uma xícara de café e rindo de uma piada. Mas o filme é tão longo, e há tantas cenas, que encontrar esse segundo exato é como procurar uma agulha em um palheiro do tamanho de uma cidade.

Este é o problema que o artigo LoVR está tentando resolver.

O Problema: A "Armadilha do Vídeo Curto"

Atualmente, a maioria dos programas de computador projetados para pesquisar vídeos são como estudantes que estudaram apenas clipes curtos de 15 segundos. Eles são ótimos em encontrar um gato pulando em um vídeo de 10 segundos, mas se você der a eles um documentário de 2 horas, eles se perdem. Eles não sabem como navegar em uma história longa ou ficam confusos com a enorme quantidade de informações.

Os "testes" (benchmarks) existentes para esses programas são como usar um mapa de um único quarto para navegar por um país inteiro. Eles são curtos demais, as descrições são vagas demais e não testam a capacidade do computador de lidar com histórias longas e complexas.

A Solução: Apresentando o LoVR

Os autores criaram o LoVR (Long Video Retrieval), que é essencialmente um "exame final" massivo e difícil para computadores de busca de vídeo.

A Biblioteca: Em vez de clipes curtos, o LoVR contém 467 vídeos longos (alguns com mais de uma hora de duração).
Os Detalhes: Dentro desses vídeos longos, eles os fragmentaram em 40.804 clipes minúsculos e específicos.
As Descrições: Para cada um desses clipes e para o vídeo completo, eles escreveram descrições (legendas) muito detalhadas e de alta qualidade.

Pense da seguinte forma: Se outros testes são como perguntar: "Encontre o vídeo com um cachorro", o LoVR pergunta: "Encontre o clipe exato de 10 segundos onde o cachorro de suéter vermelho late para um esquilo enquanto está chovendo".

Como Eles Construíram Isso: O Pipeline do "Editor Robô"

Escrever descrições para 40.000 clipes manualmente levaria anos para humanos. Escrevê-las com um robô simples resultaria em algo sem sentido. Por isso, os autores construíram um pipeline inteligente de "Editor Robô":

O Primeiro Rascunho (O Robô): Eles usaram uma IA superinteligente (um Modelo de Visão-Linguagem) para assistir aos clipes e escrever o primeiro rascunho da descrição.
O Controle de Qualidade (O Avaliador): Outra IA atuou como um professor rigoroso, dando nota à descrição. Se a descrição não combinasse bem o suficiente com o vídeo, ela era enviada de volta.
A Reescrita (O Editor): Se a nota fosse baixa, o sistema tentava novamente com um modelo de IA diferente e ainda mais inteligente.
O Toque Humano (O Revisor Final): Somente se os robôs falhassem três vezes é que um humano intervinha para escrever a descrição.

Essa mistura de robôs e humanos permitiu que eles criassem um conjunto de dados que é tanto massivo em tamanho quanto incrivelmente preciso.

O Desafio da "História Completa"

Uma parte complicada de vídeos longos é que, se você apenas colar todas as descrições minúsculas, a leitura fica parecendo uma frase quebrada. Para corrigir isso, os autores ensinaram a IA a agir como um romancista. Em vez de apenas listar eventos, a IA aprendeu a fundir as descrições dos clipes, suavizando as transições para que a descrição final de todo o vídeo se pareça com uma história coerente, e não com uma lista de tópicos.

Os Resultados: Um Choque de Realidade

Quando os pesquisadores testaram os melhores computadores de busca de vídeo disponíveis hoje neste novo exame LoVR, os resultados foram sóbrios:

A Luta: Mesmo os modelos mais inteligentes se perderam. Eles conseguiam encontrar o "vídeo" geral às vezes, mas encontrar o "clipe" específico era muito difícil.
O Limite: Acontece que apenas alimentar o computador com mais quadros (mais imagens por segundo) não ajuda muito. Não se trata de ver mais; trata-se de compreender a história longa.
A Lacuna: Os melhores modelos ainda estavam longe da perfeição, mostrando que estamos longe de ter um computador que possa realmente "assistir" e "entender" um filme longo da mesma forma que um humano faz.

A Conclusão

O LoVR é um novo padrão mais rigoroso. É como atualizar um teste de direção de um estacionamento para uma rodovia movimentada durante o horário de pico. Ele nos mostra exatamente onde a tecnologia atual está falhando e dá aos pesquisadores um alvo claro para atingir: construir sistemas que possam realmente entender histórias de vídeo longas e complexas, não apenas pequenos trechos.

Resumo Técnico: LoVR - Um Benchmark para Recuperação de Vídeos Longos em Contextos Multimodais

Declaração do Problema

A recuperação de vídeo-texto é uma tarefa crítica na aprendizagem multimodal e na pesquisa em escala web. No entanto, os benchmarks existentes (ex: MSR-VTT, DiDeMo, MSVD) são projetados primariamente para clipes de vídeo curtos (duração média < 1 minuto) e sofrem de três limitações principais quando aplicados a conteúdos de longa duração do mundo real:

Duração de Vídeo Limitada: Os conjuntos de dados atuais falham em simular a complexidade de vídeos longos (minutos a horas), como palestras, documentários e transmissões ao vivo.
Baixa Qualidade de Legenda: As anotações dependem frequentemente de texto gerado por máquina (ex: ASR), que carece de fidelidade semântica, ou de anotação manual, que não é escalável e muitas vezes carece de especificidade temporal refinada.
Falta de Benchmarks de Nível de Clipe: Os benchmarks existentes focam na recuperação de vídeos completos ou clipes pré-segmentados curtos que não se originam de vídeos longos contínuos, falhando em avaliar a localização temporal fina dentro de contextos temporais densos.

Consequentemente, há uma necessidade urgente de um benchmark dedicado que aborde simultaneamente a recuperação de vídeos de longa duração e a localização de clipes em nível fino.

Metodologia

Construção do Conjunto de Dados (LoVR)

O benchmark LoVR é construído a partir do dataset LongVideoBench, filtrado para incluir apenas vídeos com duração superior a 15 minutos. O pipeline de construção envolve três estágios principais:

Segmentação de Clipes:
- Os vídeos longos são segmentados em clipes temporalmente contíguos usando detecção de mudança de conteúdo visual (PySceneDetect).
- Um limiar ( $\tau=34$ ) é aplicado para detectar mudanças de cena. O pipeline retém especificamente clipes de alta dinâmica de cena, preservando segmentos de baixa dinâmica de cena para garantir uma mistura de complexidade visual.
- Vídeos que geram menos de 40 clipes são filtrados para garantir dinamismo visual suficiente.
- Resultado: 467 vídeos longos e 40.804 clipes de nível fino.
Pipeline de Geração de Legendas:
Para superar o equilíbrio entre qualidade de anotação e escalabilidade, os autores propõem um pipeline híbrido "VLM + Humano":
- Legendagem Automática: As legendas iniciais são geradas usando o modelo Qwen2.5-VL-7B-Instruct, com prompts para descrever eventos, cenas, ações de personagens e estilo visual.
- Avaliação de Qualidade: A métrica EVQAScore é usada para computar uma pontuação de correspondência ( $s_i$ ) entre o clipe e a legenda gerada. Um limiar empírico ( $\theta=0.2$ ) é estabelecido com base na verificação manual de um subconjunto amostrado; pontuações abaixo disso indicam baixa qualidade.
- Otimização Dinâmica: Legendas de baixa qualidade são regeneradas usando VLMs mais fortes (Qwen2.5-VL-72B-Instruct, Qwen2-VL-72B-Instruct) com configurações de temperatura ajustadas. Este processo iterativo continua até três vezes. Somente se uma legenda falhar em atingir o limiar após três tentativas é que a anotação manual é invocada.
- Legendagem de Vídeo Completo: Para gerar legendas coerentes de vídeos completos sem exceder os limites de contexto de LLM, as legendas de clipes adjacentes são mescladas. O método alinha o último parágrafo de um clipe com o primeiro parágrafo do próximo usando um LLM para fusão semântica, em vez de uma simples concatenação.
Avaliação Final de Qualidade:
Um estudo de avaliação humana envolvendo 25 participantes classificou 300 clipes e 100 vídeos longos. A pontuação média de relevância foi de 4.3/5, com mais de 78% das amostras pontuando 4 ou 5, validando a eficácia do pipeline.

Configuração Experimental

O benchmark avalia modelos em duas tarefas: Recuperação de Texto-para-Vídeo/Clipe e Recuperação de Vídeo/Clipe-para-Texto.

Métricas: Recall@K (R@1, R@5, R@10) e Tempo de Recuperação (com e sem I/O).
Baselines: O estudo avalia três categorias de modelos:
- Codificadores de Imagem: Variantes de CLIP, MetaCLIP, SigLIP, EVA02-CLIP, PE-Core.
- Codificadores de Vídeo: VideoCLIP-XL, VideoCLIP-XL-v2.
- Modelos de Embedding Multimodal: GME-Qwen2-VL, MM-Embed, LanguageBind-Video.
Variáveis: Experimentos analisam o impacto da contagem de amostragem de frames (10, 20, 30 frames) no desempenho da recuperação.

Principais Contribuições

Benchmark LoVR: A introdução de um novo conjunto de dados em larga escala especificamente para recuperação de vídeo-texto de longa duração, compreendendo 467 vídeos longos e 40.804 clipes de nível fino com legendas de alta qualidade em múltiplos níveis (nível de clipe e nível de vídeo completo).
Pipeline de Anotação Escalável: Um framework de baixo custo integrando VLMs com pontuação de qualidade automatizada (EVQAScore) e refinamento iterativo, reduzindo significativamente o trabalho humano enquanto mantém alta fidelidade de anotação.
Fusão Semântica para Vídeos Longos: Um método para gerar legendas de vídeos completos coerentes através da fusão semântica de descrições de clipes, preservando informações contextuais sem perder detalhes.
Avaliação Abrangente: Experimentos sistemáticos revelando as limitações dos modelos atuais de estado da arte em cenários de longa duração, estabelecendo um novo padrão para avaliar o raciocínio temporal e o alinhamento cross-modal.

Resultados

Experimentos extensos no LoVR revelam desafios significativos para os modelos de recuperação existentes:

Lacunas de Desempenho: Embora o LanguageBind-Video tenha emergido como o baseline mais forte (42.6% R@1 para Texto-para-Vídeo, 37.5% R@1 para Vídeo-para-Texto), a maioria dos modelos tem dificuldade com conteúdo de longa duração.
Limitações de Codificadores de Imagem: Codificadores de imagem puros (ex: CLIP) mostram modelagem temporal pobre, alcançando apenas ~23% R@1 na recuperação de texto-para-vídeo.
Desempenho de Codificadores de Vídeo: Codificadores de vídeo dedicados como o VideoClip-XL-v2 performam bem na recuperação de nível de clipe (55.3% R@1), mas mostram desempenho moderado na recuperação de vídeo completo (~30% R@1).
Embeddings Multimodais: Modelos como GME-Qwen2-VL e MM-Embed destacam-se em tarefas de nível de clipe, mas sofrem quedas substanciais de desempenho em vídeos longos, indicando dificuldade em generalizar embeddings treinados em imagens para contextos temporais estendidos.
Impacto da Amostragem de Frames: Aumentar o número de frames amostrados (de 10 para 30) produz melhorias marginais ou inconsistentes. Em alguns casos (ex: Texto-para-Clipe), menos frames performaram melhor, sugerindo que a amostragem de frames ingênua introduz ruído em vez de sinal útil.
Dificuldade do Benchmark: Mesmo os modelos de melhor desempenho falham em alcançar recall perfeito em grandes valores de K, destacando a dificuldade intrínseca do raciocínio temporal de longo alcance e do ancoramento semântico exigidos pelo LoVR.

Significância

O artigo posiciona o LoVR como uma evolução necessária na pesquisa de recuperação de vídeo-texto. Ao focar explicitamente em conteúdo de longa duração, o LoVR expõe gargalos técnicos nos abordagens atuais, particularmente no que diz respeito à eficiência computacional, sinais semânticos esparsos em longas durações e o alinhamento de legendas ricas e longas com o conteúdo visual. Os autores afirmam que o LoVR fornece um ambiente de teste rigoroso e realista que impulsionará o desenvolvimento de sistemas de recuperação mais robustos, capazes de lidar com as complexidades da busca de vídeo em escala web do mundo real. O dataset e o código são liberados para facilitar pesquisas futuras neste domínio.