Beyond Caption-Based Queries for Video Moment Retrieval

Este trabalho investiga a degradação de métodos de recuperação de momentos em vídeo ao serem avaliados com consultas de busca em vez de legendas, identificando lacunas linguísticas e de múltiplos momentos como desafios principais, e propõe modificações arquiteturais para mitigar o colapso de consultas do decodificador, resultando em melhorias significativas de desempenho.

O essencial

Imagine que você tem um bibliotecário de vídeo extremamente inteligente. O trabalho dele é pegar um filme longo e encontrar o momento exato que você está procurando, baseado apenas no que você diz.

Até agora, esse bibliotecário foi treinado de uma maneira muito específica: ele aprendeu com anotadores humanos que assistiam ao vídeo e escreviam descrições super detalhadas.

• O problema: Se você perguntar ao bibliotecário: "Onde está o homem de camisa amarela chutando a bola perto da trave?", ele acerta porque foi treinado com frases assim.
• A realidade: Mas, na vida real, quando você vai pesquisar um vídeo, você não sabe os detalhes. Você digita algo simples como: "Quando eles marcam um gol?".

O artigo "Beyond Caption-Based Queries" (Além de Consultas Baseadas em Legendas) diz que os sistemas atuais estão falhando miseravelmente quando trocamos a pergunta detalhada pela pergunta simples. É como treinar um atleta para correr em uma pista de obstáculos perfeita e, no dia da prova, jogá-lo em um terreno cheio de buracos e pedras.

Aqui está a explicação do que eles descobriram e como consertaram, usando analogias simples:

1. O Diagnóstico: Por que o sistema quebra?

Os autores descobriram dois "vilões" principais que fazem o sistema falhar quando você usa perguntas reais (chamadas de search queries):

• O "Vilão da Linguagem" (Gap de Linguagem):
  As legendas de treinamento são como um romance descritivo ("O homem com a camisa amarela, segurando a bola com a mão esquerda..."). As perguntas reais são como bilhetes de emergência ("Gol!"). O sistema ficou viciado em ler romances e não sabe responder a bilhetes curtos.
• O "Vilão da Quantidade" (Gap de Múltiplos Momentos):
  Nas legendas de treinamento, cada pergunta tem apenas uma resposta certa (um único momento no vídeo). Mas na vida real, uma pergunta como "Quando alguém cozinha?" pode ter dez respostas diferentes no mesmo vídeo (alguém picando cebola, alguém mexendo a panela, alguém fritando).
  O sistema foi treinado para achar uma única agulha no palheiro. Quando você pede para achar dez agulhas, ele entra em pânico e só acha uma, ou nenhuma.

2. A Doença Oculta: O "Colapso do Detetive"

Aqui entra a parte mais técnica, mas com uma analogia divertida.

Os sistemas modernos de IA usam algo chamado DETR, que funciona como um time de detetives. Imagine que o sistema tem 100 detetives (chamados de "queries" ou consultas) olhando para o vídeo ao mesmo tempo.

• O que acontece de errado: Como o sistema foi treinado achando que só existe um momento importante por vez, os detetives começam a "conversar" entre si e decidem: "Ah, só o Detetive nº 1 vai olhar para isso, os outros 99 podem descansar".
• O resultado: Quando chega uma pergunta complexa que tem 5 momentos diferentes, o sistema só tem 1 ou 2 detetives acordos. Eles ficam sobrecarregados e não conseguem achar todos os momentos. Isso é chamado de "Colapso do Decoder" (os detetives desistem de trabalhar).

3. A Solução: Acordando os Detetives

Os autores propuseram uma mudança na arquitetura do sistema para "acordar" mais detetives. Eles fizeram duas coisas simples, mas eficazes:

1. Cortar a conversa (Remover Auto-Atenção): Eles impediram os detetives de conversarem entre si para decidir quem trabalha. Agora, cada um é obrigado a tentar achar algo por conta própria.
2. O "Sorteio de Pausa" (Query Dropout): Eles criaram uma regra onde, durante o treinamento, eles "desligam" aleatoriamente alguns detetives. Isso força o sistema a não depender apenas dos mesmos 2 ou 3 detetives favoritos. Ele é obrigado a treinar todos os 100 detetives para que, quando o vídeo chegar, muitos deles estejam prontos para agir.

4. O Resultado: Um Bibliotecário Mais Humano

Com essas mudanças, o sistema aprendeu a lidar com perguntas vagas e múltiplas respostas.

• Antes: Se você perguntasse "Quando a pessoa cozinha?", o sistema falharia em achar a maioria dos momentos.
• Depois: O sistema consegue identificar vários momentos diferentes no mesmo vídeo, mesmo com uma pergunta curta.

Em resumo:
O papel mostra que a Inteligência Artificial de vídeo foi treinada de forma "artificial" demais, com perguntas perfeitas e detalhadas. Ao criar novos testes com perguntas reais e "imperfeitas", e ao consertar a arquitetura interna para que o sistema não dependa de poucos "detetives", eles conseguiram fazer a tecnologia funcionar muito melhor no mundo real. É como ensinar um aluno a não apenas decorar a resposta do livro, mas a entender o conceito para responder a qualquer pergunta que um professor maluco possa fazer.

Resumo técnico

1. Problema e Motivação

O Recuperação de Momentos em Vídeo (VMR - Video Moment Retrieval) tem como objetivo localizar segmentos temporais específicos em um vídeo com base em uma consulta textual. Atualmente, os modelos de VMR são treinados e avaliados em benchmarks onde as consultas são legendas (captions) escritas por anotadores humanos após assistirem ao vídeo.

O artigo identifica uma limitação crítica: essas legendas induzem um viés visual. Elas são excessivamente descritivas, detalhadas e informadas visualmente (ex: "um homem de camisa amarela intercepta uma bola..."). Em contraste, os usuários reais, ao buscar vídeos, formulam consultas de busca (search queries) que são mais gerais, menos específicas e frequentemente não informadas visualmente (ex: "quando são marcados gols?").

Essa discrepância cria dois principais desafios de generalização quando modelos treinados em legendas são testados em consultas de busca reais:

1. Lacuna Linguística (Language Gap): A mudança na distribuição linguística entre legendas detalhadas e consultas abstratas.
2. Lacuna de Múltiplos Momentos (Multi-Moment Gap): Legendas geralmente mapeiam para um único momento "verdadeiro" (Ground Truth), enquanto consultas genéricas podem corresponder a múltiplos momentos no vídeo.

2. Metodologia

2.1. Novos Benchmarks (Pipeline de Consultas de Busca)

Os autores propõem um pipeline para transformar datasets existentes (HD-EPIC, YouCook2 e ActivityNet-Captions) em benchmarks de consultas de busca, sem a necessidade de reanotação manual massiva. O processo envolve:

• Subespecificação via LLM: Uso de agentes de IA (baseados em Gemma-12B) para reescrever legendas detalhadas em versões mais genéricas, removendo detalhes visuais (sujeito, objeto, intenção) enquanto preserva a semântica central.
• Validação: Um segundo agente valida a consistência, e anotadores humanos corrigem casos anômalos.
• Agrupamento (Grouping): Consultas subespecificadas que correspondem ao mesmo significado são agrupadas. Um agregador gera uma única consulta representativa para o grupo.
• Resultados: Criaram-se três novos benchmarks: HD-EPIC-S{1,2,3}, YC2-S e ANC-S. Esses benchmarks variam o nível de subespecificidade e introduzem instâncias de múltiplos momentos (até 47,57% das consultas mapeiam para múltiplos momentos).

2.2. Novas Métricas de Avaliação

Métricas padrão como Recall@1 (R1) e mAP são inadequadas para consultas de múltiplos momentos, pois penalizam a recuperação de um momento se outro não for encontrado, ou mascaram falhas ao agregar pontuações. Os autores propõem:

• Recall de Múltiplos Momentos (Rm): Avalia cada momento Ground Truth (GT) independentemente, ignorando predições que correspondem a outros GTs válidos.
• mAP de Múltiplos Momentos (mAPm): Calcula a precisão e recall para cada GT individualmente, evitando que a detecção correta de um momento penalize a avaliação de outro.

2.3. Análise de Falha e Solução Arquitetural

Ao avaliar modelos baseados em DETR (como CG-DETR e LD-DETR), os autores observaram uma degradação severa de desempenho. A causa raiz identificada foi o Colapso de Consultas do Decoder Ativo (Active Decoder-Query Collapse):

• Devido ao treinamento em dados de "um momento por consulta", o modelo aprende um viés forte de que apenas um subconjunto fixo de consultas do decoder deve estar ativo.
• Isso impede a recuperação de múltiplos momentos, pois o número de consultas ativas não escala com a complexidade da consulta.

Proposta de Mitigação (-SA+QD):
Para resolver o colapso sem reanotar os dados, os autores propõem modificações arquiteturais:

1. Remoção da Atenção Self (Self-Attention - SA): A atenção self no decoder força as consultas a "concordarem" sobre qual deve ser ativa, suprimindo as demais. Removê-la permite que as consultas atuem de forma mais independente.
2. Dropout de Consultas do Decoder (Query Dropout - QD): Aplica-se um dropout aleatório nas consultas aprendíveis durante o treinamento. Isso atua como regularização, forçando o modelo a distribuir a supervisão entre mais consultas e evitar a dependência excessiva de um pequeno índice fixo.

3. Principais Contribuições

1. Reformulação do Problema: Demonstrar que o uso de legendas como consultas de treino cria um viés que impede a aplicação real do VMR.
2. Novos Benchmarks: Introdução de três benchmarks (HD-EPIC-S, YC2-S, ANC-S) que simulam consultas de busca reais e cenários de múltiplos momentos.
3. Diagnóstico de Falha: Identificação e quantificação da "Lacuna Linguística" e da "Lacuna de Múltiplos Momentos", com foco no fenômeno de colapso de consultas no decoder.
4. Solução Arquitetural Simples: Proposta de modificações (-SA+QD) que aumentam o número de consultas ativas e melhoram a generalização sem custo de reanotação.

4. Resultados Experimentais

• Degradação Inicial: Modelos treinados em legendas sofreram quedas de desempenho de até 77,40% em Rm@0.3 ao serem testados em consultas de busca altamente subespecificadas.
• Melhoria com -SA+QD: A aplicação das modificações arquiteturais recuperou significativamente o desempenho:
  • Melhoria de até 14,82% no mAPm geral.
  • Melhoria de até 21,83% no mAPm especificamente para consultas de múltiplos momentos.
  • O método recuperou cerca de 70% da lacuna de desempenho em relação a um modelo "oráculo" (treinado diretamente nas consultas de busca).
• Ablação: As modificações foram mais eficazes em consultas de múltiplos momentos, confirmando que a solução ataca diretamente o problema do colapso de consultas. Outras estratégias, como aumento de dados ou mudanças no esquema de matching (1-to-k), não foram suficientes sozinhas.

5. Significado e Impacto

Este trabalho é fundamental para a área de compreensão de vídeo, pois:

• Desafia o Status Quo: Mostra que os benchmarks atuais não refletem o uso real, levando a uma falsa sensação de progresso.
• Ponte para o Mundo Real: Oferece um caminho viável para adaptar modelos existentes a cenários de busca realistas sem o custo proibitivo de criar novos datasets do zero.
• Insight Arquitetural: Revela que a arquitetura DETR, embora poderosa, possui viéses de treinamento (como o colapso de consultas) que precisam ser mitigados explicitamente para tarefas de recuperação de múltiplos eventos.

Em resumo, o artigo fornece as ferramentas (benchmarks, métricas e técnicas de correção) necessárias para tornar os sistemas de VMR mais robustos e utilizáveis em aplicações práticas de busca de vídeo.