💻 computer science

ID-VTG: Image-Disambiguated Video Temporal Grounding

Este artigo introduz o ID-VTG, uma nova tarefa e benchmark para o posicionamento temporal de vídeo que utiliza imagens de referência juntamente com consultas de texto para resolver ambiguidades entre eventos visualmente semelhantes, acompanhado pelo framework VGD-Agg proposto, que utiliza uma arquitetia de dois ramos e tokens aprendíveis especializados para alcançar o estado da arte em desempenho.

Autores originais: Minghang Zheng, Jingli Wei, Hongyi Yang, Yang Liu

Publicado 2026-08-21

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Minghang Zheng, Jingli Wei, Hongyi Yang, Yang Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na vasta biblioteca de conteúdo de vídeo que preenche nossas telas todos os dias, existe um desafio persistente para os computadores: encontrar o momento exato em que um evento específico acontece. Essa tarefa, conhecida como localização temporal de vídeo (video temporal grounding), pede que uma máquina assista a um clipe longo e aponte os tempos exatos de início e término de uma cena descrita em palavras. Por anos, pesquisadores treinaram sistemas para fazer isso usando apenas texto. Se um usuário digita "o homem está falando em um microfone", o computador varre as filmagens para encontrar essa ação. No entanto, essa abordagem esbarra em um muro quando o vídeo contém múltiplas pessoas ou coisas que parecem quase idênticas. Se dois homens diferentes com o mesmo uniforme falam em microfones em momentos diferentes, uma descrição textual sozinha não pode dizer ao computador a qual deles o usuário se refere. As palavras são ambíguas, e a máquina se perde, muitas vezes adivinhando o segmento errado ou falhando em encontrar o correto.

Para resolver isso, pesquisadores da Universidade de Pequim introduziram uma nova forma de pensar o problema. Eles perceberam que, no mundo real, quando as pessoas não têm certeza de qual pessoa ou objeto estão falando, elas geralmente têm uma foto para mostrar. Um segurança pode ter uma foto de um suspeito; um fã de esportes pode ter um instantâneo de um atleta específico. Ao combinar uma descrição textual com uma imagem de referência, a ambiguidade desaparece. A imagem atua como um filtro visual rigoroso, dizendo ao computador exatamente qual indivíduo ele deve observar, enquanto o texto descreve o que esse indivíduo está fazendo. Essa nova abordagem, que a equipe chama de Localização Temporal de Vídeo com Desambiguação por Imagem, muda o objetivo de adivinhar com base em palavras para localizar com base em uma correspondência visual.

Os pesquisadores não apenas propuseram uma teoria; eles construíram as ferramentas necessárias para testá-la. Eles criaram duas novas coleções de dados de vídeo projetadas especificamente para serem difíceis para os sistemas padrão baseados apenas em texto. A primeira coleção foca em ginástica, onde atletas usam uniformes idênticos e realizam rotinas semelhantes. Nesses vídeos, o mesmo movimento, como um grande círculo nas barras assimétricas, é realizado por pessoas diferentes ou pela mesma pessoa várias vezes. O texto pode dizer "a ginasta realiza um círculo", mas sem uma foto, o computador não pode saber qual ginasta ou qual tentativa está sendo descrita. A segunda coleção é muito mais ampla, extraída de uma grande variedade de vídeos da internet apresentando animais, personagens fictícios e objetos cotidianos. Aqui, o desafio vem de diferentes pessoas realizando ações semelhantes, como duas pessoas diferentes amarrando seus cadarços. Em ambas as coleções, os pesquisadores parearam cada consulta de texto com uma imagem de referência específica do sujeito alvo, criando um conjunto de dados onde a única maneira de obter a resposta correta é usar tanto a foto quanto as palavras.

Para lidar com este novo tipo de tarefa, a equipe desenvolveu um método que imita como um humano abordaria o problema. Eles construíram um sistema com duas formas distintas de olhar para o vídeo. Uma parte trabalha rapidamente, escaneando todo o vídeo para gerar uma lista de potenciais momentos onde um evento pode estar acontecendo. Este é o ramo rápido, que cria um conjunto amplo de candidatos. A segunda parte trabalha lenta e cuidadosamente, comparando cada quadro do vídeo contra a imagem de referência fornecida pelo usuário. Este ramo lento procura pelos detalhes visuais específicos que combinam com a foto, como uma característica facial única ou um padrão específico na roupa.

A inovação central de seu sistema reside em como ele usa essas duas partes para tomar uma decisão. Os pesquisadores introduziram um mecanismo especial que atua como um porteiro. Quando o sistema observa um potencial momento no vídeo, ele faz uma pergunta simples: esta parte do vídeo se parece com a imagem de referência? Se a resposta for sim, o sistema destaca esse momento. Se a resposta for não, o sistema suprime ativamente esse momento, tratando-o como uma distração. Para fazer isso funcionar, o sistema aprende a reconhecer "negativos difíceis" — estes são partes do vídeo que parecem muito com o alvo, mas que são, na verdade, a pessoa ou o objeto errado. Ao treinar o sistema para distinguir entre o alvo verdadeiro e esses sósias complicados, os pesquisadores garantiram que o computador pudesse ignorar as partes confusas do vídeo e focar apenas no segmento correto.

Os resultados desta abordagem foram testados contra os novos conjuntos de dados e comparados com métodos existentes que dependem apenas de texto. O novo sistema superou significativamente os modelos antigos. Nos vídeos de ginástica, onde a confusão visual era alta, o sistema identificou com sucesso o atleta correto e o tempo correto, enquanto os modelos baseados apenas em texto frequentemente falhavam. No conjunto de dados de mundo aberto, que incluía uma ampla gama de sujeitos e ações, o sistema manteve sua precisão mesmo quando testado em vídeos que nunca tinha visto antes. Isso sugere que o método aprendeu uma habilidade geral de correspondência de imagens a ações de vídeo, em vez de apenas memorizar exemplos específicos. Os pesquisadores também testaram como o sistema lidava com imagens de baixa qualidade, como as que eram borradas ou tinham iluminação estranha. Mesmo sob essas condições difíceis, o sistema permaneceu robusto, continuando a encontrar os momentos corretos no vídeo.

Este trabalho demonstra que adicionar uma referência visual a uma consulta de texto não é apenas uma melhoria menor, mas uma mudança fundamental em como as máquinas podem entender o vídeo. Isso move o campo para longe das limitações da linguagem, que pode ser vaga ou imprecisa, em direção a uma forma mais direta de comunicação onde uma imagem esclarece a intenção. Ao criar um framework que pode filtrar efetivamente distrações visuais e focar no sujeito de interesse específico, os pesquisadores forneceram um caminho para uma busca e análise de vídeo mais confiáveis. As descobertas sugerem que, para tarefas que exigem precisão em cenas complexas e lotadas, a combinação de uma foto e uma frase é a ferramenta mais eficaz disponível, permitindo que os computadores vejam o mundo com uma clareza que o texto sozinho não pode proporcionar.

Resumo Técnico: ID-VTG: Localização Temporal de Vídeo com Desambiguação por Imagem

Definição do Problema

A Localização Temporal de Vídeo (VTG - Video Temporal Grounding) visa localizar segmentos de eventos específicos dentro de um vídeo com base em consultas de linguagem natural. No entanto, os métodos existentes centrados em texto enfrentam limitações significativas quando as consultas envolvem entidades visualmente semelhantes realizando ações semelhantes. Nesses casos, as descrições textuais frequentemente carecem dos atributos detalhados (por exemplo, texturas específicas, características faciais ou diferenças sutis de aparência) necessários para distinguir entre múltiplos candidatos. Isso leva à ambiguidade referencial, onde uma consulta de texto como "o homem está falando em um microfone" pode corresponder a vários indivíduos ou segmentos de tempo distintos, tornando a localização apenas por texto imprecisa.

Para abordar isso, os autores introduzem o ID-VTG (Image-Disambiguated Video Temporal Grounding). Esta formulação de tarefa suplementa a consulta textual com uma imagem de referência ( $Q_{img}$ ) para identificar unicamente a instância alvo. O objetivo é localizar um segmento temporal $(t_s, t_e)$ que combine semanticamente com a descrição textual ( $Q_{text}$ ) e, ao mesmo tempo, combine visualmente com o sujeito específico retratado na imagem de referência. Esta configuração reflete cenários do mundo real, como vigilância ou transmissão esportiva, onde os usuários possuem um forte prior visual (uma foto), mas consideram as descrições textuais de indivíduos específicos complicadas ou imprecisas.

Metodologia: Estrutura VGD-Agg

Os autores propõem a estrutura VGD-Agg (Visually-Guided Disambiguation Aggregation), construída sobre uma arquitetura dual de ramos rápido-lento para equilibrar a modelagem temporal eficiente com a correspondência visual de detalhe fino.

1. Arquitetura de Dois Ramos

Ramo Rápido (Fast Branch): Herdado da linha de base SnAG, este ramo gera eficientemente propostas preliminares de eventos temporais usando semântica de vídeo de alto nível. Ele utiliza um codificador de propostas multiescala baseado em Transformer para capturar dependências temporais de longo alcance sem alinhamento cross-modal, produzindo características de propostas agnósticas à consulta.
Ramo Lento (Slow Branch): Projetado para discriminação de detalhe fino, este ramo realiza a correspondência entre quadros do vídeo e a imagem de referência ao nível de quadro. Ele introduz duas representações aprendíveis e específicas do vídeo:
- Token de Comparação ( $t_c$ ): Um protótipo de negativo difícil que representa distratores de alta similaridade. Ele é condicionado à consulta visual para atuar como um limiar dinâmico, testando se um quadro contém a instância alvo.
- Valor de Depressão ( $v_d$ ): Uma representação de eventos irrelevantes ao texto. Ele agrega características visuais que são irrelevantes para a consulta de texto, servindo como um "sumidouro" para propostas que carecem da imagem alvo.

2. Módulo de Desambiguação Assistida por Visão

Este módulo faz a ponte entre os ramos Rápido e Lento para resolver a ambiguidade. Ele emprega um mecanismo de Agregação Competitiva baseada em Softmax:

Para cada proposta, o sistema computa pontuações de similaridade entre os quadros do vídeo e o Token de Comparação.
Propostas Relevantes à Imagem: Se os quadros dentro de uma proposta mostrarem alta afinidade com a imagem de referência (excedendo a pontuação do Token de Comparação), os pesos de atenção destacam esses quadros, agregando características visuais relevantes.
Propostas Irrelevantes à Imagem: Se os quadros falharem em corresponder à imagem (pontuando abaixo do Token de Comparação), o mecanismo de atenção desloca-se para o Valor de Depressão. Isso efetivamente suprime as características dos distratores visuais, empurrando-os para um sinal semanticamente irrelevante.
Este processo produz Características de Proposta Desambiguadas, onde as instâncias alvo e os distratores visuais são claramente separados no espaço de características.

3. Localização Guiada por Texto

A etapa final utiliza as características desambiguadas. Uma cabeça de Localização Guiada por Texto classifica as propostas e regride as fronteiras temporais fundindo as características visuais refinadas com a consulta textual.

4. Objetivos de Treinamento

O modelo é treinado de ponta a ponta com uma soma ponderada de perdas:

Perdas de Classificação e Regressão: Focal loss padrão e perda DIoU para refinamento de fronteira.
Perda de Correspondência Visual ( $L_{sim}$ ): Uma perda de dobradiça (hinge loss) baseada em ranking que impõe uma relação ordinal estrita: $\bar{s}_{gt} > s_c > \bar{s}_{non-gt}$ . Isso garante que o segmento de ground truth tenha maior afinidade visual do que o Token de Comparação, que por sua vez pontua mais alto do que os segmentos que não são ground truth. Isso força o Token de Comparação a agir como uma fronteira de decisão robusta.

Principais Contribuições

Formulação da Tarefa: A introdução do ID-VTG, uma nova tarefa que utiliza consultas multimodais (Texto + Imagem) para resolver a ambiguidade referencial na localização de vídeo, indo além das limitações das entradas apenas de texto.
Datasets: A construção de dois benchmarks abrangentes:
- IDVTG-Gym: Foca em ações de ginástica de ordem composicional e detalhadas envolvendo atletas em uniformes semelhantes, exigindo raciocínio sobre a ordem da ação e identidade visual.
- IDVTG-InternVid: Um dataset de mundo aberto apresentando entidades diversas (humanos, animais, personagens fictícios) e fortes distratores temporais, projetado para testar a robustez em ambientes não controlados.
Inovação Metodológica: A estrutura VGD-Agg, que introduz o Token de Comparação e o Valor de Depressão para modelar explicitamente negativos difíceis e suprimir distratores visuais, permitindo uma localização orientada à desambiguação precisa.

Resultados Experimentais

Experimentos extensos validam a abordagem proposta em ambos os benchmarks IDVTG-Gym e IDVTG-InternVid.

Desempenho: O VGD-Agg alcança resultados de estado da arte, superando significativamente as linhas de base adaptadas (incluindo RaTSG, UVCOM, CG-DETR, SnAG e ICQ).
- No IDVTG-Gym, alcança um $R1@0.5$ de 61,83% (contra 53,64% da forte linha de base SnAG).
- No IDVTG-InternVid, alcança um $R1@0.5$ de 51,21% (contra 44,26% do SnAG).
Generalização: O modelo demonstra forte robustez em um dataset Web Out-of-Distribution (OOD), mantendo uma liderança clara sobre as linhas de base sem ajuste fino, indicando o aprendizado de correspondências visuais-semânticas transferíveis.
Estudos de Ablação:
- A remoção do Ramo Lento ou do mecanismo de Agregação causa quedas significativas de desempenho, confirmando a necessidade de correspondência visual de detalhe fino e separação de características.
- O Token de Comparação mostra-se crítico; substituir pelo um token aprendível global ou remover a perda de similaridade degrada o desempenho, provando a necessidade de modelagem de negativo difícil específica do vídeo.
- O método mostra robustez a degradações de qualidade de imagem (variações de brilho, baixa resolução), mantendo desempenho superior sobre as linhas de base nessas condições.
Análise Qualitativa: Visualizações dos pesos de atenção confirmam que o Token de Comparação captura com sucesso regiões visualmente ambíguas (negativos difíceis), enquanto o Valor de Depressão suprime efetivamente o ruído de fundo irrelevante ao texto.

Significância

O artigo afirma que o ID-VTG aborda uma lacuna crítica na compreensão de vídeo, onde o texto sozinho é insuficiente para uma localização precisa devido à ambiguidade visual. Ao integrar imagens de referência como restrições visuais estritas, o método proposto permite a identificação confiável de instâncias alvo em cenários complexos de múltiplas instâncias. O trabalho estabelece um novo benchmark para localização de vídeo multimodal e demonstra que utilizar explicitamente consultas de imagem através de mecanismos de desambiguação especializados (como o Token de Comparação) é essencial para alcançar uma localização temporal de detalhe fino e robusta em aplicações do mundo real.