💻 computer science

LongEgoRefer: A Benchmark for Long-Form Egocentric Video Referring Expression Comprehension

Este artigo apresenta o LongEgoRefer, um novo e desafiador benchmark construído a partir de vídeos longos do Ego4D que aborda as limitações dos atuais conjuntos de dados de clipes curtos ao apresentar extrema esparsidade de alvos e interações complexas, revelando que os modelos de estado da arte atuais lutam significativamente com o posicionamento espaço-temporal egocêntrico de longa duração.

Autores originais: Shunya Kato, Taiki Miyanishi, Shuhei Kurita, Mahiro Ukai, Nakamasa Inoue, Chenhui Chu

Publicado 2026-07-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Shunya Kato, Taiki Miyanishi, Shuhei Kurita, Mahiro Ukai, Nakamasa Inoue, Chenhui Chu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está usando uma câmera na cabeça que grava todo o seu dia, desde o momento em que você acorda até a hora de dormir. Isso resulta em um filme massivo e não editado de cerca de 45 minutos. Agora, imagine que alguém lhe entrega uma frase específica, como: "Encontre o momento em que você pega a caneca azul com uma lasca na alça e despeja café nela."

Seu trabalho é assistir a esse filme de 45 minutos e identificar exatamente quando isso acontece e onde no quadro está a caneca.

Este é o desafio que o artigo "LongEgoRefer" introduz. Aqui está uma análise do que eles fizeram, usando analogias simples:

1. O Problema: A "Agulha no Palheiro"

Os jogos de vídeo anteriores para IA eram como procurar uma agulha em um pequeno monte de feno. Eles usavam clipes de vídeo curtos (de alguns segundos) onde o objeto estava sempre visível, como uma bola vermelha brilhante saltitando em uma sala.

Mas a vida real não é assim. Na vida real, a "agulha" (o objeto que você está procurando) pode aparecer apenas por alguns segundos em um filme de 4-5 minutos. Pode estar escondida atrás da sua mão, ou você pode tocá-la apenas uma vez antes de guardá-la. O artigo argumenta que os modelos de IA atuais são terríveis nisso porque são usados para clipes curtos e fáceis. Eles se perdem no filme longo e esquecem o que estão procurando.

2. A Solução: Um Novo "Exame" para a IA

Os autores criaram um novo benchmark chamado LongEgoRefer. Pense nisso como um novo "exame final", muito mais difícil, para a IA.

A Fonte: Eles pegaram milhares de horas de vídeos da vida real em "primeira pessoa" (de um conjunto de dados chamado Ego4D) onde pessoas realizam tarefas cotidianas.
As Perguntas: Eles escreveram 1.498 perguntas específicas (chamadas de expressões de referência). Elas não são simples como "Onde está a xícara?" Elas são histórias complexas como: "A jarra de vidro transparente, que estava vazia na balança, foi então preenchida com grãos escuros de um saco prateado."
A Dificuldade:
- Tempo: Os vídeos são enormes (média de 45 minutos).
- Esparsidade: O objeto sobre o qual estão perguntando pode aparecer apenas por 1% do vídeo. É como pedir a alguém para encontrar uma conversa específica de 10 segundos em uma transmissão de rádio de 45 minutos.
- Complexidade: As descrições exigem entender como os objetos se movem e interagem com as mãos, não apenas como eles se parecem.

3. O Teste: Como a IA se Saiu?

Os autores testaram os modelos de IA mais inteligentes disponíveis (incluindo gigantes como GPT-5 e Gemini) neste novo exame.

O Resultado: Os modelos de IA tiveram dificuldades significativas. Mesmo os modelos mais avançados obtiveram pontuações muito baixas.
A Analogia: É como dar a um aluno uma prova de matemática onde ele tem que se lembrar de um número específico de um livro que leu há 40 minutos, enquanto as páginas do livro estão virando constantemente. A maioria dos modelos se perdeu no meio do livro.
O Vencedor: O modelo chamado GPT-5 teve o melhor desempenho, mas mesmo ele acertou apenas cerca de 16% dos detalhes "espacio-temporais" (tempo e lugar). Isso prova que a tarefa é incrivelmente difícil, mesmo para a melhor tecnologia que temos agora.

4. Por Que Eles Falharam?

O artigo descobriu duas razões principais para a falha da IA:

Perda de Memória: Os modelos não conseguiram acompanhar toda a história de 45 minutos. Eles esqueceram a aparência do objeto quando chegaram ao final do vídeo.
A Armadilha do "Quando" vs. "Onde": A IA tem que descobrir quando o evento acontece primeiro, e depois onde o objeto está. Se a IA adivinhar o tempo errado (por exemplo, "aconteceu no minuto 10" quando na verdade aconteceu no minuto 30), ela falha completamente, mesmo que saiba como o objeto se parece. É como tentar encontrar uma página específica em um livro, mas começar sua busca no capítulo errado.

5. A Conclusão

O artigo conclui que precisamos de uma nova geração de IA que possa realmente "assistir" a vídeos longos sem se confundir ou esquecer detalhes. Eles disponibilizaram este novo "exame" (o benchmark) e o código para que outros pesquisadores possam tentar construir modelos melhores para resolver este problema da "agulha no palheiro".

Em resumo: Eles construíram um teste super difícil usando vídeos longos da vida real para mostrar que a IA de hoje ainda é ruim em encontrar momentos específicos e raros em fluxos longos de vídeo, e estão desafiando o mundo a resolver isso.

Resumo Técnico: LongEgoRefer

Definição do Problema

O artigo aborda as limitações dos benchmarks existentes de Compreensão de Expressão de Referência em Vídeo (Video REC), que focam primariamente em clipes de vídeo curtos e recortados (tipicamente de 3 a 10 segundos), onde os objetos alvo aparecem de forma densa e previsível. Esses cenários falham em refletir gravações egocêntricas (em primeira pessoa) do mundo real, que são caracterizadas por:

Duração de longa duração: Gravações contínuas que abrangem de dezenas de minutos a horas.
Ocorrência esparsa de objetos: Objetos alvo aparecem transitoriamente, muitas vezes por menos de 2% da duração total do vídeo.
Interações complexas: Interações humano-objeto (HOI) dinâmicas que requerem a compreensão do contexto temporal e mudanças de estado.
Complexidade linguística: Expressões de referência que são longas, descritivas e necessárias para desambiguar alvos dentro de cenas desordenadas e visualmente semelhantes.

O desafio central é o Aterramento Espaço-Temporal em vídeos egocêntricos não recortados de longa duração: dada uma consulta de linguagem natural, um modelo deve identificar o intervalo temporal preciso ( $t_{start}, t_{end}$ ) e as caixas delimitadoras espaciais ( $B$ ) correspondentes ao objeto referido, apesar de o objeto estar ausente na vasta maioria do vídeo.

Metodologia

Construção do Benchmark (LongEgoRefer)

Os autores construíram o LongEgoRefer utilizando o conjunto de dados Ego4D e as anotações EgoTracks. O pipeline de construção envolveu:

Filtragem de Dados: Seleção de vídeos com mais de 20 minutos e trilhas de objetos que duram pelo menos 10 segundos onde o usuário da câmera manipula ativamente o objeto ( $is\_active = True$ ).
Anotação Híbrida: Um pipeline semiautomático foi utilizado para gerar expressões de referência:
1. Geração por LLM: O Gemini 2.5 Flash gerou 10 descrições candidatas por clipe, que foram então resumidas.
2. Curadoria Humana: Anotadores especialistas verificaram e refinaram rigorosamente as expressões. Aproximadamente 95,39% das descrições iniciais geradas pelo LLM foram substancialmente revisadas para garantir precisão factual, exclusividade temporal (a descrição aplica-se apenas a um momento específico) e unicidade.
Estatísticas do Conjunto de Dados: O benchmark final contém 1.498 expressões de referência em 433 vídeos. A duração média do vídeo é de 45 minutos (2.714,9 segundos) e o comprimento médio da expressão de referência é de 63,5 palavras. O objeto alvo aparece em apenas 1,3% dos frames, em média.

Baselines e Avaliação

Para avaliar a dificuldade do benchmark, os autores estabeleceram dois tipos de baselines:

Modelos de Video REC Adaptados: Modelos end-to-end existentes (ex: VideoLISA, Sa2VA, Grounded SAM2) projetados para clipes curtos foram adaptados usando uma estratégia de inferência de janela deslizante. O vídeo longo é particionado em janelas curtas, e o modelo processa cada uma de forma independente.
Pipeline de Dois Estágios Sem Treinamento: Uma abordagem modular que desacopla a tarefa em:
- Aterramento Temporal: Utilizando um Modelo de Linguagem de Visão (VLM) para identificar o intervalo temporal grosseiro que corresponde à consulta.
- Aterramento Espacial: Utilizando o Grounded SAM2 (Grounding DINO + SAM2) para localizar o objeto dentro do clipe identificado.

Métricas: A avaliação utiliza métricas padrão de video REC, incluindo IoU temporal (tIoU), IoU de vídeo (vIoU), IoU espaço-temporal (STIoU) e um IoU modificado para frames negativos (IoU+n).

Principais Resultados

Experimentos extensivos foram conduzidos em 4 modelos de video REC, 14 VLMs de código aberto e 5 VLMs de código fechado.

Dificuldade Geral: Mesmo modelos de última geração (state-of-the-art) enfrentam dificuldades significativas. O modelo com melhor desempenho, GPT-5, alcançou um IoU temporal no limiar de 0.1 (tIoU@0.1) de 37,31 e um IoU espaço-temporal médio (mSTIoU) de 8,76. A maioria dos modelos de código aberto pontuou em dígitos únicos para tIoU@0.1.
Código Aberto vs. Código Fechado: Existe uma lacuna substancial de desempenho. Modelos de código fechado (GPT-5, Gemini 2.5 Pro) superaram significativamente seus equivalentes de código aberto (ex: InternVL 3.5, Qwen3-VL), embora todos os modelos tenham apresentado um desempenho absoluto modesto.
Propagação de Erro: O pipeline de dois estágios revelou que erros no aterramento temporal (Estágio 1) restringem estritamente o aterramento espacial (Estágio 2). Quando fornecidos com segmentos temporais ótimos (ground-truth), o desempenho do aterramento espacial (mvIoU) melhorou dramaticamente (ex: de 7,89 para 43,54 para o GPT-5), destacando que a localização temporal é o principal gargalo.
Impacto de Variáveis:
- Resolução Temporal: Reduzir a amostragem de frames (ex: para 64 frames) causou uma queda acentuada no desempenho, indicando a necessidade de pistas visuais densas.
  im
- Esparsidade do Objeto: O desempenho degradou drasticamente conforme a taxa de aparição do objeto caiu abaixo de 1%.
- Duração do Vídeo: O desempenho geralmente diminuiu conforme a duração do vídeo aumentava, embora modelos com janelas de contexto massivas (Gemini 2.5 Pro) tenham mostrado mais robustez.
- Complexidade Linguística: Expressões de referência mais longas e complexas correlacionaram-se com um desempenho inferior.

Significância e Alegações

O artigo afirma que o LongEgoRefer estabelece um novo padrão mais realista para a avaliação da compreensão de vídeo, preenchendo a lacuna entre os benchmarks atuais e os cenários egocêntricos do mundo real.

Dificuldade Intrínseca: O benchmark demonstra que localizar precisamente eventos e objetos raros em vídeos de longa duração continua sendo um desafio significativo e não resolvido para os modelos atuais de última geração, mesmo aqueles com capacidades avançadas de raciocínio.
Limitações dos Paradigmas Atuais: Os resultados expõem gargalos fundamentais nas abordagens existentes:
- Estratégias de janela deslizante carecem de consciência temporal global, levando a altos índices de falsos positivos.
- Pipelines de dois estágios sofrem de uma crítica propagação de erro, onde imprecisões temporais impedem o sucesso do aterramento espacial.
Direção Futura: Os autores enfatizam a necessidade de modelos com memória de longo prazo robusta, raciocínio de interação avançado e a capacidade de aterrar linguagem complexa em ambientes visuais esparsos e desordenados. Eles observam que, embora o LongEgoRefer sirva como um campo de teste rigoroso, o desenvolvimento de conjuntos de dados de treinamento em larga escala para esses vídeos de longa duração permanece um passo futuro necessário.

O artigo conclui que o LongEgoRefer não é meramente um conjunto de dados, mas sim um "problema de aterramento espaço-temporal exigente" desenhado para impulsionar a pesquisa em direção a sistemas de IA mais capazes e centrados no ser humano.