StreamGaze: Gaze-Guided Temporal Reasoning and Proactive Understanding in Streaming Videos

1. Problema

O entendimento de vídeo em fluxo contínuo (streaming) exige que os modelos processem quadros temporais à medida que chegam, sem acesso ao contexto futuro, simulando aplicações do mundo real como óculos de Realidade Aumentada (AR), robótica e agentes incorporados. Embora existam benchmarks para raciocínio temporal em vídeo, eles apresentam duas lacunas críticas:

1. Falta de Sinais Perceptivos Humanos: A maioria dos benchmarks ignora o sinal de olhar (gaze) humano, que é o indicador mais direto de atenção, processamento de informação e intenção futura.
2. Ausência de Tarefas Proativas: Muitos benchmarks focam apenas no reconhecimento do passado ou presente, negligenciando a capacidade de antecipar eventos futuros e intenções do usuário com base em sinais de atenção em tempo real.

A integração do olhar em vídeos em fluxo é desafiadora devido ao ruído nos dados de rastreamento ocular, à instabilidade da câmera em vídeos egocêntricos e à necessidade de um alinhamento espaço-temporal preciso entre o olhar e os objetos visíveis.

2. Metodologia

Os autores propõem o STREAMGAZE, o primeiro benchmark projetado para avaliar como Modelos de Linguagem Multimodal (MLLMs) utilizam o olhar para raciocínio temporal e compreensão proativa em vídeos em fluxo.

A. Pipeline de Construção de Dados

Para criar o benchmark, foi desenvolvido um pipeline semi-automático que alinha trajetórias de olhar com vídeos egocêntricos:

1. Pré-processamento e Projeção: As trajetórias de olhar brutas (em coordenadas 3D ou 2D) são projetadas no plano da imagem do vídeo usando parâmetros da câmera.
2. Extração de Fixações: Identificam-se momentos de fixação estável (onde o olhar permanece em uma região) filtrando por estabilidade espacial e consistência da cena (usando correlação de histogramas de cor).
3. Extração de Objetos por Área de Olhar:
   • FOV (Campo de Visão): Objetos dentro da região central do olhar são extraídos com um prompt visual que destaca o ponto de fixação.
   • Fora do FOV: Objetos na periferia são extraídos mascarando a região central, forçando o modelo a identificar o contexto de fundo não atendido.
4. Construção de Scanpaths: Sequências ordenadas de fixações são geradas para capturar a evolução temporal da atenção do usuário.
5. Geração de QA e Verificação Humana: Um LLM gera pares de Pergunta-Resposta (QA) baseados nessas trajetórias, que são posteriormente verificados por anotadores humanos para garantir qualidade (taxa de acerto de ~83%).

B. Taxonomia de Tarefas (10 Tarefas)

O benchmark cobre três categorias temporais:

• Passado (Raciocínio Temporal):
  • Identificação de Objetos Não Fixados (NFI): Identificar objetos visíveis que nunca foram olhados diretamente.
  • Previsão de Transição de Objetos (OTP): Prever qual objeto será fixado a seguir.
  • Correspondência de Sequência de Olhar (GSM): Reconhecer padrões de transição de olhar.
  • Recordação de Cena (SR): Lembrar objetos de fundo visíveis em fixações anteriores.
• Presente (Compreensão Atual):
  • Identificação de Objetos (OI): Reconhecer o objeto atual (fácil e difícil).
  • Reconhecimento de Atributos (OAR): Identificar cor, textura, etc., do objeto fixado.
  • Previsão de Ação Futura (FAP): Inferir a próxima ação com base no histórico de olhar.
• Proativo (Intervenção):
  • Alerta Acionado por Olhar (GTA): Alertar quando o usuário olha para um objeto específico.
  • Alerta de Aparecimento de Objeto (OAA): Alertar quando um novo objeto aparece na periferia antes de ser olhado.

3. Contribuições Principais

1. Pipeline de Dados Inovador: Primeira construção de dados que integra trajetórias de olhar completas (scanpaths) com vídeos egocêntricos para criar supervisão temporalmente fundamentada, indo além de pontos de olhar estáticos.
2. Benchmark STREAMGAZE: Um conjunto de dados abrangente com 8.521 pares de QA em 285 vídeos, cobrindo domínios como culinária, laboratório e montagem. É o primeiro a incluir tarefas proativas baseadas em olhar em fluxo.
3. Avaliação Abrangente: Avaliação de modelos de última geração (MLLMs fechados e abertos) e modelos de vídeo em fluxo, revelando lacunas significativas entre o desempenho humano e das máquinas.

4. Resultados e Análise

• Desempenho Geral: Existe uma lacuna substancial entre o desempenho humano (média de 0.827 de precisão) e os melhores MLLMs (o melhor foi o GPT-4o com 0.535).
• Limitações dos Modelos Atuais:
  • Os MLLMs têm dificuldade em utilizar sinais de olhar para raciocínio temporal de longo prazo.
  • Modelos de fluxo (streaming) tendem a falhar em tarefas proativas, muitas vezes ignorando as instruções de alerta e fornecendo descrições genéricas.
  • Modelos baseados apenas em olhar (como AssistGaze) não generalizam bem para cenários de fluxo contínuo e longo horizonte.
• Análise de Estratégias de Prompt:
  • A adição de mapas de saliência (salience maps) funcionou melhor do que coordenadas textuais ou pontos visuais simples para tarefas de presente e proativas.
  • No entanto, nenhum método de prompt superou consistentemente a linha de base sem olhar, indicando que os modelos atuais não sabem interpretar ou raciocinar sobre sinais de olhar brutos de forma nativa.
• Comportamento Proativo: Modelos como o InternVL-3.5 tendem a gerar muitos falsos positivos (alertas prematuros), enquanto o GPT-4o falha em tarefas mais difíceis com erros de ambos os tipos.

5. Significado e Impacto

O trabalho STREAMGAZE estabelece um novo padrão para a avaliação de sistemas de visão computacional e IA multimodal em cenários interativos e em tempo real.

• Para a Pesquisa: Demonstra que a simples adição de dados de olhar não é suficiente; os modelos precisam de arquiteturas e mecanismos de raciocínio específicos para integrar sinais de atenção humana ao contexto temporal do vídeo.
• Para Aplicações Práticas: Os resultados são cruciais para o desenvolvimento de assistentes de AR e robótica que devem antecipar as necessidades do usuário baseando-se não apenas no que a câmera vê, mas no que o usuário está prestando atenção.
• Direção Futura: O estudo aponta a necessidade de modelos que possam generalizar para raciocínio causal baseado em olhar e melhorar a previsão proativa, fechando a lacuna entre a percepção passiva e a interação ativa com o ambiente.

Em resumo, o STREAMGAZE revela que, embora os modelos de IA tenham avançado na compreensão de vídeo, eles ainda estão longe de replicar a capacidade humana de usar o olhar para guiar a atenção, inferir intenções e antecipar eventos em tempo real.