Leveraging Gaze and Set-of-Mark in VLLMs for Human-Object Interaction Anticipation from Egocentric Videos

Resumo Técnico

1. Problema Abordado

O artigo foca no problema de antecipação de interações humano-objeto (HOI) a partir de vídeos em visão egocêntrica (capturados da perspectiva de um usuário, como em óculos inteligentes ou câmeras de corpo). O objetivo é desenvolver sistemas inteligentes que possam prever com quais objetos o usuário interagirá a seguir, permitindo a criação de assistentes pessoais que guiem atividades diárias (ex: cozinhar) ou previnam acidentes em ambientes industriais.

O desafio principal reside na complexidade de entender a intenção do usuário a partir de dados visuais limitados e temporais. A tarefa é formulada como um problema de Resposta Visual a Perguntas (VQA), onde o modelo deve escolher o objeto correto de uma lista de candidatos, baseando-se no contexto visual e na intenção do usuário, conforme estabelecido pelo benchmark HD-EPIC Gaze Interaction Anticipation.

2. Metodologia Proposta

Os autores propõem uma arquitetura inovadora e agnóstica ao modelo (funciona com qualquer VLLM - Vision Large Language Model) que integra quatro módulos principais para melhorar a capacidade de antecipação:

1. Módulo Set-of-Mark (SoM):

   • Utiliza a técnica de prompting visual "Set-of-Mark" para melhorar o grounding visual (ancoragem espacial).
   • Aplica máscaras semânticas (geradas pelo modelo Semantic-SAM) sobre o último quadro do vídeo, dividindo a cena em regiões semânticas. Isso ajuda o VLLM a entender a estrutura espacial da cena e localizar objetos com maior precisão, sem a necessidade de tags alfanuméricas, pois o modelo já recebe a lista de candidatos no prompt.

2. Módulo de Gaze (Rastreamento Ocular):

   • Incorpora a trajetória dos fixações oculares do usuário como um prior de intenção.
   • Projeta as últimas 15 fixações de gaze (ground-truth) em um sliding window sobre os quadros.
   • Renderiza essa trajetória visualmente como círculos conectados que mudam de cor (de vermelho para o mais recente até azul para o mais antigo), fornecendo ao modelo uma pista visual clara sobre para onde o usuário está olhando e, consequentemente, para onde sua atenção e intenção estão direcionadas.

3. Módulo de Amostragem (Sampling):

   • Para lidar com a complexidade computacional de processar vídeos densos em VLLMs (que transformam quadros em sequências longas de tokens), os autores introduzem uma estratégia de amostragem exponencial inversa.
   • Em vez de amostrar quadros uniformemente, esta estratégia viésa a seleção para os quadros imediatamente anteriores à interação. A probabilidade de seleção aumenta exponencialmente para os quadros mais próximos do final do vídeo, garantindo que o modelo foque no contexto temporal mais relevante para a antecipação.

4. Módulo VLLM:

   • O modelo de linguagem visual final recebe os quadros amostrados (enriquecidos com as máscaras SoM e a trajetória de gaze), juntamente com um prompt textual que inclui a pergunta, os candidatos e instruções específicas sobre como interpretar as pistas visuais (ex: "priorize objetos ao longo da trajetória de gaze").

3. Principais Contribuições

• Integração Multimodal de Intenção: Propõe uma nova abordagem que combina informações espaciais (via Set-of-Mark) e sinais de intenção humana (via trajetória de gaze) para melhorar a antecipação de interações.
• Estratégia de Amostragem Temporal: Introduz a amostragem exponencial inversa, otimizando a entrada de vídeo para capturar a dinâmica temporal crítica imediatamente antes da interação, descartando dados irrelevantes.
• Agnosticismo de Modelo: A metodologia é projetada para ser aplicada a qualquer VLLM de última geração, não dependendo de uma arquitetura específica.
• Desempenho de Estado da Arte (SOTA): Demonstra resultados superiores no benchmark HD-EPIC, superando abordagens anteriores e modelos base.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados HD-EPIC, utilizando dois VLLMs diferentes para validar a robustez: LLaVA-OneVision 7B e Gemini 2.0 Flash.

• Desempenho Geral: O método proposto alcançou 27,2% de precisão com o LLaVA-OneVision e 27,5% com o Gemini 2.0 Flash.
• Comparação com SOTA: Estes resultados superam significativamente o baseline do HD-EPIC (Gemini 1.5 Pro, 21,0%) e os vencedores recentes do desafio (Qwen2.5VL-Ricoh, 22,0%), representando um ganho de mais de 5 pontos percentuais sobre o estado da arte anterior.
• Estudos de Ablação:
  • A combinação de SoM + Gaze mostrou-se superior ao uso isolado de cada módulo.
  • A estratégia de amostragem com parâmetro $\lambda = 1/10$ (focando nos quadros finais) e tamanho de amostra $n=15$ foi identificada como a configuração ótima.
  • A análise qualitativa revelou que, sem o módulo de gaze, o modelo frequentemente falha em distinguir o objeto correto entre distratores semânticos, enquanto a adição da trajetória ocular guia a atenção do modelo para a resposta correta.

5. Significância e Impacto

Este trabalho é significativo porque demonstra que a integração de sinais de intenção humana (gaze) com técnicas avançadas de prompting visual (SoM) e otimização temporal pode superar as limitações atuais dos modelos de visão pura na antecipação de ações.

• Aplicações Práticas: O avanço tem implicações diretas para o desenvolvimento de assistentes robóticos e de software em cozinhas inteligentes, ambientes industriais seguros e sistemas de reabilitação, onde prever a próxima ação do usuário é crucial para a segurança e eficiência.
• Direção Futura: Os autores sugerem que a metodologia pode ser expandida para cenários em tempo real e para a antecipação de ações de longo prazo, abrindo caminho para assistentes de IA mais proativos e contextualmente conscientes.

Em resumo, o artigo estabelece um novo marco na antecipação de interações humano-objeto, provando que a compreensão da intenção do usuário através do olhar, combinada com uma representação visual espacialmente rica, é fundamental para o sucesso de sistemas de visão egocêntrica inteligentes.