Do You See What I Am Pointing At? Gesture-Based Egocentric Video Question Answering

Título: Do You See What I Am Pointing At? (Você vê para onde estou apontando?)

Subtítulo: Resposta a Perguntas em Vídeo Ego-Cêntrico Baseada em Gestos

1. O Problema

Com a integração de assistentes de IA em dispositivos vestíveis (como óculos inteligentes e AR/VR), surge a necessidade crítica de que a IA compreenda a atenção do usuário no ambiente. Um dos modos mais naturais de comunicação humana é o uso de gestos de apontar combinados com expressões deiticas (ex: "Devo usar este?", "Qual aquele é mais próximo?").

O problema central identificado pelos autores é que os Modelos de Linguagem Multimodal (MLLMs) atuais, mesmo os mais avançados (como GPT-4o e Qwen3-VL), falham em resolver perguntas fundamentadas nesses gestos. As principais causas são:

1. Falta de Dados: A ausência de conjuntos de dados ricos em gestos de apontar em vídeos ego-cênicos (visão em primeira pessoa).
2. Limitação Arquitetural: Os modelos atuais não possuem mecanismos explícitos para codificar ou raciocinar sobre a posição da mão e a direção do apontar, tratando o vídeo e o texto de forma global sem entender a intenção referencial do gesto.

2. Metodologia

A abordagem proposta é dividida em duas partes principais: a criação de um novo dataset e a proposta de uma nova arquitetura de modelo.

A. Dataset: EGOPOINTVQA

Os autores introduzem o EGOPOINTVQA, o primeiro dataset projetado especificamente para resposta a perguntas baseadas em gestos de apontar em vídeos ego-cênicos.

• Composição:
  • 4.000 vídeos sintéticos: Gerados no simulador AI2-THOR, permitindo controle preciso sobre objetos, iluminação e timing dos gestos.
  • 400 vídeos reais: Capturados com óculos inteligentes Meta Ray-Ban por 20 participantes em ambientes variados (cozinhas, escritórios, ruas).
• Tarefas: O dataset cobre 6 categorias de raciocínio que exigem a resolução de referências deiticas:
  1. Referência: Identificar o objeto apontado.
  2. Contagem: Quantificar objetos do mesmo tipo apontados.
  3. Espacial: Determinar a posição relativa do objeto apontado.
  4. Temporal: Resolver a ordem de múltiplos apontamentos sequenciais.
  5. Atributo: Identificar propriedades (cor, forma, material).
  6. Feedback: Inferir a função do objeto ou sua relevância para o objetivo do usuário.
• Geração: Um pipeline automatizado gera pares de perguntas e respostas de múltipla escolha, reescrevendo-as para usar pronomes deiticos ("este", "isso") que tornam a pergunta ambígua sem o contexto visual do gesto.

B. Modelo: Hand Intent Tokens (HINT)

Para superar as limitações dos MLLMs, os autores propõem o HINT, uma abordagem que integra explicitamente a intenção do gesto na entrada do modelo.

• Extração de Keypoints 3D: Utiliza um modelo de reconstrução de mão pronto (WiLoR) para extrair 21 keypoints 3D da mão em cada quadro do vídeo.
• Keypoint Adapter: Um adaptador leve (MLP) converte esses keypoints em um Token de Intenção de Mão (Hand Intent Token - $H_t$). Se a confiança da detecção da mão for baixa, o token é omitido.
• Interleaving (Intercalação): Os tokens de intenção de mão são intercalados com os tokens visuais ($V_t$) e textuais na sequência de entrada do LLM. Isso permite que o modelo raciocine simultaneamente sobre o conteúdo visual e a geometria do gesto em tempo e espaço.
• Treinamento: O modelo é ajustado (fine-tuned) usando LoRA, treinando o adaptador de keypoints e partes do LLM, enquanto o codificador visual permanece congelado ou parcialmente ajustado.

3. Resultados Principais

Os experimentos foram conduzidos no conjunto de teste do EGOPOINTVQA (300 vídeos reais, 672 pares de perguntas/respostas).

• Desempenho de Estado da Arte (SOTA):
  • Modelos existentes (GPT-4o, Qwen3-VL, InternVL) tiveram desempenho abaixo de 70% em média, com quedas drásticas em tarefas temporais (sequência de gestos).
  • O modelo HINT-14B (baseado no InternVL3-14B) alcançou 68.1% de precisão média, superando o melhor baseline (InternVL3-14B padrão) em 6,6 pontos percentuais.
• Impacto do HINT:
  • A adição dos tokens de intenção de mão trouxe ganhos consistentes em todas as arquiteturas testadas.
  • Na tarefa de Referência (identificação do objeto), o HINT-14B melhorou a precisão de 63,1% para 73,8%.
  • Em tarefas Temporais, a melhoria foi de +8,6 pontos percentuais.
• Análises de Ablação:
  • Dados Sintéticos vs. Reais: O uso combinado de dados sintéticos e reais no treinamento resultou no melhor desempenho, superando o uso exclusivo de dados reais.
  • Métodos de Codificação: A abordagem de tokens aprendidos (HINT) superou significativamente métodos alternativos como prompts visuais (setas desenhadas na imagem) ou entrada textual de coordenadas 2D/3D.
  • Importância do Gesto: Remover a mão dos vídeos (mantendo o cenário) causou uma queda drástica no desempenho, confirmando que o gesto é essencial para a tarefa.

4. Contribuições Chave

1. EGOPOINTVQA: A criação do primeiro benchmark e dataset focado em raciocínio deitico fundamentado em gestos em vídeos ego-cênicos, preenchendo uma lacuna crítica na pesquisa de IA vestível.
2. Hand Intent Tokens (HINT): Uma nova arquitetura simples e eficaz que codifica a geometria 3D da mão como tokens explícitos, permitindo que MLLMs interpretem a intenção referencial do usuário sem depender apenas de heurísticas visuais.
3. Validação Empírica: Demonstração de que a integração explícita de sinais de gesto supera os limites dos modelos atuais, estabelecendo uma nova linha de base para assistentes de IA baseados em gestos.

5. Significado e Impacto

Este trabalho é fundamental para o desenvolvimento de assistentes de IA de próxima geração para dispositivos vestíveis (como Apple Vision Pro, Meta Orion e óculos Ray-Ban).

• Naturalidade: Permite que os usuários interajam com a IA da mesma forma que interagem com humanos (apontando e usando pronomes), eliminando a necessidade de comandos verbais longos ou interfaces gráficas complexas.
• Raciocínio Espacial e Temporal: O método demonstra que a IA pode aprender a "olhar para onde o usuário olha/aponta", resolvendo ambiguidades que modelos puramente visuais não conseguem.
• Reprodutibilidade: Os autores liberarão o código, o modelo e o dataset, fomentando pesquisas futuras em compreensão de gestos e interação humano-computador em primeira pessoa.

Em resumo, o artigo resolve o problema de "o que o usuário está apontando" ao transformar a geometria da mão em uma linguagem que os grandes modelos de linguagem podem entender e raciocinar, superando significativamente o estado da arte atual.