Do MLLMs Understand Pointing? Benchmarking and Enhancing Referential Reasoning in Egocentric Vision

1. Problema Identificado

O artigo aborda uma lacuna crítica na inteligência artificial para agentes em visão egocêntrica (como óculos inteligentes): a incapacidade dos Modelos de Linguagem Multimodal (MLLMs) atuais de compreender com precisão gestos de apontar.

• Alucinação Referencial: Os modelos existentes frequentemente falham em rastrear a projeção geométrica precisa do dedo apontando. Em vez disso, eles dependem de correlações espúrias, como a proximidade visual do objeto à mão ou a saliência do objeto na cena. Isso leva a erros onde o modelo identifica o objeto errado (ex: apontar para uma prateleira, mas o modelo diz que é para "mostrar o preço" em vez de "guardar livros").
• Falta de Dados Espaciais: Embora existam benchmarks de grounding visual (como RefCOCO), eles são baseados em imagens de terceiros e descrições linguísticas explícitas. Não há dados suficientes que capturem a geometria 3D complexa e a ambiguidade de referência inerente à visão em primeira pessoa (egocêntrica) combinada com gestos naturais.
• Deficiência de Raciocínio Espacial: Os modelos atuais não conseguem separar a aparência da mão da intenção espacial de apontar, falhando em tarefas que exigem raciocínio geométrico fino.

2. Metodologia: EgoPoint-Bench

Para resolver essas questões, os autores introduzem o EgoPoint-Bench, um benchmark abrangente de perguntas e respostas (QA) projetado especificamente para avaliar e melhorar o raciocínio de apontar em visão egocêntrica.

A. Coleta e Geração de Dados (Estratégia Híbrida)

O dataset contém mais de 11.000 amostras (10.567 simuladas e 1.162 do mundo real), construídas através de duas fases:

1. Simulação (Point-Sim):
   • Utiliza o simulador Habitat-Sim 3.0 e ambientes 3D de alta fidelidade (AI2-THOR, HSSD, ReplicaCAD, HM3D).
   • Implementa um pipeline baseado em física com ray-casting para gerar rótulos de apontar livres de ruído.
   • Utiliza 42 modelos de mãos diferentes (variação de pele, roupas, mão esquerda/direita) para garantir diversidade estrutural.
   • Garante que o raio do dedo aponte exatamente para o objeto-alvo sem obstruções.
2. Mundo Real:
   • Coleta de dados com voluntários usando óculos inteligentes (MLVision) em diversos ambientes (lojas, apartamentos, ruas, zoológicos).
   • Os participantes apontam para objetos e verbalizam o nome, servindo como ground truth.
   • Processamento automatizado com verificação humana para garantir precisão.

B. Taxonomia de Avaliação

O benchmark avalia os modelos em 5 dimensões de capacidade e 3 níveis de complexidade deíctica (referência):

• Dimensões:
  1. Percepção Básica (atributos visuais).
  2. Função e Estado (utilidade do objeto).
  3. Contexto Espacial (relações espaciais egocêntricas).
  4. OCR (leitura de texto no objeto).
  5. Resiliência Adversarial (resistência a distrações e referências vazias).
• Níveis de Deixis (Linguagem):
  • L1 (Ação Explícita): "O objeto que estou apontando".
  • L2 (Locativo Visual): "Aquele objeto ali".
  • L3 (Pronome Implícito): "Isso" / "Este".

C. Construção de QA

Utiliza um pipeline híbrido "geração por máquina, verificação por humanos". As perguntas incluem múltipla escolha, verdadeiro/falso e abertas, cobrindo desde descrições explícitas até instruções implícitas.

3. Contribuições Principais

1. EgoPoint-Bench: O primeiro benchmark unificado que combina visão egocêntrica real, mecânica natural de apontar e QA complexo, superando as limitações de benchmarks anteriores baseados em terceiros ou prompts visuais artificiais (como caixas delimitadoras desenhadas).
2. Pipeline de Geração de Dados: Um sistema de síntese física-driven que garante precisão geométrica e diversidade linguística, criando um dataset de alta qualidade com mais de 11k pares.
3. Validação de Generalização Sim-to-Real: Demonstra que dados sintéticos de alta fidelidade podem ser usados para treinar modelos que generalizam eficazmente para cenários do mundo real, superando a escassez de dados anotados manualmente.

4. Resultados Experimentais

Os autores avaliaram diversos MLLMs (proprietários como Gemini 3, GPT-5 e open-source como Qwen3-VL, LLaVA, InternVL) em dois cenários: Zero-shot (inferência direta) e Fine-tuning (usando LoRA nos dados sintéticos).

• Desempenho Inicial (Zero-shot): Mesmo os modelos mais avançados falharam consistentemente, com acurácia média em torno de 60%. Eles demonstraram dificuldade severa em tarefas que exigem raciocínio geométrico preciso (dimensões de Resiliência Adversarial e Percepção Básica), frequentemente alucinando objetos próximos à mão.
• Melhoria com Fine-tuning (LoRA): O ajuste fino nos dados sintéticos resultou em ganhos significativos, variando de +15% a +25% na acurácia geral.
  • Modelos como LLaVA-NeXT-7B tiveram um aumento de 25,41%.
  • O modelo Qwen3-VL-8B ajustado melhorou sua acurácia no conjunto de teste do mundo real de 58,14% para 71,96%.
• Generalização Sim-to-Real: Os modelos treinados apenas em dados simulados demonstraram uma transferência robusta para dados reais, provando que o aprendizado de características geométricas e semânticas do apontar no simulador é transferível.
• Análise de Erros: A maioria dos erros nos modelos base foi classificada como "Distração Proximal" (focar no objeto ao lado do dedo) ou "Negligência do Gestual" (ignorar o apontar). O fine-tuning reduziu drasticamente esses erros (Recue Score de 57% a 72%).

5. Significado e Conclusão

O trabalho destaca que a compreensão de gestos de apontar em visão egocêntrica não é apenas uma tarefa de reconhecimento de objetos, mas um problema fundamental de raciocínio espacial e alinhamento geométrico.

• Supervisão Espacial: A pesquisa demonstra que a supervisão espacial-aware (baseada em geometria 3D) é crucial para MLLMs, pois o pré-treinamento geral é insuficiente para entender a intenção de "apontar".
• Caminho Escalável: O sucesso do uso de dados sintéticos de alta fidelidade oferece um caminho escalável para desenvolver assistentes de IA egocêntricos precisos, contornando o custo proibitivo de anotação manual massiva de dados do mundo real.
• Impacto Futuro: Este avanço é essencial para a próxima geração de assistentes de Realidade Aumentada (AR) e óculos inteligentes, permitindo interações naturais e desambiguadas entre humanos e máquinas.

Em resumo, o artigo prova que, embora os MLLMs atuais sofram de "alucinação referencial" ao interpretar apontamentos, o uso de benchmarks rigorosos e dados sintéticos de alta qualidade pode corrigir essas falhas, habilitando agentes de IA a compreender o mundo através dos olhos e gestos do usuário.