Vision-Language Models Mistake Head Orientation for Gaze Direction: Nonverbal Conversation Cues

1. Declaração do Problema

Os Modelos Visão-Linguagem (VLMs) são cada vez mais esperados para compreender dicas de comunicação não verbal, como o olhar, para facilitar a interação humano-robô e a IA social. Embora existam modelos especializados de estimativa de olhar, eles carecem das capacidades de raciocínio geral dos VLMs. No entanto, permanece incerto se os VLMs podem inferir com precisão alvos de olhar (o que uma pessoa está olhando) em configurações zero-shot, particularmente ao distinguir entre aparência dos olhos (a direção real dos olhos) e orientação da cabeça (a direção para a qual o rosto está apontando).

O problema central investigado é se os VLMs possuem a capacidade fundamental de inferir o olhar com base em pistas sutis dos olhos ou se dependem de um viés heurístico onde assumem que uma pessoa está olhando na direção para a qual sua cabeça está voltada, mesmo quando os olhos estão olhando para outro lugar.

2. Metodologia

A. Construção do Conjunto de Dados e Estímulos

Os autores construíram um conjunto de dados controlado de 1.360 fotografias do mundo real apresentando uma única pessoa sentada à mesa com 2 a 4 objetos.

• Variáveis Controladas:
  • Alvo do Olhar: O objeto específico para o qual a pessoa está olhando.
  • Alvo da Cabeça: A direção para a qual a cabeça da pessoa está orientada.
  • Condições:
    • Congruente: Cabeça e olhos apontam para o mesmo objeto.
    • Incongruente: Cabeça aponta para um objeto, mas os olhos olham para um objeto diferente (o caso de teste crítico).
    • Natural: Orientação da cabeça é não restrita, mas confortável.
  • Manipulações: Ângulo de visão (Frente, Esquerda, Direita), Proximidade do Objeto (1–3, onde 3 é o mais próximo) e Número de Objetos (2–4).
• Novidade: As imagens são fotos do mundo real (não sintéticas) para garantir regularidades estatísticas de luz e sombra, mas são novas o suficiente para minimizar a sobreposição com dados de treinamento.

B. Desenho Experimental

• Modelos Avaliados: O estudo testou 111 VLMs em um pré-piloto, com um estudo principal focado nos melhores desempenhos: GPT-4o, GPT-5.2, Qwen3-VL, InternLM-XComposer2 e GLM-4.6V.
• Baselines: Incluíram modelos especializados como Moondream2 (híbrido com função especializada de olhar) e GazeLLE (modelo de visão ajustado finamente).
• Tarefa: Um formato de pergunta de múltipla escolha perguntando: "Qual objeto esta pessoa está olhando?", com opções randomizadas.
• Protocolo de Avaliação: Cada VLM visualizou 1.360 imagens 16 vezes com diferentes modelos de prompt (totalizando ~21.760 tentativas por modelo) para garantir poder estatístico.

C. Estrutura de Caracterização

Os autores propuseram uma série de testes empíricos para categorizar o comportamento do modelo em cinco tipos hipotéticos (visualizados na Figura 2 do artigo):

1. Competente em Olhar: Precisão ao nível humano.
2. Consciente dos Olhos: Precisão abaixo do nível humano, mas não fortemente enviesada pela orientação da cabeça.
3. Dominado pela Cabeça: Não consegue resolver o olhar com precisão; depende fortemente da orientação da cabeça como heurística.
4. Apenas Cabeça: Ignora largamente a aparência dos olhos.
5. Ambivalente Olho-Cabeça: Alterna aleatoriamente entre alvos de cabeça e de olhar.

Testes Chave:

• Teste 1 (Diferença de Desempenho): Comparar a precisão do VLM contra participantes humanos.
• Teste 2 (Viés da Cabeça): O modelo escolhe o alvo da cabeça com mais frequência do que o alvo do olhar quando eles diferem? O desempenho cai significativamente na condição Incongruente?
• Teste 3 (Resposta ao Olhar): A distância do erro do modelo aumenta à medida que a distância entre o alvo da cabeça e o alvo do olhar aumenta?
• Teste 4 (Lançamento de Moeda): A distribuição de escolhas do modelo muda com base no número de objetos entre os alvos da cabeça e do olhar?

D. Experimento de Mitigação (Prova de Conceito)

Para determinar se o viés é arquitetural ou baseado em dados, os autores ajustaram finamente o GazeLLE em seu conjunto específico de estímulos (divisão de 7:1:2 para treino/validação/teste).

3. Resultados Principais

A. Diferença de Desempenho

• Humanos: Alcançaram 89% de precisão nos estímulos do piloto.
• VLMs: A maioria dos modelos performou perto do acaso aleatório (~42%). Mesmo os melhores modelos (GPT-5.2, GPT-4o) alcançaram apenas 30–46% de precisão nos estímulos do estudo principal (Condição Natural).
• Modelos Especializados: Moondream2 e GazeLLE também falharam em atingir níveis humanos na configuração zero-shot, embora o GazeLLE tenha performado melhor que os VLMs gerais.

B. O Viés de Orientação da Cabeça

• Modo de Falha Dominante: A maioria dos VLMs exibiu um forte viés Dominado pela Cabeça.
  • Na Condição Incongruente, os modelos selecionaram frequentemente o objeto para o qual a cabeça estava voltada, em vez do objeto para o qual os olhos estavam olhando.
  • Teste 2.1: GPT-5.2 e Qwen3 escolheram o Alvo da Cabeça em vez do Alvo do Olhar significativamente mais frequentemente do que o acaso (62% e 57%, respectivamente).
  • Teste 2.3: O desempenho caiu drasticamente quando Alvo da Cabeça $\neq$ Alvo do Olhar (ex: GPT-5.2 caiu de 45% de precisão em Congruente para 28% em Incongruente).
• Efeito de Proximidade: Os modelos performaram pior quando os objetos estavam mais próximos, indicando que usam informações visuais, mas lutam com discriminação fina.
• Efeito de Visão: Os modelos mostraram menor sensibilidade à aparência dos olhos quando vistos de lado em comparação com a frente, ao contrário dos humanos, que mantêm alta precisão.

C. Análise de Causa

Os autores descartaram várias explicações alternativas:

• Resolução: Aumentar a resolução (até 1024x1024) não melhorou a precisão.
• Nomeação de Objetos: Os modelos conseguiam identificar objetos corretamente; o erro estava em vincular o olhar ao objeto.
• Arquitetura/Tamanho: Modelos maiores (mais parâmetros) e versões mais recentes não mostraram melhorias significativas.
• Conclusão: O viés é provavelmente baseado em dados. Os dados de treinamento (imagens da internet) provavelmente super-representam casos onde cabeça e olhar se alinham e sub-representam "olhares de lado" ou dicas incongruentes, falhando em ensinar ao modelo a nuance social do desacoplamento olho-cabeça.

D. Resultados do Ajuste Fino

• O ajuste fino do GazeLLE no conjunto de dados específico mitigou significativamente o viés.
• Condição Incongruente: A precisão saltou de 15,65% (pré-treinado) para 34,15% (ajustado finamente).
• Condição Congruente: Melhorou modestamente (62,82% $\to$ 70,00%).
• Implicação: O modelo pode aprender a depender da aparência dos olhos se exposto a exemplos contrários suficientes, confirmando a hipótese da distribuição de dados.

4. Contribuições Principais

1. Caracterização Empírica: Introduziu uma estrutura rigorosa para categorizar comportamentos de inferência de olhar de VLMs, indo além de benchmarks simples de precisão para entender como os modelos falham (ex: Dominado pela Cabeça vs. Consciente dos Olhos).
2. Criação de Conjunto de Dados: Lançou um conjunto de dados controlado de alta qualidade com 1.360 imagens do mundo real, projetado especificamente para desacoplar a orientação da cabeça da direção do olhar.
3. Identificação de Viés: Forneceu fortes evidências de que os VLMs atuais de última geração dependem de uma "heurística de orientação da cabeça" em vez de analisar a aparência dos olhos, levando a uma diferença significativa de desempenho em comparação com humanos.
4. Insight Centrado em Dados: Demonstrou, via ajuste fino, que este viés não é uma limitação arquitetônica inerente, mas um resultado da distribuição de dados de treinamento, oferecendo um caminho claro para melhoria.

5. Significado e Direções Futuras

• IA Social: Para robôs e agentes conversacionais interagirem naturalmente, devem compreender o olhar para resolver ambiguidades de referência e inferir intenções. Os VLMs atuais são pouco confiáveis para esta tarefa.
• Metodologia de Avaliação: O artigo defende uma "avaliação guiada por hipóteses" e sondagem comportamental controlada (similar à ciência cognitiva) em vez de apenas benchmarking em imagens da internet, onde heurísticas de cabeça frequentemente bastam.
• Recomendações de Treinamento: VLMs futuros requerem dados de treinamento que capturem explicitamente a interplay entre orientação corporal/cabeça e aparência dos olhos, incluindo especificamente casos "incongruentes" onde a cabeça e os olhos apontam em direções diferentes.
• Considerações Éticas: Os autores alertam que, embora os modelos atuais careçam desta habilidade, o potencial de máquinas interpretarem dicas não verbais sem consentimento é um risco societal que deve ser gerenciado à medida que a tecnologia melhora.

Em resumo, o artigo revela que, apesar de suas capacidades avançadas, os VLMs atuais estão "cegos" para as pistas sutis do olhar humano, recorrendo a uma heurística de orientação da cabeça mais simples e, frequentemente, incorreta. Esta limitação é solucionável através de curadoria de dados direcionada e ajuste fino.