GPT-4o reads the mind in the eyes

Resumo Técnico: GPT-4o Lê a Mente através dos Olhos

Definição do Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado a capacidade de reproduzir inferências de aparência humana em relação a emoções e estados mentais a partir de texto, permanece incerto se essa capacidade se estende a modalidades não textuais, especificamente pistas sociais visuais. Os seres humanos possuem uma habilidade sofisticada de "ler a mente através dos olhos", uma competência tipicamente medida pelo Teste de Leitura da Mente nos Olhos (RMET). Este estudo investiga se o GPT-4o, um LLM multimodal de última geração, consegue realizar esta tarefa e compara os seus mecanismos de processamento com a cognição humana. Especificamente, os autores examinam se o GPT-4o exibe assinaturas de processamento facial semelhantes às humanas, como o "efeito de inversão" (redução de desempenho em faces invertidas), e se os seus padrões de erro revelam diferenças qualitativas na forma como processa informações de estados mentais em comparação com os humanos.

Metodologia
Os investigadores utilizaram dois testes psicométricos validados:

1. Reading the Mind in the Eyes Test (RMET): Um teste padrão utilizando 36 imagens em preto e branco de regiões oculares de faces brancas.
2. Multiracial RMET (MRMET): Uma versão mais recente e racialmente inclusiva, utilizando 37 imagens coloridas de alta resolução de faces diversas, desenhada para evitar o viés racial e garantir que os estímulos não estivessem presentes nos dados de treinamento do GPT-4o (lançado em maio de 2024; MRMET publicado em abril de 2024).

Desenho Experimental:

• Sujeitos: 51 adultos humanos para o RMET e 400 adultos humanos para o MRMET (200 por orientação). O GPT-4o (modelo gpt-4o-2024-08-06) foi testado com 25 repetições para o RMET e 200 repetições para o MRMET por orientação.
• Manipulação: As imagens foram apresentadas em duas orientações: vertical (upright) e invertida.
• Procedimento: Tanto os humanos quanto o GPT-4o foram solicitados a selecionar a melhor palavra entre quatro opções que descrevessem o estado mental da pessoa na imagem.
• Análise:
  • Precisão: Medida como a fração de respostas corretas utilizando regressão logística de efeitos mistos.
  • Análise de Erro: Os autores foram além da simples precisão para analisar a estrutura dos erros usando a teoria da informação. Calcularam matrizes de confusão, índices de concentração de erro (ajustando uma função de decaimento exponencial às probabilidades de erro), similaridade estrutural (correlação de Spearman de vetores de erro) e conteúdo de informação nos erros (informação mútua quantificando quanta informação de estado mental é retida mesmo em respostas incorretas).

Resultados Principais

1. Precisão de Desempenho e o Efeito de Inversão:

   • Faces Verticais: O GPT-4o superou significativamente os humanos tanto no RMET quanto no MRMET quando as faces estavam na orientação vertical.
   • Faces Invertidas: O GPT-4o apresentou uma queda severa de desempenho (>50% de diminuição), caindo abaixo do nível do acaso para faces invertidas no MRMET. Os humanos também mostraram um declínio (aprox. 15%), mas permaneceram acima do acaso.
   • Interação: Houve uma interação significativa entre o modelo e a orientação, indicando que, enquanto os humanos experienciam uma redução quantitativa na eficiência, o GPT-4o experiencia uma interrupção qualitativa na sua capacidade de extrair informações diagnósticas de faces invertidas.

2. Vieses Raciais e de Género:

   • Raça: No MRMET, o GPT-4o teve um desempenho significativamente melhor em faces Brancas do que em faces Não-Brancas. Os participantes humanos não mostraram diferença significativa na precisão baseada na raça do estímulo (embora uma vantagem de mesma raça tenha sido observada em subgrupos específicos).
   • Género: A inversão afetou desproporcionalmente o processamento de estímulos masculinos pelo GPT-4o, causando uma queda de desempenho abaixo do acaso, enquanto os humanos não mostraram diferença significativa de precisão baseada no género.

3. Estrutura de Erro e Conteúdo de Informação:

   • Consistência: Os erros do GPT-4o foram altamente consistentes entre as execuções (baixa dispersão), enquanto os erros humanos foram mais dispersos.
   • Similaridade Estrutural: Para faces verticais, os padrões de erro de humanos e do GPT-4o mostraram similaridade moderada. No entanto, para faces invertidas, as estruturas de erro divergiram significativamente. O padrão de erro do GPT-4o para faces invertidas foi fracamente similar ao seu próprio padrão vertical e fracamente similar aos padrões humanos invertidos.
   • Informação nos Erros: Os padrões de erro do GPT-4o continham significativamente mais informação do que os erros humanos, particularmente para faces verticais. Isto sugere que, quando o GPT-4o erra, não está a adivinhar aleatoriamente; está a aplicar consistentemente uma lógica específica, embora incorreta, à informação do estado mental.
   • Dependência de Orientação: O conteúdo de informação dos erros do GPT-4o diminuiu significativamente para estímulos invertidos, enquanto a informação de erro humana permaneceu estável entre as orientações.

Significado e Alegações
O artigo afirma que o GPT-4o possui capacidades avançadas para inferir estados mentais a partir de pistas visuais mínimas (os olhos), superando a precisão humana em estímulos verticais. Contudo, o estudo destaca diferenças fundamentais nos mecanismos de processamento subjacentes:

• Diferenças Qualitativas vs. Quantitativas: Os autores argumentam que, enquanto o "efeito de inversão" nos humanos representa uma redução quantitativa na eficiência de processamento (interrupção do processamento configuracional), no GPT-4o, este representa uma mudança qualitativa na estrutura do espaço de erro. O GPT-4o não se torna apenas menos eficiente; ele muda para um modo de processamento que é altamente estruturado, mas fundamentalmente desalinhado com a cognição humana quando as faces estão invertidas.
• Viés Sistemático: A alta consistência dos erros do GPT-4o implica que os seus erros são sistemáticos e não aleatórios. Isto sugere que perturbações (como a inversão) ou vieses (como o viés racial) podem levar a interpretações erróneas previsíveis e sistemáticas de estados mentais humanos em interações humano-IA, podendo causar falhas de comunicação.
• Artefactos de Treino: Os autores sugerem que a vulnerabilidade extrema do GPT-4o à inversão provém provavelmente dos seus dados de treino, que são predominantemente compostos por faces verticais, espelhando déficits dependentes da experiência observados em Redes Neuronais Convolucionais (CNNs).
• Viés Racial: A disparidade de desempenho entre faces Brancas e Não-Brancas confirma a presença de viés racial no processamento facial do GPT-4o, definido aqui como uma disparidade de precisão entre grupos raciais.

O estudo conclui que, embora o GPT-4o demonstre uma impressionante sensibilidade social, as suas capacidades de "leitura de mente" são distintas da cognição humana, caracterizadas por uma estrutura de erro rígida e dependente da orientação, bem como por vieses raciais significativos que devem ser considerados para aplicações em saúde mental, robótica social e tecnologias de comunicação.