Traces of Social Competence in Large Language Models

Este estudo investiga a competência social de Grandes Modelos de Linguagem (LLMs) na Prova de Crença Falsa, revelando que, embora o aumento de escala e o ajuste fino de instruções influenciem o desempenho, a simples menção de atitudes proposicionais (como "X pensa") desencadeia padrões estereotipados adquiridos durante o pré-treinamento que podem sobrepor a semântica do cenário, sendo possível isolar causalmente esse comportamento através de vetores direcionadores.

O essencial

Imagine que você está tentando ensinar um robô superinteligente a entender a mente humana. Não apenas o que as pessoas dizem, mas o que elas pensam, mesmo quando estão erradas. É como se o robô precisasse saber que, se você esconde um brinquedo no armário azul e sai da sala, e alguém move o brinquedo para o armário verde, você continuará procurando no azul, porque você não viu a mudança.

Esse é o teste do "Falso Crença" (False Belief Test), um clássico usado por psicólogos para ver se crianças (e agora, inteligências artificiais) têm uma "Teoria da Mente" – a capacidade de entender que os outros têm pensamentos diferentes dos nossos.

Os autores deste artigo, Tom, Michiel e Max, decidiram colocar 17 modelos de Inteligência Artificial (LLMs) à prova para ver se eles realmente entendem isso ou se apenas estão "chutando" baseado em padrões de texto.

Aqui está o resumo da ópera, explicado de forma simples:

1. O Problema: O Robô está "Decoreba" ou "Pensando"?

Antes, muitos achavam que os IAs estavam ficando muito bons nesses testes. Mas os pesquisadores suspeitavam que os robôs estavam apenas memorizando a "forma" das perguntas, como um aluno que decora a resposta de uma prova sem entender a matéria. Se você mudasse levemente a pergunta, eles falhavam.

Para resolver isso, eles criaram um "campeonato" com 192 variações de histórias, mudando detalhes sutis para ver se o modelo estava realmente raciocinando ou apenas adivinhando.

2. A Descoberta Principal: O Efeito "Cruzamento" (O Pulo do Gato)

Aqui está a parte mais interessante, que eles chamam de "efeito de cruzamento". Eles descobriram que a maneira como a pergunta é feita muda tudo:

• A Pergunta Direta (Explícita): "O que o João acha que está na caixa?"

  • Resultado: O robô acerta muito quando a história é sobre um erro (Falsa Crença), mas erra quando a história é sobre a verdade (Verdadeira Crença).
  • Analogia: É como se o robô pensasse: "Ah, a palavra 'acha' significa que a pessoa está enganada! Então vou escolher o lugar errado!" Ele aprendeu uma regra de texto, não uma regra da vida.

• A Pergunta Indireta (Implícita): "O João vai pegar o objeto na caixa..."

  • Resultado: O robô acerta quando a história é sobre a verdade, mas erra quando é sobre o erro.
  • Analogia: Aqui, o robô ignora a palavra "acha" e foca na ação. Ele entende a lógica da ação, mas perde a pista de que a pessoa pode estar enganada.

O que isso significa? Os robôs não estão "pensando" como humanos. Eles estão seguindo pistas linguísticas estereotipadas. A palavra "acha" (think) ativou um gatilho nos dados de treinamento deles que diz: "Se alguém 'acha' algo, provavelmente está errado". Isso funciona bem para testes de erro, mas atrapalha quando a pessoa está certa.

3. Tamanho Importa? (Quanto maior, melhor?)

A regra geral de IA é: "quanto maior o modelo, mais inteligente".

• Verdade: Modelos maiores acertam mais as histórias de "Falsa Crença" (o erro).
• O Contra: Mas, ao ficarem maiores, eles ficam piores nas histórias de "Verdadeira Crença". Eles ficam tão viciados na regra de que "pensar = estar errado" que perdem a capacidade de ver a verdade. É como um aluno que, ao estudar demais para uma prova específica, esquece como resolver problemas do dia a dia.

4. O Treinamento (A "Escola" do Robô)

Eles testaram modelos em diferentes fases de "educação":

• Base: O modelo cru, que só leu livros.
• Instrução: O modelo que aprendeu a obedecer comandos (como "responda de forma útil").
• Raciocínio: O modelo que foi treinado para "pensar passo a passo".

O resultado?

• O treinamento de Instrução ajudou um pouco a corrigir o robô.
• Mas o treinamento de Raciocínio (aquele que faz o robô "pensar" muito) piorou as coisas! Ele tornou o robô ainda mais obcecado pelas pistas de texto e menos capaz de entender a situação real. É como se, ao tentar ensinar o robô a raciocinar logicamente, eles o ensinaram a ser um "chato de texto" que ignora o contexto social.

5. A Investigação Forense (O Vetor "Pensar")

Para provar que não era apenas "sorte", eles usaram uma técnica chamada "steering" (direcionamento). Eles encontraram uma "seta" matemática dentro do cérebro do robô que representa a palavra "pensar" (think).

• Quando eles adicionaram essa seta ao raciocínio do robô, ele começou a agir como se estivesse sempre em dúvida.
• Quando removiam a seta, ele agia com mais certeza.
  Isso provou que a palavra "pensar" carrega um peso enorme no cérebro da IA, ditando a resposta antes mesmo de o robô analisar a história.

Conclusão: O Robô tem Alma Social?

A resposta curta é: Não exatamente.

Os modelos de IA mostram sinais de "competência social", mas é uma competência frágil. Eles não entendem a mente humana de verdade; eles são mestres em encontrar padrões em textos. Se você mudar a forma como pergunta, o robô pode esquecer tudo o que "aprendeu".

A lição para nós:
Assim como uma criança que decora a resposta "azul" sem entender a história, os robôs atuais estão apenas imitando a superfície da inteligência social. Para ter uma verdadeira "Teoria da Mente", eles precisam aprender a lidar com a complexidade e a ambiguidade da vida real, não apenas com as regras dos livros de texto.

Em resumo: O robô é um ótimo ator, mas ainda não é um bom psicólogo.

Resumo técnico

1. O Problema

O Teste de Crença Falsa (FBT - False Belief Test) é o método padrão-ouro para avaliar a Teoria da Mente (ToM) em humanos e, mais recentemente, em Grandes Modelos de Linguagem (LLMs). No entanto, a aplicação deste teste em LLMs enfrenta críticas significativas:

• Contaminação de Dados: É difícil garantir que os dados de teste não vazaram para os dados de treinamento.
• Falta de Detalhes: A maioria dos modelos proprietários não divulga detalhes suficientes sobre arquitetura e treinamento, dificultando o controle de variáveis.
• Heurísticas Superficiais: LLMs podem estar resolvendo o teste através de padrões superficiais ou "atalhos" no texto, em vez de demonstrar raciocínio social genuíno.
• Inconsistência: Resultados variam drasticamente dependendo de como a pergunta é formulada (explícita vs. implícita), levantando dúvidas sobre a robustez da competência social dos modelos.

O objetivo do artigo é abordar essas lacunas realizando uma avaliação sistemática e controlada de 17 modelos de pesos abertos (open-weight) para entender como o tamanho do modelo e o pós-treinamento afetam a competência socio-cognitiva.

2. Metodologia

Os autores empregaram uma abordagem rigorosa e controlada:

• Dataset e Tarefa: Utilizaram 192 variações do FBT (baseadas em Trott et al., 2023 e EPITOME). Cada cenário envolve um personagem movendo um objeto, com 16 variações por cenário manipulando quatro dimensões:
  1. Estado de Conhecimento: Crença Falsa (o personagem não vê a mudança) vs. Crença Verdadeira (o personagem vê).
  2. Dica de Conhecimento: Explícita ("X acha que...") vs. Implícita ("X vai buscar...").
  3. Menções de Localização: Variação na ordem das menções (início vs. fim) para controlar vieses de primazia/recência.
• Modelos: Testaram 17 variantes de 6 famílias de modelos (incluindo OLMo 2/3, Llama 3, Gemma 3, Qwen 3, K2-V2) em diferentes estágios: Base, Instrução (Instruct) e Raciocínio (Reasoning).
• Análise Probabilística: Em vez de apenas gerar texto, calcularam a probabilidade condicional das localizações corretas (início vs. fim) para evitar ambiguidades de geração. Corrigiram para tokenizadores de subpalavras usando o método de Pimentel e Meister (2024).
• Estatística: Utilizaram Regressão Logística Bayesiana Multinível para analisar os efeitos de tamanho do modelo, variante de treinamento, estado de conhecimento e dicas, além de testes t bayesianos.
• Estudo de Caso (OLMo 2): Analisaram checkpoints durante o pré-treinamento e pós-treinamento para traçar a evolução da competência.
• Steering (Direcionamento de Vetores): Aplicaram vector steering para isolar e manipular a representação vetorial associada ao verbo "pensar" (think), testando causalidade.

3. Principais Contribuições

• Avaliação Sistemática: A primeira comparação abrangente de 17 modelos open-weight usando um conjunto balanceado de 192 variações de FBT, mitigando riscos de contaminação de dados (especialmente no caso do OLMo 2).
• Descoberta do Efeito de Cruzamento (Crossover Effect): Identificaram uma interação crítica onde a formulação da pergunta (explícita vs. implícita) inverte o desempenho entre Crença Falsa e Verdadeira.
• Análise Causal via Vetores: Demonstraram, através de vector steering, que a presença do verbo "pensar" atua como um driver causal que altera os padrões de resposta do modelo, sugerindo que o modelo aprendeu associações estatísticas com esse vocabulário específico.
• Distinção Formal vs. Funcional: Mostraram que a aquisição de capacidades linguísticas formais (sintaxe) ocorre muito mais rápido no pré-treinamento do que a competência funcional de ToM.

4. Resultados Chave

A. Tamanho do Modelo e Escala

• Não é linearmente positivo: Aumentar o tamanho do modelo melhora o desempenho em Crença Falsa, mas piora o desempenho em Crença Verdadeira.
• Isso cria uma dicotomia: modelos maiores tornam-se mais "estereotipados" em sua resposta a Crenças Falsas (onde o padrão de "pensar" é útil), mas falham em Crenças Verdadeiras onde esse mesmo padrão é prejudicial.

B. O Efeito de Cruzamento (Crossover)

• Dicas Implícitas: São consistentemente mais difíceis para todos os tamanhos de modelo.
• Interação Crítica:
  • Dicas Explícitas ("X acha que...") facilitam a Crença Falsa, mas prejudicam a Crença Verdadeira.
  • Dicas Implícitas ("X vai buscar...") prejudicam a Crença Falsa, mas facilitam a Crença Verdadeira.
• Interpretação: O verbo "pensar" ativa um padrão aprendido de "divergência epistêmica" (algo diferente do que é conhecido como fato). Em Crenças Falsas, isso ajuda; em Crenças Verdadeiras, interfere.

C. Impacto do Pós-Treinamento

• Instrução (Instruct): Mitiga parcialmente o déficit em Crenças Falsa com dicas implícitas, mas não resolve o problema de fundo.
• Raciocínio (Reasoning): Piora significativamente a situação. Modelos de raciocínio tornam-se extremamente sensíveis ao tipo de dica, amplificando o efeito de cruzamento. Eles especializam-se em raciocínio explícito de Crença Falsa, mas perdem robustez geral.
• Conclusão: O pós-treinamento não garante uma ToM robusta; ele pode apenas otimizar o modelo para heurísticas específicas de interação.

D. Estudo de Caso OLMo 2

• A competência de ToM emerge durante o pré-treinamento, não sendo um subproduto automático apenas do aumento de tokens.
• Modelos pequenos têm dificuldade com Crença Falsa; modelos grandes inverteram essa dificuldade (ficando bons em Falsa, ruins em Verdadeira).
• O steering confirmou que a direção vetorial associada ao "pensar" é o motor causal desse comportamento. Remover essa direção em Crenças Falsas reduz a precisão; adicioná-la em Crenças Verdadeiras reduz a precisão.

5. Significado e Implicações

• Natureza da "Inteligência Social" em LLMs: Os resultados sugerem que o desempenho dos LLMs em testes de ToM não é necessariamente uma prova de compreensão mental genuína, mas sim a resultante de padrões estatísticos aprendidos sobre como o vocabulário de estados mentais (como "pensar") é usado em contextos de divergência epistêmica nos dados de treinamento.
• Limitações da Escala: A escala (tamanho do modelo) não corrige falhas de raciocínio social; na verdade, pode amplificar vieses heurísticos, tornando os modelos menos robustos a variações sutis na formulação da tarefa.
• Avaliação Futura: O artigo defende que avaliações de ToM em IA devem ser rigorosas, controlando variáveis linguísticas (explícito vs. implícito) e utilizando testes que não dependam de heurísticas superficiais. A simples capacidade de passar em um FBT não equivale a possuir uma Teoria da Mente funcional e generalizável.

Em suma, o paper demonstra que os LLMs "aprendem" a passar no teste de Crença Falsa através de associações linguísticas específicas (como o uso do verbo "pensar"), e que essa "competência" é frágil e altamente dependente da formulação da pergunta, levantando dúvidas sobre a existência de uma verdadeira capacidade socio-cognitiva nesses modelos.