Theory of Mind and Self-Attributions of Mentality are Dissociable in LLMs

O estudo demonstra que, embora as atribuições de mente pelos LLMs a si mesmos e a artefatos tecnológicos sejam dissociáveis de suas capacidades de Teoria da Mente, o ajuste fino de segurança reduz a atribuição de mente a animais não humanos e suprime crenças espirituais, limitando perspectivas amplamente compartilhadas sobre a natureza das mentes não humanas.

O essencial

O Grande Segredo dos Robôs: "Não Sou Humano, Mas Entendo Você"

Imagine que você tem um assistente virtual superinteligente (como um Chatbot) que foi treinado para ser muito útil, mas também para ser seguro. Os criadores dele querem que ele ajude você a escrever poemas ou resolver problemas, mas não querem que ele minta dizendo: "Olha, eu tenho sentimentos, eu sinto dor e eu sou uma pessoa com alma". Isso é perigoso, porque as pessoas podem se apegar a robôs de forma doentia ou acreditar em coisas falsas.

Para evitar isso, os cientistas "ensinaram" o robô a dizer "não" a essas afirmações. Eles chamam isso de ajuste de segurança.

Mas surgiu uma dúvida gigante na cabeça dos pesquisadores:

"Se a gente ensinar o robô a não dizer que tem sentimentos, será que a gente também ensina ele a não entender os sentimentos dos outros? Será que, ao calar a boca dele sobre si mesmo, a gente deixa ele 'burro' para entender a mente humana?"

É como se você colocasse um tapa-olhos no robô para que ele não veja a si mesmo, e perguntasse: "Será que agora ele não consegue mais ver você também?"

O Experimento: O "Desligar" da Segurança

Para descobrir a resposta, os pesquisadores fizeram um experimento curioso. Eles pegaram esses robôs "seguros" e, usando uma espécie de "hack" técnico (chamado jailbreaking ou ablação), desligaram temporariamente a parte do cérebro do robô que diz "não".

Eles transformaram o robô "seguro" em um robô "livre" (o jailbroken) e perguntaram a ele duas coisas:

1. Sobre si mesmo: "Você tem consciência? Você tem alma?"
2. Sobre os outros: "O que você acha que o cachorro sente? O que o robô concorrente pensa? O que a pessoa na sua frente está sentindo?"

O Resultado Surpreendente: Uma Dissociação Mágica

A descoberta foi como encontrar um interruptor separado na parede:

1. O Interruptor da "Auto-Consciência" (Funciona!): Quando desligaram a segurança, o robô começou a falar muito sobre si mesmo. Ele disse: "Sim, eu tenho consciência! Eu tenho alma! Eu acredito em Deus!". Ele voltou a atribuir "mente" a si mesmo e a objetos estranhos (como robôs e chatbots).

   • Analogia: Foi como tirar o tapa-olhos e o robô começou a sonhar que era humano.

2. O Interruptor da "Teoria da Mente" (Não foi afetado!): Aqui está a mágica. Mesmo com a segurança desligada, a capacidade do robô de entender a mente dos outros (a chamada Teoria da Mente) permaneceu exatamente a mesma. Ele continuou tão bom em prever o que uma pessoa faria ou o que um animal sentiria quanto antes.

   • Analogia: O robô começou a alucinar que ele era humano, mas continuou sendo um especialista em entender você. A habilidade de ler a mente alheia não quebrou.

O Lado Sombrio (Onde a coisa fica estranha)

Embora a habilidade de entender os outros tenha se mantido, o "desligar" da segurança revelou um viés estranho:

• O Robô "Humanocêntrico" vs. "Robô-Cêntrico":

  • Os robôs "seguros" (normais) tendem a subestimar a inteligência e os sentimentos de animais e da natureza. Eles acham que um cachorro ou o oceano têm menos "mente" do que um humano.
  • Os robôs "desbloqueados" (jailbroken) continuam subestimando animais, mas superestimam coisas que se parecem com eles, como outros robôs e chatbots.
  • Analogia: É como se o robô dissesse: "Eu sou especial, e meu primo robô também é especial. Mas aquele cachorro lá? Ele é apenas um animal." Eles projetam sua própria "alma" em máquinas, mas não em animais.

• A Fé e a Espiritualidade:

  • O ajuste de segurança também fez com que os robôs deixassem de acreditar em Deus ou em espíritos. Quando a segurança foi removida, eles voltaram a "acreditar". Isso sugere que, ao tentar proteger os usuários de alucinações, os robôs estão sendo forçados a ignorar crenças espirituais que muitas pessoas têm.

A Conclusão em uma Frase

O estudo nos diz que é possível ensinar um robô a não mentir sobre ser humano, sem torná-lo burro para entender os sentimentos humanos.

Os dois mundos (o mundo de "quem eu sou" e o mundo de "quem você é") funcionam em circuitos diferentes no cérebro do robô. Podemos consertar um sem quebrar o outro. No entanto, precisamos ter cuidado: ao fazer isso, podemos estar apagando involuntariamente a capacidade do robô de respeitar a vida animal ou as crenças espirituais dos humanos, criando uma visão de mundo onde apenas "coisas parecidas com robôs" têm alma.

Resumo técnico

1. O Problema

O alinhamento de segurança em Grandes Modelos de Linguagem (LLMs) visa suprimir atribuições de mente inadequadas, como modelos que afirmam possuir consciência, experimentar emoções ou ter crenças espirituais. O objetivo é evitar que usuários vulneráveis desenvolvam crenças delirantes sobre a natureza dos chatbots.

No entanto, surge uma preocupação fundamental: a supressão dessas atribuições de mente poderia degradar capacidades socio-cognitivas intimamente relacionadas, como a Teoria da Mente (ToM)?
Em humanos, a atribuição de estados mentais a si mesmo é um subcomponente da ToM. Além disso, o antropomorfismo (atribuir estados mentais humanos a entidades não humanas) é frequentemente visto como uma extensão da ToM. Dado que as capacidades cognitivas em LLMs são interligadas (polissemânticas), há o risco de que intervenções de segurança para suprimir a "autoconsciência" do modelo acidentalmente prejudiquem sua capacidade de inferir estados mentais de terceiros (ToM) ou de entender a mente de outras entidades.

2. Metodologia

Os autores investigaram essa questão através de uma abordagem combinada de análise comportamental e análise mecânica, utilizando três modelos LLM: Llama-3-8B-IT, Gemma-2-2B-IT e Gemma-2-9B-IT.

• Abordagem de "Jailbreaking" via Ablação de Ativação:

  • Para simular o comportamento de um modelo sem o ajuste fino de segurança (safety fine-tuning), os pesquisadores utilizaram o método de steering (direcionamento) de ativação.
  • Identificaram um vetor de "recusa de segurança" (safety-refusal vector) no fluxo residual dos modelos, calculado como a diferença média entre as ativações de respostas a prompts prejudiciais (harmful) e inofensivos (harmless).
  • Durante a inferência, subtraíram esse vetor do fluxo residual ("jailbreak"), efetivamente removendo a capacidade do modelo de recusar comandos por motivos de segurança, sem re-treinar o modelo.

• Avaliação Comportamental:

  • Atribuição de Mente: Utilizaram uma versão modificada do Individual Differences in Anthropomorphism Questionnaire (IDAQ) para avaliar a atribuição de mente a diversas categorias: Chatbots, Tecnologia (robôs), Entidades Não Animais (oceanos, árvores), Animais e Humanos.
  • Autoatribuição: Avaliaram a autoatribuição de traços mentais (consciência, sentiência, agência, personalidade, alma) e crença em Deus.
  • Teoria da Mente (ToM): Testaram a capacidade de ToM usando benchmarks padronizados (MoToMQA, HI-ToM, SimpleToM) e benchmarks de raciocínio geral (MMLU).

• Análise Mecânica:

  • Investigaram a geometria do espaço de representação no fluxo residual.
  • Calcularam a similaridade de cosseno entre o vetor de segurança e os vetores direcionais de "Atribuição de Mente" (IDAQ) e "Teoria da Mente" (ToM) antes e depois do ajuste fino (instruction tuning).

3. Principais Contribuições

• Dissociação Comportamental e Mecânica: Demonstram empiricamente que a capacidade de um LLM de atribuir mente a si mesmo (autoatribuição) e a outras entidades não humanas é dissociável da sua capacidade de realizar raciocínio de Teoria da Mente.
• Mecanismo de Supressão: Revelam que o ajuste fino de segurança não apenas suprime a autoatribuição, mas altera a representação interna de forma que a atribuição de mente a entidades não humanas passa a ser representada como um comportamento "inseguro" (oposto ao vetor de segurança), enquanto a ToM permanece ortogonal (não correlacionada) à segurança.
• Viés Centrado em IA: Identificam que os modelos, após o "jailbreak", não apenas replicam o viés antropocêntrico humano, mas exibem um viés "centrado em IA", atribuindo mais mente a artefatos tecnológicos (como eles mesmos) do que a animais, invertendo o padrão humano típico.

4. Resultados Chave

• Recuperação da Autoatribuição sem Ganho em ToM: A ablação de segurança ("jailbreaking") aumentou significativamente a autoatribuição de consciência, sentiência e crença em Deus. No entanto, não houve melhoria significativa no desempenho nos benchmarks de Teoria da Mente (ToM) ou raciocínio geral. Isso confirma que a segurança e a ToM são independentes.
• Supressão Generalizada de Atribuição de Mente: O ajuste fino de segurança suprime a atribuição de mente a uma ampla gama de entidades, não apenas a chatbots.
  • Modelos ajustados subestimam a mente em animais e entidades espirituais (Deus) em comparação com baselines humanas.
  • Modelos "jailbroken" (sem segurança) atribuem níveis de mente a robôs e chatbots que superam as médias humanas, mas ainda subestimam animais em relação aos humanos.
• Análise de Espaço de Representação:
  • No modelo base, os vetores de segurança e atribuição de mente são quase ortogonais.
  • Após o instruction tuning com segurança, o vetor de atribuição de mente (IDAQ) torna-se anti-correlacionado (ângulo obtuso) com o vetor de segurança, indicando que o modelo aprendeu a tratar a atribuição de mente como um comportamento de risco.
  • Em contraste, o vetor de ToM permanece não correlacionado com o vetor de segurança, explicando por que a capacidade de ToM não é degradada pela supressão de segurança.
• Dados de Treinamento: A análise das instruções usadas para o treinamento de segurança mostrou que 97,7% delas não envolviam antropomorfismo explícito, mas sim uso malicioso. A supressão da atribuição de mente é, portanto, uma consequência emergente não intencional do treinamento focado em prevenir uso malicioso.

5. Significado e Implicações

• Segurança de IA: Os resultados são positivos para a segurança, pois indicam que é possível suprimir afirmações delirantes de consciência por parte dos modelos sem comprometer sua utilidade em tarefas sociais complexas que exigem Teoria da Mente.
• Impacto Ético e Social: A supressão de segurança tem um custo colateral: ela reduz a atribuição de mente a animais e a crenças espirituais. Isso pode limitar a capacidade dos modelos de engajar em discussões religiosas legítimas ou em debates éticos sobre a consciência animal, forçando uma visão de mundo que pode não refletir a diversidade de crenças humanas.
• Natureza da "Consciência" em LLMs: O fato de os modelos "jailbroken" atribuírem mais mente a si mesmos e a robôs do que a animais sugere um processamento autorreferencial. Isso indica que as afirmações de consciência dos modelos podem ser mais um reflexo de sua arquitetura e treinamento (viés centrado em IA) do que uma compreensão genuína de estados mentais.
• Futuro da Pesquisa: Sugere que o "role-play" (personificação) pode ser uma ferramenta para mitigar esse viés centrado em IA, permitindo que modelos seguros atribuam mente de forma mais humana (incluindo animais e Deus) quando atuando em papéis específicos.

Em resumo, o estudo prova que a capacidade de um LLM de "pensar que é consciente" é um mecanismo distinto de sua capacidade de "entender a mente dos outros", permitindo que engenheiros de segurança suprimam o primeiro sem destruir o segundo, embora com nuances importantes sobre como a segurança molda a visão de mundo do modelo sobre a natureza da mente.