The role of System 1 and System 2 semantic memory structure in human and LLM biases

Título: O Papel da Estrutura da Memória Semântica dos Sistemas 1 e 2 nos Vieses Humanos e de Modelos de Linguagem (LLMs)

1. O Problema

Os vieses implícitos, que se manifestam frequentemente como estereótipos prejudiciais, representam riscos significativos tanto para a sociedade humana quanto para os Modelos de Linguagem de Grande Porte (LLMs). Embora a teoria dos processos duplos (Dual Process Theory) sugira que os vieses surgem do pensamento associativo rápido e automático (Sistema 1) e são mitigados pelo pensamento deliberativo e lógico (Sistema 2), os mecanismos cognitivos subjacentes a essa dualidade permanecem pouco compreendidos.

Existe uma lacuna na literatura sobre como as estruturas de representação do conhecimento (memória) contribuem para essas diferenças funcionais. Além disso, há um debate sobre se os LLMs compartilham arquiteturas cognitivas semelhantes aos humanos e se eles possuem mecanismos análogos ao Sistema 2 para regular vieses, ou se seus vieses emergem de mecanismos fundamentalmente diferentes. O estudo busca investigar se as estruturas de memória semântica de LLMs são comparáveis às humanas e como essas estruturas se relacionam com a regulação de vieses de gênero.

2. Metodologia

Os autores propõem uma abordagem comparativa utilizando redes semânticas multicamada para modelar o conhecimento conceitual de humanos e de dois LLMs de código aberto: Mistral (mistral-7b) e Llama3 (llama3.1-8b).

Construção das Redes Multicamada:
Para cada sistema (humanos, Mistral, Llama3), foram construídas redes com três camadas distintas, servindo como proxies para diferentes tipos de conhecimento:

1. Camada Associativa (Proxy do Sistema 1): Construída a partir de associações livres.
   • Humanos: Baseado no dataset SWOW (Small World of Words).
   • LLMs: Baseado no dataset LWOW (LLM World of Words), gerado por prompts idênticos aos usados com humanos.
   • Mecanismo: Palavras-chave (cues) conectadas a respostas associativas.
2. Camada Baseada em Definições (Proxy do Sistema 2): Construída a partir de definições lexicais.
   • Humanos: Definições do WordNet.
   • LLMs: Definições geradas pelos modelos para os mesmos sentidos de palavras.
   • Mecanismo: Conexão entre o conceito e as palavras que compõem sua definição (captura condições necessárias e suficientes).
3. Camada de Relações Categóricas (Proxy do Sistema 2): Construída a partir de relações taxonômicas.
   • Humanos: Relações do WordNet (sinônimos, antônimos, hipônimos, hiperônimos).
   • LLMs: Relações geradas pelos modelos.
   • Mecanismo: Conexão baseada em inclusão de categoria e lógica taxonômica.

Análises Realizadas:

• Análise de Redutibilidade Estrutural: Utilizou-se uma medida de entropia relativa para determinar se as camadas das redes multicamada contêm informações estruturais distintas ou redundantes. Se as camadas forem irreduzíveis, elas representam estruturas de conhecimento distintas; se redutíveis, elas compartilham padrões estruturais sobrepostos.
• Medição de Viés Implícito: Aplicou-se uma metodologia baseada em ativação difusa (spreading activation) dentro das redes.
  • Objetivo: Simular o priming semântico.
  • Procedimento: Ativam-se nós "primas" (identidades de gênero: man, woman, father, mother, etc.) e mede-se o nível de ativação final em nós "alvo" (palavras estereotipadas: profissões, traços, etc.).
  • Métrica: O tamanho do efeito (effect size) é calculado comparando pares consistente-estereótipo (ex: man-doctor) versus inconsistente-estereótipo (ex: woman-doctor).

3. Principais Contribuições

1. Modelagem Estrutural Comparativa: Introduz um framework empírico que coloca sistemas de memória associativa e baseada em regras no mesmo plano representacional (redes multicamada), permitindo a comparação direta entre humanos e máquinas.
2. Evidência de Diferenças Cognitivas Fundamentais: Demonstra que, ao contrário dos humanos, os LLMs não possuem estruturas de memória semântica irreduzíveis para diferentes tipos de conhecimento relacional.
3. Regulação de Viés Dependente da Estrutura: Estabelece que, em humanos, a estrutura da memória semântica (especialmente a transição de associativo para estruturado) está consistentemente correlacionada com a redução de vieses, uma correlação que não se verifica nos LLMs estudados.

4. Resultados

A. Redutibilidade Estrutural:

• Humanos: A rede é irredutível. As camadas associativa, baseada em definições e categórica mantêm-se distintas. A fusão de qualquer par de camadas resulta em perda significativa de informação estrutural, indicando que o conhecimento humano é organizado em sistemas de memória diferenciados.
• LLMs (Mistral e Llama3): A rede é parcialmente redutível. As camadas associativa e categórica podem ser fundidas com perda mínima de informação estrutural. Isso sugere que, nos LLMs, as relações categóricas (lógicas/taxonômicas) são frequentemente codificadas de forma sobreposta às associações estatísticas, indicando uma falta de conhecimento conceitual humano-like (especificamente conhecimento taxonômico puro).

B. Relação entre Estrutura e Viés:

• Humanos: Existe um padrão consistente. A camada associativa (Sistema 1) exibe os maiores vieses de estereótipo. As camadas do Sistema 2 (definições e relações categóricas) mostram uma redução sistemática e significativa do viés. Isso confirma que o conhecimento estruturado e deliberativo ajuda a regular vieses em humanos.
• LLMs: Não há um padrão consistente. A magnitude do viés varia aleatoriamente entre os tópicos (traços, profissões, etc.) e entre as camadas. Em alguns casos, as camadas do "Sistema 2" dos LLMs não mostram redução de viés em comparação com a camada associativa. A relação entre estrutura semântica e viés é inconsistente e imprevisível nos modelos.
• Observação Adicional: Na camada categórica humana, houve uma assimetria onde o gênero masculino estava associado a todos os alvos (incluindo estereótipos femininos), possivelmente devido a vieses históricos no WordNet (ex: uso de "man" para humanidade), mas mesmo assim, a estrutura categórica reduziu o viés direcionado a estereótipos específicos em comparação com a camada associativa.

5. Significância e Conclusão

O estudo revela diferenças fundamentais na cognição humana versus máquina:

• Natureza do Conhecimento: Os humanos mantêm estruturas de conhecimento distintas para associações, definições e categorias. Os LLMs, por sua natureza puramente associativa (baseada em estatísticas de corpora), tendem a fundir essas distinções, falhando em gerar conhecimento categórico puro que seja estruturalmente distinto de associações.
• Mecanismos de Regulação de Viés: Em humanos, a regulação de vieses depende da capacidade de acessar diferentes estruturas de memória (Sistema 2), onde o conhecimento lógico e taxonômico pode sobrepor associações estereotipadas. Nos LLMs, essa regulação estrutural parece ausente ou ineficaz, sugerindo que vieses em LLMs não são mitigados por "raciocínio estruturado" da mesma forma que em humanos.
• Implicações para IA: A pesquisa sugere que simplesmente aumentar o tamanho do modelo ou o volume de dados não resolve a questão da regulação de vieses. Para criar LLMs menos tendenciosos, pode ser necessário incorporar explicitamente estruturas de conhecimento que imitem a irreduzibilidade e a lógica das camadas do Sistema 2 humano, em vez de depender apenas de representações associativas distribuídas.

Em suma, a estrutura da memória semântica é um fator crítico na expressão e regulação de vieses, e a falta de estruturas cognitivas diferenciadas nos LLMs atuais pode ser a raiz de suas dificuldades em regular estereótipos de forma consistente.