Large Language Models Align with the Human Brain during Creative Thinking

Este estudo demonstra que a alinhamento entre Grandes Modelos de Linguagem e a atividade cerebral humana durante o pensamento criativo escala com o tamanho do modelo e a originalidade das ideias, sendo seletivamente moldado por objetivos de pós-treinamento que podem reforçar ou desviar as representações neurais da criatividade.

O essencial

Imagine que o cérebro humano é uma orquestra gigante tocando uma música complexa chamada "Criatividade". Quando pensamos em ideias novas (como usar um clipe de papel para segurar um livro, em vez de apenas prender papéis), essa orquestra toca notas específicas em seções diferentes: algumas partes tocam a melodia dos sonhos (a rede de modo padrão), outras tocam o ritmo da lógica e do foco (a rede frontoparietal).

Agora, imagine que os Modelos de Linguagem (LLMs), como o ChatGPT ou o Llama, são robôs músicos tentando aprender a tocar essa mesma música.

Este estudo é como um teste de audição para ver: "Quão bem esses robôs estão 'sintonizados' com a música do cérebro humano quando tentam ser criativos?"

Aqui está o resumo da história, explicado de forma simples:

1. O Grande Teste: A Tarefa de Usos Alternativos

Os pesquisadores pegaram 170 pessoas e pediram que elas olhassem para objetos comuns (como um "pipa" ou um "clipe") e dissessem o máximo de usos criativos possíveis. Enquanto elas pensavam, um scanner de ressonância magnética (fMRI) gravava a "música" do cérebro delas.

Ao mesmo tempo, eles deram o mesmo desafio para vários robôs (modelos de IA) de tamanhos diferentes (desde pequenos até gigantes).

2. Descoberta 1: Quanto maior o robô, mais ele "ouve" o cérebro (no início)

Os pesquisadores descobriram que, enquanto o robô está apenas lendo a pergunta (antes de dar a resposta), os robôs maiores e mais inteligentes têm uma "sintonia" muito mais forte com o cérebro humano.

• A analogia: É como se um robô pequeno estivesse ouvindo a música de longe, com fones de ouvido ruins. Já um robô gigante, no momento em que recebe a ideia, começa a tocar a mesma melodia que o cérebro humano, com mais precisão.
• O detalhe importante: Essa sintonia perfeita acontece antes de eles começarem a falar. Assim que o robô começa a gerar a resposta, a conexão com o cérebro humano fica um pouco mais fraca e bagunçada.

3. Descoberta 2: O "Treinamento" Muda a Música

A parte mais interessante é como o treinamento final (o "ensino" que o robô recebe antes de ser usado) muda tudo. Os pesquisadores testaram três tipos de "treinadores" diferentes:

• O Treinador de Criatividade: Eles pegaram um modelo e ensinaram especificamente a ser criativo.
  • Resultado: Esse robô ficou excelente em sintonizar com as ideias criativas do cérebro humano e péssimo em sintonizar com ideias chatas. Ele aprendeu a "tocar" apenas a música da criatividade.
• O Treinador de Comportamento Humano: Eles ensinaram o robô a imitar exatamente como as pessoas agem.
  • Resultado: Esse robô ficou bom em sintonizar com ambos (ideias criativas e ideias comuns), porque ele aprendeu a ser um "espelho" geral das pessoas.
• O Treinador de Lógica e Raciocínio (Chain-of-Thought): Eles ensinaram o robô a pensar passo a passo, como um matemático ou um programador, focando em respostas corretas e lógicas.
  • Resultado: Aqui aconteceu algo curioso! Esse robô inverteu a música. Ele ficou muito alinhado com ideias chatas e desconectou totalmente das ideias criativas.
  • A metáfora: É como se você tivesse um músico de jazz genial e o obrigasse a estudar apenas partituras de marchas militares. Ele pararia de tocar jazz (criatividade) e só tocaria marchas (lógica), mesmo que você pedisse para ele improvisar.

4. O Que Isso Significa para o Futuro?

O estudo nos dá um aviso importante: Se ensinarmos nossos robôs apenas a resolver problemas de lógica, matemática e código (coisas com uma resposta certa), podemos estar "desligando" a parte deles que consegue pensar de forma criativa.

Para ter robôs que realmente ajudem na arte, na ciência e na inovação, precisamos ensiná-los a valorizar a diversidade de ideias, não apenas a resposta "correta".

Em resumo:
Os robôs podem tocar a música da criatividade humana, mas só se forem grandes o suficiente e, principalmente, se forem treinados para isso. Se treinarmos eles apenas para serem "lógicos", eles esquecem como ser criativos, e o cérebro humano deixa de se reconhecer neles.

Resumo técnico

Título: Grandes Modelos de Linguagem Alinham-se ao Cérebro Humano durante o Pensamento Criativo

1. Problema e Motivação

O pensamento criativo, especificamente o pensamento divergente (a capacidade de gerar ideias novas e variadas), é um aspecto fundamental da cognição humana. Embora Grandes Modelos de Linguagem (LLMs) tenham demonstrado desempenho impressionante em tarefas de criatividade (como o Teste de Usos Alternativos - AUT), a maioria dos estudos anteriores sobre alinhamento cérebro-LLM focou em tarefas passivas de processamento de linguagem (leitura ou escuta de texto).

A questão central deste trabalho é: LLMs mais criativos alinham-se melhor com as representações neurais subjacentes ao pensamento criativo humano? Até agora, não havia estudos que investigassem sistematicamente esse alinhamento em tarefas de pensamento criativo ativo, nem como diferentes objetivos de pós-treinamento (como otimização para criatividade vs. raciocínio) afetam essa correspondência neural.

2. Metodologia

• Dados Cerebrais:

  • Utilização de dados de fMRI de 170 participantes saudáveis do estudo de Beaty et al. (2018).
  • Tarefas: Os participantes realizaram o Teste de Usos Alternativos (AUT) (tarefa criativa: gerar usos originais para objetos) e a Tarefa de Características de Objetos (OCT) (tarefa de controle não criativa: listar características físicas).
  • Redes Cerebrais Analisadas: Foco nas redes associadas à criatividade: Rede de Modo Padrão (DMN) e Rede Frontoparietal (FPN). A Rede Somatomotora foi usada como controle.
  • Pré-processamento: Extração de mapas beta de tentativa única usando um Modelo Linear Geral (GLM) e normalização pelos tetos de ruído.

• Dados dos Modelos (LLMs):

  • Foram testados modelos de tamanhos variados (de 270M a 72B parâmetros), incluindo famílias como Gemma, Llama, Qwen, Falcon e DeepSeek.
  • Extração de Representações: Diferente de estudos passivos, este trabalho extraiu representações em dois estágios:
    1. Estágio de Prompt: Após a apresentação do estímulo, antes da geração.
    2. Estágio de Geração: Após o modelo gerar a resposta.
  • Variações de Pós-treinamento: Foram analisadas variantes do Llama-3.1-8B com diferentes objetivos:
    • Base/Instruct: Treinamento padrão.
    • CrPO: Otimizado para preferências humanas criativas (novidade, surpresa, diversidade).
    • Minitaur: Ajustado fino para simular comportamento humano.
    • DeepSeek-R1-Distill: Ajustado fino com cadeias de raciocínio (Chain-of-Thought).

• Análise de Alinhamento:

  • Utilização da Análise de Similaridade Representacional (RSA) para comparar a geometria das matrizes de dissimilaridade representacional (RDMs) dos modelos com as respostas neurais.
  • Cálculo da correlação de Pearson entre as pontuações de alinhamento e o tamanho do modelo/desempenho na tarefa.
  • Separação das respostas humanas em alta criatividade (nota $\ge$ 2.0) e baixa criatividade (nota < 2.0) para analisar a seletividade do alinhamento.

3. Principais Contribuições

1. Primeira Investigação Ativa: É o primeiro estudo a examinar sistematicamente o alinhamento cérebro-LLM no contexto de uma tarefa ativa de pensamento criativo (AUT), expandindo a literatura além do processamento passivo de linguagem.
2. Dependência de Estágio: Revela que o alinhamento é dependente do estágio do processamento: forte durante a compreensão do prompt, mas enfraquece significativamente após a geração da resposta.
3. Seletividade Funcional do Pós-treinamento: Demonstra que objetivos de pós-treinamento moldam o alinhamento de maneiras interpretáveis e seletivas, direcionando as representações do modelo para diferentes regiões da geometria neural do pensamento criativo humano.

4. Resultados Chave

• Alinhamento com Tamanho e Desempenho:

  • Durante o processamento do prompt (fase inicial), o alinhamento com a DMN escala positivamente com o tamanho do modelo ($r=0.58$) e com o desempenho na tarefa AUT ($r=0.51$).
  • Modelos maiores e mais criativos refletem melhor as representações neurais humanas na fase inicial de ideação.
  • Limitação: Ao medir o alinhamento após a geração da resposta, essa correlação enfraquece, sugerindo que o processo de geração diverge da cognição criativa humana à medida que a escala aumenta.

• Camadas do Modelo:

  • Existe uma correlação positiva significativa entre a profundidade da camada do modelo e o alinhamento cerebral. As camadas mais profundas (representações de alto nível) alinham-se melhor com as respostas cerebrais criativas do que as camadas iniciais (que capturam sintaxe e léxico).

• Efeitos do Pós-treinamento (Variantes Llama-3.1-8B):

  • Modelo Otimizado para Criatividade (CrPO): Mantém o alinhamento com respostas de alta criatividade, mas reduz drasticamente o alinhamento com respostas de baixa criatividade. Isso reflete o objetivo de treinamento de priorizar a originalidade.
  • Modelo de Comportamento Humano (Minitaur): Aumenta o alinhamento com ambos os grupos (alta e baixa criatividade), refletindo sua tentativa de simular padrões de resposta humanos gerais.
  • Modelo de Raciocínio (DeepSeek-R1-Distill): Apresenta um padrão inverso (reversão): alinhamento negativo com respostas de alta criatividade e positivo com baixa criatividade. Isso sugere que o treinamento com cadeias de raciocínio (Chain-of-Thought) desvia as representações do modelo da geometria neural da criatividade (divergente) em direção a um processamento analítico e sistemático (convergente).

• Validação de Controle:

  • Nenhuma correlação significativa foi encontrada entre tamanho/desempenho e alinhamento na tarefa não criativa (OCT) ou na rede somatomotora, confirmando que os efeitos observados são específicos à cognição criativa.

5. Significado e Implicações

• Limitações Atuais dos LLMs: O fato de o alinhamento enfraquecer após a geração sugere que, embora os modelos entendam o estímulo criativo (fase de prompt), o processo de geração de texto atual pode não capturar a dinâmica neural completa do pensamento divergente humano.
• Risco do Treinamento Excessivo em Raciocínio: O estudo alerta que o foco atual no pós-treinamento para tarefas de raciocínio convergente (matemática, código) pode estar ativamente degradando a capacidade dos modelos de pensamento divergente, alinhando-os a representações neurais de baixa criatividade.
• Novo Paradigma de Avaliação: O alinhamento cérebro-LLM oferece uma lente única para avaliar modelos, indo além de métricas comportamentais (como pontuações de criatividade) para capturar os princípios computacionais subjacentes ao pensamento criativo humano.
• Futuro: Para desenvolver LLMs verdadeiramente criativos, é necessário ajustar os objetivos de treinamento para otimizar a diversidade e a originalidade, evitando que o treinamento excessivo em raciocínio analítico suprima a geometria neural da criatividade.

Em suma, o trabalho estabelece que a correspondência entre LLMs e o cérebro humano é nuanceada, dependente do estágio de processamento e altamente sensível aos objetivos de treinamento, oferecendo insights cruciais para o desenvolvimento futuro de inteligência artificial capaz de criatividade genuína.