Model-based and model-free valuation signals in the human brain vary markedly in their relationship to individual differences in human behavioral control

Um estudo de fMRI de grande escala revela que os sinais neurais de valor baseados em modelo no córtex pré-frontal ventromedial variam conforme o uso comportamental individual, estando ausentes em pessoas que não utilizam essa estratégia, enquanto os sinais livres de modelo são ubíquos em todos os indivíduos, independentemente de seu comportamento.

O essencial

Imagine que o seu cérebro é como um grande escritório de logística responsável por tomar decisões diárias, como escolher o melhor caminho para ir ao trabalho ou decidir o que comer no jantar.

Este estudo científico, feito com 179 pessoas, investigou como esse escritório funciona quando temos que tomar decisões em um ambiente complexo. Os pesquisadores queriam entender a diferença entre dois "funcionários" (ou sistemas) que trabalham lá dentro:

1. O "Hábito" (Modelo Livre): É o funcionário automático. Ele não pensa muito. Ele diz: "Na última vez que peguei o ônibus azul, cheguei rápido. Vou pegar o azul de novo!" Ele aprende apenas com tentativa e erro, acumulando recompensas passadas. É rápido, mas às vezes te leva para o lugar errado se as regras mudarem.
2. O "Planejador" (Modelo Baseado): É o funcionário analítico. Ele diz: "Espera, o ônibus azul costuma ir para o centro, mas hoje há uma obra na rua. Se eu pegar o vermelho, mesmo que seja raro, posso chegar mais rápido." Ele cria um mapa mental de como o mundo funciona e planeja o futuro. É mais flexível, mas exige mais energia mental.

O Grande Mistério: Todos têm os dois funcionários?

A grande pergunta deste estudo foi: Será que todas as pessoas usam esses dois funcionários da mesma maneira? Ou será que algumas pessoas são "especialistas em hábito" e outras "especialistas em planejamento"?

Para descobrir, eles colocaram as pessoas em um jogo de vídeo chamado "Minerador Espacial".

• O Jogo: Você escolhe entre dois foguetes (Amarelo e Azul).
• A Pegadinha: O foguete Amarelo geralmente vai para o Planeta Vermelho (70% das vezes), mas às vezes vai para o Verde (30%). O Azul é o oposto. No planeta, você encontra minas que podem dar pedras preciosas (recompensa) ou pedras inúteis.
• O Objetivo: Aprender qual foguete leva às melhores pedras, mesmo que o mapa mude com o tempo.

O Que Eles Descobriram? (A Grande Revelação)

Os pesquisadores usaram uma máquina de ressonância magnética (fMRI) para olhar dentro do cérebro das pessoas enquanto elas jogavam. Eles dividiram os jogadores em quatro grupos baseados em como eles jogavam:

1. Grupo Misto: Usa um pouco dos dois.
2. Grupo Hábito: Só usa o "funcionário automático".
3. Grupo Planejamento: Só usa o "funcionário analítico".
4. Grupo "Outro": Parece que não usa nenhuma estratégia de aprendizado eficiente (como quem joga no piloto automático sem prestar atenção).

Aqui estão as descobertas mais interessantes, explicadas com analogias:

1. O "Funcionário Automático" (Hábito) está sempre ligado

O estudo descobriu que o sinal do cérebro associado ao Hábito estava presente em TODOS os grupos, inclusive naqueles que jogavam como se fossem apenas "Planejadores".

• A Analogia: Imagine que o "Funcionário Automático" é como um rádio de fundo que toca em todas as salas do escritório. Mesmo que você esteja focado em um relatório complexo (Planejamento), o rádio continua tocando uma música antiga (Hábito). O cérebro calcula o valor do hábito o tempo todo, mesmo que a pessoa decida ignorá-lo e seguir o plano. É um sistema "ubíquo" (está em todo lugar).

2. O "Funcionário Analítico" (Planejamento) só aparece se você usar

Por outro lado, o sinal do cérebro associado ao Planejamento só aparecia forte nas pessoas que realmente estavam usando essa estratégia no jogo.

• A Analogia: O "Funcionário Analítico" é como um computador de alto desempenho. Se você não estiver usando o software de planejamento, o computador fica desligado ou em modo de espera. Nas pessoas que jogavam apenas no "piloto automático" (Grupo Hábito), esse computador estava basicamente desligado. O cérebro não cria o mapa mental se a pessoa não estiver tentando planejar.

3. Por que algumas pessoas não planejam?

O estudo encontrou um motivo interessante para isso. As pessoas que não conseguiam usar o "Planejamento" também tinham dificuldade em aprender como o mundo funciona (os erros de previsão de estado).

• A Analogia: É como tentar usar um GPS (Planejamento) quando você não consegue ler o mapa ou não entende as ruas (o modelo do mundo). Se você não consegue construir um mapa mental preciso do ambiente, seu cérebro desiste de tentar planejar e fica apenas no "piloto automático" (Hábito), porque tentar planejar seria inútil.

Resumo Simples

• Todos nós temos o sistema de "Hábito" funcionando no nosso cérebro, independentemente de como agimos. É como um sistema operacional básico que nunca desliga.
• O sistema de "Planejamento" é opcional. Ele só é ativado e se torna forte se a pessoa realmente estiver usando essa estratégia para tomar decisões.
• Se você não consegue planejar bem, pode ser porque seu cérebro tem dificuldade em construir o "mapa mental" do mundo, e não porque você não tem a capacidade de pensar.

Conclusão: O cérebro humano é flexível. Ele mantém o sistema de hábitos sempre pronto, mas o sistema de planejamento só entra em ação quando é necessário e quando conseguimos entender as regras do jogo. Isso ajuda a explicar por que algumas pessoas têm mais dificuldade em mudar de comportamento ou aprender novas estratégias complexas.

Resumo técnico

Título: Sinais de Valoração Baseados em Modelo e Livres de Modelo no Cérebro Humano Variam Marcadamente em sua Relação com Diferenças Individuais no Controle Comportamental

1. Problema e Objetivo

A seleção de ações humanas sob reforço é frequentemente descrita como dependente de dois sistemas distintos de aprendizagem por reforço (RL):

• Controle Livre de Modelo (Model-Free - MF): Um sistema reflexivo e habitual que aprende através de tentativa e erro, acumulando valores de ações baseados em resultados passados.
• Controle Baseado em Modelo (Model-Based - MB): Um sistema deliberativo e orientado a objetivos que utiliza um modelo cognitivo interno das transições do ambiente para planejar ações flexíveis.

Embora o comportamento humano médio reflita uma mistura desses dois sistemas, a base neural das diferenças individuais na expressão dessas estratégias permanece pouco clara. A questão central é: as diferenças comportamentais entre indivíduos (alguns mais MF, outros mais MB) refletem diferenças na força dos sinais neurais em áreas comuns (como o córtex pré-frontal ventromedial - vmPFC), ou indicam a ativação de mecanismos neurais totalmente distintos e dissociáveis para cada estratégia?

2. Metodologia

O estudo empregou uma abordagem de grande escala combinando fMRI e modelagem computacional:

• Participantes: Uma amostra incomumente grande para estudos de fMRI de tarefa, com N = 179 participantes saudáveis (18-65 anos).
• Tarefa: Uma variante da tarefa de dois passos (two-step task). Os participantes escolheram entre duas naves espaciais (primeiro passo), que levavam probabilisticamente a dois planetas (70% comum, 30% raro). No segundo passo, uma transição probabilística levava a plataformas de pouso, onde ocorria a recompensa. A probabilidade de recompensa mudava ao longo do experimento.
• Análise Comportamental e Agrupamento:
  • Os dados comportamentais foram analisados para identificar padrões de "ficar" (stay) ou "trocar" (switch) em função de recompensas anteriores e tipos de transição.
  • Utilizando dados de um estudo comportamental anterior (N=678) como referência, os participantes foram agrupados em quatro clusters baseados em seus perfis comportamentais:
    1. Grupo Misto: Uso equilibrado de MB e MF.
    2. Grupo MF: Predominantemente baseado em hábitos.
    3. Grupo MB: Predominantemente baseado em modelos.
    4. Grupo Outro (Other): Comportamento não bem descrito por RL (ou estratégias não-RL).
• Modelagem Computacional: Foi ajustado um Modelo de Arbitragem Misto (Arbitration Mixture Model), que integra módulos MF e MB com pesos variáveis (slow e fast learning) para estimar parâmetros individuais (peso MF, $w_{MF}$) e variáveis computacionais (Valores de Decisão, Erros de Predição de Recompensa - RPE, e Erros de Predição de Estado - SPE).
• Análise de fMRI:
  • Análise de todo o cérebro e regiões de interesse (ROI), focando no vmPFC, córtex cingulado médio (MCC), córtex parietal posterior e estriado.
  • Regressores paramétricos incluíram valores de decisão (escolhido vs. rejeitado) de ambos os sistemas (MF e MB), RPEs e SPEs.
  • Testes de correlação entre a força dos sinais neurais e o peso comportamental ($w_{MF}$) de cada indivíduo.

3. Principais Contribuições e Resultados

A. Dissociação entre Sinais de Valor MB e MF no vmPFC

• Sinais Baseados em Modelo (MB): A representação do valor de decisão MB no vmPFC foi altamente dependente do comportamento individual.
  • Indivíduos do Grupo MB mostraram fortes sinais de valor MB no vmPFC.
  • Indivíduos do Grupo MF e do Grupo "Outro" não mostraram sinais significativos de valor MB no vmPFC.
  • Houve uma correlação negativa significativa entre o peso comportamental MF ($w_{MF}$) e a força do sinal MB no vmPFC: quanto mais um indivíduo se comportava de forma MB, mais forte era o sinal neural MB.
• Sinais Livres de Modelo (MF): Diferentemente do MB, os sinais de valor MF no vmPFC foram ubíquos.
  • Eles foram observados significativamente em todos os grupos, incluindo o Grupo MB e o Grupo "Outro", mesmo quando esses indivíduos não estavam utilizando estratégias MF em seu comportamento.
  • Não houve correlação significativa entre a força do sinal MF no vmPFC e o grau de uso comportamental de estratégias MF. Isso sugere que o processamento de valor MF ocorre como um processo de "padrão" ou basal, independentemente de ser usado para guiar a ação.

B. Erros de Predição de Estado (SPE) e a Construção do Modelo Interno

• Os sinais de SPE (cruciais para atualizar o modelo interno de transições de estado) foram encontrados no córtex pré-frontal dorsolateral (dlPFC) e sulco intraparietal (IPS).
• A força do sinal SPE foi positivamente correlacionada com o comportamento MB. Indivíduos do Grupo MB e Misto exibiram SPEs mais fortes do que o Grupo MF.
• O Grupo "Outro" (que não usava RL) mostrou SPEs significativamente reduzidos ou ausentes em certas regiões, sugerindo uma dificuldade na formação ou atualização do modelo interno do ambiente.

C. Assimetria Neural
O estudo revela uma assimetria fundamental: enquanto os sistemas MB dependem da ativação neural específica para a estratégia comportamental em uso, os sistemas MF parecem operar continuamente no cérebro, independentemente da estratégia comportamental dominante.

4. Significância e Implicações

• Mecanismos Neurais de Diferenças Individuais: O estudo fornece evidências empíricas de que as diferenças individuais no controle comportamental não são apenas uma questão de "arbitragem" entre dois sistemas neurais idênticos, mas envolvem a presença ou ausência de representações neurais específicas (no caso do MB).
• Ubiquidade do Aprendizado Livre de Modelo: A descoberta de que sinais MF estão presentes mesmo em indivíduos que não os usam comportamentalmente sugere que o aprendizado MF pode ser um mecanismo evolutivo preservado e sempre ativo, servindo como uma base de valorização que pode ser suprimida ou ignorada em favor de estratégias MB mais complexas.
• Deficiência na Construção de Modelos: A ausência de sinais MB e SPEs em indivíduos com baixo controle MB sugere que a falha em utilizar estratégias baseadas em modelo pode decorrer de uma incapacidade subjacente de construir ou atualizar com precisão o modelo interno do ambiente (transições estado-ação), e não apenas de uma preferência arbitrária pelo hábito.
• Relevância Clínica: Compreender essas bases neurais é crucial para investigar transtornos psiquiátricos onde o equilíbrio entre hábitos e objetivos está alterado (ex.: TOC, depressão, vícios), permitindo identificar se o défice reside na incapacidade de formar modelos (falha no MB) ou na desregulação de sistemas habituais.

Em resumo, o artigo demonstra que, embora o cérebro humano possua mecanismos para ambos os tipos de aprendizagem, a expressão neural do controle baseado em modelo é condicional ao seu uso comportamental, enquanto o controle livre de modelo opera como um processo neural constante e ubíquo.