Beyond model-free Pavlovian responding: a two-stage Pavlovian-instrumental transfer paradigm

Este estudo introduz um novo paradigma de transferência pavloviana-instrumental em duas etapas que demonstra que as respostas pavlovianas podem ser impulsionadas por mecanismos de aprendizagem baseados em modelos (e não apenas por modelos livres), sendo essa flexibilidade cognitiva seletivamente prejudicada por estados de divagação mental.

O essencial

Imagine que o seu cérebro é como um chef de cozinha experiente. Até agora, os cientistas achavam que, quando você via um sinal de "comida gostosa" (como o cheiro de pizza), seu cérebro agia de forma automática e preguiçosa: "Cheiro de pizza? Vou comer!". Eles chamavam isso de aprendizado "livre de modelo" (model-free), como se fosse um reflexo cego, baseado apenas na memória de que "pizza = bom".

Mas, nesta nova pesquisa, os cientistas descobriram que o cérebro humano é muito mais inteligente e estratégico do que pensávamos. Eles criaram um experimento para ver se, ao ver um sinal, você apenas reage automaticamente ou se planeja com base em como as coisas funcionam no mundo.

O Experimento: O Cassino Mental

Para testar isso, os pesquisadores criaram um jogo chamado "Cassino Mental":

1. A Fase de Aprendizado: Você vê dois "garçons" virtuais (os sinais). Cada garçom te leva, com alta probabilidade, para uma máquina caça-níqueis específica. Às vezes, a máquina dá dinheiro; às vezes, tira.
   • O Truque: Os garçons não levam sempre para a mesma máquina. Às vezes, o Garçom A te leva para a Máquina B (que geralmente dá dinheiro), mas raramente te leva para a Máquina C (que geralmente tira dinheiro).
2. A Pergunta: Depois de ver o garçom, você é perguntado: "Esse garçom está te levando para a sorte ou para a azar?"
3. A Ação (O Teste): Enquanto você ainda vê o garçom no fundo da tela, você precisa apertar um botão repetidamente para ganhar pontos extras.

A Grande Descoberta: Você é um Estrategista!

O que os cientistas queriam saber era: quando você aperta o botão, você está apenas reagindo ao garçom que viu agora (aprendizado automático) ou está pensando: "Esse garçom me levou para a máquina ruim hoje, então ele deve estar te levando para a sorte, mesmo que eu não tenha visto a máquina diretamente"?

A resposta foi surpreendente: A maioria das pessoas estava pensando!

• A Analogia do GPS: O aprendizado automático seria como seguir um GPS cego: "Vire à direita porque sempre virei à direita". O aprendizado baseado em modelo (que as pessoas usaram) é como ter um mapa mental completo: "Se eu virar à direita, vou para o parque. Se o parque está fechado, vou para a praia".
• O Resultado: As pessoas não apenas reagiam ao que viam. Elas usavam a lógica do jogo para prever o que estava acontecendo, mesmo quando a lógica era complexa. Elas estavam "modelando" o mundo mentalmente.

O Fator Distração: Quando o Cérebro "Desliga"

O estudo também investigou o que acontece quando você está distraído (o famoso "mind wandering" ou divagação mental).

• A Analogia da Bateria: O aprendizado inteligente (baseado em modelo) exige muita "bateria" mental. É como tentar resolver um quebra-cabeça complexo enquanto alguém tenta te distrair.
• O Achado: Quando os participantes estavam distraídos, pensando em outras coisas, eles perderam a capacidade de usar a estratégia inteligente. Eles voltaram a agir de forma mais automática e simples. Curiosamente, a distração não afetou o aprendizado simples (o reflexo), apenas a parte inteligente e planejada.

Por que isso importa?

Antes, achávamos que reações automáticas (como a atração por cigarros ou comida quando vemos um anúncio) eram apenas reflexos cegos e incontroláveis.

Este estudo mostra que nós temos mais controle do que imaginamos. Nosso cérebro pode entender a estrutura das coisas e tomar decisões baseadas em lógica, não apenas em hábitos. No entanto, essa capacidade exige atenção. Se estamos distraídos ou cansados, nosso cérebro "desliga" a parte inteligente e volta a agir no piloto automático.

Em resumo: Somos como pilotos que podem voar no modo automático (hábito) ou no modo manual (inteligência). Este estudo nos ensina que, quando estamos focados, podemos voar no modo manual e entender o mundo profundamente. Mas se nos distrairmos, voltamos ao automático. Entender isso é crucial para ajudar pessoas com vícios ou problemas mentais a retomar o controle de suas decisões.

Resumo técnico

Título: Além da resposta pavloviana sem modelo: um paradigma de transferência pavloviana-instrumental (PIT) em duas etapas

1. O Problema

A literatura sobre aprendizagem e comportamento humano frequentemente distingue entre dois sistemas de aprendizagem por reforço:

• Aprendizagem sem modelo (Model-free): Baseada em associações diretas estímulo-resposta ou estímulo-resultado, gerando respostas rápidas, mas inflexíveis, sem um modelo interno do ambiente.
• Aprendizagem com modelo (Model-based): Envolve a construção de um modelo interno do ambiente (transições de estado e consequências), permitindo comportamento flexível e orientado a objetivos.

O fenômeno da Transferência Pavloviana-Instrumental (PIT) ocorre quando pistas pavlovianas (que sinalizam recompensas) influenciam ações instrumentais aprendidas. Embora a PIT específica (onde uma pista de recompensa específica aumenta a ação para obter aquela mesma recompensa) seja teoricamente associada a processos model-based, a maioria dos paradigmas experimentais humanos utiliza um paradigma de alavanca única. Este paradigma é amplamente utilizado em estudos de vício, mas historicamente foi interpretado como refletindo predominantemente mecanismos model-free, pois não consegue dissociar claramente entre PIT geral e específica. Além disso, não existia um paradigma comportamental que permitisse a dissociação computacional de sistemas model-free e model-based na aprendizagem pavloviana em tempo real (ensaio a ensaio), nem se sabia se estados cognitivos internos, como a divagação mental (mind wandering), afetam seletivamente o controle model-based neste contexto.

2. Metodologia

Os autores desenvolveram um paradigma inovador de PIT em duas etapas, combinado com instrução detalhada e modelagem computacional.

• Participantes: 71 estudantes universitários saudáveis.
• Estrutura da Tarefa:
  1. Treinamento Instrumental: Os participantes aprenderam a coletar ou evitar cartas de baralho ("ir" ou "não ir") para ganhar ou perder dinheiro, com feedback probabilístico.
  2. Fase Pavloviana e Transferência (480 ensaios):
     • Aprendizagem Pavloviana (2 etapas): Um estímulo condicionado de 1ª etapa (CS1: um funcionário de cassino) transicionava probabilisticamente para um estado de 2ª etapa (CS2: uma máquina caça-níqueis). A transição comum ocorria em 80% dos casos e a rara em 20%. As máquinas caça-níqueis ofereciam recompensas (vitória/perda) com probabilidades que variavam lentamente (caminhada aleatória gaussiana).
     • PIT (Transferência): Imediatamente após o aprendizado pavloviano, os participantes realizavam a tarefa instrumental (coletar cartas) sob extinção nominal (sem feedback de resultado), enquanto o CS1 era apresentado no fundo. A taxa de resposta (número de pressões de tecla) servia como medida implícita do valor pavloviano.
     • Consulta de Valor (Query): Em ensaios intercalados, os participantes deveriam julgar explicitamente se o CS1 apresentado estava mais associado a uma vitória ou perda.
• Medidas de Atenção: A cada 60 ensaios, os participantes relatavam sua divagação mental (mind wandering) em uma escala contínua. Também foram aplicados questionários sobre traços de divagação mental (espontânea e deliberada).
• Análise Computacional: Foram ajustados três modelos de Aprendizagem por Reforço (RL) aos dados de cada participante:
  1. Modelo sem modelo: Atualização baseada apenas no histórico de reforço direto do CS apresentado.
  2. Modelo com modelo: Atualização que incorpora a estrutura de transição do ambiente (inferência sobre estados não apresentados).
  3. Modelo Híbrido: Combinação ponderada dos dois.
  • A seleção do modelo foi feita usando o Critério de Informação Bayesiano (BIC).
• Planejamento Estatístico: Utilizou-se testagem Bayesiana sequencial para determinar o tamanho da amostra, parando a coleta de dados assim que houvesse evidência forte (BF10 > 6) para o efeito model-based.

3. Principais Contribuições

• Novo Paradigma: Introdução de um paradigma de PIT de alavanca única em duas etapas capaz de dissociar computacionalmente mecanismos model-free e model-based na aprendizagem pavloviana.
• Dissociação de Mecanismos: Demonstração de que a PIT de alavanca única, frequentemente considerada puramente model-free, pode ser guiada por inferências model-based complexas quando o participante possui conhecimento explícito da estrutura da tarefa.
• Validação Cognitiva: Evidência de que a divagação mental (mind wandering) atua como um modulador seletivo, prejudicando especificamente o controle model-based enquanto deixa o model-free intacto, validando a operacionalização dos marcadores comportamentais.

4. Resultados

• Comportamento na Consulta (Query): Os participantes demonstraram padrões consistentes com aprendizagem model-based. Houve uma interação robusta entre a correspondência do CS (CS-match) e o tipo de transição (comum vs. rara), indicando que eles atualizavam suas crenças sobre o valor do estímulo com base na estrutura de transição do ambiente, não apenas no reforço direto.
• Comportamento na Transferência (PIT):
  • O efeito de PIT foi melhor explicado pelo modelo computacional baseado em modelo (que teve o melhor ajuste BIC para 52 dos 71 participantes).
  • Houve evidência forte para a interação CS-match x tipo de transição no comportamento de PIT, um marcador de controle model-based.
  • Não houve evidência clara para efeitos model-free (o fator principal de CS-match foi inconclusivo ou ausente).
• Influência da Divagação Mental:
  • Níveis mais altos de divagação mental (relatada em tempo real e traços) correlacionaram-se negativamente com os índices de comportamento model-based.
  • Não houve correlação significativa entre divagação mental e assinaturas model-free.
• Modelagem: A análise de recuperação de parâmetros e verificações preditivas posteriores confirmaram que o modelo model-based capturou adequadamente os dados empíricos e que os parâmetros eram identificáveis.

5. Significância

• Revisão Teórica: O estudo desafia a suposição de que a PIT de alavanca única é predominantemente model-free. Ele demonstra que, sob condições de instrução clara e motivação, os humanos podem engajar em inferências pavlovianas complexas e flexíveis.
• Implicações Clínicas: Dado o envolvimento da aprendizagem pavloviana em condições psiquiátricas (vícios, transtornos de ansiedade, TOC), a descoberta de que o controle model-based é sensível ao estado atencional interno (divagação mental) abre novas vias para entender comportamentos maladaptativos. Se a capacidade de usar modelos internos para guiar respostas pavlovianas é comprometida pela falta de atenção, isso pode explicar a rigidez comportamental em certos transtornos.
• Metodologia: O paradigma proposto oferece uma ferramenta robusta para investigar a arquitetura computacional da aprendizagem pavloviana e a interação entre sistemas de aprendizagem, permitindo estudos futuros sobre como estados mentais e intervenções terapêuticas podem modular esses sistemas.

Em resumo, o artigo fornece evidências robustas de que a resposta pavloviana não é um processo automático e puramente model-free, mas sim um sistema flexível que depende de recursos cognitivos e da atenção focada, podendo ser guiado por inferências racionais sobre a estrutura do ambiente.