Resumo Técnico: O Valor Único de Erros de Predição Zeroes em Aprendizagem por Reforço

Declaração do Problema

A teoria da aprendizagem por reforço (RL - Reinforcement Learning) tradicionalmente postula que o aprendizado é impulsionado por erros de predição (EPs) — a discrepância entre os resultados esperados e os observados. Em modelos padrão (ex: Rescorla & Wagner, 1), resultados que correspondem perfeitamente às expectativas (EPs zero) são tratados como a ausência de um sinal de aprendizado, não carregando valor informacional além da própria recompensa. No entanto, esse arcabouço deixa em aberto a questão de saber se "predições perfeitas" são psicologicamente neutras ou se constituem eventos distintos e informativos que moldam ativamente o afeto, a atualização de crenças e o processamento neural. Especificamente, não está claro se os EPs zero disparam mecanismos computacionais únicos, como a formação de estados de crença latentes separados, particularmente em ambientes incertos ou entre indivíduos com alta intolerância à incerteza.

Metodologia

O estudo empregou uma abordagem multimodal combinando experimentos comportamentais, modelagem computacional e eletrofisiologia (EEG) para investigar o impacto dos EPs zero.

Desenho Experimental:

• Tarefa: Os participantes realizaram uma "Tarefa de Gerador de Números" onde previam recompensas extraídas de distribuições Gaussianas com diferentes larguras (Incerteza Baixa, Média, Alta).
• Manipulação: Sem o conhecimento dos participantes, 18,75% dos ensaios (15 de 80 por bloco) foram experimentalmente constrangidos para que o resultado da recompensa correspondesse exatamente à sua predição, criando "erros de predição zero".
• Medidas:
  • Afeto: Os participantes relataram felicidade momentânea a cada três ensaios.
  • Comportamento: Atualizações de predição ensaio a ensaio foram registradas.
  • Neural: Em um subconjunto de participantes ($N=40$), o EEG bloqueado pela recompensa foi registrado para analisar potenciais relacionados a eventos (ERPs).
• Participantes: Dois experimentos foram conduzidos: um estudo online ($N=97$) e um estudo de laboratório de EEG ($N=40$), totalizando $N=137$.

Modelagem Computacional:
Três modelos de aprendizagem por reforço foram comparados usando inferência Bayesiana hierárquica:

1. PH-standard: Um modelo Pearce-Hall padrão onde as taxas de aprendizagem escalam com a magnitude do EP; EPs zero produzem nenhuma atualização.
2. PH-persist: Uma extensão onde EPs zero induzem um estado de "persistência", enviesando predições futuras em direção ao resultado confirmado.
3. Modelo ZePE (Zero Prediction Error): Um novo modelo propondo que EPs zero disparam a formação de um estado de crença latente distinto ($B_{zero}$) rastreado em paralelo com o estado de crença padrão ($B_{std}$). A predição final é uma mistura ponderada desses dois estados, controlada por um parâmetro $\omega$.

Análise:

• Comportamental: Regressão de efeitos mistos analisou as classificações de felicidade e as atualizações de predição.
• Comparação de Modelos: Validação cruzada leave-one-out (LOO) e densidade preditiva logarítmica esperada (ELPD) foram usadas para determinar o melhor modelo.
• EEG: Regressão univariada de massa (GLM) e testes de permutação baseados em clusters analisaram as respostas neurais aos EPs. Análises de interação psicofísica (PPI) testaram se a atividade neural residual previa a atualização comportamental subsequente.

Principais Resultados

1. Impacto Afetivo: EPs Zero Maximizam a Felicidade

Ao contrário da suposição de que a felicidade escala linearmente com EPs positivos, os participantes relataram a maior felicidade momentânea após EPs zero.

• A felicidade seguiu uma relação em U invertido com a magnitude do EP, atingindo o pico no zero e declinando tanto para EPs positivos grandes quanto para negativos.
• A modelagem computacional da felicidade confirmou que adicionar um termo específico para EPs zero melhorou significativamente o ajuste do modelo em comparação com modelos que dependem apenas da magnitude da recompensa e de EPs padrão. Os EPs zero foram o preditor mais forte de felicidade, superando o próprio resultado da recompensa.

2. Adaptação Comportamental: O Modelo ZePE

O modelo ZePE forneceu o melhor ajuste para os dados comportamentais em ambos os experimentos, superando significativamente os modelos PH-standard e PH-persist.

• Estado Latente Distinto: Os dados apoiam a hipótese de que EPs zero induzem um estado de crença latente separado que guia a atualização subsequente.
• Modulação da Incerteza: O parâmetro de peso $\omega$ (que governa a influência do estado de EP zero) aumentou com a incerteza ambiental. Os participantes confiaram mais no estado de EP zero em blocos de alta incerteza.
• Diferenças Individuais: Pontuações mais altas na escala de Intolerância à Incerteza (IUS) correlacionaram-se com valores de $\omega$ mais altos, sugerindo que indivíduos avessos à incerteza atribuem maior peso a predições perfeitas para estabilizar suas crenças.
• Padrões de Atualização: EPs zero foram seguidos por atualizações de predição absolutas maiores em blocos de baixa incerteza, e esse efeito se intensificou sob maior incerteza, indicando que predições perfeitas moldam ativamente a dinâmica de aprendizagem em vez de meramente confirmar crenças existentes.

3. Assinaturas Neurais: Respostas de EEG Distintas

As análises de EEG revelaram que os EPs zero eliciam respostas neurais distintas que diferem dos EPs padrão.

• Componentes de ERP: EPs zero elicitaram uma resposta positiva tardia robusta e sustentada (tipo P3) sobre eletrodos frontocentral e centroparietais (500–800 ms), comparável em magnitude a grandes EPs positivos e significativamente maior do que outras condições de EP.
• Codificação do Estado Latente: Análises de regressão mostraram que a atividade de EEG em ensaios de EP zero rastreava desvios do estado de crença latente de EP zero ($B_{zero}$), enquanto ensaios padrão rastreavam desvios do estado de crença padrão ($B_{std}$).
• Acoplamento Neural-Comportamental: Atividade residual de EEG (não explicada pelos modelos) previu a atualização subsequente em direções opostas dependendo do tipo de ensaio:
  • Ensaios Padrão: Atividade residual mais forte previu uma atualização intensificada (aprendizado).
  • Ensaios de EP Zero: Atividade residual mais forte previu uma atualização atenuada (entranhamento de crença).
  • Este acoplamento foi modulado por $\omega$, com $\omega$ mais alto amplificando a dissociação.

Significância e Alegações

Os autores afirmam que este estudo fornece a primeira evidência sistemática de que erros de predição zero não são eventos neutros, mas sim sinais distintos e informativos que moldam ativamente o aprendizado humano.

• Desafio à Ortodoxia: Os achados desafiam a suposição padrão de RL de que o aprendizado ocorre exclusivamente através de discrepâncias. Em vez disso, o "tentativa-e-acerto" (predição perfeita) é um mecanismo de aprendizado complementar.
• Recompensa Intrínseca: Predições perfeitas parecem ser intrinsecamente recompensadoras, gerando afeto positivo independentemente da magnitude da recompensa externa, provavelmente devido à resolução bem-sucedida da incerteza.
• Mecanismo Computacional: O estudo propõe que o cérebro mantém estados de crença latentes paralelos para EPs padrão e zero. O peso desses estados ($\omega$) é um parâmetro de controle flexível influenciado pela incerteza ambiental e traços individuais (intolerância à incerteza).
• Especificidade Neural: Os EPs zero engajam circuitos neurais específicos (refletidos em atividade do tipo P3) que servem para estabilizar crenças em vez de atualizá-las, atuando como um mecanismo para o "entranhamento de crença" quando a predição do ambiente é bem-sucedida.

O artigo conclui que resultados perfeitamente previstos são essenciais para o aprendizado, servindo para estabilizar crenças e reduzir a incerteza, particularmente para indivíduos que consideram a incerteza aversiva. Isso sugere uma arquitetura de aprendizado mais complexa, onde a confirmação de expectativas é tão computacionalmente significativa quanto a violação delas.