Asymmetric Reinforcement Learning Explains Human Choice Patterns in Decision-making Under Risk

Este estudo demonstra que um modelo de aprendizado por reforço sensível ao risco, que utiliza taxas de aprendizado assimétricas para diferenciar recompensas e perdas, explica melhor os padrões de escolha humana e o tempo de resposta em tarefas de tomada de decisão sob risco do que modelos de atualização simétrica.

O essencial

Imagine que você está jogando um jogo de cartas contra um oponente invisível. Você recebe uma carta e precisa adivinhar se a carta dele é maior ou menor que a sua. Se acertar, ganha dinheiro; se errar, perde. O objetivo do jogo é aprender, com o tempo, a fazer as melhores escolhas possíveis.

Este estudo científico é como um "detetive de decisões". Os pesquisadores queriam descobrir como o nosso cérebro aprende com os erros e acertos quando o futuro é incerto. Será que aprendemos da mesma forma com uma vitória e com uma derrota? Ou será que damos mais peso a um deles?

Aqui está a explicação do que eles descobriram, usando analogias simples:

1. O Grande Debate: O Cérebro é Equilibrado ou Tendencioso?

Antes desse estudo, os cientistas debatiam duas teorias:

• A Teoria do "Espelho Perfeito" (Aprendizado Simétrico): O cérebro aprende da mesma forma com um "ponto" (vitória) e com um "menos" (derrota). Se você ganha R$ 0,50, seu cérebro atualiza sua estratégia da mesma maneira que se você perdesse R$ 0,50. É como se o cérebro fosse uma balança perfeitamente equilibrada.
• A Teoria do "Sistema de Alerta" (Aprendizado Assimétrico): O cérebro é tendencioso. Ele pode aprender muito rápido com uma vitória, mas ignorar uma derrota, ou vice-versa. É como se o cérebro tivesse um "botão de pânico" para perdas e um "botão de celebração" para ganhos, e esses botões não funcionam na mesma velocidade.

2. O Experimento: O Jogo das Cartas "Starling"

Os pesquisadores criaram um jogo chamado "Starling" (como um pássaro que voa em bando, mudando de direção rápido).

• O Cenário: Eles criaram três tipos de "baralhos" (decks):
  1. Baralho Justo: Todas as cartas (de 1 a 9) aparecem com a mesma frequência.
  2. Baralho "Baixo": Cartas pequenas (1, 2, 3) aparecem muito mais.
  3. Baralho "Alto": Cartas grandes (7, 8, 9) aparecem muito mais.
• A Pegadinha: No início, o jogador ficava em um baralho só (para aprender as regras). Depois, o jogo misturava tudo: às vezes era o baralho baixo, às vezes o alto, e o jogador tinha que perceber a mudança rapidamente.

3. A Descoberta: O Cérebro é um "Otimista Cético"

Os pesquisadores testaram 5 modelos de computador (cérebros artificiais) para ver qual deles imitava melhor as pessoas reais.

• O Vencedor: O modelo que melhor explicou o comportamento humano foi o Modelo Sensível ao Risco (RS).
• O Que Isso Significa? O cérebro humano não é uma balança perfeita. Ele aprende de forma assimétrica.
  • Imagine que você está dirigindo. Se você passa num sinal verde (vitória), você continua dirigindo. Se você quase bate (derrota), você freia bruscamente e muda seu comportamento imediatamente.
  • No estudo, descobriu-se que as pessoas tendem a atualizar suas expectativas de forma diferente dependendo se o resultado foi bom ou ruim. Elas não tratam o "ganho" e a "perda" como moedas de valor idêntico na mente. O modelo que permitia essa diferença (aprender mais rápido ou mais devagar com perdas do que com ganhos) foi o único que conseguiu prever exatamente o que as pessoas fariam e quão rápido elas decidiriam.

4. A Analogia do "GPS de Decisão"

Pense no seu cérebro como um GPS de carro:

• Modelos Antigos (Simétricos): O GPS dizia: "Você errou a rua, recalcule a rota. Você acertou a rua, continue assim". Ele tratava o erro e o acerto com o mesmo peso.
• O Modelo Vencedor (Assimétrico): O GPS percebeu que, quando você quase bate (erro), ele precisa gritar e mudar a rota imediatamente. Mas quando você acerta, ele apenas sussurra "ok, continue".
• Resultado: O modelo assimétrico foi o único que conseguiu prever não apenas para onde as pessoas iriam, mas também quão rápido elas virariam o volante. Quando a diferença entre as opções era clara, elas decidiam rápido. Quando era confuso, elas demoravam. O modelo "assimétrico" captou essa nuance perfeitamente.

5. Por que isso importa?

• Para a Saúde Mental: Pessoas com vícios (como jogo de azar ou drogas) muitas vezes têm um "GPS" quebrado. Elas podem ignorar completamente as perdas (aprendem muito pouco com o erro) e focar apenas nas vitórias. Entender que o aprendizado é assimétrico ajuda a criar tratamentos melhores.
• Para o Dia a Dia: Isso explica por que, às vezes, somos muito otimistas ou muito pessimistas. Não somos máquinas frias; nosso cérebro dá pesos diferentes às experiências boas e ruins para nos proteger ou nos motivar.

Em resumo: O estudo provou que, ao tomar decisões arriscadas, nosso cérebro não é um matemático imparcial que soma e subtrai igualmente. Ele é um estrategista que dá pesos diferentes a vitórias e derrotas, e é essa "tendência" que nos faz humanos e nos ajuda a navegar em um mundo incerto.

Resumo técnico

Resumo Técnico: Aprendizado por Reforço Assimétrico Explica Padrões de Escolha Humana na Tomada de Decisão sob Risco

1. Problema e Motivação

A tomada de decisão humana sob incerteza é moldada pela experiência, mas os mecanismos computacionais que traduzem expectativas e resultados em escolhas permanecem debatidos. Embora o Aprendizado por Reforço (RL) seja um quadro unificador, há uma questão central não resolvida: o comportamento humano sob risco é melhor capturado por atualizações simétricas (onde ganhos e perdas são aprendidos com a mesma taxa) ou por aprendizado assimétrico (onde ganhos e perdas são ponderados diferentemente)?

Estudos anteriores sugerem que eventos raros são subponderados e que a sensibilidade ao risco varia, mas a regra de aprendizado específica que melhor liga as diferenças de valor trial-a-trial tanto ao comportamento de escolha quanto ao tempo de resposta (RT) ainda não foi identificada. Além disso, a heterogeneidade nas estratégias de decisão entre indivíduos dificulta a determinação de qual modelo computacional é o mais adequado.

2. Metodologia

2.1. Tarefa Experimental (Tarefa Starling)
Os autores desenvolveram uma nova tarefa estática de tomada de decisão sob risco chamada "Starling task".

• Procedimento: 47 participantes (37 não-epilépticos e 10 pacientes com epilepsia refratária) viram uma carta e decidiram se ela era maior ou menor que a carta de um oponente invisível.
• Feedback: Respostas corretas geravam +$0,50; incorretas geravam -$0,50.
• Estrutura de Blocos:
  • Blocos Fixos (Fix): Três blocos onde a distribuição das cartas era constante (Uniforme, Baixa - viés para números baixos, Alta - viés para números altos).
  • Bloco Misto (Mix): Um bloco onde as distribuições eram intercaladas trial-a-trial, e os participantes usavam uma dica visual (cor da carta) para identificar a distribuição atual.
• Objetivo: Medir precisão, tempo de resposta (RT) e trajetórias de recompensa sob diferentes níveis de incerteza contextual.

2.2. Modelos Computacionais Comparados
Cinco modelos de RL foram ajustados aos dados comportamentais trial-a-trial de cada participante:

1. Win-Stay/Lose-Shift (WSLS): Um modelo heurístico simples baseado no resultado anterior.
2. Rescorla-Wagner (RW) com Política $\epsilon$-Greedy: Aprendizado simétrico com exploração ocasional.
3. Rescorla-Wagner (RW) com Política Softmax: Aprendizado simétrico com exploração probabilística balanceada.
4. Modelo Dual-Q: Atualizações separadas para valor de recompensa e valor de risco.
5. Modelo Sensível ao Risco (RS): Modelo com taxas de aprendizado assimétricas ($\alpha_+$ para RPEs positivos e $\alpha_-$ para RPEs negativos), permitindo que ganhos e perdas atualizem o valor de forma diferente.

2.3. Análise de Dados

• Ajuste de Modelos: Os parâmetros foram estimados via busca em grade (grid search) maximizando a verossimilhança (log-likelihood) das escolhas observadas.
• Métricas de Avaliação: Precisão, sensibilidade (recall), especificidade, critérios de informação (AIC/BIC) e similaridade de trajetórias de recompensa.
• Análise de Variáveis Latentes: Regressões lineares e logísticas foram usadas para testar se as variáveis latentes dos modelos (diferença de valores Q, $\Delta Q$) prediziam o Tempo de Resposta (RT) e a direção da escolha.

3. Resultados Principais

3.1. Desempenho Comportamental

• Os participantes mostraram aumento monotônico na recompensa total ao longo dos ensaios.
• A precisão variou sistematicamente com o valor da carta e a distribuição do baralho.
• Efeito do Contexto: No bloco "Mix" (alta incerteza contextual), os participantes reduziram a dependência das taxas base (priors) dos baralhos, movendo seus pontos de decisão (midpoints) em direção ao centro (carta 5), um fenômeno consistente com a "negligência da taxa base".
• Grupo Epiléptico: Embora a precisão e as trajetórias de recompensa fossem semelhantes ao grupo controle, os pacientes epilépticos apresentaram tempos de resposta (RT) significativamente mais longos, sugerindo que o mecanismo de decisão computacional estava preservado, mas a execução motora/processamento estava mais lento.

3.2. Comparação de Modelos

• Vencedor: O modelo Sensível ao Risco (RS) superou consistentemente todos os outros modelos (WSLS, $\epsilon$-Greedy, Softmax, Dual-Q) em todas as métricas de avaliação (precisão, recall, especificidade, AIC, BIC).
• Ajuste às Trajetórias: O modelo RS foi o único que conseguiu reproduzir com alta fidelidade as trajetórias de recompensa totais dos participantes e as curvas de escolha (funções sigmóides) em todos os tipos de baralho.
• Exclusão de Modelos: O modelo WSLS teve o pior desempenho e foi excluído. O modelo Dual-Q também foi excluído devido a desvios significativos em relação ao comportamento empírico.

3.3. Explicação das Variáveis Latentes

• A diferença de valores Q ($\Delta Q$) derivada do modelo RS apresentou a correlação mais forte e negativa com o Tempo de Resposta (RT): maiores separações de valor levaram a decisões mais rápidas.
• O modelo RS capturou a não-linearidade induzida pela estrutura do baralho (distribuições enviesadas) melhor que os modelos simétricos.
• Parâmetros Chave: A taxa de aprendizado para perdas ($\alpha_-$) foi frequentemente estimada próxima de zero ou muito baixa, indicando que os participantes subponderaram resultados piores do que o esperado (perdas), mantendo valores altos para opções que ocasionalmente geravam grandes recompensas.

4. Contribuições Chave

1. Evidência de Assimetria: O estudo fornece evidências robustas de que o aprendizado humano sob risco é fundamentalmente assimétrico. A atualização de valor baseada em ganhos e perdas ocorre em taxas diferentes, e isso é crucial para explicar tanto a escolha quanto a velocidade da decisão.
2. Novo Paradigma Experimental: Introdução da "Starling task", uma tarefa estática e controlada que permite manipular a incerteza contextual (fixo vs. misto) e a distribuição de recompensas, facilitando a modelagem computacional.
3. Decomposição de Variáveis Latentes: Demonstração de que as variáveis latentes do modelo RS ($\Delta Q$) não apenas predizem a escolha, mas também explicam a variação no tempo de resposta, oferecendo uma conta mecanicista completa do comportamento.
4. Generalização Clínica: A descoberta de que o mecanismo de aprendizado assimétrico é preservado em pacientes com epilepsia (apesar de RTs mais lentos) sugere que este é um processo computacional estável, dissociável de fatores de velocidade de processamento ou motor.

5. Significado e Implicações

• Ciência Cognitiva e Neural: O estudo apoia a hipótese de que o cérebro utiliza mecanismos de aprendizado que ponderam ganhos e perdas de forma desigual, possivelmente como uma aproximação simples de RL distribucional. Isso tem implicações diretas para a análise de sinais neurais (como RPEs no estriado), sugerindo que os sinais de erro de predição de recompensa podem ser modulados pelo sinal de risco.
• Psiquiatria Computacional: A compreensão de que a assimetria no aprendizado é a norma (e não a exceção) é vital para entender transtornos como o transtorno de jogo e o uso de substâncias. Se esses transtornos envolvem uma alteração na assimetria (ex: subponderamento extremo de perdas), o modelo RS oferece um quadro quantitativo para investigar essas disfunções.
• Futuro da Pesquisa: Os autores sugerem que modelos mais complexos (como redes neurais recorrentes) podem ser necessários para capturar heterogeneidades individuais, mas o modelo RS oferece o melhor equilíbrio entre interpretabilidade e ajuste aos dados para o comportamento médio sob risco.

Em resumo, o artigo estabelece que o Aprendizado por Reforço Sensível ao Risco (RS), com suas taxas de aprendizado assimétricas, é o modelo computacional mais parcimonioso e explicativo para a tomada de decisão humana em ambientes incertos, superando abordagens simétricas tradicionais.