🧬 biology

Beyond model-based and model-free learning: irrational learning of successor features in addictive behaviour

Este estudo desafia a dicotomia tradicional entre modelos baseados em modelos e modelos livres na pesquisa sobre dependência ao demonstrar que indivíduos com transtornos por uso de substâncias exibem um aprendizado irracional caracterizado por uma mudança racional de recursos em direção a recursos sucessores simplificados e reutilizáveis para minimizar custos cognitivos, mesmo às custas da maximização da recompensa.

Autores originais: Ru-Yuan Zhang, Zeming Fang, Yu-Yan Gao, Yu-Feng Xia, Zi-Jian Cheng, Lingxiao Yang, Wei Li, Tomoko Kishimoto, Lei Guo, Trevor Robbins

Publicado 2026-07-31

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ru-Yuan Zhang, Zeming Fang, Yu-Yan Gao, Yu-Feng Xia, Zi-Jian Cheng, Lingxiao Yang, Wei Li, Tomoko Kishimoto, Lei Guo, Trevor Robbins

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

Imagine o seu cérebro como um console de videogame superinteligente que tem que jogar milhares de jogos diferentes ao mesmo tempo. Alguns jogos são simples, como um jogo de "Pedra, Papel e Tesoura", onde você apenas memoriza que "Pedra vence Tesoura". Outros são aventuras de estratégia complexas onde você tem que mapear todo o mundo, prever como cada inimigo se moverá e planejar dez passos à frente. Por muito tempo, os cientistas pensaram que nossos cérebros estavam presos em um cabo de guerra entre esses dois estilos: o estilo "preguiçoso" que apenas memoriza o que funcionou antes (Model-Free/Sem Modelo) e o estilo "trabalhador" que constrói um mapa mental do mundo para planejar com antecedência (Model-Based/Baseado em Modelo). Eles acreditavam que, no vício, o cérebro fica preguiçoso e para de planejar, dependendo apenas de velhos hábitos. Mas e se o cérebro não estiver apenas sendo preguiçoso ou trabalhador? E se ele estiver, na verdade, tentando ser um contador genial, calculando constantemente quanto o "poder cerebral" (ou esforço cognitivo) de uma decisão custa versus quanto de "diversão" (recompensa) ele devolve? Este é o mundo da "racionalidade de recursos", uma forma chique de dizer que nossos cérebros estão sempre tentando conseguir o melhor negócio pelo menor gasto de energia mental.

Agora, vamos entrar em um novo estudo realizado pelos pesquisadores Ru-Yuan Zhang e sua equipe, que decidiram testar essa ideia em um grupo de pessoas com transtornos de uso de substâncias (TUS) e um grupo de voluntários saudáveis. Eles não apenas pediram que jogassem um único jogo; eles os lançaram em um enorme "dungeon crawler" de múltiplos níveis. Imagine um castelo com um mapa em forma de árvore. Em cada rodada, os "preços de mercado" para três recursos — madeira, pedra e ferro — mudam. Seu objetivo é escolher um caminho através do castelo para agarrar os recursos mais valiosos com base nesses preços. O detalhe é que os preços mudam a cada vez, criando quatro "tarefas" ou jogos diferentes dentro do mesmo castelo. Para vencer grande, você deve aprender o layout do castelo e adaptar rapidamente seu caminho sempre que os preços mudarem.

Os pesquisadores descobriram algo surpreendente que quebra a antiga regra "preguiçoso vs. trabalhador". Quando observaram como as pessoas jogavam, viram que nem o estilo baseado em hábitos "preguiçoso", nem o estilo de construção de mapas "trabalhador" podiam explicar totalmente o que estava acontecendo. Em vez disso, todos pareciam estar usando uma estratégia intermediária inteligente chamada "Successor Features" (Recursos Sucessores). Pense nisso como aprender a "vibe" de uma sala em vez de memorizar cada passo individualmente. Você aprende que "A Sala A geralmente leva a uma pilha de madeira" e "A Sala B geralmente leva a pedra", e você pode misturar e combinar essas "vibes" para resolver novos enigmas de preços sem ter que reconstruir todo o seu mapa mental do zero.

No entanto, a história toma um rumo diferente ao observar o grupo com vício. Enquanto os jogadores saudáveis usavam essas "vibes" para alternar estratégias de forma flexível e encontrar o melhor caminho para cada nova lista de preços, os jogadores com vício começaram a ficar travados. Eles acharam o esforço mental necessário para mudar de estratégia caro demais. Assim, adotaram uma abordagem de "tamanho único". Não importava quais fossem os preços, eles continuavam correndo para a mesma sala (Sala 4) porque era o caminho mais fácil de lembrar, mesmo que isso significasse perder muito dinheiro. O estudo sugere que isso não foi porque eles não conseguiam aprender o mapa, mas porque seus cérebros eram hiper-sensíveis ao "custo" de pensar. Eles estavam dispostos a sacrificar recompensas apenas para economizar energia mental.

Os pesquisadores construíram um modelo de computador que agia como um "contador cerebral", pesando a recompensa contra o esforço mental. Este modelo, que chamaram de modelo de Recurso-Racional de Sucessor de Características (RRSF), foi o único que conseguiu prever perfeitamente o comportamento de ambos os grupos. Ele mostrou que o grupo com vício tinha uma "sensibilidade ao custo" muito maior — eles sentiam o esforço mental de mudar de estratégia como um fardo enorme, por isso mantinham um plano simples e padrão. O estudo também descobriu que, quanto mais graves eram os sintomas de vício de uma pessoa, mais ela tendia a evitar o esforço mental e a aderir a esses caminhos rígidos e subótimos.

Em resumo, este artigo sugere que o vício não é apenas sobre um sistema de "planejamento" quebrado ou um sistema de "hábito" quebrado. É sobre um cérebro que se tornou excessivamente frugal com sua energia mental. É como um jogador que, em vez de aprender os novos níveis, continua pressionando o mesmo botão repetidamente porque os novos níveis parecem exaustivos demais para entender. O estudo mediu esses comportamentos em 83 pessoas com transtornos de uso de substâncias e 45 controles saudáveis, descobrindo que o comportamento "preguiçoso" era, na verdade, uma tentativa calculada, embora mal-adaptativa, de economizar esforço cognitivo. Esta nova perspectiva nos ajuda a entender que os comportamentos rígidos e repetitivos vistos no vício podem ser a maneira do cérebro tentar se proteger de ser sobrecarregado, mesmo que isso signifique perder as melhores recompensas.

Resumo Técnico: Além do Aprendizado Baseado em Modelo e Livre de Modelo: Aprendizado Irracional de Características de Sucessor no Comportamento Aditivo

Definição do Problema
A dependência é frequentemente conceituada dentro de estruturas de aprendizado por reforço (RL) como uma mudança do controle flexível e direcionado a objetivos "baseado em modelo" (MB) para estratégias habituais e "livres de modelo" (MF) e rígidas. No entanto, essa dicotomia MB–MF é amplamente derivada de configurações de tarefa única e pode falhar em capturar a dinâmica de aprendizado em ambientes complexos de múltiplas tarefas onde a generalização é necessária. Além disso, os modelos de dependência existentes frequentemente inferem o esforço cognitivo indiretamente a partir do desempenho, em vez de quantificar os custos computacionais do próprio aprendizado. Este estudo aborda a lacuna na compreensão de como indivíduos com Transtornos de Uso de Substâncias (TUS) aprendem e generalizam através de múltiplas tarefas, investigando especificamente se seu comportamento é melhor explicado por uma mudança para o controle MF ou por uma adaptação racional-recurso envolvendo "características de sucessor" (SF) e restrições de esforço cognitivo.

Metodologia
Os pesquisadores recrutaram 83 homens com TUS e 45 controles saudáveis (HC) demograficamente pareados. Os participantes realizaram um paradigma de aprendizado por reforço de múltiplas tarefas envolvendo uma árvore de decisão de dois passos.

Estrutura da Tarefa: Em cada tentativa, os participantes observavam um "conjunto de preços" (definindo a tarefa $g$ ) para três recursos (madeira, pedra, ferro). Eles então realizavam duas escolhas sequenciais para navegar em uma árvore de salas, eventualmente alcançando uma sala final contendo quantidades fixas de recursos. A recompensa era calculada como o produto escalar das quantidades de recursos e o conjunto de preços atual.
Design de Múltiplas Tarefas: O experimento utilizou quatro conjuntos de preços distintos (tarefas), categorizados em dois tipos (A e B) e dois níveis de dificuldade (fácil e difícil). As tarefas eram simétricas em potencial de recompensa, mas diferiam na complexidade da política exigida (por exemplo, as tarefas do Tipo B favoreciam uma sequência simples "esquerda-esquerda", enquanto o Tipo A exigia uma sequência "direita-esquerda").
Modelagem Computacional: Os autores desenvolveram e compararam oito modelos computacionais em dois frameworks:
1. RL Clássico: Modelos Livre de Modelo (MF), Baseado em Modelo (MB) e de Características de Sucessor (SF). Variantes com "perseveração" (repetição de ação) também foram testadas.
2. RL Racional-Recurso: Estes modelos (RRMF, RRMB, RRSF) incorporaram um custo informacional-teórico de esforço cognitivo. A função objetivo equilibrou a recompensa esperada contra a divergência de Kullback-Leibler (KL) entre uma política específica da tarefa e uma política padrão, formalizada como $I_\pi(G; A|S)$ . Um parâmetro de sensibilidade ao custo ( $\lambda$ ) controlou o equilíbrio entre a maximização da recompensa e a conservação de esforço.
Análise: Os modelos foram ajustados aos dados tentativa a tentativa usando estimativa de Máxima Posterior (MAP). A comparação de modelos foi realizada usando o Critério de Informação Bayesiano (BIC) e a Probabilidade de Excedência Protegida (PXP). Análises de recuperação de parâmetros e recuperação de modelo foram realizadas para validar a identificabilidade dos modelos.

Principais Resultados

Déficits Comportamentais em TUS: O grupo TUS obteve significativamente menos recompensas do que o grupo HC e exibiu curvas de aprendizado mais lentas. Crucialmente, os participantes com TUS mostraram redução na flexibilidade da política: eles selecionaram desproporcionalmente a Sala 4 (a sala ideal para tarefas do Tipo B) em todos os tipos de tarefas, incluindo as tarefas do Tipo A, onde era suboptimal. Em contraste, os participantes HC adaptaram suas políticas às exigências específicas da tarefa.
Falha dos Modelos de RL Clássicos: Os modelos padrão MB, MF e SF falharam em capturar assinaturas comportamentais fundamentais, particularmente a tendência do grupo TUS de reutilizar uma política fixa através das tarefas e a assimetria de desempenho entre as tarefas do Tipo A e do Tipo B.
Superioridade de SF Racional-Recurso (RRSF): O modelo de Características de Sucessor Racional-Recurso (RRSF) proporcionou o melhor ajuste aos dados. Ele reproduziu com sucesso os padrões comportamentais observados, incluindo a dependência do grupo TUS em uma política padrão (Sala 4), mesmo quando suboptimal.
Mecanismo de Irracionalidade: O modelo RRSF revelou que ambos os grupos utilizaram aprendizado de SF, mas diferiram em sua sensibilidade ao esforço cognitivo ( $\lambda$ ). O grupo TUS exibiu maior sensibilidade ao custo, levando-os a minimizar o esforço cognitivo ao reutilizar uma política padrão simplificada em vez de computar estratégias específicas para a tarefa. Isso resultou em um viés sistemático em direção às tarefas do Tipo B "mais fáceis" e uma falha em otimizar para as tarefas do Tipo A.
Correlatos Clínicos: Menor esforço cognitivo exercido foi associado a maior ansiedade autorrelatada, maiores escores de uso de substâncias e maior impulsividade cognitiva. Menores taxas de aprendizado de características de sucessor foram associadas a maiores níveis de depressão autorrelatada.

Significância e Alegações
O artigo alega oferecer um relato normativo para o aprendizado atípico na dependência que vai além da tradicional dicotomia MB–MF. Os autores argumentam que a dependência não representa meramente uma falha no planejamento baseado em modelo ou uma dominância de hábitos livres de modelo, mas sim uma mudança sistemática na forma como os recursos cognitivos são alocados.

Especificamente, o estudo postula que:

Características de Sucessor como um Mecanismo Unificador: Em ambientes de múltiplas tarefas, o aprendizado humano (tanto saudável quanto patológico) depende de características de sucessor para generalizar entre tarefas, atuando como uma estratégia intermediária entre MB e MF.
Irracionalidade Racional-Recurso: O comportamento "irracional" observado em TUS (reuso de política suboptimal) é uma adaptação racional a uma maior sensibilidade ao custo cognitivo. Indivíduos com TUS parecem priorizar a conservação de esforço cognitivo sobre a maximização da recompensa, levando à reutilização rígida de políticas padrão.
Implicações para a Psiquiatria Computacional: Ao quantificar o esforço cognitivo via teoria da informação, o estudo fornece um novo framework para entender os déficits de controle cognitivo na dependência. Sugere que esses déficits podem não advir de uma falta de capacidade cognitiva, mas de uma menor disposição ou capacidade de despender esforço (aversão ao esforço) para atualizar políticas para longe de um estado padrão.

Os autores concluem que a perspectiva de aprendizado de características de sucessor racional-recurso oferece uma explicação mais abrangente para a inflexibilidade vista na dependência, vinculando mecanismos computacionais diretamente à severidade dos sintomas clínicos.

Mais como este