Transition from model-free to structure-informed decision making in dynamic environments

Na vasta paisagem de como os seres vivos tomam decisões, os cientistas há muito distinguem duas formas fundamentais de navegar pelo mundo. Uma abordagem é imediata e reativa: um animal aprende que uma ação específica leva a uma recompensa e repete essa ação sem necessariamente entender por que ela funciona. Esta é uma estratégia de hábito, construída sobre associações simples entre fazer algo e obter algo bom. A outra abordagem é mais reflexiva e deliberada: um animal constrói um mapa interno de como o mundo é estruturado, entendendo como um evento leva a outro e como diferentes escolhas alteram as chances de uma recompensa. Esta é uma estratégia de planejamento, onde o tomador de decisão usa o conhecimento das regras para guiar o comportamento. Por anos, pesquisadores acreditaram que, à medida que os animais praticavam uma tarefa por um longo tempo, eles passariam lentamente do planejamento reflexivo para o hábito mais simples e automático. Essa ideia sugeria que, com repetição suficiente, o cérebro pararia de calcular e começaria a confiar na memória muscular.

Uma equipe de pesquisadores decidiu testar essa suposição observando como camundongos aprendem uma tarefa complexa de tomada de decisão, mas com uma reviravolta crucial: eles olharam para o início do processo de aprendizagem, em vez de esperar que os animais se tornassem especialistas. Os camundongos foram colocados em uma situação em que tinham que fazer uma série de escolhas para encontrar uma recompensa. O ambiente era traiçoeiro; o caminho para a recompensa nem sempre era direto. Às vezes, uma escolha levaria diretamente ao próximo passo, como esperado, mas outras vezes, o caminho tomaria um rumo inesperado. Além disso, a probabilidade de encontrar uma recompensa ao final do caminho não era fixa; ela mudava ao longo do tempo, forçando os camundongos a atualizar constantemente suas expectativas. Os pesquisadores observaram o comportamento dos camundongos de perto enquanto eles passavam por suas sessões de treinamento, rastreando se os animais estavam simplesmente reagindo a recompensas passadas ou se estavam começando a entender a estrutura oculta da tarefa.

Os resultados revelaram um padrão surpreendente que desafia a visão antiga de como a aprendizagem se desenrola. À medida que os camundongos praticavam, seu comportamento mudava de uma forma que indicava que eles não estavam apenas formando hábitos. Quando os camundongos encontravam uma situação em que o caminho tomava um rumo inesperado, eles ajustavam suas escolhas futuras de maneira diferente de quando o caminho seguia conforme o esperado. Essa divergência no comportamento é um sinal claro de que os animais haviam começado a usar seu conhecimento da estrutura da tarefa para guiar suas decisões. Ao ajustar modelos matemáticos de diferentes estilos de aprendizagem às ações dos camundongos, os pesquisadores descobriram que os animais estavam dependendo cada vez mais de uma estratégia que utilizava esse conhecimento estrutural. Essa mudança aconteceu cedo no processo de treinamento, muito antes de os camundongos terem passado um tempo extensivo na tarefa.

Essa descoberta sugere que a transição da aprendizagem simples e reativa para a tomada de decisão complexa e informada pela estrutura acontece muito mais cedo do que se pensava anteriormente. Embora estudos anteriores tenham focado no que acontece depois que um animal praticou por um longo tempo, frequentemente concluindo que o cérebro eventualmente para de pensar e passa a agir no piloto automático, este novo trabalho mostra que o céreamente começa a construir um modelo mental das regras quase imediatamente. Os camundongos não esperaram para se tornarem habituais antes de começarem a entender o jogo; em vez disso, eles rapidamente se afastaram de depender apenas de recompensas passadas e começaram a usar sua compreensão de como a tarefa era composta para fazer escolhas melhores. Isso demonstra que, em ambientes dinâmicos onde regras e recompensas podem mudar, a capacidade de compreender a estrutura subjacente é uma ferramenta primária para a sobrevivência, uma que o cérebro busca precocemente e com frequência.