Reward predictability shapes decision making states and exploitative control in marmosets

Resumo Técnico: A Previsibilidade da Recompensa Molda os Estados de Tomada de Decisão e o Controle Exploratório em Marmosetos

Definição do Problema
Animais que operam em ambientes dinâmicos devem transitar de forma flexível entre estados comportamentais caracterizados pela exploração de recompensas conhecidas e pela exploração de alternativas. Embora a compreensão dessa flexibilidade exija a caracterização de escolhas, resultados e a atualização de estratégias com base na informação de recompensa, plataformas comportamentais escaláveis para estudar esses processos em marmos-leões (Callithrix jacchus) têm sido limitadas. Apesar das vantagens únicas do marmoseto — especificamente sua tratabilidade genética e complexidade cortical frontal — há uma necessidade de métodos robustos para investigar a tomada de decisão flexível nesta espécie sem depender de protocolos restritivos como a privação de água.

Metodologia
Para abordar essas limitações, os autores desenvolveram uma plataforma de tela sensível ao toque automatizada em gaiola doméstica que facilita o teste comportamental voluntário ao longo de períodos estendidos sem restrição de água. Utilizando esta plataforma, os autores treinaram marmosetos em uma série progressiva de tarefas de aprendizagem de reversão que aumentavam em complexidade. A sequência experimental culminou em uma tarefa de bandit de dois braços probabilística totalmente não sinalizada.

O estudo empregou uma abordagem analítica dual combinando modelagem comportamental e classificação de estados:

1. Modelagem de Aprendizagem por Reforço: Um modelo de Q-learning incorporando perseveração de escolha foi aplicado para capturar a dinâmica tentativa a tentativa. O estudo examinou se a variabilidade de escolha se alinhava com a amostragem estocástica da política ajustada.
2. Classificação de Estados: Um classificador de estado comportamental em nível de tentativa foi utilizado para identificar modos distintos e persistentes de explotação e exploração. Este classificador analisou as diferenças na sensibilidade ao histórico de recompensa e nas estruturas de transição entre estados.
3. Análise Comparativa: Os pesquisadores compararam padrões comportamentais sob contingências de recompensa probabilísticas versus determinísticas para avaliar como a previsibilidade da recompensa influencia a ocupação de estados e a correção de erros.

Principais Contribuições

• Desenvolvimento de Plataforma: A criação de um sistema de teste em gaiola doméstica automatizado e voluntário que permite estudos comportamentais de alto rendimento e longo prazo em marmosetos sem os confundimentos da restrição de água.
• Estrutura Computacional: A aplicação de um modelo de Q-learning com perseveração de escolha para modelar com sucesso a dinâmica de tomada de decisão dos marmosetos, validando que sua variabilidade de escolha é consistente com a amostragem estocástica.
• Caracterização de Estado Comportamental: A identificação de estados comportamentais distintos e persistentes (explotação vs. exploração) que diferem fundamentalmente em sua dependência do histórico de recompensa e em suas dinâmicas de transição.

Resultos
O estudo descobriu que a previsibilidade da recompensa reorganiza significativamente os processos de tomada de decisão:

• Ocupação de Estado: A previsibilidade das recompensas alterou a ocupação dos estados comportamentais.
• Correção de Erro: Sob condições de feedback determinístico, os animais demonstraram uma correção de erro mais aguçada dentro de estados predominantemente exploratórios. Especificamente, os marmosetos responderam mais rapidamente a resultados negativos únicos quando a contingência de recompensa era determinística em comparação com as condições probabilísticas.
• Ajuste do Modelo: O modelo de Q-learning com perseveração de escolha capturou efetivamente a dinâmica tentativa a tentativa, confirmando que o comportamento dos animais poderia ser descrito como amostragem estocástica de uma política aprendida.

Significância
O artigo estabelece uma estrutura comportamental e computacional abrangente projetada para dissecar as computações específicas e os circuitos neurais subjacentes à tomada de decisão adaptativa em marmosetos. Ao demonstrar que a previsibilidade da recompensa modula a ocupação de estados e a velocidade de correção de erro, este trabalho fornece uma base para investigações futuras sobre os mecanismos neurais da flexibilidade neste modelo primata geneticamente tratável.