Cortex and subcortex play distinct roles over learning when cortical memory is limited

Resumo Técnico: Papéis Corticais e Subcorticais na Aprendizagem sob Restrições de Memória

Definição do Problema
O artigo aborda o compromisso computacional entre o processamento cortical de alto poder e uso intensivo de recursos (associado ao raciocínio flexível e baseado em modelos) e os processos subcorticais de menor custo e automáticos (associados à aprendizagem livre de modelo). Embora se hipotetize que o cérebro integre esses sistemas para eficiência de recursos, os quadros teóricos existentes frequentemente falham em restringir explicitamente os recursos de memória do módulo baseado em modelo (MB). Em muitos ambientes complexos, o número de probabilidades de transição de estado excede a capacidade de memória das funções de pensamento de ordem superior. Os autores investigam como um aprendiz MB, explicitamente restringido por uma capacidade de memória limitada, deve alocar seus recursos ao aprender junto com um aprendiz livre de modelo (MF). Especificamente, eles questionam se o sistema MB deve priorizar o rastreamento de transições diretamente associadas a recompensas atuais ou a estruturas ambientais mais amplas.

Metodologia
Os autores propõem um quadro teórico utilizando um ambiente estruturado em árvore com transições não determinísticas.

• Ambiente: Uma árvore regular com profundidade $d$, onde um agente começa em um estado raiz $s_0$ e move-se para estados folha. As recompensas são atribuídas apenas nos estados folha. O ambiente é dividido em duas fases: Fase 1 (padrão de recompensa fixo) e Fase 2 (padrão de recompensa deslocado).
• Aprendizes:
  • Livre de Modelo (MF): Utiliza uma regra do tipo SARSA(0) com uma atualização de propagação para trás, permitindo a propagação imediata da recompensa através da árvore sem parâmetros extras como $\lambda$.
  • Baseado em Modelo (MB): Utiliza programação dinâmica para calcular valores Q baseados em probabilidades de transição estimadas $\hat{P}$. Crucialmente, o aprendiz MB é restringido por uma capacidade de memória $m$, limitando o número de arestas (transições) que ele pode rastrear e estimar.
• Estratégias de Alocação de Memória: O estudo avalia duas estratégias distintas para selecionar quais arestas rastrear dentro do limite de memória $m$:
  1. MAXREWARD: Prioriza arestas associadas à recompensa (aquelas em trajetórias que levam a valores positivos), usando a proximidade com a raiz como critério de desempate.
  2. MAXREACH: Prioriza arestas mais próximas do estado raiz ($s_0$), independentemente da associação imediata com a recompensa, para maximizar a capacidade de navegar para quaisquer estados de objetivo.
• Avaliação: O desempenho é medido pela recompensa média recebida ao longo dos episódios. O estudo também introduz uma métrica de "consistência" para comparar estratégias hipotetizadas contra dados gerados, permitindo uma análise detalhada das escolhas de ação em níveis específicos da árvore.

Principais Resultados

• Compromisso entre Ambientes Estáticos vs. Dinâmicos:
  • Na Fase 1 (recompensa estável), o MAXREWARD geralmente supera ou iguala o MAXREACH porque foca recursos na exploração da estrutura de recompensa atual.
  • Na Fase 2 (após o deslocamento da localização da recompensa), o MAXREACH demonstra uma vantagem significativa. Por rastrear a estrutura geral próxima à raiz, ele retém o conhecimento das probabilidades de transição que se tornam relevantes quando a recompensa se move. O MAXREWARD, tendo descartado arestas não recompensadas na Fase 1, precisa reaprender essas transições, resultando em uma queda temporária de desempenho.
• Efeitos da Capacidade de Memória: Quando a capacidade de memória $m$ é suficientemente alta, ambas as estratégias convergem em desempenho. No entanto, sob restrições rigorosas, a escolha da estratégia dita a adaptabilidade do agente a ambientes não estacionários.
• Assinaturas de Consistência: A análise da consistência da estratégia revela uma assinatura temporal distinta. Ao comparar os dados de um agente MAXREACH contra uma hipótese MAXREWARD (e vice-versa), a consistência da primeira ação (nível da raiz) cai drasticamente imediatamente após o deslocamento da recompensa na Fase 2, antes de se recuperar gradualmente. Isso fornece uma assinatura específica e testável para distinguir entre os dois modos de aprendizagem.

Significância e Alegações
O artigo afirma fornecer uma base teórica para uma dissociação funcional entre sistemas corticais e subcorticais durante a aprendizagem:

1. Especialização Funcional: Os autores propõem que o córtex (MB) apoia a aprendizagem da estrutura ambiental geral (MAXREACH), enquanto os circuitos subcorticais (MF) especializam-se na aprendizagem baseada em recompensa.
2. Plausibilidade Neurobiológica: Este quadro oferece uma explicação para o porquê de as áreas corticais receberem projeções dopaminérgicas mais esparsas do que o estriado. Se o córtex foca na aprendizagem estrutural independente da recompensa imediata, ele requer menos sinalização direta de recompensa do que o sistema MF, que depende de experiências repetidas de recompensa para atualizar valores.
3. Testabilidade Experimental: Os autores detalham um método para testar essas hipóteses usando dados experimentais. Ao medir a consistência das ações de um animal com as estratégias MAXREWARD ou MAXREACH, pesquisadores podem identificar se o sujeito está priorizando a exploração de recompensa ou a aprendizagem estrutural, observando particularmente o "mergulho" específico na consistência no nível da raiz após mudanças ambientais.
4. Implicações para IA: O trabalho sugere que sistemas de IA eficientes podem se beneficiar de arquiteturas semelhantes, limitadas por recursos, onde um módulo de planejamento de alto custo foca na estrutura geral enquanto um módulo de baixo custo lida com a otimização da recompensa imediata.

Os autores permanecem modestos, reconhecendo que seu modelo atual utiliza um ambiente de brinquedo e métodos tabulares. Eles observam que trabalhos futuros devem explorar modelos paramétricos, integração de sinais mais complexos e os mecanismos para a transferência de controle do MB para o MF conforme as tarefas são dominadas.