Reward changes the use and structure of predictive spatial maps

Resumo Técnico: A Recompensa Altera o Uso e a Estrutura de Mapas Espaciais Preditivos

Problema e Motivação
As mudanças relacionadas à recompensa na atividade das células de lugar hipocampais apresentam uma ambiguidade fundamental: elas refletem um uso diferente de um mapa espacial existente (alteração de amostragem devido a mudanças na política comportamental) ou uma remodelagem do próprio mapa (plasticidade dependente de recompensa)? Achados anteriores mostram campos de lugar acumulando-se próximos a recompensas ou deslocando-se em direção a objetivos, mas observações comportamentais padrão confundem esses dois mecanismos porque as mudanças na política alteram as trajetórias e os históricos sensoriais usados para amostrar o mapa. Os autores argumentam que distinguir entre "como um mapa é usado" e "como ele é reescrito" é essencial para entender o código hipocampal, particularmente dentro de estruturas preditivas como a representação sucessora, onde mudanças de política alteram inerentemente as previsões de ocupação de estado mesmo sem mudanças nos parâmetros.

Metodologia
Os autores construíram um modelo computacional de duas vias para desvendar essas contribuições:

1. Rede Recorrente Preditiva (Fase A): Uma rede neural recorrente (RNN) com 512 unidades ocultas aprende a prever a próxima observação sensorial egocêntrica (vetores de objetos no campo de visão e distâncias das paredes) a partir da observação e ação atuais. Esta rede desenvolve uma representação espacial (ajuste do tipo célula de lugar) através de previsão sensorial puramente, sem sinais explícitos de recompensa ou objetivo.
2. Controlador Condicionado ao Objetivo (Fase B): Um controlador de aprendizado por reforço ator-crítico é adicionado a jusante. Ele combina o estado oculto da RNN com um vetor de deslocamento de objetivo alocêntrico explicitamente fornecido para selecionar ações. O controlador é treinado para alcançar um local recompensado usando Otimização de Política Próxima (PPO).
3. Controles Experimentais:
   • Contraste Comportamental: Comparação de mapas de taxa de exploração pré-aprendizado (passeio aleatório) com comportamento direcionado ao objetivo pós-aprendizado. Aqui, tanto os parâmetros da rede quanto as trajetórias amostradas diferem.
   • Reprodução de Trajetória Fixa: Para isolar mudanças dependentes de parâmetros, os autores reproduziram a mesma trajetória de observação-ação exploratória armazenada através da rede antes e depois do aprendizado. Isso mantém posição, direção e histórico sensorial constantes, isolando mudanças causadas exclusivamente pelos parâmetros aprendidos.
   • Sinais de Ensino: O modelo testou o papel de um "sinal de ensino de proximidade de recompensa" (um decodificador auxiliar treinado para prever uma função suave da distância até a recompensa) e o papel da plasticidade recorrente (comparando pesos recorrentes plásticos versus quase rígidos).
   • Comparações: O modelo foi comparado contra dados experimentais reanalisados de experimentos de omissão de recompensa e relocação de recompensa em camundongos.

Resultos Principais

• Separação de Amostragem e Plasticidade: O comportamento direcionado ao objetivo produziu uma forte concentração de campos de lugar perto da recompensa. No entanto, a reprodução de trajetória fixa revelou que o deslocamento dependente de parâmetro subjacente era significativamente menor (retendo apenas ~16–19% do deslocamento comportamental) e mais variável. Isso indica que a maior parte da concentração de campos observada durante o comportamento surge da mudança na forma como o mapa existente é amostrado (mudança de política), não de uma reestruturação massiva do mapa.
• Papel dos Sinais de Ensino: Quando um sinal de ensino de proximidade de recompensa foi adicionado ao objetivo de aprendizado, o deslocamento dependente de parâmetro sob reprodução de trajetória fixa tornou-se maior e mais consistentemente direcionado à recompensa. Isso sugere que, embora a plasticidade permita que o mapa mude, sinais de ensino específicos são necessários para direcionar essa mudança de forma confiável em direção à recompensa.
• Papel da Plasticidade: Restringir a plasticidade recorrente (pesos quase rígidos) reduziu o deslocamento dependente de parâmetro em uma ordem de magnitude, confirmando que a plasticidade é necessária para que o mapa se reorganize, mesmo que o sinal de ensino direcione o processo.
• Dinâmica de Relocação: Quando a recompensa foi realocada, o ajuste de sintonia direcional relacionado ao objetivo adaptou-se mais plenamente do que os locais de pico dos campos de lugar. Os picos dos campos retiveram uma influência da localização da recompensa previamente aprendida, enquanto a massa total dos campos se recentrou no novo objetivo. Isso sugere uma dissociação onde a sintonia direcional pode atualizar rapidamente enquanto os picos de lugar retêm influência histórica.
• Retirada de Recompensa: A retirada tanto da recompensa ambiental quanto do sinal de proximidade de ensino reverteu a concentração aprendida de campos perto da recompensa, retornando-os ao nível basal. Isso demonstra que a organização relacionada à recompensa não é permanentemente "congelada", mas é mantida ativamente por esses sinais.
• Comparação com Dados: O modelo reproduziu qualitativamente características da codificação de recompensa hipocampal, incluindo acumulação de campos, perda de organização após omissão de recompensa e a coexistência de respostas ancoradas no lugar e relativas à recompensa após a relocação. No entanto, o modelo mostrou um declínio menor na confiabilidade do mapa após a retirada da recompensa em comparação com os dados experimentais, sugerindo que o modelo captura mecanismos específicos, mas pode carecer de outros (ex: inferência de estado latente).

Significância e Alegações
O artigo afirma fornecer um framework concreto para distinguir entre a expressão comportamental de um mapa espacial preditivo e sua modificação pelo aprendizado dependente de recompensa.

• Distinção Mecanística: Os resultados apoiam a visão de que a recompensa afeta os mapas espaciais preditivos através de mecanismos separáveis: a informação de objetivo altera como um mapa existente é usado (amostragem), enquanto sinais de ensino relacionados à recompensa remodelam o próprio mapa (plasticidade).
• Codificação Preditiva: O estudo demonstra que a previsão sensorial pode estabelecer uma representação espacial antes da recompensa, que pode então ser recrutada para navegação direcionada a objetivos. O mapa retém sua organização geral enquanto é moldado pelas demandas comportamentais.
• Limitações: Os autores declaram explicitamente que o modelo é uma abstração computacional, não um modelo de circuito. Ele assume um sinal de deslocamento de objetivo explícito e um sinal de ensino de proximidade definido externamente, em vez de aprender estes a partir da experiência. O modelo não reproduz a progressão retroativa de atividade de recompensa caso a caso, nem a extensão total da desestabilização do mapa vista em experimentos de omissão de recompensa.
• Direções Futuras: O artigo sugere que experimentos futuros devem focar em separar a informação de recompensa, plasticidade e comportamento, potencialmente manipulando entradas catecolaminérgicas (VTA/LC) para testar se a supressão de sinais de ensino relacionados à recompensa reduz a concentração de campos mais do que prejudica a navegação. Também solicita testes para verificar se o sistema pode descobrir objetivos e construir sinais de ensino a partir do histórico sensorial isoladamente.