Reward changes the use and structure of predictive spatial maps

Resumen Técnico: La recompensa cambia el uso y la estructura de los mapas espaciales predictivos

Problema y motivación
Los cambios relacionados con la recompensa en la actividad de las células de lugar hipocampales presentan una ambigüedad fundamental: ¿reflejan un uso diferente de un mapa espacial existente (cambio en el muestreo debido a cambios en la política conductual) o un remodelado del propio mapa (plasticidad dependiente de la recompensa)? Hallazgos previos muestran que los campos de lugar se acumulan cerca de las recompensas o se desplazan hacia los objetivos, pero las observaciones conductuales estándar confunden estos dos mecanismos porque los cambios en la política alteran las trayectorias y las historias sensoriales utilizadas para muestrear el mapa. Los autores argumentan que distinguir entre "cómo se usa un mapa" y "cómo se reescribe" es esencial para comprender la codificación hipocampal, particularmente dentro de los marcos predictivos como la representación sucesora, donde los cambios de política alteran inherentemente las predicciones de ocupación de estados incluso sin cambios en los parámetros.

Metodología
Los autores construyeron un modelo computacional de dos vías para desentrañar estas contribuciones:

1. Red Recurrente Predictiva (Fase A): Una red neuronal recurrente (RNN) con 512 unidades ocultas aprende a predecir la siguiente observación sensorial egocéntrica (vectores de objetos en el campo de visión y distancias a las paredes) a partir de la observación y la acción actuales. Esta red desarrolla una representación espacial (sintonización tipo célula de lugar) mediante la predicción sensorial únicamente, sin señales explícitas de recompensa o meta.
2. Controlador Condicionado por Objetivos (Fase B): Se añade un controlador de aprendizaje por refuerzo actor-crítico. Este combina el estado oculto de la RNN con un vector de desplazamiento de objetivo alocéntrico suministrado explícitamente para seleccionar acciones. El controlador se entrena para alcanzar una ubicación recompensada utilizando la Optimización de Política Próxima (PPO).
3. Controles Experimentales:
   • Contraste Conductual: Comparación de mapas de tasa entre la exploración previa al aprendizaje (camino aleatorio) y el comportamiento dirigido a objetivos post-aprendizaje. Aquí, tanto los parámetros de la red como las trayectorias muestreadas difieren.
   • Replay de Trayectoria Fija: Para aislar los cambios dependientes de los parámetros, los autores reprodujeron la idéntica trayectoria de observación-acción exploratoria almacenada a través de la red antes y después del aprendizaje. Esto mantiene constantes la posición, la orientación y la historia sensorial, aislando los cambios causados únicamente por los parámetros aprendidos.
   • Señales de Enseñanza: El modelo probó el papel de una "señal de enseñanza de proximidad a la recompensa" (un decodificador auxiliar entrenado para predecir una función suave de la distancia a la recompensa) y el papel de la plasticidad recurrente (comparando pesos recurrentes plásticos frente a casi rígidos).
   • Comparaciones: El modelo se comparó con datos experimentales reanalizados de experimentos de omisión de recompensa y reubicación de recompensa en ratones.

Resultados Clave

• Separación de Muestreo y Plasticidad: El comportamiento dirigido a objetivos produjo una fuerte concentración de campos de lugar cerca de la recompensa. Sin embargo, el replay de trayectoria fija reveló que el cambio dependiente de los parámetros subyacente era significativamente menor (reteniendo solo el ~16–19% del cambio conductual) y más variable. Esto indica que la mayor parte de la concentración de campos observada durante la conducta surge del cambio en cómo se muestrea el mapa existente (cambio de política), no de un remodelado masivo del mapa.
• Papel de las Señales de Enseñanza: Cuando se añadió una señal de enseñanza de proximidad a la recompensa al objetivo de aprendizaje, el cambio dependiente de los parámetros bajo el replay de trayectoria fija se volvió mayor y más consistentemente dirigido hacia la recompensa. Esto sugiere que, si bien la plasticidad permite que el mapa cambie, se requieren señales de enseñanza específicas para dirigir ese cambio de manera confiable hacia la recompensa.
• Papel de la Plasticidad: Restringir la plasticidad recurrente (pesos casi rígidos) redujo el cambio dependiente de los parámetros en un orden de magnitud, confirmando que la plasticidad es necesaria para que el mapa se reorganice, incluso si la señal de enseñanza lo dirige.
• Dinámicas de Reubicación: Cuando la recompensa fue reubicada, la sintonización direccional relacionada con el objetivo se adaptó más plenamente que las ubicaciones de los picos de los campos de lugar. Los picos de los campos retuvieron una influencia de la ubicación de la recompensa previamente aprendida, mientras que la masa general de los campos se recentró en el nuevo objetivo. Esto sugiere una disociación donde la sintonización direccional puede actualizarse rápidamente mientras que los picos de los campos retienen la influencia histórica.
• Retiro de la Recompensa: El retiro tanto de la recompensa ambiental como de la señal de enseñanza de proximidad revirtió la concentración aprendida de campos cerca de la recompensa, regresándolos hacia la línea base. Esto demuestra que la organización relacionada con la recompensa no está "congelada" permanentemente, sino que es mantenida activamente por estas señales.
• Comparación con Datos: El modelo reprodujo cualitativamente características de la codificación de recompensa hipocampal, incluyendo la acumulación de campos, la pérdida de organización tras la omisión de recompensa y la coexistencia de respuestas ancladas al lugar y relativas a la recompensa tras la reubicación. Sin embargo, el modelo mostró un menor declive en la fiabilidad del mapa tras el retiro de la recompensa en comparación con los datos experimentales, lo que sugiere que el modelo captura mecanismos específicos pero puede carecer de otros (por ejemplo, inferencia de estados latentes).

Significancia y Reivindicaciones
El artículo afirma proporcionar un marco concreto para distinguir entre la expresión conductual de un mapa espacial predictivo y su modificación mediante el aprendizaje dependiente de la recompensa.

• Distinción Mecanicista: Los resultados apoyan la visión de que la recompensa afecta a los mapas espaciles predictivos a través de mecanismos separables: la información del objetivo cambia cómo se usa un mapa existente (muestreo), mientras que las señales de enseñanza relacionadas con la recompensa remodelan el mapa en sí (plasticidad).
• Codificación Predictiva: El estudio demuestra que la predicción sensorial puede establecer una representación espacial antes de la recompensa, la cual puede ser reclutada para la navegación dirigida a objetivos. El mapa retiene su organización general mientras es moldeado por las demandas conductuales.
• Limitaciones: Los autores declaran explícitamente que el modelo es una abstracción computacional, no un modelo de circuito. Asume una señal de desplazamiento de objetivo explícita y una señal de enseñanza de proximidad definida externamente, en lugar de aprenderlas de la experiencia. El modelo no reproduce la progresión hacia atrás paso a paso de la actividad de la recompensa ni la extensión total de la desestabilización del mapa observada en los experimentos de omisión de recompensa.
• Direcciones Futuras: El artículo sugiere que los experimentos futuros deberían centrarse en desentrañar la información de la recompensa, la plasticidad y la conducta, potencialmente manipulando las entradas catecolaminérgicas (VTA/LC) para probar si la supresión de la enseñanza relacionada con la recompensa reduce la concentración de campos más de lo que impide la navegación. También hace un llamado a probar si el sistema puede descubrir objetivos y construir señales de enseñanza a partir de la historia sensorial por sí solo.