Cortex and subcortex play distinct roles over learning when cortical memory is limited

Resumen Técnico: Roles Corticales y Subcorticales en el Aprendizaje bajo Restricciones de Memoria

Planteamiento del Problema
El artículo aborda el compromiso computacional entre el procesamiento cortical de alta potencia y uso intensivo de recursos (asociado con el razonamiento flexible basado en modelos) y los procesos subcorticales de menor costo y automáticos (asociados con el aprendizaje libre de modelo o model-free). Si bien se hipotetiza que el cerebro integra estos sistemas para lograr la eficiencia de recursos, los marcos teóricos existentes a menudo no restringen explícitamente los recursos de memoria del módulo basado en modelos (MB). En muchos entornos complejos, el número de probabilidades de transición de estados excede la capacidad de memoria de las funciones de pensamiento de orden superior. Los autores investigan cómo un aprendiz MB, restringido explícitamente por una capacidad de memoria limitada, debería asignar sus recursos cuando aprende junto a un aprendiz libre de modelo (MF). Específicamente, indagan si el sistema MB debe priorizar el seguimiento de transiciones asociadas directamente con las recompensas actuales o con estructuras ambientales más amplias.

Metodología
Los autores proponen un marco teórico utilizando un entorno con estructura de árbol y transiciones no deterministas.

• Entorno: Un árbol regular con profundidad $d$, donde un agente comienza en un estado raíz $s_0$ y se desplaza hacia estados hoja. El entorno se divide en dos fases: Fase 1 (patrón de recompensa fijo) y Fase 2 (patrón de recompensa desplazado).
• Aprendices:
  • Libre de Modelo (MF): Utiliza una regla de estilo SARSA(0) con una actualización de propagación hacia atrás, lo que permite la propagación inmediata de la recompensa a través del árbol sin parámetros adicionales como $\lambda$.
  • Basado en Modelo (MB): Utiliza programación dinámica para calcular los valores Q basados en las probabilidades de transición estimadas $\hat{P}$. Crucialmente, el aprendiz MB está limitado por una capacidad de memoria $m$, lo que restringe el número de aristas (transiciones) que puede rastrear y estimar.
• Estrategias de Asignación de Memoria: El estudio evalúa dos estrategias distintas para seleccionar qué aristas rastrear dentro del límite de memoria $m$:
  1. MAXREWARD: Prioriza las aristas asociadas con la recompensa (aquellas en trayectorias que conducen a un valor positivo), utilizando la proximidad a la raíz como criterio de desempate.
  2. MAXREACH: Prioriza las aristas más cercanas al estado raíz ($s_0$), independientemente de su asociación inmediata con la recompensa, para maximizar la capacidad de navegar hacia estados objetivo arbitrarios.
• Evaluación: El rendimiento se mide mediante la recompensa promedio recibida durante los episodios. El estudio también introduce una métrica de "consistencia" para comparar las estrategias hipotetizadas contra los datos generados, lo que permite un análisis detallado de las elecciones de acción en niveles específicos del árbol.

Resultados Clave

• Compromiso entre Entornos Estáticos y Dinámicos:
  • En la Fase 1 (recompensa estable), MAXREWARD generalmente supera o iguala a MAXREACH porque se enfoca en explotar la estructura de recompensa actual.
  • En la Fase 2 (después del desplazamiento de la ubicación de la recompensa), MAXREACH demuestra una ventaja significativa. Debido a que rastrea la estructura general cerca de la raíz, retiene el conocimiento de las probabilidades de transición que se vuelven relevantes cuando la recompensa se mueve. MAXREWARD, al haber descartado las aristas no relacionadas con la recompensa en la Fase 1, debe reaprender estas transiciones, lo que resulta en una caída temporal del rendimiento.
• Efectos de la Capacidad de Memoria: Cuando la capacidad de memoria $m$ es suficientemente alta, ambas estrategias convergen en rendimiento. Sin embargo, bajo restricciones estrictas, la elección de la estrategia dicta la adaptabilidad del agente a entornos no estacionarios.
• Firmas de Consistencia: El análisis de la consistencia de la estrategia revela una firma temporal distintiva. Al comparar los datos de un agente MAXREACH contra una hipótesis de MAXREWARD (y viceversa), la consistencia de la primera acción (nivel de la raíz) cae drásticamente inmediatamente después del cambio de recompensa en la Fase 2, antes de recuperarse gradualmente. Esto proporciona una firma específica y contrastable para distinguir entre los dos modos de aprendizaje.

Significancia y Reivindicaciones
El artículo afirma proporcionar una base teórica para una disociación funcional entre los sistemas cortical y subcortical durante el aprendizaje:

1. Especialización Funcional: Los autores proponen que la corteza (MB) apoya el aprendizaje de la estructura ambiental general (MAXREACH), mientras que los circuitos subcorticales (MF) se especializan en el aprendizaje basado en la recompensa.
2. Plausibilidad Neurobiológica: Este marco ofrece una explicación de por qué las áreas corticales reciben proyecciones de dopamina más dispersas en comparación con el estriado. Si la corteza se enfoca en el aprendizaje estructural independiente de la recompensa inmediata, requiere menos señalización directa de recompensa que el sistema MF, el cual depende de experiencias de recompensa repetidas para actualizar los valores.
3. Contrastabilidad Experimental: Los autores detallan un método para probar estas hipótesis utilizando datos experimentales. Al medir la consistencia de las acciones de un animal con las estrategias MAXREWARD o MAXREACH, los investigadores pueden identificar si el sujeto está priorizando la explotación de la recompensa o el aprendizaje estructural, observando particularmente el "descenso" específico en la consistencia en el nivel de la raíz tras los cambios ambientales.
4. Implicaciones para la IA: El trabajo sugiere que los sistemas de IA eficientes podrían beneficiarse de arquitecturas similares con restricciones de recursos, donde un módulo de planificación de alto costo se enfoca en la estructura general mientras que un módulo de bajo costo gestiona la optimización de la recompensa inmediata.

Los autores mantienen la modestia, reconociendo que su modelo actual utiliza un entorno de juguete y métodos tabulares. Señalan que trabajos futuros deberían explorar modelos paramétricos, integraciones de señales más complejas y los mecanismos para la transferencia de control del MB al MF a medida que se dominan las tareas.