Resumen Técnico: Plasticidad Basada en Evidencia y Sensible al Contexto para el Aprendizaje de Múltiples Objetivos en Redes Neuronales de Impulsos (SNN)

Planteamiento del Problema

Las redes neuronales de impulsos (SNN) de inspiración biológica ofrecen un marco para modelar el comportamiento adaptativo, pero tienen dificultades con el aprendizaje continuo de múltiples objetivos. En arquitecturas de red compartidas, las actualizaciones sinápticas impulsadas por diferentes objetivos de navegación pueden interferir entre sí. Específicamente, cuando una red aprende a navegar hacia múltiples objetivos utilizando la plasticidad estándar de dependencia del tiempo de disparo modulada por recompensa (STDP/RL) en línea, las actualizaciones asociadas con un objetivo a menudo degradan las políticas previamente aprendidas para otros objetivos. Esta interferencia se manifiesta como una "atracción hacia el objetivo incorrecto", donde un agente navega hacia objetivos erróneos después del entrenamiento, y el rendimiento colapsa cuando se desactiva la plasticidad en línea. El desafío central es desarrollar un mecanismo de aprendizaje que permita a una SNN adquirir y retener múltiples políticas de navegación distintas dentro de un sustrato sináptico compartido sin interferencia catastrófica.

Metodología

Arquitectura del Modelo

Los autores desarrollaron un modelo de navegación de bucle cerrado inspirado en la circuitería entorrinal-hipocampal, implementado en Python utilizando el entorno de simulación NEURON/NetPyNE. La arquitectura incluye:

• Representación Espacial: Poblaciones tipo célula de rejilla ($E_{Grid}$) y tipo célula de lugar ($E_{Place}$) que codifican la posición actual del agente.
• Representación del Objetivo: Poblaciones análogas ($EV_{Grid}$, $EV_{Place}$) que codifican la ubicación del objetivo activo.
• Capa de Asociación: Poblaciones excitatorias específicas de la acción ($E_{AN}, E_{AS}, E_{AE}, E_{AW}$) que integran el contexto espacial y del objetivo.
• Salida Motora: Poblaciones ($E_{MN}, E_{MS}, E_{ME}, E_{MW}$) que impulsan el movimiento en cuatro direcciones cardinales.
• Inhibición: Poblaciones inhibitorias de disparo rápido y de bajo umbral para regular la excitabilidad.
• Plasticidad: Restringida a las proyecciones excitatorias de la capa de asociación a la capa motora ($E_A \to E_M$).

Reglas de Aprendizaje

El estudio comparó tres regímenes de aprendizaje:

1. STDP/RL Estándar Modulada por Recompensa: Una regla de aprendizaje en línea donde las trazas de elegibilidad (generadas por el tiempo de disparo pre-post dentro de 100 ms) se convierten inmediatamente en cambios de peso sináptico basados en una señal de recompensa escalar.
2. Plasticidad Global Basada en Evidencia (EGP): Un mecanismo de dos fases que separa la generación rápida de candidatos de la consolidación más lenta.
   • FASE DE ENTRENAMIENTO (TRAIN): Las modificaciones sinápticas candidatas se acumulan en un almacén de propuestas transitorio ($P$), pero no alteran inmediatamente la matriz de pesos duradera ($W$).
   • FASE DE PRUEBA (TEST): La red evalúa el comportamiento utilizando los pesos propuestos. La consolidación ocurre solo si la recompensa de la fase TEST supera la de la fase TRAIN, cuantificada mediante una señal de mejora de recompensa normalizada ($x$).
   • Una función sigmoide rectificada controla la consolidación, asegurando que solo la evidencia positiva fortalezca los pesos.
3. EGP Sensible al Contexto del Objetivo: Una variante de EGP diseñada para prevenir la interferencia entre objetivos.
   • En lugar de un único almacén de propuestas global, se mantienen buffers de propuestas ($P^{(k)}$) y estimaciones de recompensa separados para cada contexto de objetivo activo ($k$).
   • Las actualizaciones candidatas se acumulan y evalúan de forma independiente para cada objetivo antes de ser consolidadas en la matriz de pesos duradera compartida.
   • Un mecanismo de ponderación basado en la "necesidad" aumenta la presión de consolidación para los objetivos con bajo rendimiento.

Protocolos Experimentales

• Entorno: Una arena cuadrada en 2D (100x100 píxeles) con ubicaciones de inicio aleatorias.
• Tareas:
  • Objetivo Único: Aprender a alcanzar un objetivo central (50,50).
  • Múltiples Objetivos: Aprender secuencialmente a alcanzar cinco objetivos (cuatro cuadrantes y uno central) durante 800 episodios por objetivo.
  • Evaluación: El rendimiento se midió mediante aciertos de objetivos, recompensa acumulada y matrices de confusión de tiempo de permanencia (analizando el tiempo pasado cerca de objetivos correctos vs. incorrectos). Las simulaciones incluyeron una evaluación post-aprendizaje con la plasticidad desactivada para probar la retención.

Contribuciones Clave

1. Demostración de la Interferencia: El artículo muestra empíricamente que la STDP/RL estándar, aunque es capaz de aprender políticas de un solo objetivo, falla en retener robustamente múltiples políticas en una SNN compartida, lo que conduce a una interferencia significativa entre objetivos y a la degradación del rendimiento al desactivar la plasticidad.
2. Plasticidad Basada en Evidencia (EGP): Los autores introducen una regla de aprendizaje de múltiples escalas temporales que desacopla la generación de cambios sinápticos candidatos de su consolidación. Al acumular propuestas y evaluar la utilidad frente a la evidencia conductual posterior, la EGP filtra las actualizaciones desestabilizadoras.
3. Gating por Contexto de Objetivo: La contribución novedosa de la EGP de Contexto de Objetivo es el mantenimiento de almacenes de propuestas y la asignación de crédito separados para diferentes objetivos. Este mecanismo evita explícitamente la mezcla de actualizaciones candidatas de contextos de navegación conflictivos antes de la consolidación.
4. Plausibilidad Biológica: El marco abstrae mecanismos biológicos como el marcaje y captura sináptica, el replay y el gating dependiente del contexto en un modelo computacional adecuado para SNN, vinculando las reglas de plasticidad locales con los procesos de consolidación más lentos.

Resultados

Aprendizaje de Objetivo Único

La STDP/RL estándar aprendió con éxito una política de navegación de un solo objetivo. La red adquirió un comportamiento dirigido al objetivo y el rendimiento se mantuvo estable tras desactivar la plasticidad, confirmando que la política se almacenó en los pesos sinápticos.

Aprendizaje de Múltiples Objetivos con STDP/RL

Al entrenarse en múltiples objetivos, la STDP/RL estándar mostró un aprendizaje inicial pero sufrió una interferencia severa:

• El rendimiento varió significamente entre objetivos.
• Al desactivar la plasticidad, el rendimiento decayó y los agentes exhibieron atracción hacia objetivos incorrectos (presencia de valores fuera de la diagonal en las matrices de confusión de tiempo de permanencia).
• El sustrato sináptico compartido no pudo separar limpiamente las políticas.

Rendimiento de las Variantes de EGP

• EGP Global vs. EGP de Contexto de Objetivo: A través de 10 semillas de conectividad, la EGP de Contexto de Objetivo superó significativamente a la EGP Global.
  • Recompensa en Etapa Tardía: La EGP de Contexto de Objetivo logró una mayor recompensa acumulada en las etapas finales del aprendizaje.
  • Rendimiento del Objetivo más Débil: El mínimo de recompensa entre los objetivos mejoró significamente, indicando un aprendizaje más equilibrado.
  • Tasa de Éxito: La fracción de objetivos que alcanzaron una recompensa positiva aumentó de ~50% (Global) a ~82% (Contexto de Objetivo).
• Reducción de la Interferencia: Las matrices de confusión de tiempo de permanencia revelaron que la EGP de Contexto de Objetivo redujo drásticamente la "atracción hacia el objetivo incorrecto". La relación entre el tiempo de permanencia en el objetivo correcto y el tiempo de permanencia fuera de la diagonal (objetivo incorrecto) aumentó de ~12 (STDP/RL) a ~31 (EGP de Contexto de Objetivo).
• Dinámicas a Largo Plazo: En simulaciones extendidas (2000 episodios), la EGP de Contexto de Objetivo mostró incrementos progresivos de recompensa para todos los objetivos. La magnitud de las propuestas sinápticas acumuladas creció con el tiempo, y el sistema consolidó con éxito políticas estables y selectivas para cada objetivo que se generalizaron a través de ubicaciones de inicio aleatorias.

Significancia y Reivindicaciones

El artículo sostiene que, si bien las SNN inspiradas biológicamente pueden aprender comportamientos dirigidos a objetivos usando plasticidad local, el aprendizaje robusto de múltiples objetivos requiere mecanismos que preserven la asignación de crédito específica del contexto durante la consolidación.

Los autores argumentan que:

1. La interferencia es el principal cuello de botella: La plasticidad en línea estándar falla en entornos de múltiples objetivos porque las actualizaciones de un objetivo sobrescriben o entran en conflicto con las de otro.
2. La separación de escalas temporales es crítica: Al separar la generación rápida de candidatos (TRAIN) de la consolidación basada en evidencia (TEST), la red puede evaluar la utilidad de los cambios sinápticos antes de comprometerlos, imitando la estabilización de la memoria biológica.
3. El contexto es esencial: Mantener almacenes de propuestas separados para diferentes objetivos (EGP de Contexto de Objetivo) es necesario para reducir la interferencia, permitiendo que una red compartida aprenda políticas distintas sin olvido catastrófico.
4. Relevancia Biológica: Los hallazgos apoyan la hipótesis de que la plasticidad de múltiples escalas temporales y con gating por contexto es un componente fundamental del aprendizaje continuo en sistemas biológicos, abstrayendo conceptos como el marcaje y captura sináptica en un algoritmo de aprendizaje funcional para redes de impulsos.

El estudio concluye que la EGP de Contexto de Objetivo proporciona un mecanismo motivado biológicamente para reducir la interferencia en el aprendizaje continuo por refuerzo, permitiendo que los circuitos de navegación de impulsos aprendan y retengan múltiples objetivos de manera efectiva.