🧠 neurociencia

Learning complex temporal dependencies via local synaptic plasticity

Este artículo demuestra que la codificación predictiva temporal (tPC), un marco biológicamente plausible que utiliza la plasticidad sináptica local, puede aprender eficazmente dependencias temporales complejas y rivalizar con los métodos tradicionales basados en la retropropagación mediante el aprovechamiento de la dinámica de reservorio, las estructuras jerárquicas y las trazas de elegibilidad.

Autores originales: Ng-Kee-Kwong, J., Tang, M., Akam, T., Bogacz, R.

Publicado 2026-11-03

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ng-Kee-Kwong, J., Tang, M., Akam, T., Bogacz, R.

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Para navegar por el mundo, nuestros cerebros deben rastrear constantemente cómo se desarrollan los eventos a lo largo del tiempo. Ya sea que estemos prediciendo la siguiente palabra en una oración, calculando el tiempo de un golpe de tenis o simplemente recordando dónde dejamos nuestras llaves, la capacidad de extraer patrones de una secuencia de momentos es fundamental para el pensamiento humano. Durante décadas, los científicos que intentan comprender este proceso han dependido de potentes modelos computacionales llamados redes neuronales recurrentes. Estos sistemas digitales son excelentes aprendiendo secuencias, pero a menudo están construidos sobre una base que no coincide con cómo funcionan los cerebros reales. El método estándar para enseñar a estas redes implica un truco matemático que requiere que el sistema mire hacia atrás en el tiempo, almacenando cada estado pasado y enviando señales de error en reversa. Si bien esto funciona bien para las computadoras, se considera biológicamente imposible para las neuronas, que solo pueden reaccionar a las señales que llegan a su ubicación inmediata y no pueden acceder a la información del pasado distante. Esta brecha entre la inteligencia artificial efectiva y la biología plausible ha dejado una pregunta importante sin respuesta: ¿cómo aprende realmente el cerebro dependencias temporales complejas utilizando solo reglas biológicas locales?

Un equipo de investigadores de la Universidad de Oxford ha dado un paso significativo hacia la respuesta de esta pregunta al explorar un marco llamado codificación predictiva temporal. Este enfoque sugiere que el cerebro no necesita mirar hacia atrás para aprender; en su lugar, genera constantemente predicciones sobre lo que sucederá a continuación y actualiza su modelo interno basándose en la diferencia entre esas predicciones y la realidad. Los investigadores, Julian Ng-Kee-Kwong, Mufeng Tang, Thomas Akam y Rafal Bogacz, investigaron si este método de aprendizaje local podía manejar las tareas complejas basadas en el tiempo que usualmente se reservan para algoritmos más potentes y biológicamente irreales. Descubrieron que, al refinar este marco de codificación predictiva, podían crear redes que aprenden a recordar el contexto, resolver acertijos intrincados que involucran retrasos de tiempo y permanecer robustas contra las distracciones, todo ello utilizando solo las reglas simples y locales que las neuronas reales se sabe que siguen.

El núcleo de su investigación consistió en probar una versión específica de este sistema de codificación predictiva contra una versión truncada estándar del algoritmo de aprendizaje hacia atrás. En el método estándar hacia atrás, la computadora calcula cuánto fue causado un error al final de una secuencia por eventos que ocurrieron apenas un paso antes. Los investigadores demostraron que su sistema de codificación predictiva produce actualizaciones matemáticamente similares a este método de un paso hacia atrás, pero con una diferencia crucial en cómo procesa la información. En el modelo de codificación predictiva, el sistema no solo pasa información hacia adelante; refina activamente su estado interno en cada momento comparando su predicción con la entrada sensorial real que recibe. Esto crea un flujo sutil pero poderoso de información desde la observación presente de vuelta al la memoria de la red, permitiéndole corregir su curso en tiempo real. Cuando probaron esto en la tarea simple de rastrear la posición de una partícula en movimiento, el modelo de codificación predictiva aprendió la tarea fácilmente, mientras que una red estándar que utilizaba el método de un paso hacia atrás falló, incapaz de integrar la información de velocidad a lo largo del tiempo sin ese retroalimentación adicional e inmediata.

Partiendo de esta base, el equipo exploró si estas redes podrían manejar secuencias más complejas donde el momento actual depende de eventos ocurridos varios pasos en el pasado, un tipo de problema conocido como no-markoviano. En estos escenarios, conocer el pasado inmediato no es suficiente; el sistema debe mantener un contexto más largo en mente. Los investigadores demostaron que sus redes de codificación predictiva podían explotar su dinámica interna para actuar como un reservorio, un espacio de estados de alta dimensión donde las entradas pasadas perduran e influyen en el presente. A diferencia de las computadoras de reservorio estándar que mantienen sus conexiones internas fijas, este sistema podía moldear sus propios caminos internos mediante el aprendizaje local. Al ajustar las conexiones entre neuronas basándose en errores locales, la red reorganizó su estado interno para que diferentes patrones fueran más fáciles de distinguir. Esto permitió al sistema aprender secuencias alternantes de ceros y unos que requerían recordar un bloque de varios pasos, una tarea con la que los reservorios fijos tenían dificultades a medida que los patrones se volvían más complejos.

Para abordar desafíos temporales aún más difíciles, los investigadores introdujeron una estructura jerárquica, apilando múltiples capas de estas redes predictivas unas sobre otras. En esta disposición, cada capa recibe información de la capa inferior, pero con un ligero retraso de tiempo, lo que permite que diferentes niveles de la red operen en diferentes escalas temporales. Esta arquitectura resultó ser notablemente efectiva para resolver tareas que requerían combinar información de momentos ampliamente separados, como una verificación de paridad donde el sistema tenía que contar el número total de señales específicas a lo largo de una secuencia larga para determinar si el conteo era impar o par. Mientras que una red de una sola capa fallaba cuando la secuencia se volvía demasiado larga o los intervalos de tiempo demasiado amplios, el sistema multicapa tenía éxito. Además, este diseño jerárquico proporcionó un escudo contra la interferencia. Cuando los investigadores introdujeron señales distractoras fuertes en el flujo de entrada, la red de una sola capa perdió la memoria de la señal original, pero la red jerárquica la retuvo, integrando selectivamente la información relevante mientras filtraba el ruido.

Finalmente, el equipo abordó el desafío de aprender a través de retrasos muy largos, donde la señal de recompensa o error llega mucho tiempo después del evento inicial. En biología, esto suele manejarse mediante un mecanismo llamado traza de elegibilidad, que actúa como una etiqueta temporal en una sinapsis, marcándola como elegible para el cambio hasta que llega una señal global para confirmar el aprendizaje. Los investigadores incorporaron este concepto en su marco de codificación predictiva, creando un sistema que podía mantener una memoria decreciente de la actividad pasada. Esto permitió a la red vincular un evento que ocurrió varios segundos atrás con una señal de aprendizaje que llegó mucho después. En pruebas que involucraban una tarea de respuesta retardada, donde el modelo tenía que recordar una señal presentada al inicio de un ensayo y reproducirla tras un retraso variable, el sistema con estas trazas de elegibilidad tuvo éxito donde la versión estándar falló. Pudo cerrar brechas de hasta diez pasos de tiempo, reproduciendo con éxito la señal original incluso después del retraso, demostando que las reglas de plasticidad local pueden, de hecho, soportar el aprendizaje durante periodos extendidos.

Los hallazgos sugieren que el cerebro puede no necesitar la compleja maquinaria no local de la propagación de errores hacia atrás para aprender del tiempo. En su lugar, redes relativamente simples gobernadas por reglas locales, cuando se organizan con dinámicas predictivas, capas jerárquicas y trazas de elegibilidad, pueden soportar un aprendizaje temporal sofisticado. Aunque estos modelos son todavía simulaciones y no un relato completo del cerebro humano, ofrecen una alternativa convincente a los algoritmos estándar utilizados en la inteligencia artificial. Demuestran que la plausibilidad biológica no requiere sacrificar la capacidad de aprender patrones complejos. Al combinar la codificación predictiva con estos mecanismos adicionales, los investigadores han revelado un camino para comprender cómo los sistemas biológicos podrían resolver el difícil problema de la asignación de crédito temporal, aprendiendo del pasado sin necesidad de mirar hacia atrás.

Resumen Técnico: Aprendizaje de Dependencias Temporales Complejas mediante Plasticidad Sináptica Local

Planteamiento del Problema

La capacidad de extraer y explotar la estructura temporal es fundamental para la cognición humana, subyaciendo en tareas como la toma de decisiones, el control motor y el procesamiento del habla. En neurociencia computacional, las Redes Neuronales Recurrentes (RNN) entrenadas con Retropropagación a través del Tiempo (BPTT) son la herramienta estándar para modelar estos procesos. Sin embargo, la BPTT es ampliamente considerada biológicamente implausible porque requiere el almacenamiento preciso de estados neuronales pasados y la propagación hacia atrás de señales de error a través del tiempo, mecanismos que no se conocen en el cerebro. En consecuencia, los principios computacionales que permiten el aprendizaje eficiente de dependencias temporales bajo restricciones biológicamente plausibles (específicamente, la plasticidad sináptica local) siguen sin resolverse. Aunque la Codificación Predictiva (PC) ofrece un marco biológicamente plausible para la percepción, las formulaciones tradicionales se han centrado mayoritariamente en entornos estáticos, careciendo de un modelado explícito de la estructura temporal.

Metodología

Los autores investigan la Codificación Predictiva Temporal (tPC), un marco que extiende la codificación predictiva al dominio temporal mientras se adhiere a reglas de actualización hebbianas locales. El estudio emplea una combinación de análisis teórico y simulación empírica para extender la tPC y compararla con algoritmos de aprendizaje establecidos.

Marco Central: Codificación Predictiva Temporal (tPC)

El marco tPC modela el mundo como una secuencia de estados latentes ocultos ( $z^g_t$ ) que generan observaciones ( $y_t$ ) basadas en entradas ( $x_t$ ).

Objetivo: El modelo realiza inferencia bayesiana para minimizar la energía libre variacional ( $F_t$ ), la cual se aproxima como una suma de errores de predicción al cuadrado: un error "temporal" (diferencia entre el estado oculto inferido y el predicho) y un error "sensorial" (dancia entre la observación real y la predicha).
Dinámica: La inferencia implica el descenso de gradiente sobre el estado oculto para minimizar la energía libre, mientras que el aprendizaje implica el descenso de gradiente sobre los pesos.
Localidad: Crucialmente, las reglas de actualización de pesos resultantes dependen solo de cantidades disponibles localmente en la sinapsis (actividad pre-sináptica, error post-sináptico y entrada actual), satisfaciendo las restricciones de plausibilidad biológica.

Extensiones Teóricas y Comparaciones

El artículo extiende sistemáticamente la tPC y analiza su relación con otros algoritmos:

Equivalencia con BPTT Truncada (tBPTT1): Los autores demuestran teóricamente que las actualizaciones de pesos de la tPC son estructuralmente equivalentes a la tBPTT1 (BPTT truncada a un paso de tiempo). Sin embargo, la tPC difiere en su dinámica de actividad: el proceso de inferencia permite que las observaciones actuales influyan implícitamente en el estado oculto, creando un flujo de información desde la observación hacia el estado que las RNN estándar carecen.
Dinámica de Reservorio: El estudio investiga la capacidad de la tPC para aprender secuencias no markovianas (donde los estados futuros dependen de entradas pasadas distantes) aprovechando los principios de la computación de reservorio. A diferencia del reservorio estándar donde los pesos internos son fijos, la tPC utiliza plasticidad local para "esculpir" las trayectorias neuronales en el espacio de estados, optimizando el reservorio para la lectura (readout) posterior.
Arquitectura Jerárquica (tPC-H): Para abordar dependencias temporales cruzadas complejas y la robustez contra distractores, los autores proponen un modelo de tPC jerárquica. En esta arquitectura, las capas reciben entradas de los estados ocultos actuales y previos de la capa inferior, introduciendo desfases temporales explícitos y permitiendo la integración a través de múltiples escalas de tiempo.
Trazas de Elegibilidad (tPC-E): Para cerrar brechas temporales largas donde la asignación de crédito es difícil, la tPC se aumenta con trazas de elegibilidad de inspiración biológica. Esta variante (tPC-E) incorpora dinámicas recurrentes de fuga (leaky) y mantiene trazas de actividad con decaimiento exponencial, permitiendo que las señales de error retardadas influyan en la plasticidad sináptica, de forma análoga a los algoritmos e-prop y RFLO.

Resultados Clave

1. Equivalencia Estructural y Flujo de Información Implícito

En una tarea de estimación de posición (integración de trayectoria), los autores muestran que, aunque la tPC y la tBPTT1 comparten formas de actualización de pesos idénticas, la tPC supera a las RNN estándar entrenadas con tBPTT1. Esto se debe a que la dinámica de inferencia de la tPC permite que la observación actual refine directamente la estimación del estado oculto, resolviendo efectivamente el problema de la integración de trayectoria sin necesidad de acumular errores de velocidad sobre horizontes largos tan estrictamente como una RNN estándar.

2. Aprendizaje de Secuencias No Markovianas

En una tarea de predicción de secuencias de dos estados alternos, la tPC con pesos recurrentes plásticos superó significativamente al computación de reservorio estándar (donde los pesos internos son fijos). Los resultados indican que la tPC no solo depende de dinámicas de reservorio fijas; en cambio, la plasticidad local moldea activamente las trayectorias neuronales en el espacio de estados para hacer que el contexto temporal sea linealmente separable para la capa de lectura.

3. Robustez Jerárquica y Complejidad

Dependencias Complejas: En tareas de paridad retardada (que requieren la integración de bits separados en el tiempo), la tPC de una sola capa falló en tareas de 4 bits, mientras que la tPC jerárquica (tPC-H) con 3 capas aprendió la tarea con éxito, igualando el rendimiento de la BPTT con horizontes de truncamiento más largos.
Robustez ante Distractores: En una tarea con distractores fuertes, la tPC-H demostró una robustez superior en comparación con la tPC de una sola capa. La estructura jerárquica permitió a la red preservar la información relevante para la tarea al integrar selectivamente representaciones temporales parcialmente distintas, mientras que los modelos de una sola capa perdieron la señal original bajo perturbaciones fuertes.

4. Asignación de Crédito de Largo Alcance

En una tarea de memoria de trabajo de respuesta retardada con retrasos variables, la tPC estándar falló en reproducir las señales tras retrasos cortos. Sin embargo, la tPC-E (aumentada con trazas de elegibilidad) resolvió la tarea con éxito incluso con retrasos extendidos, desempeñándose de manera comparable a e-prop y RFLO. Esto confirma que las trazas de elegibilidad permiten que la tPC soporte una asignación de crédito temporalmente extendida manteniendo reglas de actualización locales.

Significancia y Reivindicaciones

El artículo sostiene que redes recurrentes relativamente simples gobernadas por plasticidad hebbiana local pueden soportar el aprendizaje temporal en entornos más complejos de lo que se apreciaba anteriormente. Específicamente:

Plausibilidad Biológica: El trabajo demuestra que las dependencias temporales complejas pueden aprenderse sin los mecanismos biológicamente implausibles de la BPTT completa (retropropagación de error global y almacenamiento de estado).
Unificación de Marcos: El estudio clarifica las relaciones entre tPC, BPTT (específicamente tBPTT1), computación de reservorio y propagación de elegibilidad (e-prop). Posiciona a la tPC como un marco unificador que puede incorporar dinámicas de reservorio, procesamiento jerárquico y trazas de elegibilidad.
Perspectiva Mecanicista: Los hallazgos sugieren que las redes neuronales biológicas pueden utilizar una combinación de plasticidad local, integración temporal jerárquica y trazas de elegibilidad para lograr una asignación de crédito temporal robusta.
Limitaciones: Los autores señalan modestamente que, si bien estos mecanismos apoyan el aprendizaje, se necesita más progreso para igualar el rendimiento de la BPTT en entornos de gran escala. También reconocen que su implementación de tiempo discreto es una aproximación funcional y que las formulaciones de tiempo continuo o arquitecturas de memoria más complejas (como las LSTM) pueden ser necesarias para escalas de tiempo muy largas.

En conclusión, el artículo argumenta que los mecanismos biológicamente plausibles son suficientes para explicar cómo los sistemas neuronales pueden aprender y representar la estructura temporal, desafiando la noción de que el aprendizaje temporal complejo requiere estrictamente algoritmos de optimización globales y no locales.