Local Synaptic Rules Can Implement a SIGReg Gradient Without Backpropagation

Resumen Técnico: Reglas Sinápticas Locales que Implementan un Gradiente SIGReg

Planteamiento del Problema
El problema central abordado es cómo las redes neuronales biológicas pueden aprender representaciones útiles y de alta dimensión sin acceso a etiquetas explícitas o a las señales de error globales requeridas por la retropropagación (backpropagation). Si bien los objetivos de Aprendizaje Auto-Supervisado (SSL, por sus siglas en inglés) como SIGReg y VICReg han demostrado ser efectivos en sistemas artificiales al maximizar la similitud entre las vistas de entrada mientras se evita el colapso dimensional mediante la regularización de la varianza y la covarianza, estos métodos carecen de plausibilidad biológica. Típicamente requieren cálculos de gradiente globales, transporte de pesos y señales de error no locales que no existen en los mecanismos neurobiológicos conocidos. Este trabajo busca cerrar esta brecha demostrando que reglas sinápticas canónicas, disponibles localmente, pueden implementar matemáticamente el gradiente exacto de un objetivo de tipo SIGReg.

Metodología
Los autores proponen un modelo de circuito donde el aprendizaje es impulsado enteramente por factores sinápticos locales: tasas de disparo pre- y post-sinápticas, estadísticas de disparo local y la contigüidad temporal de los flujos sensoriales naturales. El modelo integra dos mecanismos primarios:

1. Plasticidad Dependiente del Tiempo de Disparo (STDP+): El brazo de potenciación de la STDP se modela como una regla hebbiana de tres factores. Fortalece las sinapsis cuando una neurona presináptica dispara poco antes que una neurona postsináptica. Matemáticamente, esto corresponde al descenso de gradiente sobre una pérdida de predicción hacia adelante ($L_{pred}$), donde la propensión postsináptica en el tiempo $t+1$ actúa como una señal de enseñanza fija ("stop-gradient") para los pesos en el tiempo $t$.
2. Plasticidad Homeostática de Tipo "Linterna" (Flashlight): Para prevenir el colapso dimensional (un modo de falla común en el SSL), el modelo emplea una población de neuronas tipo "linterna" (análogas a las células granulares del cerebelo) que proyectan la salida del codificador $h$ a través de una matriz fija, aleatoria y de signos mixtos $A$.
   • Regulación de la Varianza: Cada neurona linterna emite una señal retrógrada proporcional al desajuste entre su varianza y un objetivo (unidad). Esto implementa el componente diagonal (varianza) del término de prevención de colapso.
   • Regulación de la Covarianza: La inhibición lateral de las interneuronas (células en cesta/esteladas) impulsada por pares de linternas correlacionados implementa el componente fuera de la diagonal (covarianza).
   • Juntos, estos mecanismos homeostáticos implementan el gradiente de un objetivo SIGReg débil ($L_{Weak}$), que penaliza las desviaciones de la covarianza proyectada respecto a la matriz identidad.

La contribución teórica central es la construcción directa que muestra que la suma de la actualización de STDP+ y la actualización homeostática es igual al gradiente negativo del objetivo SIGReg completo ($L_{SIGReg} = L_{pred} + \lambda L_{Weak}$). Los autores señalan explícitamente que el brazo de depresión de la STDP (STDP−) actúa como una proyección de dispersión para imponer pesos no negativos ($W_{ij} \geq 0$), pero que, por sí solo, desestabiliza el aprendizaje y se excluye de las condiciones principales de éxito.

Contribuciones Clave

• Equivalencia Matemática: El artículo demuestra que la STDP+ y la homeostasis de linterna, al combinarse, implementan el descenso de gradiente sobre el objetivo SIGReg sin necesidad de retropropagación, señales de error globales, transporte de pesos o información de etiquetas.
• Plausibilidad Biológica: El mecanismo depende únicamente de factores localmente disponibles (actividad pre/post-sináptica, ganancia local y estadísticas de varianza/covarianza) y evita bucles de inferencia iterativos (a diferencia del código disperso o sparse coding), operando de manera estrictamente en línea y en un solo paso.
• Manejo de la No Negatividad: El trabajo clarifica el papel de la STDP− no como un paso de gradiente para el objetivo, sino como un mecanismo para proyectar los pesos sobre el ortante no negativo, aunque señala que una implementación estable requiere una población inhibitoria adicional que aún no se ha modelado completamente.

Resultados Experimentales
Los autores validaron el mecanismo en dos tareas:

1. Clustering Sintético: En un conjunto de datos de 3 clases con ruido de alta dimensión, la red fue expuesta a entradas en orden temporal contiguo por clase o en orden aleatorio.
   • Entrada Ordenada: La red aprendió a separar las clases, logrando una Relación de Separación de Clústeres (CSR) de 2.49, una mejora de aproximadamente tres veces respecto al nivel base.
   • Entrada Aleatoria: Con un ordenamiento aleatorio, el CSR se mantuvo cerca del nivel base (0.83), demostrando que la estructura aprendida surge únicamente de la contigüidad temporal.
2. Sonda Lineal de MNIST: Una red de dos capas entrenada con MNIST utilizando únicamente STDP y plasticidad homeostática (sin etiquetas durante el entrenamiento) alcanzó un 87.3% de precisión en la sonda lineal.
   • Ablaciones: Eliminar la homeostasis causó que el rendimiento colapsara a cerca del azar (18.5%). Aleatorizar el orden de entrada redujo la precisión a 8 de 86.5%, indicando que la homeostasis por sí sola proporciona un "suelo de blanqueamiento" (whitening floor), mientras que el orden temporal proporciona una ganancia marginal pero consistente.
   • Impacto de STDP−: Incluir STDP− con recorte de pesos degradó significativamente el rendimiento (cayendo a ~59–69%), confirmando la afirmación teórica de que la STDP− desestabiliza el sistema sin una población inhibitoria compensatoria.

Significancia y Reivindicaciones
El artículo sostiene que este trabajo establece una correspondencia directa entre reglas sinápticas biológicas observadas independientemente y objetivos de aprendizaje auto-supervisado de vanguardia. Argumenta que el cerebro puede utilizar estos mecanismos canónicos (STDP y homeostasis) para computar los gradientes exactos requeridos para aprender representaciones útiles de manera no supervisada.

Los autores enfatizan que esto no es una derivación matemática profunda, sino una "construcción directa" donde cada regla biológica se diferencia para coincidir con un término específico del objetivo SIGReg. La importancia radica en expandir el conjunto de operaciones biológicamente plausibles: mostrar que SIGReg no es solo un algoritmo abstracto, sino que puede realizarse mediante interacciones locales y biológicamente fundamentadas. El trabajo sugiere que la contigüidad temporal en los flujos sensoriales naturales sirve como la señal de par positivo para el SSL, eliminando la necesidad de aumentación de datos explícita o construcción de muestras negativas.

El artículo se mantiene modesto respecto al escalado de profundidad, reconociendo que aplicar estos objetivos de decorrelación en cada capa conduce a una "cascada de blanqueamiento" donde las capas subsecuentes reciben entradas sin estructura, lo que resulta en una degradación del rendimiento en redes más profundas. Sugiere que el trabajo futuro debería explorar variantes convolucionales para manejar escalas espaciales y la integración de poblaciones inhibitorias específicas para estabilizar la proyección no negativa.