Equilibrium Propagation for Non-Conservative Systems

Este artículo propone un marco que extiende la Propagación de Equilibrio a sistemas arbitrarios no conservativos mediante la modificación de la dinámica de la fase de aprendizaje para dar cuenta de las interacciones no recíprocas, permitiendo así el cálculo exacto de los gradientes de la función de costo y logrando un rendimiento superior en comparación con métodos previos.

Lo esencial

La visión general: Enseñar a una máquina sin un "paso hacia atrás"

Imagina que estás intentando enseñarle a un robot a reconocer un gato en una foto. En la forma estándar en que lo hacemos hoy (llamada "Backpropagation" o retropropagación), el robot mira la foto, hace una suposición, se da cuenta de que se equivoca y luego envía una "señal de corrección" de regreso por todo su cerebro, capa por capa, para corregir sus errores.

El problema es que este "paso hacia atrás" es muy difícil de construir en máquinas físicas reales (como cerebros biológicos o chips de silicio) porque requiere enviar información hacia atrás en el tiempo o a través de largas distancias de forma instantánea.

La Propagación de Equilibrio (EP, por sus siglas en inglés) es una forma de aprendizaje más inteligente y física. En lugar de un paso hacia atrás, el robot simplemente se relaja hasta alcanzar un "estado de calma" (equilibrio). Intenta dos escenarios ligeramente diferentes:

1. Estado Libre: El robot mira la foto y hace su suposición de forma natural.
2. Estado con Estímulo (Nudged State): Alguien empuja suavemente la suposición final del robot hacia la respuesta correcta.

Al comparar cómo cambió el cerebro del robot entre estos dos estados de calma, puede determinar exactamente cómo ajustar sus configuraciones internas para mejorar la próxima vez. Es como aprender sintiendo la diferencia entre "lo que yo pensé" y "lo que me empujaron a pensar".

El Problema: La regla de la "Simetría"

La versión original de este método de aprendizaje (EP) solo funcionaba para sistemas que siguen una regla estricta: la Simetría.

Piensa en un sistema conservativo como una bola rodando por una colina suave. Si la bola rueda del punto A al punto B, la trayectoria que toma está determinada por la forma de la colina. Si inviertes la trayectoria, la física es la misma. En un cerebro computacional, esto significa que si la Neurona A habla con la Neurona B, la Neurona B debe hablar de vuelta con la Neurona A con la misma fuerza exacta.

Sin embargo, muchos sistemas del mundo real (y los modelos de IA modernos) no son como una colina suave. Son como un río con una corriente o una calle de un solo sentido.

• Sistemas No Conservativos: La información fluye en una sola dirección (como en una red de alimentación hacia adelante donde los datos van de Entrada → Oculto → Salida, pero nunca hacia atrás).
• El Problema: El viejo método EP falla en estos sistemas. Intenta usar la matemática de la "colina" en un "río", y los cálculos de aprendizaje se vuelven erróneos. El robot aprende las lecciones equivocadas.

La Solución: Dos nuevos métodos

Los autores proponen dos nuevas formas de solucionar esto, permitiendo que el método de "Propagación de Equilibrio" funcione en estos sistemas de un solo sentido y no simétricos.

1. EP Asimétrica (AsymEP): El "Arreglo Local"

Imagina que estás intentando equilibrar una balanza, pero alguien sigue añadiendo peso secretamente en un lado (la parte no simétrica). El método antiguo simplemente lo ignora e intenta equilibrarla de todos modos, lo cual falla.

AsymEP añade un pequeño "contrapeso" local a la balanza.

• Cómo funciona: Durante la fase de "Estímulo" (cuando el robot está siendo empujado hacia la respuesta correcta), el algoritmo añade un término de corrección especial. Este término se calcula basándose exactamente en qué tan "desequilibrado" o "no simétrico" son las conexiones.
• La Analogía: Es como un ciclista que monta una bicicleta con un neumático desinflado. El método antiguo solo le dice que pedalee más fuerte. AsymEP añade un pequeño ajuste local al manubrio para compensar el neumático desinflado, permitiéndole rodar recto y aprender correctamente.
• Resultado: Esto permite que el sistema calcule el gradiente exacto (la lección correcta) incluso cuando las conexiones son de un solo sentido.

2. EP Diádica (Dyadic EP): El enfoque del "Doble Cerebro"

Si AsymEP es un arreglo local, la EP Diádica es un cambio arquitectónico mayor.

• La Analogía: Imagina que tienes una máquina compleja que solo funciona si tienes dos copias idénticas de ella funcionando una al lado de la otra. Una copia representa el flujo "hacia adelante" y la otra representa el flujo "hacia atrás".
• Cómo funciona: El algoritmo duplica el número de variables del sistema. Crea un nuevo "paisaje de energía" más grande donde las dos copias interactúan. En este espacio duplicado, el caótico río de un solo sentido del sistema original se transforma nuevamente en una colina simétrica y suave.
• El Resultado: Debido a que la matemática ahora funciona sobre este sistema "duplicado", el aprendizaje es perfecto. Es un poco como usar un espejo para que una calle de un solo sentido parezca una calle de doble sentido para poder aplicar las reglas de tráfico estándar.

Lo que probaron (Los Experimentos)

Los autores no solo hicieron matemáticas; probaron estas ideas en tareas reales de reconocimiento de imágenes (como identificar dígitos escritos a mano o ropa).

1. Inicio Simétrico: Comenzaron con redes que eran simétricas (como la antigua EP). AsymEP aprendió más rápido y obtuvo mejores resultados que los métodos antiguos.
2. Asimetría Forzada: Forzaron a las redes a ser muy "de un solo sentido" (altamente asimétricas).
   • El método antiguo (Vector Field) falló estrepitosamente, obteniendo resultados no mejores que el azar.
   • AsymEP siguió funcionando perfectamente, incluso cuando la red era completamente de un solo sentido.
3. Redes de Alimentación hacia Adelante (Feedforward): Esta es la gran victoria. La IA moderna (como la que hay en tu teléfono) suele ser "feedforward" (estrictamente de un solo sentido). La antigua EP no podía entrenar estas redes en absoluto. AsymEP entrenó con éxito estas redes, demostrando que puede manejar la arquitectura utilizada en la mayor parte de la IA moderna.
4. Aprendizaje Profundo (Deep Learning): Probaron en un conjunto de datos complejo (CIFAR-10) con una red profunda. AsymEP y Dyadic EP funcionaron casi exactamente igual que el método estándar de "Backpropagation", que es el estándar de oro.

Resumen

• El Problema: El genial método de aprendizaje de "Propagación de Equilibrio" solo funcionaba en sistemas simétricos, pero la IA y los sistemas físicos reales suelen ser asimétricos (de un solo sentido).
• El Arreglo: Los autores crearon AsymEP (que añade una corrección local a la regla de aprendizaje) y Dyadic EP (que duplica el tamaño del sistema para que la matemática funcione).
• El Resultado: Estos nuevos métodos permiten que este estilo de aprendizaje físico y amigable para el cerebro funcione en los mismos tipos de redes utilizados en la IA moderna, logrando resultados tan buenos como los métodos estándar de difícil implementación.

En resumen, descubrieron cómo enseñar a una máquina física utilizando el "relajamiento" y "pequeños estímulos locales" incluso cuando el cableado interno de la máquina es estrictamente de un solo sentido.

Resumen técnico

Resumen Técnico: Propagación de Equilibrio para Sistemas No Conservativos

1. Planteamiento del Problema

La optimización de las redes neuronales estándar depende de la retropropagación del error, lo que requiere una pasada hacia atrás distinta, la transmisión no local de la señal de error y el almacenamiento explícito de gradientes. Estas restricciones son difíciles de conciliar con la plausibilidad biológica y las implementaciones físicas (por ejemplo, hardware neuromórfico o analógico), que suelen operar mediante interacciones locales y relajación continua.

La Propagación de Equilibrio (EP, por sus siglas en inglés) ofrece una alternativa prometedora al formular el aprendizaje como un contraste entre dos estados estacionarios de un sistema dinámico: una fase "libre" y una fase "perturbada" (nudged). Sin embargo, la formulación original de la EP está restringida a sistemas conservativos, donde la dinámica deriva de una función de energía, imponiendo interacciones simétricas (por ejemplo, $J_{ij} = J_{ji}$). Esta limitación impide la aplicación de la EP a una amplia clase de modelos caracterizados por fuerzas no conservativas e interacciones no recíprocas, incluyendo:

• Arquitecturas feedforward modernas (dominantes en la IA).
• Circuitos biológicos.
• Sistemas físicos lejos del equilibrio termodinámico (por ejemplo, sistemas ópticos no lineales, materia activa, condensados de excitones-polaritones).

Intentos previos de generalizar la EP a sistemas no conservativos, como el algoritmo de Campo de Vectores (VF), fallan al no poder computar el gradiente exacto de la función de costo. Proporcionan un gradiente insesgado solo en el límite conservativo; a medida que la parte antisimétrica del Jacobiano aumenta, el error de estimación del gradiente crece, lo que puede conducir al fallo de la optimización (por ejemplo, maximizar el costo en lugar de minimizarlo).

2. Metodología

Los autores proponen dos marcos matemáticamente equivalentes para extender la EP a sistemas no conservativos arbitrarios: EP Asimétrica (AsymEP) y EP Diádica. Ambos métodos conservan el principio central de la EP de utilizar estados estacionarios para la inferencia y el aprendizaje, pero modifican la dinámica para recuperar el gradiente exacto.

2.1 EP Asimétrica (AsymEP)

AsymEP preserva la dinámica de inferencia original pero introduce un término correctivo local durante la fase "perturbada".

• Mecanismo: En la fase perturbada, el sistema evoluciona bajo un campo de fuerza aumentado. Este campo incluye la fuerza original $F$, el término de perturbación estándar $-\beta \frac{\partial C}{\partial x}$ y un nuevo término de corrección proporcional a la parte antisimétrica del Jacobiano ($A_J$) en el equilibrio libre:
  $$\frac{dx}{dt} = F(x, \theta) - \beta \frac{\partial C}{\partial x} - 2A_J(x_0, \theta)(x - x_0)$$
• Recuperación del Gradiente: Esta corrección transpone efectivamente el Jacobiano en la regla de aprendizaje, asegurando que la diferencia entre los estados estacionarios perturbado y libre produzca el término postsináptico exacto requerido para el verdadero gradiente.
• Localidad: El término de corrección es espacialmente local porque $A_J$ se anula para neuronas no conectadas, y la diferencia de estado $(x - x_0)$ está disponible en la sinapsis.

2.2 EP Diádica

La EP Diádica es un enfoque variacional que mapea la dinámica no conservativa en un sistema conservativo mediante la duplicación del espacio de estados.

• Mecanismo: El sistema original de $n$ variables se mapea a un sistema de $2n$ variables $(z, z')$ definido por una función de energía $H(z, z', \theta)$ y una función de costo $D(z, z')$. La función de energía se construye de tal manera que la dinámica original se recupera en la diagonal ($z=z'$), mientras que la dirección fuera de la diagonal codifica las fuerzas no recíprocas.
  $$H(z, z', \theta) = -(z - z')^\top F\left(\frac{z + z'}{2}, \theta\right)$$
• Aprendizaje: El sistema evoluciona hacia un punto de silla de la energía aumentada $H_T = H + \beta D$. La diferencia $z_\beta - z'_\beta$ sirve como la señal de error.
• Relación con AsymEP: AsymEP puede verse como la proyección de primer orden de la EP Diádica sobre el espacio original de $n$ dimensiones. La EP Diádica permite la ejecución paralela de las fases de perturbación positiva y negativa, pero requiere duplicar los grados de libertad físicos.

3. Contribuciones Clave

1. Cómputo de Gradiente Exacto: El artículo proporciona el primer marco para computar el gradiente exacto de la función de costo para sistemas dinámicos no conservativos arbitrarios utilizando la propagación de equilibrio, superando las limitaciones del algoritmo de Campo de Vectores (VF).
2. Dos Generalizaciones: Introduce la EP Asimétrica (una modificación directa de la dinámica con una corrección local) y la EP Diádica (una duplicación variacional del espacio de estados), demostrando su equivalencia en el límite de perturbación infinitesimal.
3. Capacidad Feedforward: Estos métodos permiten el entrenamiento de redes puramente feedforward, un escenario donde los métodos previos basados en EP (como VF) fallan debido a la incapacidad de propagar señales de error hacia atrás sin conexiones de retroalimentación explícitas.
4. Unificación Teórica: El trabajo demuestra que el principio variacional detrás de la EP es universal y puede aplicarse a fuerzas no recíprocas extendiendo el espacio de estados o modificando la dinámica, cerrando la brecha entre los modelos basados en energía y los sistemas dinámicos generales.

4. Resultados Experimentales

Los autores validan su marco en MNIST, Fashion-MNIST y CIFAR-10 utilizando redes de Hopfield continuas y arquitecturas convolucionales.

• Inicialización Simétrica: En MNIST con inicialización simétrica, AsymEP logra una mayor precisión y aprende más rápido que tanto la EP estándar como el algoritmo de Campo de Vectores (VF).
• Asimetría Estructural: Cuando la red está restringida a tener un alto grado de asimetría estructural (donde la EP es inaplicable y el VF se degrada):
  • Rendimiento de VF: El rendimiento de VF colapsa a medida que la asimetría aumenta, cayendo a niveles de azar (por ejemplo, ~10% de precisión en MNIST con alta asimetría).
  • Rendimiento de AsymEP: AsymEP mantiene un rendimiento robusto en todos los niveles de asimetría, incluyendo matrices de conexión completamente antisimétricas.
• Arquitecturas Feedforward:
  • En un entorno puramente feedforward, VF efectivamente entrena solo la última capa (actuando como una Máquina de Aprendizaje Extremo), lo que resulta en un rendimiento pobre (~64% en MNIST).
  • AsymEP entrena con éxito todas las capas, logrando ~92.7% de precisión en MNIST.
• Redes Profundas (CIFAR-10): En una red convolucional profunda entrenada con CIFAR-10, tanto AsymEP como la EP Diádica siguen de cerca el rendimiento de la Retropropagación (BP), logrando ~89.7% y ~90.7% de precisión respectivamente, comparado con el 90.7% de BP. En contraste, VF colapsa al nivel de azar.
• Estabilidad: Los experimentos sugieren que la dinámica no conservativa entrenada con AsymEP puede suprimir oscilaciones y permanecer estable incluso bajo una fuerte asimetría y proyecciones de entrada restringidas.

5. Significado y Reivindicaciones

Los autores afirman que este trabajo abre nuevas vías para el aprendizaje en hardware neuromórfico, sistemas físicos disipativos y arquitecturas neuronales donde la asimetría es intrínseca en lugar de incidental.

• Implementabilidad Física: Al eliminar el requisito de simetría de pesos y pasadas hacia atrás explícitas, los algoritmos propuestos son más compatibles con sustratos físicos (por ejemplo, memristores, sistemas ópticos, materia activa) que exhiben naturalmente dinámicas no conservativas.
• Plausibilidad Biológica: Los métodos dependen de interacciones locales y relajación continua, ofreciendo un mecanismo más plausible biológicamente para la asignación de crédito en comparación con la retropropagación.
• Universalidad: La formulación de la EP Diádica sugiere que los principios variacionales de la propagación de equilibrio son universales, aplicables a cualquier red que opere en un estado estacionario, independientemente de si las fuerzas subyacentes son conservativas o no conservativas.

El artículo concluye que, si bien AsymEP introduce una fuerza correctiva local que puede requerir mecanismos físicos específicos para su implementación, y la EP Diádica requiere duplicar el espacio de estados, ambos proporcionan una vía teórica y práctica rigurosa para entrenar sistemas no conservativos con gradientes exactos.