Neural Langevin Machine: a local asymmetric learning rule can be creative

Resumen Técnico: Máquina de Langevin Neuronal (Neural Langevin Machine)

Planteamiento del Problema
Los modelos generativos actuales basados en redes neuronales artificiales, tales como los Autoencoders Variacionales, las Redes Generativas Antagónicas y los Modelos de Difusión, enfrentan desafíos significativos en cuanto a plausibilidad biológica y complejidad de entrenamiento. Específicamente, carecen de:

1. Recurrencia Asimétrica: Las redes neuronales biológicas poseen acoplamientos sinápticos asimétricos, mientras que muchos modelos populares dependen de estructuras simétricas o requieren señales de error globales.
2. Aprendizaje Local: Los circuitos biológicos aprenden mediante señales locales, mientras que la mayoría de los modelos generativos dependen de la retropropagación de error global.
3. Utilización de la Dinámica Neuronal: Aunque la variabilidad de la respuesta neuronal y los puntos fijos (o atractores caóticos) pueden almacenar y generar ejemplos, el potencial de la variabilidad de la respuesta neuronal en el muestreo generativo ha sido poco explorado.
4. Reversibilidad Termodinámica: Intentos previos de utilizar la dinámica de Langevin suelen imponer reversibilidad termodinámica, lo cual viola las restricciones biológicas y no logra modelar eficazmente los procesos de percepción e imaginación del cerebro.

Metodología
Los autores proponen la Máquina de Langevin Neuronal (NLM), un modelo generativo que aprovecha los puntos fijos de redes neuronales recurrentes (RNN) con acoplamientos asimétricos aleatorios.

• Dinámica: El modelo se define mediante una ecuación diferencial estocástica (dinámica de Langevin):
  $$\frac{dx}{dt} = -\nabla_x E(x) + \sqrt{2T}\epsilon(t)$$
  donde $x$ es el vector de corriente sináptica, $T$ es un parámetro de temperatura y $\epsilon(t)$ es ruido blanco gaussiano.
• Función de Energía: El potencial de energía $E(x)$ se construye para estabilizar los innumerables puntos fijos inestables inherentes a las RNN caóticas. Incluye un término de retroalimentación de Onsager derivado del gradiente de la energía, que estabiliza las fluctuaciones caóticas. La función de energía toma la forma:
  $$E(x) = \frac{1}{2} \sum_{i} \left( -x_i + b_i + \sum_{j} J_{ij}\phi(x_j) \right)^2$$
  donde $\phi(x) = \tanh(x)$ es la función de tasa de disparo, $b_i$ es el sesgo (bias) y $J_{ij}$ representa el acoplamiento neuronal asimétrico.
• Regla de Aprendizaje: El modelo optimiza los parámetros de acoplamiento $\{J_{kl}\}$ para minimizar la divergencia de Kullback-Leibler (KL) entre la distribución del modelo y la distribución de los datos. Esta minimización sigue un principio de entropía mínima, lo que conduce a una regla de aprendizaje local y asimétrica:
  $$\frac{\partial L}{\partial J_{kl}} = \beta \left[ \langle (x_k - h_k)\phi(x_l) \rangle_{\text{modelo}} - \langle (x_k - h_k)\phi(x_l) \rangle_{\text{datos}} \right]$$
  Aquí, $h_k$ es la corriente sináptica integrada. El término $(x_k - h_k)$ representa una contribución postsináptica interpretada como error de predicción (reduciendo la velocidad de la actividad postsináptica). Esta regla es local, requiere únicamente señales neuronales y es asimétrica con respecto a los índices neuronales.
• Protocolos de Entrenamiento: Los autores implementan varias estrategias de entrenamiento para explorar regímenes fuera del equilibrio (OOE):
  • PCD-k (Divergencia Contrastiva Persistente): Utiliza cadenas persistentes actualizadas durante $k$ pasos entre cada actualización de parámetros.
  • Rdm-k: Reinicia las cadenas de Langevin desde configuraciones aleatorias en cada paso de estimación de gradiente.
  • AE-NLM: Entrena un autoencoder para comprimir los datos en un espacio latente, donde se entrena la NLM, reduciendo significativamente la complejidad computacional.

Contribuciones Clave

1. Modelo Generativo Biológicamente Plausible: La NLM satisface tres criterios: aprendizaje local, muestreo basado en la dinámica neuronal y recurrencia asimétrica. Deriva una regla de aprendizaje interpretable como aprendizaje predictivo de ajuste de velocidad.
2. Estabilización de Puntos Fijos Inestables: El trabajo demuestra que el término de retroalimentación de Onsager en la función de energía estabiliza los puntos fijos inestables de las RNN caóticas, haciéndolos utilizables para la memoria y la generación.
3. Regla de Aprendizaje Asimétrica Local: La regla de aprendizaje derivada conecta el modelado generativo con principios físicos fundamentales (entropía mínima) y se alinea con la hipótesis del "cerebro bayesiano sin probabilidad" y el camino de la IA basada en energía de Yann LeCun.
4. Régimen Fuera del Equilibrio (OOE): El artículo identifica un régimen OOE donde se logra el mejor rendimiento generativo sin esperar a que el sistema alcance el equilibrio termodinámico, imitando la dinámica cerebral continua impulsada por el ruido estocástico.

Resultos

• Desempeño Generativo: Aplicada a MNIST (dígitos escritos a mano) y Fashion MNIST, la NLM genera muestras con éxito. Las visualizaciones muestran transiciones de estado continuas entre diferentes clases de dígitos (por ejemplo, de un '6' a un '1'), impulsadas por el ruido estocástico.
• Transición de Memorización a Generalización: A medida que aumenta el tamaño de los datos de entrenamiento, el modelo transiciona de la memorización pura (sobreajuste) a la generalización. Esta transición se cuantifica utilizando un Indicador de Precisión Adversaria (AAI).
  • En regímenes con deficiencia de datos, el modelo memoriza las muestras de entrenamiento.
  • Más allá de un umbral específico de datos, el modelo genera muestras estadísticamente indistinguibles de los datos reales.
  • Un exceso de tamaño de datos puede eventualmente degradar la calidad, sugiriendo un punto de saturación.
• Espectro de Autovalores: Durante el aprendizaje, el espectro de la matriz de acoplamiento $J$ evoluciona de isotrópico a una forma de "ancla", donde los autovalores distribuidos alrededor del eje real positivo juegan un papel clave en la generalización.
• Denominación y Memoria Asociativa: La NLM funciona como una red de memoria asociativa. Al presentarle imágenes corruptas (25% de ruido de píxeles), la dinámica converge hacia representaciones limpias de los dígitos, demostrando un nuevo tipo de memoria asociativa con acoplamiento asimétrico.
• Mejora del Espacio Latente: El uso del protocolo AE-NLM en Fashion MNIST (10 categorías) mejora la calidad de la generación y permite el muestreo en un espacio latente de menor dimensión.

Significancia y Reivindicaciones
Los autores afirman que la NLM proporciona una vía prometedora para modelos generativos inspirados en la neurociencia que permiten la exploración dinámica del "espacio de actividad creativa de la imaginación". Al utilizar puntos fijos inestables y aprendizaje asimétrico local, el modelo cierra la brecha entre los mecanismos neuronales biológicos y los objetivos de ingeniería. El trabajo sugiere que el cerebro puede utilizar mecanismos similares para la percepción, la memoria y la imaginación, donde la exploración continua del espacio de fase facilita las transiciones de la memoria a la generalización. Este artículo posiciona este marco como un paso hacia la comprensión de la percepción subjetiva y la imaginación en el cerebro, ofreciendo al mismo tiempo una alternativa computacionalmente eficiente a los modelos generativos dominantes actuales mediante el entrenamiento en el espacio latente.