Resumen Técnico: Propagación de Equilibrio con Empuje Finito en Ensamble Térmicos

Planteamiento del Problema

La Propagación de Equilibrio (EP, por sus siglas en inglés) y el Aprendizaje Hebbiano Contrastivo (CHL) ofrecen alternativas biológicamente plausibles al retropropagación mediante el uso de reglas de aprendizaje locales basadas en la minimización de la energía. Sin embargo, las formulaciones clásicas de estos métodos dependen de dos supuestos restrictivos que limitan su aplicabilidad teórica y práctica:

1. El Límite Infinitesimal: La EP tradicional requiere que el "empuje" (la señal supervisada aplicada a la salida) sea infinitesimalmente pequeño ($\beta \to 0$) para recuperar el gradiente exacto de la pérdida supervisada. En la práctica, se requiere un empuje finito para una estabilidad de aprendizaje, pero esto introduce un sesgo respecto al gradiente real.
2. Dinámica Determinista: Los análisis clásicos suelen asumir una dinámica de temperatura cero donde el estado de la red colapsa a un único mínimo de energía determinista. Esta idealización no tiene en cuenta la naturaleza estocástica de los circuitos físicos o biológicos y tiene dificultades ante paisajes de energía no convexos donde existen múltiples mínimos locales.

Consecuentemente, el estatus teórico del aprendizaje de empuje finito en ensambles estocásticos y térmicos ha permanecido incompleto, dejando abierta la pregunta de qué objetivo global optimizan realmente estas reglas de aprendizaje.

Metodología

El autor redefine el estado de la red no como un punto determinista, sino como una variable aleatoria distribuida según una distribución de Gibbs-Boltzmann a una temperatura finita $T$. El sistema se define mediante una función de energía $E(\theta, s)$ y una pérdida dependiente de la tarea $\ell(s)$.

El Objetivo Contrastivo Estocástico

El autor define un nuevo objetivo, el Objetivo Contrastivo Estocástico $J(\theta)$, como la diferencia en la energía libre de Helmholtz entre dos fases:

• Fase Libre ($\beta=0$): La red se relaja bajo la función de energía $E(\theta, s)$ únicamente.
• Fase con Empuje ($\beta=1$): La red se relaja bajo el núcleo de la tarea $F(\theta, \beta, s) = E(\theta, s) + \beta\ell(s)$.

El objetivo se define como:
$$J(\theta) \triangleq A(\theta, 1) - A(\theta, 0)$$
donde $A(\theta, \beta) = -T \log Z_\beta(\theta)$ es la energía libre de Helmholtz y $Z_\beta$ es la función de partición.

Derivaciones de Gradientes

El artículo establece dos representaciones exactas para el gradiente $\nabla_\theta J(\theta)$ sin asumir un empuje infinitesimal ni convexidad:

1. Contraste de Expectativa (Teorema 3.1):
   El gradiente es exactamente la diferencia entre las derivadas de la energía local esperada bajo las distribuciones de Gibbs con y sin empuje:
   $$\nabla_\theta J(\theta) = \mathbb{E}_{s \sim \rho_1}[\nabla_\theta E(\theta, s)] - \mathbb{E}_{s \sim \rho_0}[\nabla_\theta E(\theta, s)]$$
   Esto demuestra que la regla de actualización contrastiva de dos fases estándar realiza un descenso de gradiente exacto sobre $J(\theta)$ para cualquier temperatura y fuerza de empuje finita.

2. Covarianza Integrada (Teorema 3.4):
   El gradiente también puede expresarse como una integral sobre la fuerza de empuje $\beta \in [0, 1]$ de la covarianza entre la pérdida y el gradiente de la energía:
   $$\nabla_\theta J(\theta) = -\frac{1}{T} \int_0^1 \text{Cov}_{s \sim \rho_\beta}[\ell(s), \nabla_\theta E(\theta, s)] \, d\beta$$
   Esta formulación generaliza la regla de EP infinitesimal (que aproxima este integral mediante una expansión de Taylor de primer orden en $\beta=0$) a un empuje finito arbitrario.

Límites de Temperatura Cero y Variacionales

• Límite de Temperatura Cero: A medida que $T \to 0$, la teoría recupera la regla contrastiva determinista clásica. Si el paisaje de energía tiene múltiples mínimos, el gradiente converge a un promedio ponderado por la curvatura de los gradientes en esos mínimos (aproximación de Laplace), en lugar de un promedio uniforme o un único mínimo arbitrario.
• Interpretación Variacional: Utilizando el principio variacional de Gibbs, se muestra que el objetivo $J(\theta)$ es un proxy regularizado de la pérdida supervisada. Se descompone en la pérdida esperada en la fase con empuje más un término de divergencia de Kullback-Leibler (KL) que penaliza la distancia entre las distribuciones con y sin empuje:
  $$J(\theta) = \mathbb{E}_{s \sim \rho_1}[\ell(s)] + T \cdot \text{KL}(\rho_1 \parallel \rho_0)$$

Resultados Clave

El autor valida su marco teórico mediante experimentos numéricos en el conjunto de datos Fashion-MNIST utilizando una red de energía de una sola capa con unidades tanh.

1. Rendimiento de Entrenamiento:

   • EP Infinitesimal ($\beta=0.01$): Falló en aprender, estancándose cerca de la precisión del azar (20–30%).
   • EP de Empuje Finito ($\beta=1.0$): Logró rápidamente un $\sim80\%$ de precisión de prueba, siguiendo de cerca la retropropagación estándar.
   • EP de Integral de Camino: Una variante que implementa la regla de covarianza integral también logró una alta precisión.

2. Relación Señal-Ruido (SNR):

   • Para fuerzas de empuje pequeñas ($\beta \lesssim 10^{-2}$), la señal de actualización era indistinguible del ruido de muestreo.
   • A medida que $\beta$ se acercaba a 1.0, la SNR mejoró en un orden de magnitud, demostando que el empuje finito desbloquea un régimen de señal inaccesible para los métodos infinitesimales.

3. Alineación de Gradientes:

   • La similitud de coseno entre la actualización contrastiva práctica y el verdadero gradiente de energía libre aumentó monótonamente con $\beta$, alcanzando $\sim0.5$ en $\beta=1.0$. Esto confirma que los empujes grandes siguen siendo de tipo gradiente con respecto al objetivo termodinámico.

4. Verificación Exacta:

   • Experimentos adicionales en un conjunto de datos más pequeño (Digits) con marginalización matemática exacta (evitando el ruido de MCMC) confirmaron que la identidad del gradiente se cumple exactamente para $\beta$ finito y que el error relativo entre las derivadas analíticas y numéricas permanece a precisión de máquina.

Significancia y Reivindicaciones

El artículo afirma resolver la incompletitud teórica del aprendizaje contrastivo en entornos estocásticos. Sus contribuciones principales son:

• Desacoplamiento del Límite Infinitesimal: El trabajo demuestra que el aprendizaje de empuje finito no es simplemente una aproximación sesgada de la retropropagación, sino un descenso de gradiente exacto sobre una diferencia de energía libre de Helmholtz bien definida.
• Plausibilidad Biológica: Al validar la regla de actualización contrastiva de dos fases clásica como un estimador de gradiente exacto para un empuje finito arbitrario, el trabajo fortalece el caso de las reglas de aprendizaje locales que no requieren transporte de pesos, los cuales son difíciles de reconciliar con las restricciones biológicas.
• Gestión de la No Convexidad y la Estocasticidad: El marco proporciona una base rigurosa para el aprendizaje en paisajes de energía no convexos a temperaturas finitas, mostrando que la regla de aprendizaje sigue estando bien definida incluso cuando los mínimos globales no son únicos o cuando el sistema opera en un régimen térmico.
• Ventaja Práctica: Los resultados sugieren que la aproximación de "empuje pequeño", utilizada frecuentemente en análisis teóricos, es prácticamente perjudicial debido al ruido. El empuje finito proporciona una ventaja de relación señal-ruido necesaria para un entrenamiento efectivo.

El autor posiciona este trabajo como una base de mecánica estadística que unifica la EP, el CHL y la inferencia variacional, vinculando la mecánica del aprendizaje local con la minimización de la energía libre y los costos de información.