Moment-Resolved Readout and Reservoir Diversity in Nonequilibrium Langevin Computing

Resumen Técnico: Lectura con Resolución de Momentos y Diversidad de Reservorios en la Computación de Langevin Fuera del Equilibrio

Declaración del Problema
La computación termodinámica no lineal basada en la dinámica de Langevin utiliza las fluctuaciones térmicas como un sustrato físico para la computación. En el paradigma existente de Whitelam–Casert, los grados de libertad fluctuantes, restringidos por un potencial cuartico, actúan como neuronas termodinámicas. Sin embargo, dos limitaciones primarias restringen la capacidad de representación de estos sistemas:

1. Limitación de la Lectura (Readout): Las lecturas tradicionales reducen la distribución de fuera del equilibrio de tiempo finito de una neurona termodinámica a su primer momento (desplazamiento medio). Este agrupamiento (coarse-graining) descarta información física respecto al ancho de la distribución, el peso de la cola, la asimetría y la estructura no gaussiana, los cuales son críticos en potenciales no lineales donde las entradas remodelan la distribución en lugar de simplemente desplazar su centro.
2. Limitación Arquitectónica: La mayoría de las implementaciones dependen de un único reservorio físico. Aumentar el tamaño de un reservorio homogéneo no garantiza un incremento en la diversidad computacional, ya que las coordenadas adicionales pueden explorar regiones altamente correlacionadas del espacio de respuesta, lo que conduce a la redundancia en lugar de a patrones de error complementarios.

Metodología
Los autores proponen extender el paradigma de la computación de Langevin en dos direcciones: lectura con resolución de momentos y arquitectura de múltiples reservorios heterogéneos.

• Modelo Estocástico: El sistema consiste en $N$ nodos acoplados que evolucionan bajo la dinámica de Langevin sobreamortiguada, impulsados por un potencial cuartico ($J_2 x^2 + J_4 x^4$) y entradas externas. La dinámica es fuera del equilibrio, observada en un tiempo finito $t_f$ tras un reinicio a $x(0)=0$, sin asumir la relajación a una distribución de Boltzmann estacionaria.
• Lectura con Resolución de Momentos: En lugar de usar únicamente la media $E[x]$, los autores construyen un vector de respuesta $\phi_K(I)$ que comprende los momentos polinómicos brutos elemento a elemento: $E[x^{\odot 1}]$, $E[x^{\odot 2}]$ y $E[x^{\odot 4}]$.
  • Estos momentos brutos se eligen por su alineación con el impulso lineal y los términos cuadráticos/cuárticos del potencial de confinamiento local.
  • Los autores aclaran que estos no son medidas puras de varianza o curtosis; más bien, son "observables de respuesta polinómica alineadas con la energía" que mezclan la información de desplazamiento con la información de la forma central.
  • Para un reservorio con $N=256$ nodos, esto genera una dimensión de características de $3N = 768$.
• Arquitectura de Múltiples Reservorios Heterogéneos: Se construyen tres reservorios distintos ($K_1, K_2, K_3$) con diferentes historias de inicialización y entrenamiento para generar bases de respuesta parcialmente distintas:
  • $K_1$: Entrenado directamente utilizando un sustituto de respuesta polinómica.
  • $K_2$: Inicializado desde una configuración entrenada con respuesta de media y refinado mediante el sustituto polinómico.
  • $K_3$: Inicializado independientemente con una escala de acoplamiento interno más fuerte ($s_W = 0.2$ frente a $0.1$).
  • La representación final es una concatenación a nivel de características $\Phi(I) = [\phi_{K_1}, \phi_{K_2}, \phi_{K_3}]$, lo que resulta en un vector de 2304 dimensiones.
• Entrenamiento y Evaluación: Las proyecciones de entrada se optimizan utilizando sustitutos deterministas de respuesta local (resolviendo la solución estacionaria del potencial cuartico) en lugar de realizar retropropagación a través de la simulación estocástica completa. La clasificación final se realiza mediante una única lectura lineal estandarizada entrenada sobre las características concatenadas. Los modelos se evalúan utilizando el conjunto de datos MNIST (60,000 muestras de entrenamiento / 10,000 de prueba) bajo un protocolo de reproducción fijo.

Resultados Clave

• Precisión (Accuracy): La fusión de características de múltiples reservorios heterogéneos a nivel de características (HMR-FL) alcanzó la mayor precisión observada de 96.95% (9695/10000 correctas).
  • Esto se compara favorablemente con el modelo de un solo reservorio más fuerte ($K_2$) con 96.82% y con una línea base de promediado de logits a nivel de decisión de peso igual de 96.84%.
  • La mejora sobre el reservorio individual más fuerte es de 0.13 puntos porcentuales.
• Significancia Estadística: Una prueba exacta de McNemar de pares discordantes sobre los pares entre el modelo completo y el reservorio individual más fuerte arrojó un valor p de $\approx 0.279$. Los autores declaran explícitamente que esta diferencia no establece una mejora estadísticamente significativa sobre el reservorio individual más fuerte.
• Complementariedad de Errores: El análisis de la superposición del conjunto de errores (coeficiente de Jaccard) reveló que los patrones de error de los reservorios no eran idénticos. $K_2$ y $K_3$ mostraron la menor superposición ($J=0.5376$), mientras que $K_1$ y $K_2$ mostraron la mayor ($J=0.7015$). El modelo completo corrigió 68 muestras clasificadas erróneamente por $K_2$, pero introdujo 55 errores nuevos, lo que sugiere que los reservorios más débiles con perfiles de error distintos pueden aportar coordenadas útiles.
• Ablación de Momentos: Eliminar los momentos de orden superior degradó significamente el rendimiento. La lectura de solo la media ($m_1$) logró un 93.77%. Añadir el segundo momento ($m_1, m_2$) elevó la precisión a 96.82%, y añadir el cuarto momento ($m_1, m_2, m_4$) alcanzó el 96.95%.
• Estrategia de Fusión: La fusión a nivel de características (concatenar momentos brutos antes de una lectura unificada) superó a la fusión a nivel de decisión (promediar los logits de lecturas independientes), la cual alcanzó un 96.84%. Esto sugiere que preservar la geometría conjunta de características no comprimidas permite una mejor discriminación colectiva que la compresión de los reservorios individuales antes de la fusión.

Significancia y Reivindicaciones
El artículo afirma extender la computación de Langevin de tiempo finito mediante la introducción de la lectura con resolución de momentos y la heterogeneidad de reservorios como principios de diseño candidatos.

• Lectura: El trabajo demuestra que la lectura de un conjunto ordenado de estadísticas de respuesta de la distribución (específicamente momentos polinómicos brutos alineados con el potencial local) mejora la expresividad de la computadora termodinámica más allá de la lectura de la media únicamente.
• Heterogeneidad: Los resultados proporcionan "evidencia sugestiva" de que los reservorios con historias dinámicas y de entrenamiento distintas pueden ofrecer errores de clasificación complementarios, incluso si la significancia estadística de la ganancia de precisión es modesta bajo el protocolo actual.
• Limitaciones y Modestia: Los autores son cautelosos en sus conclusiones. Señalan que la mejora observada en la precisión es pequeña y no es estadísticamente significativa. Reconocen que la comparación involucra mayores dimensiones de características y recursos de muestreo, lo que significa que los resultados no separan definitivamente los efectos de la heterogeneidad de los efectos de la capacidad. El artículo hace un llamado a trabajos futuros que incluyan controles de recursos iguales, semillas repetidas y escaneos de tiempos de observación para aislar las contribuciones específicas de la heterogeneidad dinámica y las estadísticas de orden superior.

En resumen, el artículo propone un método físicamente fundamentado para extraer información más rica de los sistemas de Langevin fuera del equilibrio y demuestra que la combinación de diversos reservorios mediante la fusión a nivel de características puede mejorar marginalmente el rendimiento del reconocimiento de patrones, aunque la robustez estadística de esta ganancia requiere mayor investigación.