Mass Conservation as an Inductive Bias for Self-Organized Criticality in NCA Reservoirs

Resumen Técnico: La conservación de la masa como sesgo inductivo para la criticidad autoorganizada en reservorios de NCA

Planteamiento del problema

La computación de reservorio (RC) aprovecha la dinámica intrínseca de sistemas de alta dimensionalidad fijos para mapear entradas en espacios de características resolubles mediante lecturas lineales simples. Una base teórica prometedora para la RC es la criticidad autoorganizada (SOC), un régimen dinámico caracterizado por una dinámica de avalanchas de escala libre y estadísticas de ley de potencia, a menudo asociada con la hipótesis del "borde del caos" donde la capacidad computacional se maximiza. Si bien trabajos recientes han demostrado que los Autómatas Celulares Neurales (NCA) pueden evolucionarse hacia una dinámica de avalanchas crítica para servir como sustratos eficaces de RC, lograr una criticidad robusta y consistente sigue siendo un desafío. Este artículo investiga si la conservación de la masa —una regla de redistribución local que preserva la masa total de la red— puede servir como un sesgo inductivo fiable para promover la SOC en reservorios de NCA evolucionados sin comprometer su utilidad en tareas posteriores.

Metodología

Los autores proponen una arquitectura de NCA modificada basada en el trabajo de Pontes-Filho et al. (2025), integrando un mecanismo de conservación de masa inspirado en el marco MaCE (Papadopoulos y Guichard, 2025).

1. Arquitectura de NCA: El sistema es un CA determinista, binario y unidimensional con un ancho de rejilla $W=1000$ y $C=5$ canales (1 visible, 4 ocultos). Las actualizaciones de estado se rigen por una red neuronal convolucional (CNN) ligera de 3 capas con 1,565 parámetros.
2. Mecanismo de conservación de masa: A diferencia de los NCA estándar, la variante "conservadora" aplica una regla de redistribución local de donación-y-recolección al canal visible únicamente después de la actualización de la CNN y antes de la binarización.
   • Cada célula $j$ dona masa a sus vecinas ($i \in N(j)$) proporcionalmente a una afinidad ponderada por softmax basada en los valores brutos visibles.
   • Cada célula $i$ recolecta las donaciones de las vecinas cuyo vecindario incluye a $i$.
   • Esto asegura que la activación visible total $\sum s_i$ se preserve exactamente en cada paso de tiempo. Los cuatro canales ocultos permanecen sin restricciones para permitir representaciones internas arbitrarias.
3. Entrenamiento evolutivo: Tanto la variante base (no conservadora) como la conservadora se evolucionaron utilizando CMA-ES (Estrategia de Adaptación de la Matriz de Covarianza) durante 500 generaciones.
   • Función de aptitud (Fitness): Una puntuación compuesta que recompensa el comportamiento de ley de potencia en las estadísticas de avalancha del canal visible. Combina el coeficiente de determinación ($R^2$), la distancia de Kolmogorov–Smirnov (KS), la ocupación de bins, la unicidad de estado y las razones de log-verosimilitud comparando modelos de ley de potencia frente a modelos exponenciales.
   • Configuración experimental: Se utilizaron tres semillas aleatorias independientes (42, 43, 44) para cada variante.
4. Métricas de evaluación:
   • Criticidad: Evaluada mediante pruebas de bondad de ajuste (GOF) en seis distribuciones de avalanchas (tamaño, duración y tiempo entre llegadas tanto para el estado 0 como para el estado 1). Una distribución pasa si $p \ge 0.1$. La "criticidad perfecta" se define como el paso de las seis distribuciones.
   • Tareas posteriores (Downstream): El rendimiento se evaluó en tres bancos de pruebas utilizando un reservorio NCA fijo y una lectura lineal entrenada:
     • Memoria secuencial de 5 bits: Retención de un patrón de 5 bits tras un distractor de 200 pasos.
     • Clasificación MNIST: Clasificación de imágenes utilizando una lectura LinearSVC.
     • Control temporal CartPole-v1: Una tarea de aprendizaje por refuerzo utilizando una red Q lineal.

Contribuciones clave

1. Sesgo inductivo para SOC: El estudio demuestra que la conservación de la masa actúa como un sesgo inductivo fiable, aumentando significativamente la probabilidad de evolucionar reservorios de NCA que exhiben criticidad perfecta (6/6 pases de GOF).
2. Eficiencia de entrenamiento: La variante conservadora logró una aptitud media un 7.3% mayor y convergió 1.27× más rápido en tiempo de ejecución (wall-clock time) en comparación con la base.
3. Preservación de la utilidad: La introducción de restricciones de conservación no degradó el rendimiento en las tareas posteriores. Ambas variantes lograron resultados comparables en las tareas de memoria y clasificación, mostrando la variante conservadora un rendimiento superior en el control temporal tras la selección de checkpoints.
4. Vínculo criticidad-computación: La semilla con la criticidad más fuerte (semilla 44 conservadora) también alcanzó la puntuación más alta en control temporal, lo que sugiere una correlación positiva entre la calidad de la SOC y las capacidades de computación secuencial.

Resultados

• Caracterización de la criticidad:
  • Variantes conservadoras: Las semillas 43 y 44 alcanzaron la criticidad perfecta (6/6 pases de GOF). La semilla 42 alcanzó 3/6.
  • Variantes base: Ninguna semilla base alcanzó la criticidad perfecta. La mejor base (semilla 44) alcanzó 5/6 pases; las semillas 42 y 43 alcanzaron 3/6.
  • Estadísticas de avalancha: Las semillas conservadoras exhibieron escalamiento de ley de potencia en todas las distribuciones. Notablemente, la distribución de duración del estado 1 para la semilla 44 tuvo un exponente pronunciado ($\hat{\alpha} \approx 10.3$), pasando la prueba GOF trivialmente debido a la baja varianza, pero contribuyendo igualmente al puntaje perfecto.
• Rendimiento en tareas posteriores:
  • Memoria de 5 bits: Ambas variantes lograron puntuaciones perfectas (1.0) en todas las semillas.
  • MNIST: Ambas variantes superaron la línea base de píxeles brutos (~91.1%). La base lideró por un margen mínimo de promedio de +0.27 puntos porcentuales (93.81% vs. 93.54%), una diferencia dentro de la varianza de semilla a semilla. Sin embargo, las características conservadoras fueron 2–6× más rápidas de clasificar, lo que sugiere una mejor separabilidad lineal.
  • CartPole-v1: La variante conservadora logró una recompensa promedio más alta (120.6 vs. 88.6). Crucialmente, la semilla 44 (conservadora, criticidad perfecta) alcanzó la puntuación individual más alta (163.4).
• Alineación de checkpoints: Se observó una asimetría notable en la selección de checkpoints. Para la variante conservadora, el checkpoint final (gen 499) maximizó simultáneamente la aptitud y la criticidad. Para la base, los checkpoints con las mejores estadísticas de avalancha no coincidieron con aquellos que produjeron el mejor rendimiento en tareas posteriores, lo que indica que la conservación alinea la calidad de la SOC con la utilidad funcional.

Significado y afirmaciones

El artículo afirma que la conservación de la masa es un mecanismo simple, eficaz y de cero parámetros para promover una criticidad robusta en los reservorios de NCA evolucionados. Al prevenir la explosión o extinción de la masa, la conservación regulariza la dinámica, estrechando el paisaje de aptitud alrededor de atractores totalmente críticos y facilitando su hallazgo por parte de algoritmos evolutivos.

Los autores sostienen que este enfoque logra desacoplar la búsqueda de la criticidad de la pérdida de utilidad en tareas posteriores. Los resultados proporcionan un apoyo empírico tentativo a la hipótesis del borde del caos en el contexto de la computación de reservorio, sugiriendo que los sistemas que operan cerca de la criticidad (facilitados por la conservación) pueden ofrecer capacidades superiores para la computación secuencial y el control temporal. El estudio concluye que la conservación no solo ayuda a alcanzar la SOC, sino que también asegura que la dinámica crítica resultante esté funcionalmente alineada con el rendimiento de la tarea, eliminando la tensión que suele existir entre optimizar la criticidad y optimizar la utilidad de la tarea.

Nota: Los autores reconocen limitaciones, incluyendo el uso de solo tres semillas por variante (lo que limita el poder estadístico) y la aplicación de la conservación solo a los canales visibles. Sugieren que trabajos futuros deberían explorar poblaciones de semillas más grandes, la conservación de canales ocultos y la co-optimización de la criticidad y la aptitud de la tarea.