Mass Conservation as an Inductive Bias for Self-Organized Criticality in NCA Reservoirs

Sintesi Tecnica: La Conservazione della Massa come Bias Induttivo per l'Autorganizzata Criticità nei Reservoir di NCA

Definizione del Problema

Il reservoir computing (RC) sfrutta la dinamica intrinseca di sistemi deterministici ad alta dimensionalità per mappare gli input in spazi di caratteristiche risolvibili tramite semplici letture lineari. Una promettente base teorica per l'RC è l'Autorganizzata Criticità (SOC - Self-Organized Criticality), un regime dinamico caratterizzato da dinamiche di valanga scale-free e statistiche di legge di potenza, spesso associato all'ipotesi del "bordo del caos" dove la capacità computazionale è massimizzata. Sebbene studi recenti abbiano dimostrato che i Neural Cellular Automata (NCA) possano essere evoluti verso dinamiche di valanga critiche per servire come substrati efficaci per l'RC, il raggiungimento di una criticità robusta e costante rimane una sfida. Questo articolo indaga se la conservazione della massa — una regola di ridistribuzione locale che preserva la massa totale del reticolo — possa fungere da affidabile bias induttivo per promuovere la SOC in reservoir di NCA evoluti senza compromettere la loro utilità in compiti downstream.

Metodologia

Gli autori propongono un'architettura NCA modificata basata sul lavoro di Pontes-Filho et al. (2025), integrando un meccanismo di conservazione della massa ispirato al framework MaCE (Papadopoulos e Guichard, 2025).

1. Architettura NCA: Il sistema è un automa cellulare (CA) deterministico, binario e unidimensionale con una larghezza della griglia $W=1000$ e $C=5$ canali (1 visibile, 4 nascosti). Gli aggiornamenti dello stato sono governati da una rete neurale convoluzionale (CNN) leggera a 3 strati con 1.565 parametri.
2. Meccanismo di Conservazione della Massa: A differenza degli NCA standard, la variante "conservativa" applica una regola di ridistribuzione locale di tipo "dona-e-raccogli" (donate-then-collect) al solo canale visibile dopo l'aggiornamento della CNN ma prima della binarizzazione.
   • Ogni cella $j$ dona massa ai suoi vicini ($i \in N(j)$) proporzionalmente a un'affinità pesata tramite softmax basata sui valori grezzi visibili.
   • Ogni cella $i$ raccoglie le donazioni dai vicini il cui vicinato include $i$.
   • Ciò garantisce che l'attivazione visibile totale $\sum s_i$ sia esattamente preservata ad ogni timestep. I quattro canali nascosti rimangono non vincolati per consentire rappresentazioni interne arbitrarie.
3. Addestramento Evolutivo: Sia la variante baseline (non conservativa) che quella conservativa sono evolute utilizzando CMA-ES (Covariance Matrix Adaptation Evolution Strategy) per 500 generazioni.
   • Funzione di Fitness: Un punteggio composito che premia il comportamento di legge di potenza nelle statistiche di valanga del canale visibile. Esso combina il coefficiente di determinazione ($R^2$), la distanza di Kolmogorov–Smirnov (KS), l'occupazione dei bin, l'unicità dello stato e i rapporti di log-verosimiglianza confrontando modelli di legge di potenza rispetto a modelli esponenziali.
   • Configurazione Sperimentale: Sono stati utilizzati tre seed casuali indipendenti (42, 43, 44) per ogni variante.
4. Metriche di Valutazione:
   • Criticità: Valutata tramite test di Goodness-of-Fit (GOF) su sei distribuzioni di valanga (dimensione, durata e tempo di inter-arrivo sia per lo stato 0 che per lo stato 1). Una distribuzione supera il test se $p \ge 0.1$. La "criticità perfetta" è definita dal superamento di tutti e sei i test GOF.
   • Compiti Downstream: Le prestazioni sono state valutate su tre benchmark utilizzando un reservoir NCA fisso e una lettura lineare addestrata:
     • Memoria Sequenziale a 5 bit: Ritenzione di un pattern a 5 bit dopo un disturber di 200 step.
     • Classificazione MNIST: Classificazione di immagini utilizzando una lettura LinearSVC.
     • Controllo Temporale CartPole-v1: Un compito di apprendimento per rinforzo utilizzando una Q-network lineare.

Contributi Chiave

1. Bias Induttivo per la SOC: Lo studio dimostra che la conservazione della massa agisce come un affidabile bias induttivo, aumentando significativamente la probabilità di evolvere reservoir NCA che esibiscono una criticità perfetta (6/6 passaggi GOF).
2. Efficienza dell'Addestramento: La variante conservativa ha ottenuto una fitness media superiore del 7,3% e si è evoluta 1,27 volte più velocemente in termini di tempo di esecuzione (wall-clock time) rispetto alla baseline.
3. Preservazione dell'Utilità: L'introduzione dei vincoli di conservazione non ha degradato le prestazioni downstream. Entrambe le varianti hanno ottenuto risultati comparabili nei compiti di memoria e classificazione, con la variante conservativa che mostra prestazioni superiori nel controllo temporale dopo la selezione del checkpoint.
4. Legame Criticità-Computazione: Il seed con la criticità più forte (conservativo seed 44) ha anche ottenuto il punteggio più alto nel controllo temporale, suggerendo una correlazione positiva tra la qualità della SOC e le capacità di computazione sequenziale.

Risultati

• Caratterizzazione della Criticità:
  • Varianti Conservative: I seed 43 e 44 hanno raggiunto la criticità perfetta (6/6 passaggi GOF). Il seed 42 ha ottenuto 3/6.
  • Varianti Baseline: Nessun seed della baseline ha raggiunto la criticità perfetta. La migliore baseline (seed 44) ha ottenuto 5/6 passaggi; i seed 42 e 43 hanno ottenuto 3/6.
  • Statistiche di Valanga: I seed conservativi hanno esibito una scalatura di legge di potenza in tutte le distribuzioni. In particolare, la distribuzione della durata dello stato 1 per il seed 44 presentava un esponente ripido ($\hat{\alpha} \approx 10.3$), superando il test GOF in modo banale a causa della bassa varianza, ma contribuendo comunque al punteggio perfetto.
• Prestazioni Downstream:
  • Memoria a 5 bit: Entrambe le varianti hanno ottenuto punteggi perfetti (1.0) in tutti i seed.
  • MNIST: Entrambe le varianti hanno superato la baseline dei pixel grezzi (~91.1%). La baseline ha guidato con un margine minimo di +0,27 punti percentuali (93.81% vs 93.54%), una differenza entro la varianza seed-to-seed. Tuttavia, le caratteristiche conservative sono state 2–6 volte più veloci da classificare, suggerendo una migliore separabilità lineare.
  • CartPole-v1: La variante conservativa ha ottenuto una ricompensa media più alta (120.6 vs 88.6). Fondamentalmente, il seed 44 (conservativo, criticità perfetta) ha raggiunto il punteggio individuale più alto (163.4).
• Allineamento dei Checkpoint: È stata osservata una nota asimmetria nella selezione dei checkpoint. Per la variante conservativa, il checkpoint finale (gen 499) massimizzava simultaneamente la fitness e la criticità. Per la baseline, i checkpoint con le migliori statistiche di valanga non coincidevano con quelli che fornivano le migliori prestazioni downstream, indicando che la conservazione allinea la qualità della SOC con l'utilità funzionale.

Significato e Rivendicazioni

L'articolo sostiene che la conservazione della massa sia un meccanismo semplice, efficace e a zero parametri per promuovere una criticità robusta nei reservoir NCA evoluti. Impedendo l'esplosione o l'estinzione della massa, la conservazione regolarizza la dinamica, restringendo il panorama della fitness attorno ad attrattori completamente critici e rendendoli più facili da trovare per gli algoritmi evolutivi.

Gli autori affermano che questo approccio riesce a scollegare la ricerca della criticità dal sacrificio dell'utilità downstream. I risultati forniscono un supporto empirico provvisorio all'ipotesi del bordo del caos nel contesto del reservoir computing, suggerendo che i sistemi che operano vicino alla criticità (facilitata dalla conservazione) possano offrire capacità superiori per la computazione sequenziale e il controllo temporale. Lo studio conclude che la conservazione non solo aiuta a raggiungere la SOC, ma assicura anche che le dinamiche critiche risultanti siano funzionalmente allineate con le prestazioni del compito, eliminando la tensione spesso riscontrata tra l'ottimizzazione della criticità e l'ottimizzazione dell'utilità del compito.

Nota: Gli autori riconoscono i limiti, tra cui l'uso di soli tre seed per variante (che limita il potere statistico) e l'applicazione della conservazione solo ai canali visibili. Suggeriscono che il lavoro futuro dovrebbe esplorare popolazioni di seed più ampie, la conservazione dei canali nascosti e la co-ottimizzazione della criticità e della fitness del compito.