🔬 physics

Thermodynamic cost of inference and learning in physical neural networks

Questo articolo dimostra che, mentre l'inferenza quasi-statica nelle reti neurali fisiche non comporta alcun costo termodinamico, l'apprendimento dei parametri comporta una spesa energetica irriducibile, stabilendo che il prezzo termodinamico fondamentale del calcolo neurale è determinato dall'archiviazione della memoria piuttosto che dall'elaborazione aritmetica.

Autori originali: Alexei Tkachenko

Pubblicato 2026-08-18

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Alexei Tkachenko

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Ogni volta che un computer risolve un problema o apprende un nuovo schema, consuma energia. Lo vediamo nelle enormi centrali elettriche che alimentano i nostri data center e nel calore che irradia dai nostri laptop. Per decenni, gli scienziati si sono chiesti quanta di questa spesa energetica sia semplicemente un difetto della nostra tecnologia attuale e quanto sia una legge fondamentale della natura dalla quale nessuna macchina potrà mai sfuggire. La risposta standard per i computer digitali deriva da una regola chiamata principio di Landauer. Essa afferma che se una macchina cancella un pezzo di informazione, deve rilasciare una quantità minima e inevitabile di calore. Questa regola si applica agli interruttori binari all'interno dei nostri processori, dove l'informazione è conservata come stati distinti e stabili come "on" o "off". Tuttavia, molti ricercatori stanno ora costruendo un tipo diverso di computer. Si tratta di reti neurali fisiche, dispositivi fatti di luce, parti meccaniche o circuiti elettronici che computano rilassandosi in uno stato di equilibrio, molto simile a una pallina che rotola giù per una collina per trovare il punto più basso. Poiché queste macchine non si affidano al ribaltamento di interruttori rigidi, le vecchie regole sulla cancellazione dei bit potrebbero non applicarsi a loro nello stesso modo. La domanda è se queste nuove macchine possano computare e apprendere con quasi zero energia, o se anche esse siano vincolate da un limite fisico invalicabile.

Un ricercatore del Brookhaven National Laboratory ha ora mappato esattamente quanta energia richiedono queste reti fisiche. Non ha costruito un dispositivo fisico in laboratorio; ha invece creato un modello matematico dettagliato che tratta una rete neurale come un sistema di molle e pesi. Nel suo modello, le connessioni tra gli strati della rete non sono istruzioni rigide ma vincoli elastici, come molle che tirano il sistema verso una forma specifica. Quando alla rete viene dato un input, essa si rilassa semplicemente nella forma che soddisfa tutte le molle contemporaneamente. Questo approccio ha permesso allo scienziato di calcolare il costo energetico di due processi distinti: l'inferenza, che è l'atto di risolvere un problema, e l'apprendimento, che è l'atto di addestrare la macchina per diventare più brava a risolvere i problemi. Le sue scoperte rivelano una sorprendente divisione nella fisica di queste macchine. Ha scoperto che l'atto di pensare, ovvero l'inferenza, può essere teoricamente eseguito con zero energia se la macchina si muove abbastanza lentamente. Il costo appare solo quando la macchina è costretta a muoversi velocemente. Al contrario, l'atto dell'apprendimento comporta un prezzo energetico permanente che non può essere evitato, indipendentemente da quanto lentamente operi la macchina.

Il ricercatore ha scoperto che per l'inferenza, il costo energetico non è determinato dal numero di connessioni o "pesi" all'interno della rete, come avviene nei computer digitali. Invece, il costo dipende dalla larghezza della rete, ovvero da quanti neuroni sono attivi contemporaneamente. Se la macchina è lasciata rilassare lentamente, muovendosi da un input all'altro con un ritmo tranquillo, non richiede alcun lavoro. Questo perché la macchina è sempre in uno stato di equilibrio, scivolando lungo una valle di energia liscia senza mai dover scalare una collina o cancellare una memoria. L'unico momento in cui viene spesa energia è quando la macchina viene spinta a muoversi più velocemente della sua velocità naturale di rilassamento. In questo regime veloce, l'energia richiesta è proporzionale alla distanza che la macchina deve percorrere attraverso il suo spazio di stato, divisa per il tempo impiegato. Le simulazioni hanno mostrato che anche alla velocità massima utile, il costo energetico è sorprendentemente basso, circa equivalente all'energia termica dell'ambiente per ogni dimensione dello strato più largo della rete. Ciò significa che il costo scala con la dimensione della larghezza della rete, non con la sua complessità totale. Per una rete con un milione di neuroni attivi, il costo energetico è circa un milione di volte la minuscola energia termica di una singola particella, una cifra miliardi di volte più piccola di ciò che consuma l'attuale hardware digitale.

L'apprendimento, tuttavia, racconta una storia diversa. Quando la macchina viene addestrata, sia l'input che l'output desiderato vengono imposti al sistema contemporaneamente. Questo crea un conflitto, o tensione, all'interno delle molle della rete, perché le impostazioni attuali non possono soddisfare sia l'input che l'obiettivo simultaneamente. Per apprendere, la macchina deve regolare i suoi pesi interni per alleviare questa tensione. Il ricercatore ha scoperto che questo processo di regolazione dei pesi comporta un costo energetico irriducibile. A differenza dell'inferenza, questo costo non scompare nemmeno se l'addestramento viene eseguito infinitamente lentamente. Ogni volta che un peso viene modificato, una piccola quantità di energia viene dissipata come calore, circa alcune volte l'energia termica dell'ambiente per parametro. Questo costo viene sostenuto una volta per l'intero set di parametri che definiscono la conoscenza della macchina. Non dipende da quanti esempi la macchina vede durante l'addestramento, bensì dal numero di pesi che deve memorizzare. Ciò contrasta nettamente con l'addestramento digitale, dove la macchina deve cancellare e riscrivere l'informazione per ogni singolo esempio che vede, portando a una massiccia bolletta energetica che scala con la dimensione del dataset.

Il ricercatore ha testato queste idee simulando una piccola rete addestrata a riconoscere cifre scritte a mano, un compito standard nel machine learning. Ha osservato come la macchina si comportava mentre passava da numeri diversi e mentre regolava i suoi pesi per migliorare la precisione. I risultati corrispondevano perfettamente alle sue previsioni teoriche. Quando alla macchina veniva chiesto di eseguire un'inferenza rapidamente, l'energia che consumava aumentava bruscamente, e la sua precisione diminuiva man mano che il lavoro svolto diventava comparabile al jiggling casuale del calore nel sistema. Ma quando la macchina era lasciata muovere lentamente, risolveva il problema con quasi zero energia, e la sua precisione rimaneva alta. Durante l'addestramento, ha osservato che l'energia spesa per regolare i pesi seguiva un modello preciso, confermando che una piccola, fissa quantità di calore viene rilasciata per ogni bit di apprendimento che avviene. Le simulazioni hanno mostrato che una volta che la macchina aveva appreso il compito, l'energia richiesta per mantenere quella conoscenza era trascurabile, ma l'energia necessaria per scrivere quella conoscenza in primo luogo era un costo fondamentale e inevitabile.

Queste scoperte suggeriscono che il prezzo termodinamico di una rete neurale è stabilito dalla sua memoria piuttosto che dalla sua aritmetica. L'atto di computare un risultato è quasi gratuito, limitato solo dalla velocità con cui la macchina è costretta a muoversi. L'atto dell'apprendimento, tuttavia, richiede di pagare una piccola ma permanente tassa per scrivere i parametri nella struttura fisica della macchina. Questa distinzione offre una nuova prospettiva sul futuro dell'informatica. Mentre le macchine digitali sono vincolate dal costo della cancellazione dei bit per ogni operazione, le macchine fisiche potrebbero potenzialmente eseguire calcoli complessi con un'efficienza energetica di ordini di grandezza superiore. Il divario rimanente tra l'hardware attuale e questi limiti teorici non è dovuto a un difetto delle leggi della fisica, ma alle inefficienze dei nostri attuali materiali e progettazioni. Lo studio fornisce una tabella di marcia chiara su ciò che è possibile, mostrando che se riusciamo a costruire macchine che realmente si rilassano nelle loro soluzioni, il costo energetico dell'intelligenza potrebbe essere ridotto al minimo consentito dall'universo.

Sintesi Tecnica: Costo Termodinamico di Inferenza e Apprendimento in Reti Neurali Fisiche

Enunciato del Problema
La rapida espansione delle reti neurali profonde ha portato a un aumento crescente della domanda energetica sia per l'addestramento che per l'inferenza. Mentre le inefficienze dell'hardware attuale sono ben documentate, una domanda fondamentale rimane aperta: quali sono i costi energetici intrinseci alla computazione neurale stessa, indipendentemente dalle specifiche implementazioni dei dispositivi? Per l'hardware digitale, il benchmark termodinamico standard è il principio di Landauer, che assegna una dissipazione minima di $k_B T \ln 2$ per ogni bit cancellato durante operazioni logicamente irreversibili. Tuttavia, questo limite si applica a stati di informazione metastabili o multi-stabili e non vincola direttamente la computazione analogica continua o i sistemi fisici che operano tramite rilassamento ed equilibrio piuttosto che tramite gate digitali a clock. Il saggio mira a determinare i limiti termodinamici delle reti neurali fisiche basate sull'energia, affrontando specificamente quanta energia sia necessaria per l'inferenza e l'apprendimento quando la rete è modellata come un sistema fisico governato da un Hamiltoniano.

Metodologia
L'autore propone un quadro teorico che inserisce una generica rete feedforward in un Hamiltoniano fisico.

Embedding Hamiltoniano: Una standard rete feedforward con strati $x_n$ , pesi $W_n$ e bias $b_n$ viene mappata in una funzione di energia elastica:
$H(x; \theta) = \frac{\kappa}{2} \sum_{n=1}^L \|x_n - f_n(W_n x_{n-1} + b_n)\|^2$
Qui, ogni relazione tra gli strati è trattata come un vincolo di compatibilità elastica con rigidità $\kappa$ . Lo "stato feedforward" corrisponde al manifold a energia zero ( $H=0$ ). A differenza delle reti di Hopfield dove gli stati sono attrattori, questa costruzione crea un manifold di stato fondamentale altamente degenere in cui ogni input seleziona un unico stato compatibile a energia zero.
Dinamica: Il sistema evolve tramite dinamica di Langevin sovradipendente ( $\dot{x}_n = -\mu \nabla_{x_n} H + \text{rumore}$ ).
Inferenza vs. Addestramento:
- Inferenza: Modellata come il rilassamento delle variabili nascoste e di output verso il manifold a energia zero sotto un input fisso.
- Addestramento: Modellato come un processo sovra-vincolato in cui sia l'input che l'output target sono bloccati (clamped), creando una deformazione (loss) che guida l'aggiornamento dei parametri tramite bilancio delle forze meccaniche (backpropagation).
Limiti Termodinamici: Il saggio deriva limiti esatti per il lavoro richiesto per guidare il sistema tra stati termici. Utilizza la distanza Wasserstein-2 ( $W_2$ ) per il trasporto ottimale e la rilassa in un limite info-geometrico che coinvolge la divergenza di Kullback-Leibler (KL) e la distanza di Fisher-Rao.
Validazione Numerica: Sono state eseguite simulazioni su una rete fisica minimale (architettura 64 $\to$ 20 $\to$ 10) addestrata sul dataset di cifre scritte a mano (MNIST). Le simulazioni hanno testato la dissipazione del lavoro, i tempi di rilassamento e l'accuratezza sotto diverse velocità di protocollo e temperature.

Contributi Chiave e Risultati

Inferenza Reversibile nel Limite Quasi-Statico:
Il saggio dimostra che l'energia libera di equilibrio della rete inserita è indipendente dall'input e da tutti i parametri (pesi e bias) a tutte le temperature. Di conseguenza, la variazione di energia libera ( $\Delta F$ ) per qualsiasi transizione di input è esattamente zero. Nel limite quasi-statico (operazione infinitamente lenta), l'inferenza richiede zero lavoro. Ciò contrasta con i sistemi digitali dove la computazione comporta spesso la cancellazione di bit; qui, la computazione è una risposta monostabile e isostatica lungo un manifold a energia zero, evitando completamente il costo di Landauer.
Costo di Inferenza a Velocità Finita:
Per un'operazione a velocità finita, il lavoro richiesto è limitato inferiormente dalla distanza al quadrato di Wasserstein-2 tra gli stati termici iniziale e finale, divisa per la durata del protocollo $\tau$ .
- Il limite è rilassato in una misura entropica: $E_{inf} \ge d k_B T \Gamma_{inf} \frac{\tau_L}{\tau}$ , dove $d$ è la larghezza dello strato più ampio, $\tau_L$ è la scala temporale diffusiva e $\Gamma_{inf}$ è un fattore di fedeltà legato al rapporto segnale-rumore.
- Alla velocità massima utilizzabile (dove $\tau \approx \tau_{inf}$ ), la fedeltà e il tempo di rilassamento si cancellano, producendo un costo di circa $k_B T$ per dimensione dello strato più ampio.
- Crucialmente, questo costo scala con la larghezza della rete (numero di neuroni), non con il numero di parametri (sinapsi). Le simulazioni hanno confermato che il lavoro misurato satura il limite di trasporto entro il 4%.
- L'accuratezza crolla quando il lavoro dissipato scende al di sotto della scala termica ( $k_B T$ ), confermando che l'affidabilità è determinata dal rapporto tra lavoro e distinguibilità termica.
Costo Irriducibile dell'Apprendimento:
L'apprendimento è fondamentalmente diverso dall'inferenza. Poiché l'addestramento richiede la modifica dei parametri (pesi e bias), esso comporta un costo irriducibile che sopravvive al limite quasi-statico.
- Il costo totale dell'addestramento consiste in un termine di presentazione dei dati (che svanisce con la presentazione lenta) e un termine di annealing dei parametri.
- Il costo di annealing dei parametri è di circa alcune $k_B T$ per parametro per l'intero ciclo di addestramento. Questo costo viene sostenuto una sola volta per stabilire la configurazione dei parametri, a differenza del digitale che paga un costo di cancellazione per ogni presentazione di dati.
- Il costo scala con il numero di parametri ( $N_\theta$ ) ma è indipendente dalla dimensione del dataset nel limite quasi-statico (a differenza dei benchmark digitali che scalano con $N_\theta \times \text{Dimensione Dataset}$ ).
Confronto con i Benchmark Digitali:
Il saggio confronta questi limiti fisici con il limite di Landauer per l'hardware digitale irreversibile (aritmetica a 16 bit).
- Inferenza: Il costo fisico ( $\sim d k_B T$ ) è di ordini di grandezza inferiore rispetto al benchmark Landauer digitale ( $\sim N_\theta k_B T$ ) perché le reti fisiche eseguono le moltiplicazioni tramite geometria anziché tramite operazioni discrete.
- Addestramento: Il costo fisico è un aggiornamento dei parametri una tantum, mentre l'addestramento digitale incorre in costi di cancellazione per ogni token nel dataset.
- La Tabella 1 del saggio stima che l'inferenza fisica potrebbe essere $\sim 10^5$ volte più efficiente del benchmark Landauer e $\sim 10^{13}$ volte più efficiente delle stime dell'hardware attuale, mentre l'addestramento fisico offre un vantaggio simile rispetto all'addestramento digitale grazie all'assenza di costi di cancellazione per ogni esempio.

Significato e Rivendicazioni
Il saggio sostiene di aver stabilito il prezzo termodinamico fondamentale della computazione neurale, distinguendo tra i costi di aritmetica (inferenza) e di memoria (apprendimento).

Inferenza: Il costo termodinamico è determinato dalla larghezza della rete e dalla velocità di operazione, non dal numero di parametri. Nell'ideale limite, la computazione stessa è gratuita; il costo sorge solo dalla velocità finita necessaria per separare il segnale dal rumore termico.
Apprendimento: Il costo è dominato dall'aspetto della memoria — scrivere i parametri. Questo costo è irriducibile anche nel limite lento, ma è ammortizzato sull'intero dataset, rendendolo potenzialmente molto più economico dell'addestramento digitale che paga per ogni esempio.
Fisico vs. Digitale: Il lavoro suggerisce che le reti neurali fisiche possono teoricamente superare le implementazioni digitali non solo attraverso miglioramenti ingegneristici, ma perché evitano il costo di Landauer fondamentale associato alla cancellazione delle informazioni durante la computazione. Il "prezzo termodinamico" di una rete neurale è dunque associato più alla sua memoria (apprendimento) che alla sua aritmetica (inferenza).

L'autore osserva che questi limiti si applicano a substrati ideali; i costi del mondo reale (conversione dati, controllo, materiali non ideali) attualmente dominano. Inoltre, il modello assume una struttura affine-più-attivazione e non affronta ancora i meccanismi di attenzione o i costi per memorizzare i pesi dopo l'addestramento. Ciononostante, i risultati forniscono una base termodinamica rigorosa per valutare le future architetture di calcolo neuromorfico e fisico.

Sintesi Tecnica: Costo Termodinamico di Inferenza e Apprendimento in Reti Neurali Fisiche

Articoli simili