🤖 machine learning

Physical Foundation Models: Fixed hardware implementations of large-scale neural networks

Questo articolo propone i "Modelli Fisici Fondamentali" (PFM), un paradigma in cui reti neurali su larga scala sono realizzate direttamente come implementazioni hardware fisse che sfruttano dinamiche fisiche naturali per raggiungere un'efficienza energetica, una velocità e una densità di parametri senza precedenti per modelli di intelligenza artificiale su scala trilionesima.

Autori originali: Logan G Wright, Tianyu Wang, Tatsuhiro Onodera, Peter L. McMahon

Pubblicato 2026-05-01

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Logan G Wright, Tianyu Wang, Tatsuhiro Onodera, Peter L. McMahon

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'idea principale: Da un coltellino svizzero a uno strumento su misura

Immagina di avere un coltellino svizzero. È incredibilmente versatile; può tagliare, avvitare, aprire bottiglie e segare. Ma poiché deve fare tutto, non è assolutamente il migliore in nessun singolo compito. È anche pesante e occupa spazio nella tua tasca.

I modelli AI attuali (come quelli che alimentano ChatGPT o Gemini) sono come quel coltellino svizzero. Sono enormi "Modelli Fondamentali" (Foundation Models) generici addestrati per fare quasi tutto. Per eseguirli, utilizziamo potenti chip informatici programmabili (GPU) che agiscono come un laboratorio pieno di attrezzi. Questi chip sono flessibili, ma sono anche avidi di energia e lenti perché devono recuperare costantemente istruzioni e dati, spostandoli avanti e indietro come uno chef che corre tra il frigorifero e il fornello.

Gli autori propongono un'idea radicale: invece di costruire un laboratorio flessibile, perché non costruire una macchina fatta su misura e monofunzionale per ogni modello AI specifico?

Li chiamano Modelli Fondamentali Fisici (PFM).

L'analogia: La scultura "congelata"

Pensa a un chip informatico standard come a una scultura in argilla. Puoi modellarla, rimodellarla e cambiarla quando vuoi. Questo è ottimo per la flessibilità, ma richiede tempo e sforzo rimodellarla ogni volta che vuoi fare qualcosa di nuovo.

Gli autori suggeriscono di smettere di usare l'argilla e iniziare a usare il vetro congelato.

Il vecchio modo: Addestriamo un modello AI nel software, poi cerchiamo di creare un chip che possa simulare quel modello. Il chip deve essere programmato per agire come il modello.
Il nuovo modo (PFM): Prendiamo il modello AI finale e addestrato e lo intagliamo letteralmente nell'hardware stesso prima ancora che il chip venga prodotto. Il "cervello" dell'AI non è un insieme di istruzioni; è la forma fisica del materiale.

Una volta che il chip è stato prodotto, l'AI è "cablata" nella fisica del dispositivo. Non puoi cambiare il modello senza sciogliere il vetro e crearne uno nuovo. Ma poiché il modello è l'hardware, non ha bisogno di "pensare" o "recuperare" dati. Lascia semplicemente fluire l'input e la fisica del materiale produce naturalmente la risposta.

Come funziona: Il tubo di luce

Il documento utilizza la luce come esempio principale. Immagina un tubo lungo e trasparente fatto di vetro speciale.

L'input: Proietti un pattern di luce su un'estremità del tubo.
Il "cervello": All'interno del tubo, il vetro non è liscio. Ha piccoli, microscopici dossi e curve (strutture nanoscopiche) intagliati esattamente per corrispondere a un modello AI specifico.
Il processo: Mentre la luce viaggia attraverso il tubo, rimbalza, si piega e interferisce con se stessa in base a quei piccoli dossi. Non è un computer che calcola numeri; è la luce che fa ciò che la luce fa naturalmente.
L'output: Quando la luce colpisce l'altra estremità, il pattern è cambiato. Quel nuovo pattern è la risposta alla tua domanda.

Poiché la luce si muove alla velocità della luce e il "calcolo" avviene semplicemente mentre la luce viaggia, questo processo è incredibilmente veloce e utilizza quasi nessuna elettricità rispetto a un computer digitale.

Perché farlo? (I tre grandi vantaggi)

Gli autori sostengono che se riusciamo a costruire queste macchine "congelate", otteniamo tre enormi benefici:

Efficienza energetica: Un computer digitale è come una persona che corre avanti e indietro in una biblioteca per leggere un libro, scrivere un appunto e tornare indietro. Un PFM è come avere il libro stampato direttamente sul muro di fronte a te. Basta guardarlo. Questo fa risparmiare un'enorme quantità di energia.
Velocità: Poiché il "calcolo" è semplicemente il movimento fisico della luce o degli elettroni attraverso un materiale, avviene quasi istantaneamente, limitato solo dalla velocità del segnale, non dalla velocità di un processore.
Dimensioni e scalabilità: I computer digitali hanno bisogno di molto spazio per memorizzare i dati e spostarli. I PFM possono racchiudere una quantità enorme di "potenza di calcolo" in uno spazio minuscolo perché i dati sono memorizzati nella struttura 3D del materiale stesso.

Il problema "per sempre"

C'è un inconveniente, che il documento ammette apertamente. Poiché queste macchine sono "congelate" nell'hardware, non possono imparare cose nuove.

Se vuoi aggiornare l'AI per conoscere un nuovo evento accaduto ieri, non puoi semplicemente scaricare un aggiornamento software. Devi buttare via il vecchio tubo di vetro e produrne uno completamente nuovo con il nuovo design intagliato al suo interno.

Gli autori suggeriscono che questo va bene perché:

I modelli fondamentali (come GPT-5 o Llama 4) vengono aggiornati solo una volta l'anno circa.
Potremmo costruire fabbriche che producono questi "tubi AI" su un programma annuale, proprio come rilasciamo nuovi modelli di telefoni.
Per i compiti specifici per cui sono costruiti, saranno di gran lunga superiori a qualsiasi cosa abbiamo oggi.

La visione futura

Il documento immagina un futuro in cui:

I Data Center utilizzano questi enormi tubi hardware fissi per eseguire AI per tutto il mondo, utilizzando una frazione dell'elettricità attuale.
I dispositivi periferici (come il tuo telefono, un robot o un'auto) potrebbero avere i loro piccoli tubi AI personalizzati integrati direttamente, permettendo loro di essere incredibilmente intelligenti senza bisogno di connettersi a Internet.
Modelli enormi: Potremmo essere in grado di costruire modelli AI con migliaia di miliardi o persino milioni di miliardi di parametri (connessioni), che attualmente sono impossibili da eseguire su computer digitali perché richiederebbero troppa energia e memoria.

Riassunto

Il documento propone un passaggio dai computer programmabili (flessibili ma inefficienti) alle macchine fisiche (rigide ma incredibilmente efficienti). Intagliando l'AI direttamente nella fisica di materiali come vetro o silicio, potremmo creare "Modelli Fondamentali Fisici" che sono più veloci, più piccoli e utilizzano meno energia di qualsiasi cosa abbiamo oggi, sbloccando potenzialmente la capacità di costruire sistemi AI di una scala che possiamo a malapena immaginare in questo momento.

1. Enunciato del Problema

Il documento affronta i costi crescenti in termini computazionali, energetici e di capitale associati all'addestramento e al dispiegamento di modelli fondazione AI su larga scala (ad esempio, GPT-4, Gemini, Llama 4).

Crisi Energetica e dei Costi: I carichi di lavoro AI attuali nei data center consumano circa 44 GW di potenza, con una proiezione di superare i 150 GW entro il 2030, con costi di capitale superiori a 5 trilioni di dollari.
Il Collo di Bottiglia di Von Neumann: Le architetture digitali tradizionali separano memoria ed elaborazione, portando a enormi penalità energetiche e di latenza dovute allo spostamento dei dati (spostamento di pesi e attivazioni).
Limiti di Scalabilità: L'hardware digitale attuale fatica a supportare modelli significativamente più grandi di $10^{12}$ parametri. Un ipotetico modello da $10^{18}$ parametri richiederebbe exabyte di memoria e decenni per essere letto tramite le attuali larghezze di banda della memoria, rendendo l'inferenza su architetture a memoria separata impraticabile.
Vincoli per i Dispositivi Edge: L'elevata domanda energetica impedisce il dispiegamento di grandi modelli fondazione su dispositivi edge vincolati dalla potenza (robot, sensori, dispositivi mobili).

2. Metodologia e Concetto Chiave

Gli autori propongono i Modelli Fondazione Fisici (PFM), una riprogettazione radicale dell'implementazione hardware dell'IA.

Definizione: I PFM sono dispositivi hardware fissi e monofunzionali in cui l'architettura della rete neurale e i parametri sono "cablati" direttamente nel substrato fisico (ad esempio, vetro nanostrutturato, semiconduttori) al momento della fabbricazione.
Distinzione Chiave: A differenza dei chip digitali programmabili (GPU) o anche degli ASIC digitali a pesi fissi (come l'HC1 di Taalas), i PFM eseguono il calcolo utilizzando le dinamiche fisiche naturali dell'hardware (ad esempio, propagazione della luce, flusso di elettroni) piuttosto che simulare operazioni matematiche tramite logica digitale.
Filosofia: L'approccio fonde il "poco spazio in basso" di Feynman (fabbricazione nanoscopica) con il "molto spazio in alto" di Leiserson (eliminazione dei livelli di astrazione). Tratta l'hardware stesso come software, ottimizzando direttamente il sistema fisico per il compito di inferenza.
Compromesso: I PFM sacrificano la programmabilità (la capacità di aggiornare i pesi dopo la fabbricazione) per ottenere enormi guadagni in densità dei parametri, efficienza energetica e velocità. Sono progettati per essere prodotti con una cadenza di circa 1 anno, allineandosi al ciclo di rilascio dei nuovi modelli fondazione.

3. Contributi Chiave

Quadro Concettuale: Introduzione del paradigma PFM, sostenendo che per i modelli fondazione (che sono statici dopo l'addestramento), l'hardware fisso è la soluzione ottimale.
Calcoli "A Occhio": Gli autori eseguono un'analisi di scalatura per un PFM Ottico specifico (un mezzo in vetro nanostrutturato 3D) e lo confrontano con le GPU digitali all'avanguardia (ad esempio, classe NVIDIA B200).
Esplorazione delle Piattaforme: Discussione di realizzazioni potenziali oltre l'ottica, inclusi nanoelettronica (array a croce, fili resistivi progettati inversamente, semiconduttori) e meccanica.
Roadmap della Ricerca: Identificazione delle sfide critiche necessarie per realizzare i PFM, tra cui il design inverso fisico su larga scala, le strategie di addestramento per hardware fisso e la gestione della variabilità di fabbricazione.

4. Risultati e Stime delle Prestazioni

Utilizzando un esempio di PFM ottico 3D (vetro nanostrutturato con variazioni dell'indice di rifrazione che codificano i parametri), gli autori stimano le prestazioni per modelli che vanno da $10^{12}$ a $10^{18}$ parametri:

Metrica	PFM Ottico ( $10^{12}$ parametri)	PFM Ottico ( $10^{18}$ parametri)	Baseline GPU Digitale ( $10^{12}$ parametri)
Volume	$\sim (1 \text{ mm})^2 \times 1 \text{ m}$	$\sim (10 \text{ cm})^2 \times 100 \text{ m}$	$\sim (17 \text{ cm})^3$
Energia/Inferenza	$\sim 100 \, \mu\text{J}$	$\sim 10 \text{ mJ}$	$\sim 1 \text{ J}$
Tempo/Inferenza	$\sim 100 \text{ ns}$	$\sim 10 \, \mu\text{s}$	$\sim 25 \text{ ms}$

Efficienza Energetica: I PFM offrono un consumo energetico per inferenza da $10^4$ a $10^8$ volte inferiore rispetto all'hardware digitale. Anche un PFM da $10^{18}$ parametri consumerebbe circa 100 volte meno energia di un sistema digitale da $10^{12}$ parametri.
Velocità: La latenza di inferenza è ridotta di $10^3$ a $10^5$ volte (nanosecondi/microsecondi contro millisecondi).
Scalatura: A differenza dei sistemi digitali in cui l'energia scala linearmente con i parametri ( $E \propto P$ ), l'energia del PFM ottico scala come $E \propto P^{1/3}$ a causa della natura volumetrica 3D della propagazione della luce e della capacità di aumentare le dimensioni di input/output senza aumentare il numero di parametri.
Fattibilità: I calcoli suggeriscono che modelli da $10^{18}$ parametri potrebbero fisicamente adattarsi a volumi gestibili (ad esempio, un tubo lungo 100 m) ed essere alimentati da fonti di energia portatili, abilitando un'IA da "trilioni di parametri" su dispositivi edge.

5. Significato e Prospettive Future

Abilitazione di Modelli Ultra-Grandi: I PFM forniscono un percorso plausibile per costruire sistemi AI con $10^{15}$ fino a $10^{21}$ parametri, potenzialmente avvicinandosi alla complessità del cervello umano ( $10^{14}$ sinapsi) o superandola, cosa attualmente impossibile con l'hardware digitale.
Rivoluzione dell'AI Edge: Riducendo drasticamente il consumo energetico, i PFM potrebbero permettere ai modelli fondazione di eseguire localmente su robot, automobili e sensori, eliminando le preoccupazioni relative alla latenza e alla privacy associate all'inferenza nel cloud.
Nuovo Programma di Ricerca: Il documento delinea una sfida di ricerca massiccia: Design Inverso Fisico. Questo comporta l'addestramento di reti neurali direttamente sui parametri fisici dell'hardware (ad esempio, pattern dell'indice di rifrazione) piuttosto che su pesi astratti.
Sfide Identificate:
- Addestramento: Come addestrare sistemi fisici da $10^{18}$ parametri senza simularli digitalmente (cosa troppo costosa). Le soluzioni proposte includono "reti-di-reti" (Mixture of PFMs) e l'uso di modelli digitali "manager".
- Variabilità di Fabbricazione: Poiché ogni PFM fabbricato avrà lievi differenze fisiche, il sistema deve essere robusto ai difetti o utilizzare sintonizzazione post-fabbricazione (ad esempio, piccoli compensatori digitali).
- Non Linearità: Implementare le necessarie funzioni di attivazione non lineari nei mezzi fisici (ad esempio, tramite effetti Kerr ottici) senza degradazione catastrofica del segnale.
- Colli di Bottiglia I/O: La velocità di conversione degli input digitali in segnali fisici analogici (e viceversa) rimane un potenziale collo di bottiglia.

Conclusione:
Il documento sostiene che l'era dei modelli fondazione richiede un passaggio dall'hardware programmabile generico all'hardware fisico fisso e specializzato. Sfruttando la fisica naturale dei materiali (ottica, elettronica) per eseguire il calcolo, i PFM potrebbero superare i limiti fondamentali del calcolo digitale, abilitando una nuova generazione di AI più veloce, più efficiente dal punto di vista energetico e capace di scale precedentemente considerate impossibili.