🤖 machine learning

Physical Foundation Models: Fixed hardware implementations of large-scale neural networks

Dit artikel stelt "Fysieke Fundatiemodellen" (PFM's) voor, een paradigma waarbij grootschalige neurale netwerken direct worden gerealiseerd als vaste hardware-implementaties die gebruikmaken van natuurlijke fysieke dynamica om ongekende energie-efficiëntie, snelheid en parameterdichtheid te bereiken voor AI-modellen in de schaal van biljoenen.

Oorspronkelijke auteurs: Logan G Wright, Tianyu Wang, Tatsuhiro Onodera, Peter L. McMahon

Gepubliceerd 2026-05-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Logan G Wright, Tianyu Wang, Tatsuhiro Onodera, Peter L. McMahon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Van Zwitsers zakmes tot maatwerk gereedschap

Stel je hebt een Zwitsers zakmes. Het is ongelooflijk veelzijdig; het kan snijden, schroeven, flessen openen en zagen. Maar omdat het alles moet doen, is het niet absoluut het beste op één enkele taak. Het is ook zwaar en neemt ruimte in je zak in beslag.

Huidige AI-modellen (zoals die ChatGPT of Gemini aandrijven) zijn als dat Zwitserse zakmes. Het zijn enorme, algemene "Foundation Models" die getraind zijn om bijna alles te doen. Om ze te draaien, gebruiken we krachtige, programmeerbare computerchips (GPU's) die fungeren als een werkplaats vol gereedschap. Deze chips zijn flexibel, maar ze zijn ook energievretend en traag omdat ze constant instructies en data moeten ophalen, ze heen en weer bewegend als een kok die tussen de koelkast en het fornuis rent.

De auteurs stellen een radicaal nieuw idee voor: In plaats van een flexibele werkplaats te bouwen, waarom bouwen we dan geen op maat gemaakte, enkelvoudige machine voor elk specifiek AI-model?

Ze noemen deze Physical Foundation Models (PFM's).

De Analogie: Het "Bevroren" Beeldhouwwerk

Denk aan een standaard computerchip als een kleinen beeldhouwwerk. Je kunt het vormen, herscheppen en veranderen wanneer je maar wilt. Dit is geweldig voor flexibiliteit, maar het kost tijd en moeite om het elke keer opnieuw te vormen als je iets nieuws wilt doen.

De auteurs stellen voor dat we stoppen met het gebruik van klei en beginnen met het gebruik van bevroren glas.

De Oude Weg: We trainen een AI-model in software, en proberen vervolgens een chip te maken die dat model kan simuleren. De chip moet geprogrammeerd worden om zich als het model te gedragen.
De Nieuwe Weg (PFM): We nemen het definitieve, getrainde AI-model en houwen het letterlijk in de hardware zelf voordat de chip zelfs maar gemaakt is. Het "brein" van de AI is geen set instructies; het is de fysieke vorm van het materiaal.

Zodra de chip gefabriceerd is, is de AI "hard-wired" in de fysica van het apparaat. Je kunt het model niet veranderen zonder het glas te smelten en een nieuwe te maken. Maar omdat het model de hardware is, hoeft het niet na te denken of data op te halen. Het laat de invoer gewoon stromen, en de fysica van het materiaal produceert op natuurlijke wijze het antwoord.

Hoe Het Werkt: De Lichtpijp

Het paper gebruikt licht als primair voorbeeld. Stel je een lange, heldere buis voor van speciaal glas.

De Invoer: Je schijnt een patroon van licht in het ene uiteinde van de buis.
Het "Brein": Binnenin de buis is het glas niet glad. Het heeft tiny, microscopische bultjes en krommingen (nanoscale structuren) die exact zijn gehouwen om te matchen met een specifiek AI-model.
Het Proces: Terwijl het licht door de buis reist, kaatst het, buigt het en interfereert het met zichzelf op basis van die kleine bultjes. Dit is geen computer die getallen berekent; dit is licht dat doet wat licht van nature doet.
De Uitvoer: Wanneer het licht het andere uiteinde bereikt, is het patroon veranderd. Dat nieuwe patroon is het antwoord op je vraag.

Omdat het licht zich met de lichtsnelheid verplaatst en de "berekening" plaatsvindt zomaar doordat het licht reist, is dit proces ongelooflijk snel en verbruikt het bijna geen elektriciteit in vergelijking met een digitale computer.

Waarom Dit Doen? (De Drie Grote Voordelen)

De auteurs betogen dat als we deze "bevroren" machines kunnen bouwen, we drie enorme voordelen krijgen:

Energie-efficiëntie: Een digitale computer is als een persoon die heen en weer rent naar een bibliotheek om een boek te lezen, een notitie te schrijven en terug te rennen. Een PFM is als het hebben van het boek direct op de muur voor je gedrukt. Je kijkt er gewoon naar. Dit bespaart een enorm hoeveelheid energie.
Snelheid: Omdat de "berekening" gewoon de fysieke beweging is van licht of elektronen door een materiaal, gebeurt het bijna direct, beperkt alleen door de snelheid van het signaal, niet door de snelheid van een processor.
Grootte en Schaal: Digitale computers hebben veel ruimte nodig om data op te slaan en te verplaatsen. PFM's kunnen een enorme hoeveelheid "hersencapaciteit" in een kleine ruimte proppen omdat de data is opgeslagen in de 3D-structuur van het materiaal zelf.

Het "Voor Altijd" Probleem

Er is een addertje onder het gras, wat het paper openlijk erkent. Omdat deze machines "bevroren" zijn in de hardware, kunnen ze geen nieuwe dingen leren.

Als je de AI wilt updaten om te weten over een nieuw evenement dat gisteren plaatsvond, kun je niet gewoon een software-update downloaden. Je moet de oude glazen buis weggooien en een gloednieuwe fabriceren met het nieuwe ontwerp erin gehouwen.

De auteurs suggereren dat dit eigenlijk prima is omdat:

Foundation modellen (zoals GPT-5 of Llama 4) slechts ongeveer eenmaal per jaar worden bijgewerkt.
We fabrieken kunnen bouwen die deze "AI-buizen" op een jaarlijkse schema produceren, net zoals we nieuwe telefoonmodellen lanceren.
Voor de specifieke taken waarvoor ze zijn gebouwd, zullen ze enorm superieur zijn aan alles wat we vandaag hebben.

De Toekomstvisie

Het paper stelt een toekomst voor waar:

Datacenters deze enorme, vaste hardware-buizen gebruiken om AI voor de hele wereld te draaien, met een fractie van de huidige elektriciteit.
Edge-apparaten (zoals je telefoon, een robot of een auto) hun eigen kleine, op maat gemaakte AI-buizen ingebouwd kunnen hebben, waardoor ze ongelooflijk slim kunnen zijn zonder verbinding met het internet nodig te hebben.
Enorme Modellen: We misschien AI-modellen kunnen bouwen met biljoenen of zelfs biljarden parameters (verbindingen), wat momenteel onmogelijk is om te draaien op digitale computers omdat ze te veel stroom en geheugen zouden vereisen.

Samenvatting

Het paper stelt een verschuiving voor van programmeerbare computers (flexibel maar inefficiënt) naar fysieke machines (stijf maar ongelooflijk efficiënt). Door de AI direct in de fysica van materialen zoals glas of silicium te houwen, kunnen we "Physical Foundation Models" creëren die sneller, kleiner zijn en minder energie verbruiken dan iets wat we vandaag hebben, wat potentieel de mogelijkheid opent om AI-systemen te bouwen van een schaal die we nu nauwelijks kunnen voorstellen.

1. Probleemstelling

Het artikel adresseert de escalerende computationele, energie- en kapitaalkosten die gepaard gaan met het trainen en implementeren van grote AI-foundationmodellen (bijv. GPT-4, Gemini, Llama 4).

Energie- en kostenkrisis: Huidige datacenter-AI-werklasten verbruiken ongeveer 44 GW aan vermogen, met een projectie om in 2030 de 150 GW te overschrijden, waarbij de kapitaalkosten de 5 biljoen dollar zullen overstijgen.
De Von Neumann-flesnek: Traditionele digitale architecturen scheiden geheugen en verwerking, wat leidt tot enorme energie- en latentieboetes door dataverplaatsing (het verplaatsen van gewichten en activaties).
Schalingslimieten: Huidige digitale hardware heeft moeite om modellen te ondersteunen die aanzienlijk groter zijn dan $10^{12}$ parameters. Een hypothetisch model met $10^{18}$ parameters zou exabytes aan geheugen vereisen en decennia om te lezen via huidige geheugenbandbreedtes, waardoor inferentie op gescheiden geheugenarchitecturen onpraktisch wordt.
Randbeperkingen: De hoge energievraag verhindert het implementeren van grote foundationmodellen op energie-beperkte randapparaten (robots, sensoren, mobiel).

2. Methodologie en Kernconcept

De auteurs stellen Physical Foundation Models (PFM's) voor, een radicale herdenking van de AI-hardware-implementatie.

Definitie: PFM's zijn vaste, enkelvoudige hardware-apparaten waarbij de neurale netwerkarchitectuur en parameters tijdens de fabricage direct in het fysische substraat (bijv. nano-gestructureerd glas, halfgeleiders) zijn "ingebouwd".
Belangrijk onderscheid: In tegenstelling tot programmeerbare digitale chips (GPU's) of zelfs vaste-gewicht digitale ASIC's (zoals Taalas's HC1), voeren PFM's berekeningen uit met behulp van de natuurlijke fysische dynamica van de hardware (bijv. lichtpropagatie, elektronenstroom) in plaats van wiskundige bewerkingen te simuleren via digitale logica.
Filosofie: De benadering verenigt Feynman's "plenty of room at the bottom" (nanoschaal fabricage) met Leiserson's "plenty of room at the top" (eliminatie van abstractielagen). Het behandelt de hardware zelf als de software, waarbij het fysische systeem direct wordt geoptimaliseerd voor de inferentietaken.
Ruil: PFM's offeren programmeerbaarheid (de mogelijkheid om gewichten na fabricage bij te werken) op om enorme winsten te behalen in parametersdichtheid, energie-efficiëntie en snelheid. Ze zijn ontworpen om op een cyclus van ongeveer 1 jaar te worden vervaardigd, wat overeenkomt met de releasecyclus van nieuwe foundationmodellen.

3. Belangrijkste Bijdragen

Conceptueel Kader: Introductie van het PFM-paradigma, met het argument dat voor foundationmodellen (die statisch zijn na training) vaste hardware de optimale oplossing is.
Schattingen op de achterflap: De auteurs voeren schalingsanalyses uit voor een specifiek Optisch PFM (een 3D nano-gestructureerd glasmiddel) en vergelijken dit met state-of-the-art digitale GPU's (bijv. NVIDIA B200-klasse).
Platformverkenning: Discussie over potentiële realisaties buiten optica, waaronder nanoelektronica (kruisbalkarrays, invers-ontworpen resistieve draden, halfgeleiders) en mechanica.
Onderzoeksagenda: Identificatie van kritieke uitdagingen die nodig zijn om PFM's te realiseren, waaronder grootschalig fysiek invers ontwerp, trainingsstrategieën voor vaste hardware en het hanteren van fabricagevariatie.

4. Resultaten en Prestatieschattingen

Met behulp van een voorbeeld van een 3D optisch PFM (nano-gestructureerd glas met brekingsindexvariaties die parameters coderen), schatten de auteurs de prestaties voor modellen variërend van $10^{12}$ tot $10^{18}$ parameters:

Metriek	Optisch PFM ( $10^{12}$ params)	Optisch PFM ( $10^{18}$ params)	Digitale GPU-basis ( $10^{12}$ params)
Volume	$\sim (1 \text{ mm})^2 \times 1 \text{ m}$	$\sim (10 \text{ cm})^2 \times 100 \text{ m}$	$\sim (17 \text{ cm})^3$
Energie/Inferentie	$\sim 100 \, \mu\text{J}$	$\sim 10 \text{ mJ}$	$\sim 1 \text{ J}$
Tijd/Inferentie	$\sim 100 \text{ ns}$	$\sim 10 \, \mu\text{s}$	$\sim 25 \text{ ms}$

Energie-efficiëntie: PFM's bieden $10^4$ tot $10^8$ keer lagere energie per inferentie in vergelijking met digitale hardware. Zelfs een PFM met $10^{18}$ parameters zou ongeveer 100x minder energie verbruiken dan een digitaal systeem met $10^{12}$ parameters.
Snelheid: De inferentielatentie wordt met $10^3$ tot $10^5$ keer gereduceerd (nanoseconden/microseconden versus milliseconden).
Schaling: In tegenstelling tot digitale systemen waarbij de energie lineair schaalt met de parameters ( $E \propto P$ ), schaalt de energie van het optische PFM als $E \propto P^{1/3}$ vanwege de 3D-volumetrische aard van lichtpropagatie en het vermogen om invoer/uitvoer-dimensies te vergroten zonder het aantal parameters te verhogen.
Haalbaarheid: De berekeningen suggereren dat modellen met $10^{18}$ parameters fysiek in beheersbare volumes kunnen passen (bijv. een 100 m lange buis) en aangedreven kunnen worden door draagbare energiebronnen, waardoor "triljoen-parameter" AI op randapparaten mogelijk wordt.

5. Betekenis en Toekomstperspectief

Mogelijk maken van ultra-grote modellen: PFM's bieden een plausibele weg naar het bouwen van AI-systemen met $10^{15}$ tot $10^{21}$ parameters, wat potentieel de complexiteit van het menselijk brein ( $10^{14}$ synapsen) benadert of overstijgt, wat momenteel onmogelijk is met digitale hardware.
Revolutie in Rand-AI: Door het energieverbruik drastisch te verminderen, zouden PFM's foundationmodellen lokaal op robots, auto's en sensoren kunnen laten draaien, waardoor latentie- en privacyproblemen die geassocieerd zijn met cloud-inferentie worden geëlimineerd.
Nieuwe onderzoeksagenda: Het artikel schetst een enorme onderzoeksuitdaging: Fysisch Invers Ontwerp. Dit houdt in dat neurale netwerken direct worden getraind op de fysische parameters van de hardware (bijv. patronen van brekingsindex) in plaats van abstracte gewichten.
Geïdentificeerde Uitdagingen:
- Training: Hoe train je fysische systemen met $10^{18}$ parameters zonder ze digitaal te simuleren (wat te duur is). Voorgestelde oplossingen omvatten "netwerken-van-netwerken" (Mixture of PFM's) en het gebruik van digitale "manager"-modellen.
- Fabricagevariatie: Aangezien elke vervaardigde PFM kleine fysische verschillen zal hebben, moet het systeem robuust zijn voor defecten of gebruikmaken van tuning na fabricage (bijv. kleine digitale compensatoren).
- Niet-lineariteit: Het implementeren van noodzakelijke niet-lineaire activatiefuncties in fysische media (bijv. via optische Kerr-effecten) zonder catastrofale signaalschade.
- I/O-flesneks: De snelheid van het converteren van digitale invoer naar analoge fysische signalen (en terug) blijft een potentiële bottleneck.

Conclusie:
Het artikel betoogt dat het tijdperk van foundationmodellen een verschuiving vereist van algemene programmeerbare hardware naar gespecialiseerde, vaste fysische hardware. Door gebruik te maken van de natuurlijke fysica van materialen (optica, elektronica) om berekeningen uit te voeren, kunnen PFM's de fundamentele limieten van digitaal rekenen overwinnen, waardoor een nieuwe generatie AI mogelijk wordt die sneller, energie-efficiënter is en in staat is tot schalen die eerder voor onmogelijk werden gehouden.