Predictive first-principles simulations for co-designing next-generation energy-efficient AI systems

Dit perspectiefartikel pleit voor het gebruik van voorspellende, op eerste principes gebaseerde simulaties om materialen, apparaten, interconnects, circuits en architecturen gezamenlijk te ontwerpen, zodat er next-generation AI-systemen kunnen worden gerealiseerd met een energie-efficiëntie die met ordes van grootte verbetert.

De kern

Stel je voor dat je een enorme bibliotheek hebt, vol met boeken die je in een flits moet kunnen lezen en samenvatten. Dit is wat moderne kunstmatige intelligentie (AI) doet: het verwerkt enorme hoeveelheden informatie. Maar er is een groot probleem: deze bibliotheek is zo energievretend dat het de hele planeet op kan blazen als we niet oppassen.

Dit artikel is een soort bouwplan voor de toekomst, geschreven door wetenschappers van Sandia National Laboratories en de Universiteit van Tennessee. Ze willen een manier vinden om AI veel minder energie te laten verbruiken, zonder dat het langzamer wordt.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De Energie-dorst van AI

Vandaag de dag draait AI (zoals de chatbots die je gebruikt) op enorme computerschijven die we "GPU's" noemen. Het is alsof je een hele fabriek hebt die alleen maar blokken optelt en aftelt.

• De vergelijking: Stel je voor dat je een auto hebt die 100 kilometer rijdt, maar voor elke kilometer verbruikt hij 10 liter benzine. Dat is niet duurzaam.
• Het doel: We willen een auto die 100 kilometer rijdt op slechts 1 liter. Maar we kunnen de huidige motor niet zomaar een beetje verbeteren; we moeten de hele auto opnieuw ontwerpen.

2. De Oplossing: Alles tegelijk opnieuw bedenken (Co-design)

Tot nu toe hebben ingenieurs vaak alleen gekeken naar één onderdeel, zoals de chip zelf. Maar dat werkt niet meer.

• De analogie: Stel je voor dat je een super-snelle sportwagen wilt bouwen. Als je alleen de motor (de chip) superkrachtig maakt, maar de wielen (de draden die de stroom transporteren) zijn van rubber en de weg (de architectuur) is vol gaten, dan gaat de auto toch niet sneller en verbruikt hij juist meer brandstof door de wrijving.
• De boodschap: Je moet de motor, de wielen, de brandstofleidingen en de weg tegelijkertijd ontwerpen. In de tech-taal heet dit "co-design". Je moet kijken naar het materiaal, het apparaat, de draden en de schakelingen als één geheel.

3. De Magische Tool: De "Voorspellende Crystal Ball"

Hoe bouw je zo'n nieuwe auto als je nog niet weet hoe de nieuwe motor eruit moet zien? Je kunt niet zomaar duizenden prototypes bouwen; dat kost te veel tijd en geld.
Hier komt de kern van dit artikel: Voorspellende simulaties.

• De analogie: Stel je voor dat je een magische crystal ball hebt. Je kunt in deze bal kijken en zien: "Als ik deze chip maak van dit specifieke materiaal, met deze vorm, en deze draden eromheen leg, hoeveel energie verbruikt hij dan?"
• Hoe werkt het? De wetenschappers gebruiken wiskundige formules die gebaseerd zijn op de fundamentele wetten van de natuurkunde (de "eerste principes"). Ze hoeven geen gissen of gokken; ze rekenen het exact uit op basis van hoe elektronen zich gedragen op het aller-kleinste niveau (nanoschaal).
• Het voordeel: Ze kunnen een ontwerp op de computer testen voordat ze er ook maar één fysieke chip hebben gemaakt. Ze kunnen zelfs zien wat er gebeurt als de temperatuur stijgt of als er een klein steentje (een defect) in de chip zit.

4. Waarom is dit zo belangrijk?

De huidige computers werken met digitale schakelaars (aan/uit), net als een lichtschakelaar. Maar voor AI zijn er misschien betere manieren, zoals analoge schakelaars (die meer lijken op een dimmer) of nieuwe materialen.

• Het risico: Als je een nieuw materiaal kiest dat heel snel is, maar de draden die erbij horen zijn traag, dan heb je niets gewonnen.
• De oplossing van dit artikel: Met hun "magische crystal ball" kunnen ze precies zien of een nieuw materiaal en nieuwe draden samenwerken. Ze kunnen de perfecte combinatie vinden die zorgt voor de minste energieverbruik per berekening.

Samenvatting in één zin

Dit artikel zegt: "Om AI in de toekomst energiezuinig te maken, moeten we stoppen met het verbeteren van losse onderdelen en beginnen met het tegelijkertijd ontwerpen van alles, van het atoom tot het hele systeem, en we kunnen dit doen door te vertrouwen op super-accurate computer-simulaties die ons vertellen wat er gaat gebeuren voordat we ook maar iets bouwen."

Het is alsof we stoppen met het proberen van duizenden recepten door blind te proeven, en beginnen met het perfect berekenen van de chemie van het eten voordat we de pan op het vuur zetten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Predictive first-principles simulations for co-designing next-generation energy-efficient AI systems", geschreven in het Nederlands.

Titel: Voorspellende first-principles-simulaties voor het co-ontwerpen van energie-efficiënte AI-systemen van de volgende generatie

Auteurs: Denis Mamaluy et al. (Sandia National Laboratories & University of Tennessee)
Datum: 11 maart 2026

---

1. Het Probleem: De Energiecrisis in AI

De energieconsumptie van AI-toepassingen, gedreven door generatieve modellen zoals GPT (Generative Pre-trained Transformers), groeit onhoudbaar. Traditionele digitale CMOS-technologie (Complementary Metal-Oxide-Semiconductor) bereikt zijn limieten in termen van energie-efficiëntie per operatie.

• Dominante Werklast: In moderne AI-modellen domineren matrix-vector- en matrix-matrix-multiplicaties (MatMul) de rekentijd en energiekosten. Deze operaties vormen het grootste deel van de rekentijd in self-attention en feed-forward netwerken.
• Beperkingen van Bestaande Hardware: Hoewel neuromorfe hardware en GPUs efficiënter zijn dan CPU's, blijven ze gebonden aan de fysische limieten van digitale CMOS-transistoren. Neuromorfe systemen hebben vaak te lage doorvoer (throughput) voor grote modeltraining.
• De Uitdaging: Er is een dringende behoefte aan "Beyond-Digital-CMOS" accelerators. Deze nieuwe hardware moet niet alleen op apparaatniveau, maar over de hele schaal (materialen, apparaten, interconnects, circuits en architectuur) worden geoptimaliseerd. Een geïsoleerde optimalisatie op één laag is ontoereikend.

2. Methodologie: Voorspellende First-Principles Simulaties

De auteurs pleiten voor een co-design-aanpak waarbij de fysica op nanoschaal direct wordt gekoppeld aan systeemniveau-metrics. De kern van hun methodologie is het gebruik van voorspellende first-principles-simulaties (zonder aanpassingsparameters of "fitting parameters").

• NEGF Keldysh Formalisme: De simulaties gebruiken de Non-Equilibrium Green's Function (NEGF) methode in combinatie met de Keldysh-formalisme. Dit behandelt elektronentransport als een open-systeem kwantumprobleem, waarbij de Schrödinger-vergelijking wordt opgelost samen met elektrostatica (Poisson).
• Contact Block Reduction (CBR): Om de hoge rekenkosten van open-systeem kwantumtransport te beheersen, maken ze gebruik van de CBR-methode. Deze schaalbaarheidsmethode ($O(N)$) maakt het mogelijk om multi-terminal apparaten en interconnects volledig kwantummechanisch te modelleren, inclusief lekstromen en contactweerstand.
• Van Fysica naar Compact Modellen: De simulaties genereren nauwkeurige elektrische eigenschappen (I-V-curves, capaciteiten, variabiliteit) die worden omgezet in compact models. Deze modellen zijn compatibel met SPICE en hogere niveau-simulaties, waardoor de nanoschaal-fysica kan worden doorgegeven naar circuit- en systeemniveau.
• Invers Ontwerp: Het framework stelt onderzoekers in staat om een "inverse probleem" op te lossen: gegeven een gewenste systeemperformance (bijv. energie per token), worden de optimale materiaaleigenschappen, geometrieën en dopingprofielen bepaald.

3. Belangrijkste Bijdragen en Resultaten

Het artikel presenteert drie representatieve voorbeelden van hoe deze methodologie werkt en bevestigt:

1. Voorspelling van Nanoschaal Interconnects:

   • Simulaties van Si:P $\delta$-laag interconnects tonen aan dat kwantum-effecten (zoals grootte-afhankelijke weerstand en oppervlaktestrooiing) dominant zijn op nanoschaal.
   • De modellen voorspellen succesvol de weerstand en stroomverdeling, inclusief kwantisatie-effecten die experimenteel zijn bevestigd. Dit levert fysiek onderbouwde parameters op voor circuitmodellen.

2. "Theory-First" Benadering voor Beyond-CMOS:

   • Voor $\delta$-laag tunneljunctions werd de geleidbaarheid voorspeld voordat het experiment werd uitgevoerd. De latere experimentele validatie bevestigde de voorspellingen.
   • Dit bewijst dat het framework betrouwbaar kan worden gebruikt om nieuwe materialen en interfaces te selecteren voor ultra-laag-energie rekensystemen, zonder afhankelijk te zijn van trial-and-error.

3. Modellering van Geavanceerde CMOS (GAAFETs):

   • De methodologie werd toegepast op Gate-All-Around Field-Effect Transistors (GAAFETs), de staat-der-kunst in CMOS.
   • De simulaties legden de oorsprong van niet-thermionisch gedrag en lekstromen in de diepe sub-threshold-regio bloot. Dit dient als een nauwkeurige "ground truth" om te bepalen hoe ver Beyond-CMOS concepten moeten presteren om een significant voordeel te bieden.

4. Significance en Toekomstvisie

Het artikel schetst een end-to-end multischaal co-design raamwerk (gevisualiseerd in Figuur 5 van het artikel) dat de kloof sluit tussen fundamentele kwantumfysica en AI-werklast-metrics.

• Sluiting van de Kringloop: Door voorspellende simulaties te koppelen aan systeemniveau-metrics (zoals energie per token en doorvoer), kunnen onderzoekers operating regimes identificeren die orde-van-magnitude verbeteringen in energie-efficiëntie mogelijk maken.
• Invloed op Machine Learning: Het artikel benadrukt dat Machine Learning (ML) kan worden gebruikt om deze complexe first-principles data te vertalen naar snelle compacte modellen ("digital twins"). Dit maakt het mogelijk om miljoenen simulaties uit te voeren voor het optimaliseren van materiaalkeuzes en apparaatgeometrieën.
• Systeemniveau Optimalisatie: Het benadrukt dat verbeteringen in transistoren alleen zinvol zijn als ze worden geoptimaliseerd in combinatie met interconnects. Als interconnect-verliezen (RC-vertraging) dominant blijven, levert een efficiëntere transistor geen systeemwinst op.
• Conclusie: Predictive first-principles simulaties zijn essentieel om de ontwikkeling van "Beyond-Digital-CMOS" accelerators te sturen. Ze bieden de enige betrouwbare manier om nieuwe materialen en architecturen te evalueren voordat ze fysiek worden gefabriceerd, wat cruciaal is om de groeiende energiebehoefte van AI te beteugelen.

Samenvattend stelt het artikel dat de enige weg naar een 100x tot 1000x verbetering in energie-efficiëntie ligt in een geïntegreerde co-design strategie, ondersteund door nauwkeurige, parameter-vrije kwantumtransport-simulaties.