⚡ electrical engineering

Silicon Aware Neural Networks

Dit paper introduceert een methode om Differentiable Logic Gate Networks (DLGNs) direct naar digitale CMOS-schakelingen te vertalen met een nieuwe verliesfunctie voor oppervlakte-optimalisatie, wat resulteert in een gesimuleerde SkyWater 130nm-chip die MNIST-classificatie uitvoert met 97% nauwkeurigheid, een snelheid van 41,8 miljoen inferenties per seconde en een vermogen van 83,88 mW.

Oorspronkelijke auteurs: Sebastian Fieldhouse, Kea-Tiong Tang

Gepubliceerd 2026-04-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sebastian Fieldhouse, Kea-Tiong Tang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot wilt bouwen die foto's kan herkennen (bijvoorbeeld: "Is dit een kat of een hond?"). Meestal bouwen we deze robots met software die draait op gewone computers. Maar die software is vaak traag en verbruikt veel stroom, net als een grote, zware vrachtwagen die veel benzine nodig heeft om een klein pakketje te bezorgen.

De auteurs van dit paper, Sebastian en Kea-Tiong van de Nationale Tsing Hua Universiteit, hebben een slimme oplossing bedacht. Ze hebben een manier gevonden om deze "robot" niet als software te bouwen, maar als een echte, fysieke chip die direct in silicium (de grondstof van computerchips) wordt gegraveerd.

Hier is hoe ze dat doen, vertaald in een simpel verhaal:

1. De "Legoblokken" van de Computer

Normaal gesproken gebruiken AI's wiskundige berekeningen met getallen die heel precies zijn (zoals 3,14159...). Maar in een echte computerchip werken de schakelaars (transistors) alleen met aan of uit. Dat is als proberen te bouwen met Lego-blokken die je niet kunt halveren; ze zijn ofwel heel, ofwel niet.

De onderzoekers zeggen: "Laten we de AI niet bouwen met wiskunde, maar met logische schakelaars." Denk aan de basis-blokken van een computer: EN-poorten, OF-poorten, NIET-poorten.

Het probleem: Je kunt een computer niet zomaar leren welke schakelaar hij moet gebruiken, want dat is een keuze (ja/nee), en computers leren meestal door kleine aanpassingen te doen.
De oplossing: Ze hebben een trucje bedacht waarbij de computer tijdens het leren "onzeker" is. Hij denkt: "Misschien is dit een EN-poort, misschien een OF-poort." Pas als hij klaar is met leren, kiest hij de beste optie en maakt hij de keuze definitief. Dit noemen ze een Differentiable Logic Gate Network (DLGN).

2. De Slimme Architect: "Kies de goedkoopste steen"

Stel je voor dat je een huis wilt bouwen. Je hebt een bak met verschillende soorten bakstenen:

Sommige zijn klein en goedkoop (zoals een simpele NAND-poort).
Sommige zijn groot en duur (zoals een complexe XOR-poort).

Normaal zou een architect (het AI-model) gewoon de beste steen kiezen voor de sterkte van het huis, zonder na te denken over de prijs.
De onderzoekers hebben echter een nieuwe regel toegevoegd aan het leerproces. Ze zeggen tegen de AI: "Probeer je huis zo te bouwen dat je zo veel mogelijk van die kleine, goedkope stenen gebruikt."

Ze hebben een "strafpunt" (een verliesfunctie) toegevoegd aan het leerproces. Als de AI kiest voor een dure, grote steen, krijgt hij een boete. Als hij kiest voor een kleine, efficiënte steen, krijgt hij een beloning. Hierdoor leert de AI vanzelf een ontwerp te maken dat kleiner en zuiniger is, zonder dat het huis (de AI) instort.

3. De Resultaten: Een Fysieke Chip in Simulatie

De onderzoekers hebben dit idee getest op een open-source chip-ontwerp (SkyWater 130nm). Ze hebben de AI getraind om foto's van cijfers (MNIST-dataset) te herkennen.

De prestatie: Hun chip kan 41,8 miljoen foto's per seconde herkennen. Dat is razendsnel!
Het energieverbruik: Het verbruikt slechts 83,88 milliwatt. Dat is alsof je een hele stad van slimme robots laat werken met de batterij van een horloge.
De vergelijking: Als je dit vergelijkt met andere methoden (zoals op een FPGA of in oudere chips), is hun oplossing veel sneller en zuiniger.

Samenvatting in één zin

Dit paper laat zien hoe je een kunstmatige intelligentie niet als zware software bouwt, maar als een ultra-efficiënte, fysieke machine die zichzelf leert bouwen met de kleinste en goedkoopste bouwstenen, waardoor hij razendsnel en met minimale stroom werkt.

Het is alsof ze niet alleen de blauwdruk voor een snelle auto hebben getekend, maar die auto ook daadwerkelijk hebben gebouwd in een fabriek, en bewezen hebben dat hij veel minder benzine verbruikt dan de concurrentie.

Titel: Silicon Aware Neural Networks (Silicon-bewuste Neuronale Netwerken)

Auteurs: Sebastian Fieldhouse en Kea-Tiong Tang (National Tsing Hua University)

1. Het Probleem

Er bestaat een fundamentele spanning bij het ontwerp van digitale versnellers voor neurale netwerken:

Diep leren vereist continue, differentieerbare functies om de verlieslandschap (loss topography) te laten convergeren tijdens het trainen.
Digitale circuits werken daarentegen op basis van discrete wiskunde (logische poorten).

Traditionele methoden om neurale netwerken op hardware te draaien, vereisen vaak onhandige benaderingen zoals kwantisatie en vereenvoudiging van activatiefuncties. Hoewel eerdere werken (zoals Petersen et al.) hebben aangetoond dat neurale netwerken bestaande uit discrete logische poorten (Differentiable Logic Gate Networks of DLGNs) getraind kunnen worden voor beeldclassificatie, zijn deze nog nooit direct geïmplementeerd in custom silicon (specifiek ontworpen chips). Bestaande implementaties beperken zich tot CPU's, GPU's of FPGA's.

2. Methodologie

De auteurs presenteren een methode om DLGNs direct af te beelden op een digitale CMOS-standaardcelbibliotheek. De aanpak omvat de volgende stappen:

Differentieerbare Logische Poorten:
- DLGNs gebruiken 16 mogelijke twee-ingang logische poortfuncties (zoals NAND, OR, XOR) per knooppunt.
- Om trainbaarheid te garanderen, worden deze discrete functies "ontspannen" naar continue functies (bijv. logische AND wordt $a_1 \cdot a_2$ ).
- De keuze van de poortfunctie wordt geleerd via een softmax-functie over 16 trainbare parameters, waardoor de output een verwachtingswaarde wordt tijdens het trainen. Na het trainen wordt het netwerk gediscretiseerd door de poort met de hoogste waarschijnlijkheid te selecteren.
Mapping naar Standaardcellen:
- De getrainde modellen worden één-op-één gemapt naar een standaardcelbibliotheek voor het SkyWater 130nm proces (geleverd door Cadence).
- Omdat sommige logische functies niet direct overeenkomen met één standaardcel, worden combinaties van cellen gebruikt (bijv. een XOR kan meerdere transistors vereisen). De oppervlakte wordt gesommeerd op basis van de gebruikte cellen.
Oppervlakte-bewuste Verliesfunctie (Area-Aware Loss):
- De kerninnovatie is een nieuwe verliesfunctie die het neurale netwerk in staat stelt om de totale chipoppervlakte te optimaliseren.
- De verwachte oppervlakte per neuron wordt berekend als een gewogen som van de oppervlaktes van de 16 mogelijke poorten, gebaseerd op de softmax-kansen.
- De totale verliesfunctie is: $L_{total} = L_{CE} + \delta \cdot L_{area}$ , waarbij $L_{CE}$ de classificatiefout is en $\delta$ een hyperparameter is die de afweging tussen nauwkeurigheid en oppervlakte regelt.
Architectuur en Implementatie:
- Vanwege beperkte routing-resources in het 130nm proces, werd de architectuur aangepast van 6 lagen met 64.000 neuronen naar 18 lagen met 4.000 neuronen per laag.
- Het ontwerp is geïmplementeerd als een "hard macro" met behulp van Cadence-tools (Innovus voor layout, Xcelium voor simulatie).

3. Belangrijkste Bijdragen

Eerste Silicon-implementatie: Dit is het eerste werk dat een DLGN direct implementeert als een silicon-circuit in simulatie (geen FPGA of CPU).
Oppervlakte-Optimalisatie: Een nieuwe trainingsmethode die het netwerk leert om de fysieke oppervlakte van de chip te minimaliseren door de kosten van specifieke standaardcellen tijdens het trainen mee te nemen.
End-to-End Workflow: Een complete workflow van training, naar gate-level netlist, naar fysieke layout en post-layout vermogensanalyse in een open-source PDK (SkyWater 130nm).

4. Resultaten

De auteurs trainden en testten modellen op de MNIST en CIFAR-10 datasets:

Nauwkeurigheid vs. Oppervlakte:
- Voor MNIST: De baseline bereikte 98,04% nauwkeurigheid met een gemiddelde oppervlakte van 9,380 $\mu m^2$ per neuron. Met de oppervlakte-bewuste loss functie daalde de nauwkeurigheid licht naar 97,66%, maar de gemiddelde oppervlakte per neuron daalde aanzienlijk naar 6,107 $\mu m^2$ (een reductie van ~35%).
- Voor CIFAR-10 werd een vergelijkbare trend waargenomen: een lichte daling in nauwkeurigheid (van 60,07% naar 58,82%) tegenover een significante verkleining van de totale chipoppervlakte.
Prestaties (MNIST Implementatie):
- Nauwkeurigheid: 97% (in de abstract vermeld, 97,49% in tabel).
- Doorvoer: 41,8 miljoen inferenties per seconde (41,8 MIPS).
- Vermogen: 83,88 mW.
- Energie per inferentie: 2,0 nJ (gemeten op 130nm).
- Latentie: 23,9 ns (kritiek pad).
Vergelijking met andere technologieën:
- De auteurs schatten dat bij een schaalvergroting naar een 16nm FinFET-proces, de energie per inferentie zou dalen tot ongeveer 69 pJ en de latentie tot 4,2 ns. Dit plaatst de DLGN-architectuur zeer competitief ten opzichte van bestaande FPGA- en ASIC-oplossingen in termen van energie-efficiëntie.

5. Betekenis en Conclusie

Dit paper toont aan dat het mogelijk is om neurale netwerken die volledig zijn opgebouwd uit logische poorten direct in silicon te vertalen zonder de noodzaak van zware kwantisatie of approximatie van activatiefuncties.

De belangrijkste implicaties zijn:

Edge AI: DLGNs zijn uiterst geschikt voor randapparatuur (edge devices) vanwege hun hoge snelheid en lage energieverbruik.
AI-gedreven Chipontwerp: Het introduceren van hardware-metrics (zoals oppervlakte en vermogen) direct in de trainingscyclus van het AI-model opent de weg voor "hardware-aware" machine learning, waarbij het algoritme zelf leert hoe het het efficiëntst op de doelhardware kan worden geïmplementeerd.
Toekomstperspectief: Hoewel dit werk gebaseerd is op simulatie, legt het de basis voor daadwerkelijke "tape-out" (productie) van dergelijke chips, wat een nieuwe richting zou kunnen betekenen voor de ontwikkeling van ultra-efficiënte AI-chips.