⚛️ quantum physics

Training single-electron and single-photon stochastic physical neural networks

Dit paper introduceert en toont aan dat stochastische fysische neurale netwerken, gerealiseerd met enkel-elektronen en enkel-fotonen systemen, met hoge nauwkeurigheid getraind kunnen worden voor beeldherkenning, zelfs onder omstandigheden met veel ruis en onzekerheid.

Oorspronkelijke auteurs: Tong Dou, Shiro Kumara, Josh Burns, Ethan Sigler, Parth Girdhar, David Petty, Gerard Milburn, Jo Plested, Matt Woolley

Gepubliceerd 2026-04-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tong Dou, Shiro Kumara, Josh Burns, Ethan Sigler, Parth Girdhar, David Petty, Gerard Milburn, Jo Plested, Matt Woolley

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, superintelligente robot wilt bouwen die foto's van handgeschreven cijfers kan herkennen (zoals in een postkantoor). Normaal gesproken gebruiken we hiervoor digitale computers die enorme hoeveelheden stroom verbruiken. Deze nieuwe paper onderzoekt een slim alternatief: fysieke neurale netwerken.

In plaats van software die simuleert hoe een hersencel werkt, bouwen we de hersencellen zelf als fysieke objecten. En hier komt het spannende deel: in plaats van perfect stabiele schakelaars, gebruiken we objecten die van nature willekeurig (stochastisch) zijn.

Hier is de uitleg in simpele taal, met een paar creatieve metaforen:

1. Het Probleem: De "Ruis" is geen fout, maar een feature

In een normale computer is ruis (storing) iets waar je van af wilt. Maar in deze nieuwe wereld, waar we werken met één elektron of één foton (lichtdeeltje), is ruis onvermijdelijk. Het is alsof je probeert een munt op te vangen terwijl je in een storm loopt; de munt valt niet altijd precies zoals je wilt.

De auteurs zeggen: "Laten we die onzekerheid niet als een fout zien, maar als de manier waarop het systeem werkt." In plaats van een schakelaar die altijd aan of uit is, hebben we een schakelaar die soms aan is en soms uit, afhankelijk van een kans.

2. De Drie Soorten "Willekeurige Hersencellen"

De paper introduceert drie manieren om deze willekeurige neuronen te bouwen:

De Elektronen-Tunnel (SET): Stel je een klein eilandje (een quantum dot) voor waar elektronen op kunnen springen. Soms springt er één over, soms niet. Het hangt af van een "kans" die we kunnen instellen. Als er een elektron op het eilandje zit, is de neuron aan (1); zit er geen, dan is hij uit (0).
De Lichtdeeltje-Deel (SPD): Dit werkt met licht. Een detector telt fotonen. Soms telt hij er eentje (klik!), soms geen. Het is alsof je probeert een munt op te vangen in het donker; je weet niet zeker of hij er is, maar je kunt wel de kans berekenen.
De Echte Eén-Foton Neuron (TSP): Dit is de meest geavanceerde. Hier sturen we écht één enkel lichtdeeltje de machine in. Dat deeltje kan via een spiegel (een straalverdeler) naar links of rechts gaan. Het is een pure kans: naar links (0) of naar rechts (1). Dit is als het gooien van een munt, maar dan met een enkel deeltje licht.

3. Het Grote Probleem: Hoe leer je iets dat je niet kunt meten?

In een normale computer kun je precies zien: "De neuron had een waarde van 0,73". In deze fysieke wereld kun je dat niet zien. Je ziet alleen het resultaat: "Aan" of "Uit".
Het is alsof je een leraar wilt trainen, maar je mag alleen zien of de leerling het antwoord goed of fout heeft, niet hoe het antwoord tot stand kwam. Als je alleen "Aan" of "Uit" ziet, is het lastig om te weten hoe je de instellingen moet aanpassen om het beter te doen.

4. De Oplossing: Slimme Gokken (Trainingsstrategieën)

De auteurs hebben verschillende manieren bedacht om dit probleem op te lossen:

De "Waarheid" Methode (True Probability): Stel je voor dat je de leraar mag vragen: "Wat is de kans dat je dit antwoord geeft?" Dan kun je perfect leren. Maar in de echte fysieke wereld mogen we die kans niet direct aflezen. We moeten het raden.
De "Empirische" Methode (Empirical Gradient): Dit is de echte doorbraak. Omdat we de exacte kans niet weten, kijken we naar wat er werkelijk gebeurt. We laten het systeem een paar keer draaien (bijvoorbeeld 5 keer). Als het 4 keer "Aan" zegt en 1 keer "Uit", denken we: "Oké, de kans is ongeveer 80%". We gebruiken die schatting om te leren.
- Metafoor: Het is alsof je een dobbelsteen gooit. Als je 10 keer gooit en 6 keer een 6 ziet, denk je: "De kans op een 6 is 60%". Je gebruikt die 60% om je strategie aan te passen, zelfs als je niet weet hoe de dobbelsteen precies is gemaakt.
De "Straight-Through" Methode: Dit is een trucje waarbij we doen alsof het systeem niet willekeurig is, terwijl het dat wel is. We zeggen: "Oké, het systeem gaf een '1', dus we doen alsof de kans 100% was." Dit werkt soms goed, maar is minder nauwkeurig dan de empirische methode.

5. De Resultaten: Minder Stroom, Net zo Slim

De paper laat zien dat je met deze willekeurige systemen (die heel weinig stroom verbruiken omdat ze maar één elektron of foton gebruiken) toch heel goed kunt leren.

Zelfs als je maar heel weinig metingen doet (bijvoorbeeld slechts 1 of 2 keer per neuron), haal je al 97% nauwkeurigheid op de bekende MNIST-cijferdataset.
Het systeem is zelfs heel sterk tegen ruis. Omdat het systeem al gewend is aan willekeur, maakt het niet uit als er extra storingen bijkomen.

Conclusie

Dit onderzoek toont aan dat we niet hoeven te wachten op perfecte, dure hardware om slimme AI te maken. We kunnen juist gebruikmaken van de "ruis" en de "willekeur" van de natuur (zoals één elektron of één foton) om energiezuinige computers te bouwen.

Het is als het verschil tussen een dure, stille auto die perfect rijdt, en een oude motorfiets die soms hapt en stopt. Als je weet hoe je die motorfiets moet besturen (de juiste trainingsmethode), kun je er toch net zo snel mee komen, maar dan met veel minder benzine. Dit is de toekomst van energiezuinige AI.

Titel: Training van stochastische fysische neurale netwerken met enkele elektronen en fotonen

1. Het Probleem

Diepe neurale netwerken (DNN's) worden steeds vaker gebruikt, maar de trainings- en inferentiekosten (energie en rekenkracht) stijgen exponentieel. Dit stimuleert het onderzoek naar Fysische Neurale Netwerken (PNN's), waarbij berekeningen direct worden uitgevoerd door de natuurlijke dynamiek van een fysiek systeem.

Een groot uitdaging bij PNN's is training in aanwezigheid van ruis en onvolkomenheden. In traditionele analoge processors wordt ruis vaak als een kleine verstoring behandeld. Echter, bij extreme energie-efficiëntie of wanneer informatie wordt gedragen door discrete kwanta (zoals enkele elektronen of fotonen), wordt de ruis fundamenteel en dominant. In deze regimes worden neurale uitgangen niet deterministisch, maar stochastisch (probabilistisch).

De kernvraag: Hoe kunnen we PNN's betrouwbaar trainen wanneer de neuron-uitgangen inherent stochastisch zijn en we slechts een beperkt aantal steekproeven (samples) per laag kunnen verkrijgen?
De beperking: In veel fysieke systemen zijn de onderliggende activatiekansen ( $p$ ) of pre-activaties ( $z$ ) niet direct meetbaar; alleen de discrete, stochastische uitkomsten ($0$ of $1$) zijn waarneembaar.

2. Methodologie

De auteurs stellen een trainingskader voor dat de stochastische aard van het hardware niet onderdrukt, maar integreert. Ze introduceren drie specifieke implementaties van Fysische Stochastische Neuronen (PSN's) en ontwikkelen trainingsstrategieën die werken met beperkte steekproeven.

A. Fysische Realisaties van Stochastische Neuronen
De paper introduceert drie types PSN's die een binaire uitgang ( $h \in \{0, 1\}$ ) genereren met een activatiekans $p(z)$ die afhankelijk is van de pre-activatie $z$ :

Single-Photon Detector (SPD) Neuron: Gebaseerd op het tellen van fotonen in een coherent lichtveld. De kans op een "klik" volgt een Poisson-verdeling.
Single-Electron Transistor (SET) Neuron: Gebaseerd op een kwantumpunt in de Coulomb-blokkade-regime. De ladingstoestand (bezet of niet-bezet) wordt bepaald door tunneling van een enkel elektron. De kans volgt een Fermi-Dirac verdeling (sigmoid-vormig).
True Single-Photon (TSP) Neuron: Een nieuw concept gebaseerd op een deterministische enkele-foton bron die een van twee modi aandrijft via een controleerbare interactie (vergelijkbaar met een straalverdeler). De bezetting van de niet-aangedreven modus vormt de stochastische uitgang.

B. Trainingsstrategieën (Backpropagation)
Omdat de uitgangen niet differentieerbaar zijn, kunnen standaard backpropagation-methoden niet direct worden toegepast. De auteurs vergelijken drie schatters (estimators) voor het berekenen van gradiënten:

True Probability (TP) Aanpak:
- Concept: In de backward pass wordt de verwachte waarde (de kans $p(z)$ ) gebruikt in plaats van de stochastische steekproef.
- Beperking: Vereist kennis van de exacte activatiekans, wat in de praktijk vaak onmogelijk is bij beperkte steekproeven. Fungeert als een ideale bovengrens.
Empirical Gradient (EG) Schatter:
- Concept: Deze methode schat de gradiënt uitsluitend op basis van de beschikbare stochastische steekproeven.
- Mechanisme: De auteurs gebruiken een "autonome representatie" waarbij de afgeleide van de kansfunctie kan worden uitgedrukt als een functie van de kans zelf (bijv. voor een sigmoid: $p'(z) = p(1-p)$ ). In de backward pass wordt de onbekende $p$ vervangen door de empirische schatting $\hat{h}$ (het gemiddelde van de steekproeven).
- Voordeel: Werkt zonder kennis van de onderliggende fysieke parameters of de exacte kansverdeling, zolang er maar voldoende steekproeven zijn om een betrouwbare schatting te maken.
Straight-Through (ST) Schatter:
- Concept: Een heuristiek waarbij de stochastische stap in de backward pass wordt genegeerd en vervangen door een surrogate gradiënt (vaak de identiteitsmatrix).
- Toepassing: Effectief in combinatie met andere methoden, maar alleen gebruikt in de verborgen laag leidt dit tot suboptimale prestaties.

C. Uitdagingen bij de Outputlaag
Bij het toepassen van stochastische sampling in de outputlaag (in plaats van oneindige trials/TP) ontstaan numerieke singulariteiten bij de Cross-Entropy (CE) verliesfunctie (log(0) als een klasse niet wordt gesampled). De auteurs lossen dit op met een sample smoothing techniek (vergelijkbaar met label smoothing), waarbij de empirische verdeling wordt afgevlakt met een kleine factor $\epsilon$ .

3. Belangrijkste Resultaten

De methoden zijn getest op het MNIST-dataset voor handgeschreven cijferherkenning met een enkel-verborgen-laag architectuur (784-400-10).

Prestaties met EG-schatter: Wanneer de Empirical Gradient (EG) schatter wordt gebruikt in de verborgen laag en de True Probability (TP) in de outputlaag, bereikt het netwerk meer dan 97% testnauwkeurigheid met slechts een klein aantal trials per laag (bijv. $K=5$ tot $10$).
Vergelijking met TP: De EG-methode benadert de prestaties van de ideale TP-baseline zeer nauwkeurig, zelfs bij beperkte steekproeven.
Invloed van Trials: De nauwkeurigheid verbetert naarmate het aantal trials ( $K$ ) toeneemt, maar het systeem blijft robuust zelfs bij zeer lage $K$ .
Outputlaag Sampling: Het is mogelijk om ook in de outputlaag te samplen (in plaats van deterministische softmax) zonder grote nauwkeurigheidsverliezen, mits de EG-schatter en smoothing-techniek worden gebruikt. Dit biedt potentieel voor nog hogere energie-efficiëntie.
Robuustheid: Het model behoudt hoge nauwkeurigheid ondanks een hoge mate van ruis en modelonzekerheid.
Architectuur: Het gebruik van een tweede verborgen laag verbetert de prestaties van lineaire output-activaties (MSE loss) aanzienlijk, waardoor ze vergelijkbaar worden met de softmax-baselines.

4. Bijdragen en Significantie

Nieuwe Hardware-Paradigma: De paper introduceert en valideert twee nieuwe fysieke realisaties van stochastische neuron (SET en TSP) naast de reeds bekende SPD, wat de weg vrijmaakt voor hybride elektronisch-fotonische PNN's.
Trainingsframework voor Stochasticiteit: In plaats van ruis als een probleem te zien, presenteren de auteurs een trainingsframework dat de stochastische aard van de hardware als een integraal onderdeel van de neurale netwerkdynamiek omarmt.
Praktische Toepasbaarheid: De ontwikkeling van de Empirical Gradient (EG) schatter is cruciaal. Het maakt training mogelijk op fysieke hardware waar de exacte activatiekansen onbekend zijn en slechts discrete samples beschikbaar zijn. Dit overbrugt de kloof tussen theoretische algoritmen en experimentele realiteit.
Energie-efficiëntie: Door te werken in regimes met zeer weinig kwanta (enkele elektronen/fotonen) en te trainen met weinig trials, wordt een pad gebaand naar extreem energie-efficiënte AI-systemen die de thermodynamische limieten van conventionele digitale computers kunnen overstijgen.

Conclusie:
De studie demonstreert dat het trainen van stochastische fysische neurale netwerken haalbaar is, zelfs onder extreme beperkingen in steekproeven en met onbekende interne toestanden. Door de fysieke eigenschappen van de hardware (zoals tunneling en fotonstatistiek) direct in het trainingsalgoritme te integreren, kunnen deze systemen hoge nauwkeurigheid behalen en bieden ze een veelbelovende route voor de toekomst van energie-efficiënte computationele intelligentie.