Temporal speckle enables probabilistic weights for uncertainty-aware photonic AI

Technische Samenvatting: Temporele Speckle maakt Probabilistische Gewichten mogelijk voor Onzekerheidsbewuste Fotonische AI

Probleemstelling
Artificiële intelligentiesystemen die worden ingezet in veiligheidskritische domeinen (bijv. geneeskunde, autonome systemen) falen vaak in het herkennen van onzekerheid wanneer ze geconfronteerd worden met ambigue observaties (aleatorische onzekerheid) of onbekende inputs (epistemische onzekerheid). Conventionele deterministische neurale netwerken blijven in dergelijke scenario's overmoedig. Hoewel Bayesiaanse neurale netwerken (BNN's) een fundamentele oplossing bieden door waarschijnlijkheidsverdelingen over modelparameters af te leiden in plaats van enkel puntinschattingen, wordt hun praktische implementatie gehinderd door computationele overhead. Het bemonsteren van talrijke waarschijnlijkheidsverdelingen tijdens de voorspelling creëert een bottleneck voor deterministische digitale hardware, wat leidt tot hogere latentie, energieverbruik en geheugentrafiek. Bestaande analoge hardware-benaderingen, zoals memristieve apparaten, kampen met problemen rond schaalbaarheid, drift en de noodzaak voor meerdere apparaten per gewicht. Er is behoefte aan een fysisch mechanisme dat programmeerbare gewichtsverdelingen, parallel bemonsteren en directe fotonische berekeningen mogelijk maakt die compatibel zijn met gevestigde machine learning-frameworks.

Methodologie
De auteurs stellen een fotonische architectuur voor die gebruikmaakt van de temporele speckle van breedbandig chaotisch licht als een natuurlijke fysische representatie van probabilistische gewichten.

• Spectrale Codering van Waarschijnlijkheden: In plaats van willekeurige getallen digitaal te genereren, codeert het systeem de gemiddelde waarde ($\mu$) en de standaarddeviatie ($\sigma$) van een gewichtsverdeling direct in de optische eigenschappen van individuele frequentiekanalen binnen een breedbandig spectrum.
  • Gemiddelde ($\mu$): Geprogrammeerd door het geïntegreerde optische vermogen ($P$) van een specifiek frequentiekanaal.
  • Standaarddeviatie ($\sigma$): Geprogrammeerd door de optische bandbreedte ($\Delta\nu$) van dat kanaal.
  • Mechanisme: Willekeurige interferentie (beating) tussen frequentiecomponenten creëert temporele vermogensfluctuaties. De eindige elektrische bandbreedte ($B_{el}$) van de detector definieert een meetinterval. Naarmate de optische bandbreedte toeneemt, neemt de coherentietijd af, waardoor de detector over meer effectieve temporele coherentiecellen middelt ($M_{eff} \sim \Delta\nu/B_{el}$). Deze middeling onderdrukt relatieve fluctuaties ($\propto M_{eff}^{-1/2}$), waardoor de bandbreedte de stochasticiteit regelt terwijl het vermogen het signaalgemiddelde beheerst.
• Fotonische Probabilistische Convolutie-versneller: Het systeem combineert spectrale codering met frequentie-tijd-interleaving.
  • Een programmeerbare waveshaper definieert negen spectrale kanalen (gecentreerd op 194 THz, met een tussenruimte van 403 GHz) met onafhankelijk gecontroleerd vermogen en bandbreedte.
  • Een elektro-optische modulator (EOM) codeert de temporele inputdata simultaan op alle kanalen.
  • Een op de chip geïntegreerde chirped waveguide Bragg grating (CWBG) introduceert een frequentieafhankelijke vertraging. De vertragingshelling ($-93,12$ ps THz$^{-1}$) zorgt ervoor dat aangrenzende kanalen exact één input-symboolduur (37,5 ps) vertraagd worden, waardoor de spectraal gecodeerde gewichten uitgelijnd worden met de overeenkomstige inputwaarden bij de fotodetector.
  • De fotodetector sommeert de uitgelijnde optische vermogens, wat resulteert in een stochastische realisatie van de convolutie-operatie in één enkele fysische stap.
• Hybride Bayesiaans Neuraal Netwerk (BNN): De auteurs ontwerpen een netwerkarchitectuur mee (combinerend met DenseNet-stijl skip-verbindingen en depthwise-separable convoluties) waarbij slechts één probabilistische convolutielaag op de fotonische versneller wordt geïmplementeerd. De rest van het netwerk blijft deterministisch en digitaal.
  • Training: Een differentieerbaar surrogaatmodel (PyTorch-compatibel) simuleert de statistieken (gemiddelde en variantie) van de fotonische laag tijdens hardware-bewuste training met behulp van Stochastic Variational Inference (SVI).
  • Inference: De fysische versneller vervangt het surrogaatmodel. Het systeem voert meerdere stochastische forward passes uit (bijv. 10) met nieuwe fysische realisaties van de gewichten voor elke pass.
  • Onzekerheidskwantificering: Epistemische onzekerheid wordt gemeten via Mutual Information (discrepantie tussen voorspellingen van verschillende gewichtsrealisaties), terwijl aleatorische onzekerheid wordt gemeten via Softmax Entropy (onzekerheid binnen een enkele voorspelling).

Belangrijkste Bijdragen

1. Fysische Representatie van Probabilistische Gewichten: Aangetoond dat breedbandig chaotisch licht, wanneer dit spectraal gevormd is, meerdere onafhankelijke waarschijnlijkheidsverdelingen parallel kan opslaan en bemonsteren zonder rekenintensieve generatie van willekeurige getallen.
2. Ultrasnelle Convolutie-versneller: Een fotonische processor gerealiseerd die één probabilistische convolutie-output elke 37,5 ps berekent (gelijk aan 26,7 miljard outputs per seconde), wat aanzienlijk sneller is dan de nanoseconde-schaal stochastische operaties gerapporteerd in andere fotonische systemen.
3. End-to-End Onzekerheidsbewuste Inference: Succesvol een hybride BNN-workflow geïntegreerd met een PyTorch-interface, wat hardware-bewuste training en experimentele implementatie mogelijk maakt.
4. Ontkoppeling van Onzekerheidstypes: Experimenteel gedemonstreerd dat het mogelijk is om epistemische nieuwheid (onbekende inputs) te scheiden van aleatorische ambiguïteit (ruizige inputs) met behulp van mutual information en softmax entropy metrieken.

Experimentele Resultaten

• Karakterisering: Het systeem werd getest met 25 willekeurig gegenereerde probabilistische kernels. De gemeten outputgemiddelden en standaarddeviaties kwamen nauw overeen met de doelwaarden, met gemiddelde fouten van $0,016 \pm 0,173$ voor het gemiddelde en $0,036 \pm 0,092$ voor de standaarddeviatie.
• Bloedcelclassificatie: De hybride BNN werd getraind op zeven klassen bloedcellen. Wanneer het systeem werd geconfronteerd met achtergehouden erythroblasten (out-of-distribution), detecteerde het deze als epistemisch onzeker.
  • Behaalde een Area Under the Receiver Operating Characteristic Curve (AUROC) van 91,16% voor het detecteren van achtergehouden celtypen.
  • Het verwerpen van onzekere afbeeldingen verbeterde de classificatienauwkeurigheid van behouden in-distribution afbeeldingen van 90,26% naar 94,62%.
• Standaard Benchmarks (MNIST, Fashion-MNIST, Ambiguous-MNIST):
  • Behaalde 96,01% nauwkeurigheid op MNIST.
  • Het op mutual-information gebaseerde verwerpen verhoogde de MNIST-nauwkeurigheid naar 99,70% voor niet-afgewezen afbeeldingen.
  • Epistemische onzekerheidsdetectie (Fashion-MNIST) behaalde een AUROC van 84,42%.
  • Aleatorische onzekerheidsdetectie (Ambiguous-MNIST) behaalde een AUROC van 88,03%.
  • De drie datasets bezettenten duidelijk onderscheidbare regio's in de mutual-information–softmax entropy ruimte, wat de scheiding van onzekerheidstypes bevestigt.

Betekenis en Claims
Het artikel claimt de eerste experimentele fotonische implementatie te bieden die programmeerbare probabilistische gewichten, optische convolutie en end-to-end onzekerheidsbewuste inference verenigt. Door intrinsieke optische ruis te transformeren tot een programmeerbare computationele bron, verwijdert het systeem de bemonsteringsbottleneck van Bayesiaanse inferentie. De auteurs stellen dat deze aanpak de stand van de techniek niet alleen vooruit helpt door het versnellen van willekeurige bemonstering, maar door de probabilistische gewichten binnen hetzelfde optische signaal op te slaan, te bemonsteren en te verwerken. Dit werk vestigt een route naar snelle, onzekerheidsbewuste fotonische kunstmatige intelligentie, wat een praktische systeemcomponent biedt voor veiligheidskritische AI-workloads waar redeneren onder onzekerheid essentieel is. Het systeem maakt gebruik van hardware-algoritme co-design om stochasticiteit te concentreren in specifieke lagen, waardoor de fysieke hulpbronnen worden verminderd terwijl de voorspellende prestaties behouden blijven.