ROSA: Robust and Energy-Efficient Microring-Based Optical Neural Networks via Optical Shift-and-Add and Layer-Wise Hybrid Mapping

1. Probleemstelling

Het artikel behandelt kritieke knelpunten in bestaande optische neurale netwerken (ONN's) op basis van microringresonatoren (MRR), met name wat betreft energie-efficiëntie, robustheid tegen ruis en doorvoervermogensbeperkingen:

• Het afstemknelpunt: Traditionele analoge MRR-ONN's (bijv. DEAP-CNN's) vertrouwen op thermo-optische (TO) afstemming voor gewichtsupdates. Dit proces is traag (5–10 $\mu$s), wat de snelheid van gewichtsupdates beperkt tot ongeveer 500 kHz en een aanzienlijk latentieknelpunt creëert.
• Ruis en achteruitgang van nauwkeurigheid: Analoog rekenen is zeer gevoelig voor thermische ruis en imperfecties in Digital-to-Analog Converters (DAC). Deze gevoeligheid dwingt tot lagere kwantisatieniveaus of resulteert in aanzienlijke achteruitgang van de nauwkeurigheid in netwerken met hoge resolutie.
• Inefficiënte dataverplaatsing: Bestaande architecturen missen efficiënte mechanismen voor het hergebruiken van output. Partiële sommen worden frequent omgezet tussen de optische en elektrische domeinen (OAC/ADC) en opgeslagen in elektronische buffers, wat hoge energiekosten en latentie met zich meebrengt.
• Suboptimale array-grootte: Eerdere werken gebruiken vaak vaste array-groottes (ofwel zeer groot ofwel zeer compact) die zich niet goed aanpassen aan diverse Deep Neural Network (DNN)-werklasten, wat leidt tot slechte benutting en energie-inefficiëntie.

2. Methodologie

De auteurs stellen ROSA voor, een nieuwe MRR-ONN-architectuur die drie kerninnovaties integreert:

A. Optisch Verschuiven-en-Optellen (OSA) Module

Om de frequentie van kostbare Optisch-naar-Analoog (OAC) en Analoog-naar-Digitaal (ADC) conversies te verminderen, introduceert ROSA een zuiver optische module voor het accumuleren van partiële sommen.

• Mechanisme: Het maakt gebruik van Optische Vertraginglijnen (ODL's) en lichtsplitters om verschuiving en optelling van optische signalen in het tijdsdomein uit te voeren voordat detectie plaatsvindt.
• Werking: Invoer wordt op een tijds-serialle manier gecodeerd (bijv. met behulp van gebalanceerde ternaire symbolen). De OSA-module accumuleert deze verschoven optische signalen optisch. Alleen de uiteindelijke geaccumuleerde som wordt omgezet naar het elektrische domein.
• Voordeel: Dit reduceert drastisch het aantal OAC/ADC-operaties, die grote energieverbruikers zijn.

B. Gemengd Digitaal-Analoog Rekenparadigma

ROSA adopteert een hybride rekenmodus om snelheid en robuustheid in evenwicht te brengen:

• Digitale Invoer: Invoersignalen worden digitaal gecodeerd met behulp van snelle Electro-Optische (EO) modulatie (GHz-bereik), waardoor het trage TO-afstemknelpunt voor invoerupdates wordt omzeild.
• Analoge Gewichten: Gewichten blijven in het analoge domein (opgeslagen als MRR-transmissiestaten) om een hoog doorvoervermogen te behouden.
• Resultaat: Deze aanpak bereikt het hoge aantal bewerkingen per seconde (OPS) van analoge rekenkracht, terwijl het gebruikmaakt van de snelheid van digitale invoercodering.

C. Laagsgewijze Hybride Mapping Strategie

Omdat verschillende netwerklagen verschillende gevoeligheid hebben voor ruis en energiekosten, hanteert ROSA een dynamische mappingstrategie:

• Mapping Modi: Het kiest per laag tussen Gewicht-Stationair (WS) (gewichten vast, invoer stroomt) en Invoer-Stationair (IS) (invoer vast, gewichten stromen).
• Ruisbewuste Modellering: Het systeem gebruikt een gedragsmodel dat rekening houdt met DAC-ruis en thermische kruispraat. Het berekent een "gebalanceerde metriek" voor elke laag, waarbij zowel achteruitgang van nauwkeurigheid als Energie-Vertraging Product (EDP) worden overwogen.
• Optimalisatie: De architectuur selecteert automatisch de mappingmodus (IS of WS) die de gecombineerde kosten van nauwkeurigheidsverlies en energie voor elke specifieke laag minimaliseert.

D. Architectuur en Optimalisatie

• Hiërarchisch Ontwerp: De versneller heeft een 3-niveau hiërarchie: Chip (router-verbonden mesh), Tile (OPE-arrays) en Optische Verwerkingselementen (OPE).
• Array-grootte: De auteurs co-optimaliseren de MRR-array-dimensies ($R \times C$) over meerdere werklasten (CNN's en Transformers) om het geaggregeerde geometrische gemiddelde van EDP te minimaliseren, in plaats van te optimaliseren voor één enkel netwerk.

3. Belangrijkste Bijdragen

1. OSA Module: Een nieuw optisch verschuiven-en-optellen mechanisme dat accumulatie in het optische domein uitvoert, wat de frequentie en energieverbruik van OAC/ADC verlaagt.
2. Ruisbewuste Modellering: Een uitgebreid gedragsmodel dat de aangelegde spanning koppelt aan effectieve gewichten, waarbij DAC- en thermische ruisbronnen expliciet worden gemodelleerd om een robuust ontwerp te sturen.
3. Hybride Mapping Strategie: Een optimalisatiekader op laagniveau dat dynamisch schakelt tussen Invoer-Stationaire en Gewicht-Stationaire modi om de nauwkeurigheid onder ruis te maximaliseren terwijl het EDP wordt geminimaliseerd.
4. Systeemniveau Co-Optimalisatie: Een kader dat gezamenlijk de MRR-array-dimensies en dataflow-strategieën optimaliseert over diverse werklasten (van MobileNet tot GPT-2).

4. Experimentele Resultaten

De auteurs hebben ROSA geëvalueerd met 8-bit gekwantiseerde CNN's (AlexNet, VGG-16, ResNet-18, MobileNet V3) en Transformers (GPT-2, ViT) op datasets zoals CIFAR-10 en MNIST.

• Energie-efficiëntie (EDP):

  • In vergelijking met DEAP-CNN's (grote array, volledig analoog), reduceert de geoptimaliseerde ROSA-array het geaggregeerde relatieve EDP met 64%.
  • In vergelijking met een algemene compacte array (4x4), reduceert het EDP met 26%.
  • De OSA module alleen draagt bij aan een 29% EDP-reductie in vergelijking met niet-OSA structuren.
  • De Hybride Mapping Strategie bereikt een gemiddelde 54,7% lagere EDP in vergelijking met DEAP-CNN's.

• Robuustheid en Nauwkeurigheid:

  • Onder thermische en DAC-ruiscondities ($\sigma_{DAC}=0.02, \sigma_{th}=0.04$), verbetert de hybride mappingstrategie de CIFAR-10-nauwkeurigheid met 8,3% ten opzichte van de standaard Gewicht-Stationaire mapping.
  • In vergelijking met een ideaal model met volledige precisie, lijdt de voorgestelde methode slechts een 3,3% gemiddeld verlies in nauwkeurigheid, wat hoge robuustheid ondanks ruis aantoont.
  • Specifieke winsten: AlexNet-nauwkeurigheid verbeterde van 73,4% (WS) naar 87,0% (Hybride); VGG-16 van 74,3% naar 89,4%.

• Vermogensverdeling:

  • De introductie van OSA vermindert het energieverbruik in OAC/ADC-fasen en hoofdgeheugentraffic aanzienlijk, zoals blijkt uit de vermogensverdelingsanalyse over diverse werklasten.

5. Betekenis

ROSA vertegenwoordigt een belangrijke stap voorwaarts om optische neurale netwerken praktisch te maken voor implementatie in de echte wereld. Door de snelheid-nauwkeurigheid-energie trits op te lossen:

1. Overwint het het thermische afstemknelpunt door gebruik te maken van snelle EO-invoercodering.
2. Het mitigeert ruisgevoeligheid door intelligente laagsgewijze mapping en ondersteuning voor kwantisatie met hoge bitdiepte.
3. Het verbetert de energie-efficiëntie drastisch door elektronische conversie-overhead te minimaliseren via optische accumulatie.

Het werk biedt een schaalbare, ruisresiliente weg naar next-generation fotonische AI-versnellers die zowel Convolutional Neural Networks (CNN's) als Transformer-gebaseerde Large Language Models (LLM's) kunnen verwerken met een hoog doorvoervermogen en laag energieverbruik.