Physics-Informed Neural Networks for Device and Circuit Modeling: A Case Study of NeuroSPICE

Deze paper introduceert NeuroSPICE, een framework voor physics-informed neural networks dat circuitvergelijkingen oplost via backpropagatie om zo flexibele surrogate-modellen te bieden voor het simuleren van complexe en opkomende apparaten zoals ferro-elektrische geheugens.

De kern

Stel je voor dat je een zeer complexe stad wilt simuleren, waar elke straat, elk huis en elke lantaarnpaal zich voortdurend verandert. In de wereld van elektronica is SPICE de oude, bewezen methode om dit te doen. Het werkt als een stap-voor-stap fotograaf: hij neemt een foto van de stad op tijdstip 0, dan op tijdstip 0,001, dan op 0,002, en zo verder. Hij telt elke stap af om te zien hoe de stroom en spanning zich gedragen. Dit werkt goed, maar het is rigide. Als je een nieuw type straatverlichting uitvinding hebt (een nieuw halfgeleidermateriaal), moet je de hele fotograaf opnieuw programmeren in een moeilijke code (Verilog-A) voordat hij het kan simuleren.

De auteurs van dit paper, Chien-Ting Tung en Chenming Hu, hebben een nieuwe aanpak bedacht: NeuroSPICE. Ze gebruiken een kunstmatige intelligentie (AI) die werkt als een visionaire schilder, niet als een fotograaf.

Hier is hoe het werkt, in simpele taal:

1. De Kunstenaar vs. De Fotograaf

In plaats van de stad op duizenden losse momenten te fotograferen, leert de AI (een Physics-Informed Neural Network of PINN) de hele beweging in één keer te begrijpen.

• De Fotograaf (SPICE): "Op dit moment is de spanning 5 volt. Op het volgende moment is het 4,9 volt." Hij rekent stap voor stap.
• De Kunstenaar (NeuroSPICE): "Ik ken de formule die beschrijft hoe de spanning zich gedraagt van begin tot eind." De AI leert een gladde, continue lijn te tekenen die de hele golfvorm beschrijft, zonder tussenstappen.

2. De Regels van de Stad (De Fysica)

Hoe weet de AI hoe de stad eruit moet zien als ze nog nooit een foto heeft gezien? Ze krijgt een regelspel mee.
Stel je voor dat je een schilderij maakt van een rivier, maar je mag geen echte rivier zien. Je krijgt alleen de regels van de natuur: "Water stroomt altijd naar beneden" en "De hoeveelheid water die binnenkomt, moet gelijk zijn aan wat eruit gaat."

• In NeuroSPICE zijn dit de wiskundige vergelijkingen (de natuurwetten van elektriciteit).
• De AI probeert een lijn te tekenen. Als die lijn niet voldoet aan de regels (bijvoorbeeld: stroom verdwijnt uit het niets), krijgt de AI een "straf" (verlies).
• De AI past haar tekening steeds aan tot de regels perfect kloppen. Ze heeft geen voorbeelden nodig, alleen de wetten van de natuur.

3. Waarom is dit zo handig?

De oude methode (SPICE) is als het bouwen van een auto met een hamer en een vijl: heel precies, maar als je een nieuw type wiel wilt, moet je de hele fabriek aanpassen.
NeuroSPICE is als 3D-printen.

• Nieuwe uitvindingen: Als wetenschappers een nieuw type geheugen uitvinden (zoals Ferro-elektrisch geheugen, dat heel complex en niet-lineair is), kunnen ze de regels van dat nieuwe materiaal simpelweg in Python (de taal van de AI) schrijven. De AI leert het direct, zonder dat je ingewikkelde code hoeft te schrijven voor een simulator.
• De "Magische" Afgeleide: Omdat de AI de golfvorm als een perfecte wiskundige formule ziet, kan ze op elk punt exact weten hoe snel de spanning verandert (de "helling" van de lijn). De oude methode moet dit schatten door twee foto's naast elkaar te leggen (een benadering). De AI weet het exact, alsof ze door de tijd kan kijken.

4. Is het sneller?

Niet per se.

• Leren (Training): Het duurt langer om de AI te "trainen" (de schilder te laten oefenen) dan om de oude fotograaf (SPICE) gewoon te laten rekenen. De AI is in dit stadium trager.
• Gebruiken (Inferentie): Maar zodra de AI heeft geleerd, is ze razendsnel. Ze kan in een fractie van een seconde (200 microseconden) het antwoord geven voor een hele complexe schakeling.

5. Het Grote Doel: De Omgekeerde Wereld

Het echte krachtige voordeel is niet alleen het simuleren, maar het ontwerpen.
Stel je wilt een stad ontwerpen die precies zo reageert als jij wilt.

• Met de oude methode moet je gissen, bouwen, testen, en weer gissen.
• Met NeuroSPICE kun je de AI vragen: "Hoe moet ik de straten aanleggen zodat de stroom precies zo loopt?" Omdat de AI alles "begrijpt" en wiskundig doorzichtig is, kan ze je direct vertellen wat de beste ontwerpkeuze is. Ze werkt als een talenvertaler tussen jouw wensen en de fysieke realiteit.

Kortom:
NeuroSPICE is geen vervanging voor de snelle, simpele rekenmachine (SPICE) die we dagelijks gebruiken. Het is een slimme, flexibele ontwerper die het mogelijk maakt om de allernieuwste, gekste elektronische uitvindingen te simuleren en te ontwerpen, zonder vast te lopen in de oude, starre regels van de computerwetenschap. Het maakt het makkelijker om de elektronica van de toekomst te creëren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Physics-Informed Neural Networks for Device and Circuit Modeling: A Case Study of NeuroSPICE", geschreven in het Nederlands.

Probleemstelling

Traditionele circuit-simulatoren zoals SPICE (Simulation Program with Integrated Circuit Emphasis) maken gebruik van numerieke methoden om gedifferentieerde en algebraïsche vergelijkingen (DAE's) op te lossen via tijdsdiscretisatie. Hoewel deze methoden robuust zijn, worden ze steeds moeilijker toe te passen op opkomende technologieën. Chipontwikkeling integreert steeds vaker complexe fysische effecten, zoals ferro-elektrische materialen, fotonische elementen en 3D-thermische koppeling. Het ontwikkelen van compacte modellen voor deze systemen in bestaande SPICE-workflows (vaak vereist in Verilog-A) is complex, tijdrovend en vereist diepgaande kennis van zowel de fysica als de numerieke implementatie. Daarnaast zijn deze workflows minder flexibel voor het oplossen van inverse problemen of het uitvoeren van gradient-based optimalisatie.

Methodologie: NeuroSPICE

De auteurs introduceren NeuroSPICE, een framework dat Physics-Informed Neural Networks (PINN) toepast voor device- en circuitsimulatie. In plaats van een numerieke tijdsstap-methode te gebruiken, benadert NeuroSPICE de onbekenden van het circuit (knooppuntspanningen en takstromen) als continue, analytische functies van de tijd.

De kernprincipes van de methode zijn:

• Neurale Representatie: De tijd ($t$) wordt als expliciete invoer aan het neurale netwerk gegeven. Het netwerk leert de waveform (spanning/stroom) direct als een analytische functie van de tijd.
• Analytische Afgeleiden: In plaats van numerieke differentiatie (zoals eindige differenties) te gebruiken, worden tijdsafgeleiden (zoals $dV/dt$ en $dQ/dt$) exact berekend via automatische differentiatie (autograd) binnen het machine learning-framework (PyTorch). Dit gebeurt tijdens de backpropagation.
• Verliesfunctie (Loss Function): De loss functie wordt samengesteld uit de residuen van de circuit-DAE's (op basis van de wetten van Kirchhoff) en de randvoorwaarden (initial conditions). Het doel van het trainen is om deze loss te minimaliseren, waardoor de DAE's worden opgelost zonder dat trainingsdata nodig is.
• Implementatie: Device-modellen (zoals MOSFET's) worden direct in Python geïmplementeerd, in plaats van in Verilog-A. Dit maakt het mogelijk om complexe, niet-lineaire modellen (zoals het Landau-Khalatnikov-model voor ferro-elektrische materialen) en multiphysics-systemen eenvoudig in één omgeving te koppelen.

Belangrijkste Bijdragen

1. Eerste toepassing van PINN voor circuits: Het artikel presenteert de eerste studie die PINN succesvol toepast op circuitsimulatie, waarbij het de beperkingen van tijdsdiscretisatie omzeilt.
2. Flexibiliteit voor opkomende technologieën: NeuroSPICE elimineert de noodzaak voor Verilog-A en maakt het mogelijk om nieuwe device-modellen (zoals ferro-elektrische geheugencellen) snel te prototypen en te simuleren, zelfs bij sterke niet-lineariteiten.
3. Differentieerbaarheid: Omdat het netwerk continue functies levert met exacte afgeleiden, fungeert NeuroSPICE als een volledig differentieerbare surrogate-model. Dit is cruciaal voor inverse ontwerpproblemen en gradient-based optimalisatie, waar traditionele SPICE-simulatoren vaak haken.
4. Multiphysics-integratie: Het framework kan naadloos multiphysics-vergelijkingen integreren die moeilijk in conventionele SPICE-workflows te implementeren zijn.

Resultaten

De auteurs hebben NeuroSPICE getest op verschillende circuits, met HSPICE als referentie:

• Transistorversterker: De simulatie van een transistorversterker toonde een nauwkeurige overeenkomst met HSPICE-resultaten voor zowel de drain- ($V_D$) als de gate-spanning ($V_G$).
• Ringoscillator: Een complexere 5-traps ringoscillator werd succesvol gesimuleerd, wat aantoont dat het systeem instabiele, zelf-oscillerende systemen en DAE's met meerdere niet-lineaire modellen kan oplossen.
• FeRAM (Ferro-electric RAM): Een FeRAM-cel werd gesimuleerd door het Landau-Khalatnikov (LK) model te koppelen aan een MOSFET-model. NeuroSPICE slaagde erin de spanningsdaling veroorzaakt door polarisatieswitching in de ferro-elektrische condensator nauwkeurig weer te geven.

Prestaties:

• Trainingsduur: NeuroSPICE is trager dan commerciële SPICE-simulatoren tijdens het trainen (bijv. 4 tot 7 minuten voor de geteste gevallen), voornamelijk vanwege de overhead van Python en de grotere interne matrices van de PINN.
• Inferentie: Eenmaal getraind, is de inferentietijd vergelijkbaar met of sneller dan SPICE (ongeveer 200 µs).
• Convergentie: Sterk niet-lineaire systemen (zoals FeRAM) vereisten meer trainings-epochs en een lagere leersnelheid om te convergeren.

Betekenis en Conclusie

NeuroSPICE is niet bedoeld als een directe vervanging voor SPICE in routineuze circuitsimulaties vanwege de langere trainingsduur. De ware waarde ligt in zijn rol als surrogaatmodel voor ontwerpoptimalisatie en voor het simuleren van opkomende, complexe systemen die buiten het bereik van conventionele compact-modellen vallen.

Het framework verlaagt de drempel voor het modelleren van nieuwe fysica en biedt een unieke mogelijkheid om circuits te optimaliseren via gradient-based methoden dankzij de volledig differentieerbare aard van de oplossing. De auteurs concluderen dat NeuroSPICE een veelbelovende richting is voor de toekomst van circuitdesign, met name voor het verkennen van nieuwe technologieën zoals ferro-elektrische geheugens en 3D-IC's.