Scalable Digital Compute-in-Memory Ising Machines for Robustness Verification of Binary Neural Networks

Dit paper presenteert een schaalbaar, digitaal compute-in-memory Ising-machine gebaseerd op SRAM die BNN-robustheid verifieert door het probleem te herformuleren als een QUBO-optimalisatie, waarbij imperfecte oplossingen worden benut om adversariale perturbaties te vinden en zo een aanzienlijke versnelling en energie-efficiëntie ten opzichte van CPU-implementaties te bereiken.

De kern

Stel je voor dat je een zeer slimme, maar soms erg kwetsbare robot hebt die foto's herkent. Deze robot is zo efficiënt ontworpen dat hij alleen met 'ja' en 'nee' (of 1 en 0) denkt. Dit noemen we een Binair Neuronaal Netwerk (BNN). Hij is snel en zuinig, maar heeft een groot zwak punt: als je een foto heel subtiel verandert (bijvoorbeeld een paar pixels hier en daar die het menselijk oog niet ziet), kan de robot ineens denken dat een hond een toaster is.

Dit is een groot probleem voor veiligheid. Hoe weten we of zo'n robot echt veilig is? We moeten proberen om die 'trucs' (de subtiele veranderingen) te vinden die de robot in de war brengen.

Het probleem: De zoektocht in een berglandschap
Het vinden van deze trucs is als het zoeken naar de laagste punt in een enorm, donker berglandschap met duizenden diepe dalen en hoge pieken. Dit heet een 'combinatorisch probleem'. Voor een normale computer is dit als het zoeken naar een naald in een hooiberg, maar dan met een hooiberg die groter is dan het heelal. Het kost eeuwen om dit precies uit te rekenen.

De oplossing: Een nieuwe soort 'magnetische kompas'
In dit artikel presenteren de auteurs een nieuwe manier om dit probleem op te lossen. Ze gebruiken een speciaal stukje hardware dat lijkt op een Ising-machine.

• De Analogie: Stel je voor dat je een bord hebt vol met muntstukken (kop of staart). Je wilt ze zo draaien dat ze samen de laagste 'energie' hebben (zoals muntstukken die in een kuiltje vallen). Een normale computer doet dit één voor één, heel langzaam.
• De Nieuwe Hardware: De auteurs hebben een chip gebouwd die dit allemaal tegelijk doet. Ze noemen het een DCIM Ising-machine. Het is als een hele berg muntstukken die je tegelijkertijd laat trillen. Door de spanning (voltage) op de chip te veranderen, kun je de muntstukken laten 'trillen' (willekeurige beweging) zodat ze sneller in de juiste dalen vallen.

Het slimme trucje: 'Onvolmaakte' antwoorden zijn goed genoeg
Normaal gesproken willen wetenschappers het perfecte antwoord: de absolute laagste vallei in het berglandschap. Maar dat is vaak te moeilijk om te vinden.

De auteurs zeggen: "Wacht even, we hoeven niet perfect te zijn!"
Zelfs als de machine niet de absolute laagste vallei vindt, maar wel een bijna laag punt, kan dat al genoeg zijn. Als die 'bijna perfecte' configuratie de robot in de war brengt, hebben we bewezen dat de robot kwetsbaar is. Het is alsof je een slot probeert te openen: je hoeft niet de perfecte sleutel te hebben; als je met een sleutelhanger het slot toch open krijgt, heb je het doel bereikt.

Hoe werkt het in de praktijk?

1. De Chip: Ze gebruiken een heel gewone computergeheugenchip (SRAM), maar ze gebruiken hem op een slimme manier. In plaats van alleen data op te slaan, doen ze de berekeningen in het geheugen.
2. De Ruis: Ze maken de chip bewust 'onstabiel' door de spanning laag te zetten. Hierdoor beginnen de bits (de 0-en en 1-en) in de chip vanzelf te 'flippen' (veranderen). Dit klinkt als een fout, maar voor deze machine is het een willekeurige kracht die helpt om uit lokale dalen te springen en het hele landschap te verkennen.
3. Het Resultaat: De machine vindt snel een 'truc' die de robot laat falen.

Waarom is dit geweldig?

• Snelheid: Het is 178 keer sneller dan een krachtige gewone computer.
• Energie: Het verbruikt 1538 keer minder stroom. Dat is alsof je een elektrische auto vergelijkt met een stoomlocomotief.
• Toekomst: Dit betekent dat we in de toekomst veel sneller en goedkoper kunnen testen of AI-systemen veilig zijn, zonder dat we enorme datacenters nodig hebben.

Samenvattend:
De auteurs hebben een slimme, energiezuinige chip bedacht die gebruikmaakt van 'fouten' en willekeur om snel te ontdekken of slimme robots kwetsbaar zijn voor trucs. In plaats van te wachten op een perfect antwoord, accepteren ze een 'goed genoeg' antwoord dat al genoeg bewijs levert. Dit is een grote stap naar veiligere en betrouwbaardere kunstmatige intelligentie.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Scalable Digital Compute-in-Memory Ising Machines for Robustness Verification of Binary Neural Networks", geschreven in het Nederlands.

Titel

Schalbare Digitale Compute-in-Memory Ising-machines voor Robuustheidsverificatie van Binaire Neurale Netwerken

1. Het Probleem

De verificatie van de robuustheid van binaire neurale netwerken (BNN's) is een cruciale stap voor het veilig inzetten van AI-systemen, vooral in kritieke domeinen zoals gezondheid en beveiliging. Een BNN wordt als robuust beschouwd als kleine, gestructureerde verstoringen (adversariële perturbaties) in de invoer niet leiden tot een verkeerde classificatie.

• NP-moeilijkheid: Het verifiëren van deze robuustheid is een NP-moeilijk probleem. Het kan worden geformuleerd als een combinatorische zoektocht naar een perturbatie die misclassificatie veroorzaakt.
• Beperkingen van bestaande methoden:
  • Exacte methoden (zoals SMT/MILP) bieden formele garanties maar schalen slecht bij grote netwerken.
  • Heuristische methoden zijn vaak incompleet en bieden geen garantie voor het ergste geval.
  • De discrete structuur van BNN's (binair gewichten en activeringen) creëert een sterk niet-convex en ruw optimalisatielandschap met vele lokale minima, wat zoektochten met conventionele CPU's zeer rekenintensief maakt.

2. Methodologie

De auteurs stellen een nieuwe aanpak voor die het robuustheidsverificatieprobleem omzet in een Quadratic Unconstrained Binary Optimization (QUBO) probleem en dit oplost met een digitale Compute-in-Memory (DCIM) Ising-machine gebaseerd op SRAM.

A. Formulering als QUBO

Het probleem wordt omgezet in een QUBO-instantie ($H(q) = q^T Qq$):

• De zoektocht naar een adversariële perturbatie $\tau$ die de BNN-output verandert, wordt gemodelleerd als het minimaliseren van een energie-functie.
• De beperkingen van de BNN-inferentie en de perturbatiebudgetten worden vertaald naar kwadratische termen in de QUBO-matrix.
• In plaats van te eisen dat de oplossing perfect aan alle constraints voldoet (globale minimum), exploiteren de auteurs het feit dat onvolmaakte oplossingen (suboptimale oplossingen) vaak nog steeds geldige adversariële perturbaties bevatten die de netwerkbetrouwbaarheid kunnen onthullen.

B. SRAM DCIM Architectuur

De hardware-implementatie gebruikt een SRAM-gebaseerde DCIM-architectuur met de volgende kernkenmerken:

• In-Memory Computing: De QUBO-coëfficiënten (de $Q$-matrix) worden opgeslagen in een SRAM-array. Berekeningen (MAC-operaties) vinden plaats binnen het geheugen, wat databeweging minimaliseert.
• Ruisinjectie via Pseudo-Read: In plaats van externe willekeurige getallengeneratoren (RNG) te gebruiken, injecteert de architectuur ruis in de gewichten zelf. Door de voedingsspanning ($V_{DDM}$) van de SRAM-cellen tijdelijk te verlagen tijdens een "pseudo-read" operatie, worden de statische ruismarges verzwakt. Dit veroorzaakt probabilistische bit-flips in de opgeslagen gewichten.
  • Dit creëert een voltage-gesteunde tijdsgebonden willekeur die dient als het temperatuurmechanisme voor het simulated annealing-proces.
  • Alleen de magnitude-bits worden beïnvloed; het teken-bit blijft vast om fysiek onrealistische sprongen te voorkomen.
• Update-mechanisme: De spin-updates (flip-beslissingen) worden sequentieel uitgevoerd op basis van de lokale energieverandering ($\Delta E_i$), berekend via in-memory dot-producten.

3. Belangrijkste Bijdragen

1. Onvolmaakte Oplossingen voor Verificatie: De auteurs tonen voor het eerst aan dat een SRAM-gebaseerde Ising-machine robuustheidsverificatie kan uitvoeren zonder globale optimaliteit te vereisen. Zelfs oplossingen die niet aan alle constraints voldoen, kunnen geldige adversariële voorbeelden genereren.
2. Nieuwe Hardware-Architectuur: Een schaalbare DCIM-architectuur die SRAM-variabiliteit gebruikt als een native bron van entropie voor stochastisch optimaliseren, waardoor externe RNG-hardware overbodig wordt.
3. End-to-End Workflow: Een complete pijplijn van het coderen van BNN-verificatie naar QUBO, het oplossen met de Ising-machine, en het valideren van de gegenereerde perturbaties via forward inference.
4. Schaalbaarheid: De methode is ontworpen om grote, dicht verbonden QUBO-matrices efficiënt te verwerken, wat een knelpunt is voor andere Ising-machines.

4. Resultaten

De auteurs hebben hun aanpak getest op BNN's met verschillende invoergroottes (gebaseerd op MNIST: 7x7, 11x11, en 28x28 pixels).

• Kwaliteit van Oplossingen: De DCIM-Ising-machine leverde consistent evenveel of meer "goede" oplossingen (binnen 5% van de minimale energie) dan gesimuleerd annealing (SA) op een CPU.
• Adversariële Aanvallen: Een aanzienlijk deel van de "onvolmaakte" oplossingen resulteerde in succesvolle adversariële aanvallen (label flips).
  • Voor de 1023x3x1 configuratie (Label 1) vond de DCIM-oplosser 1510 succesvolle aanvallen, vergeleken met 484 voor SA.
• Unieke Perturbaties: De hardware toonde een groot vermogen om diverse gebieden in de zoekruimte te verkennen, wat resulteerde in een groot aantal unieke perturbatievectoren.
• Performance (PPA - Power, Performance, Area):
  • Snelheid: De projectie toont een 178x versnelling in convergentiesnelheid ten opzichte van CPU-implementaties.
  • Energie-efficiëntie: Er is een verbetering van 1538x in energie-efficiëntie.
  • Hardware: De benodigde SRAM-opslag voor de grootste instantie is ongeveer 9,1 Mb, met een geschatte totale chipgrootte van ongeveer 31,8 mm².

5. Betekenis en Conclusie

Dit werk markeert een belangrijke stap in het gebruik van onconventionele computing-platforms voor AI-verificatie.

• Paradigmaverschuiving: Het bewijst dat het niet noodzakelijk is om de exacte globale minimum van een complex QUBO-probleem te vinden om nuttige inzichten te krijgen in de kwetsbaarheid van neurale netwerken.
• Schalbare Verificatie: Door de combinatie van QUBO-formulering en energie-efficiënte DCIM-hardware, wordt een pad gebaand voor het verifiëren van robuustheid in grootschalige BNN's, wat met conventionele hardware vaak onhaalbaar is.
• Toekomstperspectief: De methode is compatibel met een breed ecosysteem van oplossers (Ising-machines, kwantum-annealers) en biedt een praktische, schaalbare oplossing voor het bouwen van betrouwbare AI-systemen.

Samenvattend biedt dit onderzoek een efficiënt, hardware-versnelde methode om de veiligheid van binaire neurale netwerken te testen, waarbij de beperkingen van conventionele rekenkracht worden overwonnen door slim gebruik van SRAM-variabiliteit en het accepteren van suboptimale maar functionele oplossingen.