🤖 machine learning

Event-triggered Implicit Perturbation for Zeroth-Order Fine-Tuning of Spiking Transformers

Dit artikel stelt een event-triggered implicit perturbation architecture (IPZO) voor voor zeroth-order fine-tuning van Spiking Transformers op in-memory computing-acceleratoren, die kostbare read-modify-write-operaties elimineert en de hardware-overhead vermindert door alleen perturbaties te genereren voor spike-geactiveerde gewichten, terwijl een XOR-recombinatieschema wordt toegepast om een nauwkeurigheid te handhaven die vergelijkbaar is met softwarematige random number generators.

Oorspronkelijke auteurs: Tengteng Lei, Prabodh Katti, Rashi Dutt, Houssem Sifaou, Tan Peng, Osvaldo Simeone, Kai Xu, Bipin Rajendran

Gepubliceerd 2026-08-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tengteng Lei, Prabodh Katti, Rashi Dutt, Houssem Sifaou, Tan Peng, Osvaldo Simeone, Kai Xu, Bipin Rajendran

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de snel evoluerende wereld van kunstmatige intelligentie is een specifiek type computerprogramma, bekend als een transformer, de dominante kracht geworden die alles aandrijft, van taalvertaling tot beeldherkenning. Deze systemen zijn ongelooflijk krachtig, maar ook ongelooflijk hongerig naar energie en geheugen, en vereisen vaak enorme datacentra om te kunnen draaien. Om deze intelligentie naar kleinere, alledaagse apparaten zoals smartphones of sensoren te brengen, hebben ingenieurs zich tot een andere aanpak gericht die geïnspireerd is door het menselijk brein: spiking neurale netwerken. In tegenstelling tot traditionele programma's die informatie continu verwerken, werken deze netwerken op basis van gebeurtenissen en vuren ze alleen wanneer dat nodig is, wat ze van nature efficiënt maakt. Het aanleren van nieuwe taken rechtstreeks op het apparaat zelf is echter een hardnekkig probleem gebleken voor deze netwerken. De standaardmethode voor het trainen van deze netwerken, waarbij wordt berekend hoe elke individuele verbinding in het netwerk moet worden aangepast, is te complex en geheugenintensief voor kleine chips. Er bestaat een eenvoudiger alternatief, dat probeert te schatten hoe het systeem verbeterd kan worden door minuscule, willekeurige duwtjes aan de verbindingen te geven en te kijken of het resultaat beter wordt, maar deze methode heeft haar eigen ernstige hardwarematige hindernissen die de praktische toepassing ervan in de weg staan.

Een team van onderzoekers heeft nu een nieuwe architectuur ontworpen die deze hindernissen wegneemt, waardoor deze efficiënte breinachtige netwerken direct op gespecialiseerde computerchips kunnen leren zonder constant hun interne geheugen te hoeven overschrijven. De kernuitdaging waar zij voor stonden, was dat de standaardmanier om deze willekeurige duwtjes te geven vereist dat de chip herhaaldelijk de opgeslagen informatie leest, wijzigt en weer terugschrijft. Dit proces, bekend als read-modify-write, is traag en put de batterij uit, wat het energiebesparingsvoordeel dat de gespecialiseerde chips juist moesten bieden, effectief tenietdoet. Bovendien zou het genereren van het enorme aantal willekeurige getallen dat nodig is voor deze duwtjes voor elke afzonderlijke verbinding in het netwerk, een willekeurige getallengenerator vereisen die zo groot is dat deze meer ruimte inneemt dan het geheugen zelf. De onderzoekers stelden een slimme workaround voor: in plaats van de opgeslagen gewichten direct te veranderen, injecteren ze de willekeurige veranderingen in het berekeningsproces zelf, precies op de plek waar de getallen worden opgeteld. Dit houdt de opgeslagen gewichten onaangetast en stationair, waardoor de efficiëntie van de chip behouden blijft.

Om dit werkend te krijgen, bouwde het team een gespecialiseerde eenheid die alleen willekeurige duwtjes genereert voor de delen van het netwerk die op elk gegeven moment daadwerkelijk actief zijn. Omdat deze breinachtige netwerken van nature spaarzaam (sparse) zijn, wat betekent dat de meeste van hun verbindingen op een enkel moment stil zijn, hoeft deze eenheid slechts een fractie van de omvang van het volledige netwerk te hebben. Echter, het simpelweg hergebruiken van dezelfde kleine set willekeurige getallen voor verschillende delen van het netwerk creëert een verborgen probleem: de duwtjes worden te veel op elkaar lijken, waardoor het leerproces stagneert of onnauwkeurig wordt. Om dit op te lossen, introduceerden de onderzoekers een mengschema dat deze hergebruikte getallen op een specifieke manier combineert op basis van hun locatie, waardoor elk deel van het netwerk een unieke en onafhankelijke duw ontvangt. Dit mengproces, dat zij address-driven XOR recombination noemen, herstelt de statistische onafhankelijkheid die vereist is voor het systeem om effectief te leren.

Toen het team dit nieuwe ontwerp testte, waren de resultaten opmerkelijk. In simulaties en hardwaretests met een standaard chipfabricageproces behaalde hun systeem dezelfde hoge nauwkeurigheid als softwaregebaseerde methoden die gebruikmaken van perfecte, onafhankelijke willekeurige getallen. In contrast hiermee faalde een eenvoudigere versie die de willekeurige getallen simpelweg hergebruikte zonder het mengschema, aanzienlijk; deze verloor bijna tien procentpunten aan nauwkeurigheid bij taken voor beeldherkenning en had veel meer tijd nodig om te leren. Het nieuwe ontwerp bleek ook opmerkelijk energiezuinig te zijn. Omdat het het kostbare proces van het overschrijven van het geheugen vermijdt, verbruikt het minder dan de helft van de energie van de traditionele methode bij typische instellingen. Hoewel de nieuwe mengunit een kleine hoeveelheid extra hardware toevoegt, zorgt de snelheid waarmee het systeem leert ervoor dat de totale energie die tijdens het gehele trainingsproces wordt verbruikt, met de helft wordt verminderd vergeleken met de eenvoudigere methode van hergebruik. Dit werk demonstreert dat door de willekeurige aanpassingen van het opslaggebied naar het berekeningsgebied te verplaatsen en een slimme mengtechniek te gebruiken, het mogelijk is om complexe, brein-geïnspireerde AI-modellen direct op energiebeperkte hardware te trainen, wat de deur opent naar slimmere, meer adaptieve apparaten die onderweg kunnen leren.

Technische Samenvatting: Event-triggered Impliciete Perturbatie voor Zeroth-Order Fine-Tuning van Spiking Transformers

Probleemstelling

De implementatie van Spiking Transformers op hulpbronnenbeperkte edge-platforms staat voor aanzienlijke hindernissen bij het bewerkstelligen van on-chip leren. Hoewel Zeroth-Order (ZO) optimalisatie een geheugenefficiënt alternatief biedt voor backpropagation voor niet-differentieerbare Spiking Neural Networks (SNN's) door uitsluitend te vertrouwen op forward-pass evaluaties, wordt de implementatie ervan op In-Memory Computing (IMC) versnellers gehinderd door twee primaire architecturale mismatch-problemen:

Hardware-overhead van Willekeurige Getallengeneratie (RNG): ZO-optimalisatie vereist statistisch onafhankelijke willekeurige perturbaties voor elke gewichtsparameter. Het genereren van deze per-gewicht perturbaties met behulp van Uniforme Willekeurige Getallengeneratoren (RNG's) brengt een prohibitieve oppervlaktevoetafdruk met zich mee, aangezien de logica die nodig is voor RNG's (bijv. Linear-Feedback Shift Registers) de oppervlakte van de geheugencellen waarin de gewichten worden opgeslagen, ver overstijgt.
Verstoring van de Weight-Stationary Dataflow: Conventionele Explicit Perturbation ZO (EPZO) vereist het uitlezen van de volledige gewichtsmatrix, het toepassen van perturbaties en het terugschrijven van de gewijzigde gewichten naar de IMC-array voor elke gradiënt-estimatiestap. Deze frequente Read-Modify-Write (RMW) operaties tenietdoen de energievoordelen van IMC door massale datamobiliteit te herintroduceren en, in het geval van Non-Volatile Memories (NVM's), de write-endurance beperkingen te verergeren.

Bestaande oplossingen, zoals de perturbatie-efficiënte ZO (PeZO) die RNG-outputs hergebruikt, verminderen de hardware-overhead maar introduceren ruimtelijke correlaties tussen perturbaties, wat de leeraccuratesse en convergentiesnelheid verslechtert.

Methodologie

De auteurs stellen Implicit-Perturbation ZO (IPZO) voor, een hardware-algoritme co-ontworpen architectuur die het injectiepunt van de perturbatie verschuift van het opgeslagen gewichtsdomein naar het accumulatiedomein.

Kern van de Architecturale Verschuiving

In plaats van de gewichten ( $\theta$ ) die in de IMC-array zijn opgeslagen te wijzigen, berekent IPZO de geperturbeerde output door de perturbatiesom toe te voegen aan het standaard Matrix-Vector Vermenigvuldiging (MVM) resultaat. Door gebruik te maken van de distributiviteit van MVM, wordt de geperturbeerde output $x \cdot (\theta \pm \epsilon z_i)$ berekend als:
$x \cdot \theta \pm x \cdot \epsilon z_i$
Hier is $x \cdot \theta$ de standaard IMC-output, en $x \cdot \epsilon z_i$ is een perturbatiesom berekend door een speciale Perturbation Generation Unit (PGU). Deze aanpak behoudt de weight-stationary executie van de IMC-array, waardoor herhaalde RMW-operaties worden geëlimineerd.

Event-Triggered Perturbatiegeneratie (PGU)

Om de RNG-oppervlakteoverhead aan te pakken, maakt de PGU gebruik van de inherente periodiciteit (sparsity) van SNN's:

Dimensiereductie: De PGU genereert perturbaties alleen voor gewichtsrijen die geactiveerd worden door input-spikes op een gegeven tijdstap, in plaats van voor de gehele gewichtsmatrix. Dit ontkoppelt de RNG-array grootte van de fysieke dimensies van de IMC-array.
Address-Driven XOR Recombinatie (PGU-XOR): Om de statistische correlaties te voorkomen die worden veroorzaakt door het hergebruik van een gereduceerde set RNG's over meerdere rijen (een probleem in het baseline PGU-Reuse schema), introduceren de auteurs een recombinatieschema.
- Spike-adressen worden gedecomposed in een quotiënt ( $q_i$ ) en een restant ( $r_i$ ).
- Twee onafhankelijke sets LFSR's genereren willekeurige getallen: Quotient-geassocieerde LFSR's (Q-LFSR's) en Remainder-geassocieerde LFSR's (R-LFSR's).
- De uiteindelijke perturbatievector voor een specifieke rij wordt gegenereerd door de geselecteerde Q-LFSR output bitwise te XOR'en met de overeenkomstige R-LFSR rij. Dit zorgt voor statistisch onafhankelijke perturbaties over de gehele gewichtsmatrix ondanks de gereduceerde RNG-hardware.
Accumulatie Netwerk: Om hulpbronnenconflicten af te handelen wanneer meerdere spike-adressen naar dezelfde RNG-rij mappen, seriealiseert een accumulatie netwerk de toegang over meerdere cycli, waarbij een begrensde latentie wordt geruild voor een compacte hardwarevoetafdruk.

Belangrijkste Bijdragen

IPZO Architectuur: Een nieuw framework dat perturbaties injecteert in het accumulatiedomein, waardoor herhaalde RMW-operaties worden geëlimineerd en de weight-stationary IMC-executie behouden blijft.
PGU-XOR Schema: Een event-triggered perturbatiegenerator die de RNG-array dimensies reduceert op basis van spike-sparsity en address-driven XOR-recombinatie gebruikt om statistische onafhankelijkheid te garanderen, waarmee de degradatie van de accuratesse door eenvoudige RNG-hergebruik wordt overwonnen.
Hardware Validatie: Een post-layout implementatie in TSMC 16-nm CMOS technologie die de haalbaarheid van het ontwerp demonstreert, inclusief analyse van oppervlakte, doorvoer en energie.

Experimentele Resultaten

Het voorgestelde framework werd geëvalueerd via algoritmische simulaties en hardware-implementatie:

Accuratesse en Convergentie:
- Op Spikingformer (CIFAR-10) bereikte PGU-XOR een accuratesse van 76,41%, wat overeenkomt met software RNG baselines (76,53% voor Randint), terwijl PGU-Reuse degradeerde naar 66,85% (een daling van 9,56 procentpunt).
- Op SpikeGPT (WikiText-2) bereikte PGU-XOX een perplexiteit (PPL) van 54,20, vergelijkbaar met software baselines (~53,23), terwijl PGU-Reuse een PPL van 66,01 resulteerde.
- PGU-XOR convergeerde aanzienlijk sneller, waarbij het 2,9 $\times$ minder epochs op CIFAR-10 en 5,7 $\times$ minder stappen op WikiText-2 vereiste vergeleken met PGU-Reuse om een gelijkwaardig prestatieniveau te bereiken.
Statistische Eigenschappen: Analyse van de gewichtsupdate-matrices toonde aan dat PGU-XOR een bijna volledige rank exploratie bereikt (effectieve rank ~120), vergelijkbaar met software RNG's, terwijl PGU-Reuse inklapte naar een laag-dimensionale subspace (effectieve rank ~61,5), wat de herstelling van de perturbatie-diversiteit bevestigt.
Hardware Efficiëntie (TSMC 16-nm):
- Oppervlakte: PGU-XOR brengt een 40,3%–46,0% oppervlakte-overhead met zich mee ten opzichte van PGU-Reuse vanwege de extra Q-LFSR's.
- Energie: Hoewel PGU-XOR een iets hogere energiekosten heeft per Matrix-Vector Vermenigvuldiging (MVM) (15,2%–48,9% overhead), vermindert de snellere convergentie de totale perturbatie-energie tot 0,51 $\times$ die van PGU-Reuse voor iso-accuratesse taken.
- Vergelijking met EPZO: Vergeleken met conventionele Explicit Perturbation ZO (EPZO), reduceert IPZO met PGU-XOR de perturbatie-energie tot 0,46 $\times$ –0,83 $\times$ voor een batchgrootte van $B=64$ en $T=4$ tijdstappen. Het voordeel groeit naarmate het product $BT$ afneemt, wat het bijzonder geschikt maakt voor edge-devices.

Betekenis

Het artikel beweert dat IPZO een levensvatbaar pad biedt voor efficiënt on-chip leren in IMC-gebaseerde Spiking Transformers. Door perturbaties te verplaatsen naar het accumulatiedomein, lost de architectuur het fundamentele conflict op tussen de algoritmische behoefte aan onafhankelijke willekeurige ruis en de hardware-beperkingen van IMC (specifiek de kosten van RMW-operaties en RNG-oppervlakte). De introductie van het PGU-XOR schema demonstreert dat het mogelijk is om de RNG-hardware-overhead te reduceren via sparsity zonder de statistische onafhankelijkheid op te offeren die vereist is voor effectieve gradiënt-estimatie. De resultaten suggereren dat deze aanpak adaptieve, privacy-bewuste edge-intelligentie mogelijk maakt door ZO-gebaseerde fine-tuning energie-efficiënt en hardware-technisch haalbaar te maken op hulpbronnenbeperkte platforms.