Lyapunov-Guided Training for Hardware-Safe Neural Networks Under Fixed-Point Arithmetic

Technische Samenvatting: Lyapunov-gestuurde Training voor Hardware-veilige Neurale Netwerken onder Fixed-Point Rekenkunde

1. Probleemstelling

De implementatie van diepe neurale netwerken op hardware met beperkte middelen (bijv. FPGA's, embedded processoren) leunt zwaar op lage-precisie rekenkunde om het geheugenvoetafdruk, de bandbreedte en het energieverbruik te verminderen. Hoewel standaard kwantisatieonderzoek zich richt op afrondingsfouten, clipping en kalibratie, negeert het vaak een kritieke foutmodus die inherent is aan praktische fixed-point hardware: two's-complement overflow wrapping.

In tegenstelling tot verzadigende rekenkunde, waarbij overgelopen waarden worden afgekapt naar de maximale of minimale representeerbare integer, veroorzaakt wrapping-rekenkunde dat waarden "ronddraaien" binnen het eindige integerbereik. Dit betekent dat een grote positieve waarde een grote negatieve waarde kan worden, en vice versa. In diepe architecturen zoals ResNets en Transformers, die kunnen worden beschouwd als diepte-geïndexeerde dynamische systemen, introduceert dit wrapping discontinue teken- en magnitudefouten in de verborgen activaties. Deze fouten corrumperen de toestandstrajectorie, wat leidt tot instabiele numerieke foutpropagatie en catastrofale nauwkeurigheidsdegradatie, zelfs wanneer de nominale bitbreedte voldoende lijkt te zijn. Huidige quantisation-aware training (QAT) methoden, die doorgaans uitgaan van geïdealiseerde clipping of de wrapping-dynamiek negeren, falen in het voorkomen van deze instabiliteit en resulteren vaak in een nauwkeurigheid die dicht bij de kansverdeling ligt onder hardware-stijl wrapping.

2. Methodologie

Het artikel stelt een Lyapunov-gestabiliseerde kwantisatie-framework voor, ontworpen om expliciet de interne toestandstrajectorie van neurale netwerken te controleren die opereren onder wrapping-rekenkunde. De kernmethodologie behandelt het netwerk als een discrete-tijd dynamisch systeem en dwingt stabiliteit af via een laag-per-laag energiebeperking.

• Systeemmodel: Het netwerk wordt gemodelleerd als een sequentie van verborgen toestanden $h_\ell$ die worden bijgewerkt door niet-lineaire transformaties. De auteurs definiëren een genormaliseerde laag-per-laag Lyapunov-energiefunctie:
  $$V(h_\ell) = \frac{1}{TD} \|h_\ell\|_F^2$$
  waarbij $T$ het aantal tokens is en $D$ de embedding-dimensie. Deze energiegrootheid vertegenwoordigt de gemiddelde magnitude van de verborgen toestand.

• Monotoon Lyapunov-projectie: Om te voorkomen dat de verborgen toestand in overflow-gevoelige regio's terechtkomt, introduceren de auteurs een hard projectiemechanisme. Voor een onbeperkte bijgewerkte toestand $z_{\ell+1}$ wordt de geprojecteerde toestand $h_{\ell+1}$ beperkt door:
  $$V(h_{\ell+1}) \leq \min\{V(h_\ell), V_{\max}\}$$
  Hier is $V_{\max}$ een veilige energie-drempelwaarde afgeleid van het 99e percentiel van de initiële trainingsset token-energie, geschaald met een veiligheidsmarge ($\gamma = 1.20$). De projectie schaalt de toestandvector als de energie de doelwaarde overschrijdt, waardoor de energie zowel begrensd als niet-toenemend over de diepte wordt gehouden.

• Hardware-bewuste Forward Pass: Een cruciaal aspect van de methode is de volgorde van operaties om rekening te houden met wrapping. De voorgestelde forward pass voert als volgt uit:

  1. Bereken de onbeperkte full-precision update.
  2. Pas fixed-point kwantisatie toe met wrapping-rekenkunde (simulatie van hardware write-back).
  3. Pas de Lyapunov-projectie toe op de gewrapte toestand.
  4. Voer een "repair projection" uit na een laatste kwantisatiestap om te garanderen dat de fixed-point write-back de Lyapunov-beperking niet schendt.

• Trainingsdoelstelling: In Quantisation-Aware Training (QAT) wordt de standaard cross-entropy loss geminimaliseerd onder de gedefinieerde laag-per-laag geprojecteerde dynamica. In tegen tegenstelling tot zachte regularisatie, dwingt deze aanpak een harde beperking op de toestandstrajectorie af.

3. Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

1. Probleemformulering: Het frameert fixed-point neurale netwerkkwantisatie met overflow wrapping als een probleem van verborgen toestandstabiliteit, waarmee het onderscheid maakt met standaard kwantisatiefoutanalyse.
2. Mechanismeontwerp: Het introduceert een monotone Lyapunov-projectiemechanisme dat een begrensde en niet-toenemende laag-per-laag energie afdwingt, waarbij de verborgen toestand direct wordt beperkt in plaats van enkel de kwantisatieruis.
3. Hardware-bewustzijn: Het framework modelleert expliciet two's-complement wrapping en fixed-point write-back, wat fungeert als een stabilisatiemechanisme specifiek voor hardware-stijl rekenkunde.
4. Empirisch Bewijs: Het demonstreert dat activatie-overflow, in plaats van enkel de reductie van de bitbreedte, een dominante foutmodus is in lage-precisie netwerken, en dat stabiliteitscontrole de leerprestaties kan herstellen.

4. Experimentele Resultaten

De methode werd geëvalueerd op de MNIST-dataset met behulp van een compacte patch-gebaseerde transformer (4 lagen, 16 tokens, 64-dimensionale embeddings) onder signed fixed-point rekenkunde met bitbreedtes variërend van 4 tot 16 bits.

• Onbeperkt Falen: Standaard QAT met wrapping-rekenkunde stortte in naar een nauwkeurigheid nabij de kansverdeling (ongeveer 10–11%) over 6–16 bits, ondanks het verhogen van de precisie. De activatie-overflow rates in deze onbeperkte modellen overschreden 11% (piekend op ~13,9% bij 8 bits).
• Stabilisatiesucces: De voorgestelde Lyapunov-geprojecteerde QAT herstelde stabiel leren. Bij 12 bits bereikte het geprojecteerde model een nauwkeurigheid van 86,55% ± 0,65%, vergeleken met de ~9,87% van de onbeperkte wrapped QAT.
• Overflow Onderdrukking: De projectie onderdrukte de activatie-overflow succesvol tot 0,009% bij 12 bits (vergeleken met 13,6% in het onbeperkte geval).
• Energiecontrole: De maximale genormaliseerde verborgen toestandenergie werd verminderd van 6,26 (in de full-precision onbeperkte training) naar 0,36 in het geprojecteerde model, wat de handhaving van een veilige energie bevestigt.
• PTQ Prestaties: Post-training kwantisatie (PTQ) profiteerde ook aanzienlijk; bij 6 bits verbeterde de nauwkeurigheid van 64,65% naar 80,83% met de projectie.

5. Betekenis en Claims

Het artikel betoogt dat robuust lage-precisie leren meer vereist dan enkel kwantisatie-bewuste optimalisatie; het vereist expliciete controle van de interne toestandstrajectorie. De auteurs stellen dat:

• Stabiliteit is Cruciaal: Onstabiele groei van de verborgen toestand in diepe netwerken leidt direct tot corruptie van de toestand door overflow onder wrapping-rekenkunde, waar standaard kwantisatiemethoden niet tegen bestand zijn.
• Lyapunov-controle als Veiligheid: Lyapunov-gebaseerde toestandcontrole fungeert als een effectief hardware-bewust veiligheidsmechanisme. Door de energie van de verborgen toestand binnen een "veilige set" te houden, vermijdt het netwerk de discontinue tekenveranderingen veroorzaakt door wrapping.
• Trade-off: De methode biedt een betekenende stabiliteit-nauwkeurigheid trade-off. Hoewel onbeperkte full-precision training de hoogste nauwkeurigheid oplevert (89,15%), staat dit gevaarlijke energiegroei toe. Het Lyapunov-geconstreerde model offert een bescheiden hoeveelheid nauwkeurigheid op (ongeveer 2,2 procentpunten in full precision) om een 17,4x reductie in maximale verborgen toestandenergie te bereiken en maakt betrouwbaar trainen bij lage bitbreedtes mogelijk (bijv. 12 bits) waar onbeperkte methoden volledig falen.

De auteurs concluderen dat het beschouwen van lage-precisie inferentie en training als een dynamisch stabiliteitsprobleem, in plaats van enkel een numeriek benaderingsprobleem, essentieel is voor het betrouwbaar implementeren van neurale netwerken op fixed-point hardware. Toekomstig werk wordt gesuggereerd voor grotere datasets, diepere architecturen en hardware-in-the-loop implementaties.