Lyapunov-Guided Training for Hardware-Safe Neural Networks Under Fixed-Point Arithmetic

Riepilogo Tecnico: Addestamento Guidato da Lyapunov per Reti Neurali Hardware-Safe sotto Aritmetica a Virgola Fissa

1. Definizione del Probleo

L'implementazione di reti neurali profonde su hardware con risorse limitate (ad es. FPGA, processori embedded) si basa pesantemente sull'aritmetica a bassa precisione per ridurre l'impronta di memoria, la larghezza di banda e il consumo energetico. Mentre la ricerca standard sulla quantizzazione si concentra spesso sugli errori di arrotondamento, clipping e calibrazione, essa trascura frequentemente un modo di guasto critico inerente all'hardware a virgola fissa pratico: l'overflow per wrapping (avvolgimento) dell'aritmetica in complemento a due.

A differenza dell'aritmetica di saturazione, dove i valori in overflow vengono troncati al valore massimo o minimo rappresentabile, l'aritmetica di wrapping causa il "riavvolgimento" attraverso l'intervallo finito degli interi. Di conseguenza, un valore positivo elevato può diventare un valore negativo elevato, e viceversa. In architetture profonde come le ResNet e i Transformer, che possono essere viste come sistemi dinamici indicizzati in profondità, questo wrapping introduce errori discontinui di segno e magnitudo nei segnali di attivazione nascosti. Tali errori corrompono la traiettoria dello stato, portando a una propagazione instabile dell'errore numerico e a un degrado catastrofico dell'accuratezza, anche quando la larghezza di bit nominale appare sufficiente. Gli attuali metodi di addestramento consapevole della quantizzazione (QAT), che tipicamente assumono una quantizzazione ideale o ignorano la dinamica di wrapping, non riescono a prevenire questa instabilità, portando spesso a un'accuratezza vicina al caso casuale sotto l'aritmetica di wrapping tipica dell'hardware.

2. Metodologia

Il documento propone un framework di quantizzazione stabilizzato da Lyapunov progettato per controllare esplicitamente la traiettoria dello stato interno delle reti neurali operanti sotto aritmetica di wrapping. La metodologia principale tratta la rete come un sistema dinamico a tempo discreto e impone la stabilità attraverso un vincolo di energia per livello.

• Modello di Sistema: La rete è modellata come una sequenza di stati nascosti $h_\ell$ aggiornati da trasformazioni non lineari. Gli autori definiscono una funzione di energia di Lyapunov normalizzata per livello:
  $$V(h_\ell) = \frac{1}{TD} \|h_\ell\|_F^2$$
  dove $T$ è il numero di token e $D$ è la dimensione dell'embedding. Questa metrica di energia rappresenta la magnitudo media dello stato nascosto.

• Proiezione Monotona di Lyapunov: Per evitare che lo stato nascosto entri in regioni soggette a overflow, gli autori introducono un meccanismo di proiezione rigida. Per uno stato aggiornato non vincolato $z_{\ell+1}$, lo stato proiettato $h_{\ell+1}$ è vincolato affinché soddisfi:
  $$V(h_{\ell+1}) \leq \min\{V(h_\ell), V_{\max}\}$$
  Qui, $V_{\max}$ è una soglia di energia sicura derivata dal 99° percentile dell'energia dei token del set di addestramento iniziale, scalata con un margine di sicurezza ($\gamma = 1.20$). La proiezione scala il vettore di stato se la sua energia supera il target, garantendo che l'energia sia sia limitata che non crescente attraverso la profondità.

• Forward Pass Hardware-Aware: Un aspetto critico del metodo è l'ordine delle operazioni per tenere conto del wrapping. Il forward pass proposto viene eseguito come segue:

  1. Calcolare l'aggiornamento non vincolato a precisione completa.
  2. Applicare la quantizzazione a virgola fissa con aritmetica di wrapping (simulando la scrittura in hardware).
  3. Applicare la proiezione di Lyapunov allo stato avvolto (wrapped).
  4. Eseguire una "proiezione di riparazione" dopo un passaggio finale di quantizzazione per garantire che la scrittura in virgola fissa non violi il vincolo di Lyapunov.

• Obiettivo di Addestamento: Nell'addestramento consapevole della quantizzazione (QAT), la standard loss di cross-entropy viene minimizzata soggetta alla dinamica proiettata per livello definita sopra. A differenza della regolarizzazione soft, questo approccio impone un vincolo rigido sulla traiettoria dello stato.

3. Contributi Chiave

Il documento presenta quattro contributi primari:

1. Formulazione del Probleo: Inquadra la quantizzazione di reti neurali a virgola fissa con overflow di wrapping come un problema di stabilità dello stato nascosto, distinguendolo dall'analisi standard dell'errore di quantizzazione.
2. Design del Meccanismo: Introduce un meccanismo di proiezione di Lyapunov monotona che impone un'energia per livello limitata e non crescente, vincolando direttamente lo stato nascosto piuttosto che solo il rumore di quantizzazione.
3. Consapevolezza dell'Hardware: Il framework modella esplicitamente il wrapping in complemento a due e la scrittura in virgola fissa, agendo come un meccanismo di stabilizzazione specifico per l'aritmetica di tipo hardware.
4. Evidenza Empirica: Dimostra che l'overflow delle attivazioni, piuttosto che la sola riduzione della larghezza di bit, è un modo di guasto dominante nelle reti a bassa precisione, e che il controllo della stabilità può ripristinare le prestazioni di apprendimento.

4. Risultati Sperimentali

Il metodo è stato valutato sul dataset MNIST utilizzando un transformer compatto basato su patch (4 livelli, 16 token, 64 dimensioni di embedding) sotto aritmetica a virgola fissa con segno e larghezze di bit comprese tra 4 e 16 bit.

• Fallimento Non Vincolato: Il QAT standard con aritmetica di wrapping è crollato a un'accuratezza vicina al caso casuale (circa 10–11%) tra 6 e 16 bit, nonostante l'aumento della precisione. I tassi di overflow delle attivazioni in questi modelli non vincolati superavano l'11% (raggiungendo un picco di circa il 13,9% a 8 bit).
• Successo della Stabilizzazione: Il QAT proiettato tramite Lyapunov ha ripristinato un apprendimento stabile. A 12 bit, il modello proiettato ha raggiunto un'accuratezza dell'86,55% ± 0,65%, rispetto al ~9,87% del QAT con wrapping non vincolato.
• Soppressione dell'Overflow: La proiezione ha soppresso con successo l'overflow delle attivazioni allo 0,009% a 12 bit (rispetto al 13,6% nel caso non vincolato).
• Controllo dell'Energia: L'energia massima normalizzata dello stato nascosto è stata ridotta da 6,26 (nell'addestramento non vincolato a precisione completa) a 0,36 nel modello proiettato, confermando l'applicazione di un set di energia sicuro.
• Performance PTQ: Anche la quantizzazione post-training (PTQ) ha beneficiato significativamente; a 6 bit, l'accuratezza è migliorata dal 64,65% all'80,83% grazie alla proiezione.

5. Significato e Rivendicazioni

Il documento sostiene che un apprendimento robusto a bassa precisione richiede più di una semplice ottimizzazione consapevole della quantizzazione; necessita di un controllo esplicito della traiettoria dello stato interno. Gli autori affermano che:

• La Stabilità è Critica: La crescita instabile dello stato nascosto nelle reti profonde porta direttamente alla corruzione dello stato indotta dall'overflow sotto l'aritmetica di wrapping, che i metodi di quantizzazione standard non riescono ad affrontare.
• Controllo di Lyapunov come Sicurezza: Il controllo dello stato basato su Lyapunov agisce come un efficace meccanismo di sicurezza consapevole dell'hardware. Mantenendo l'energia dello stato nascosto entro un "set sicuro", la rete evita i cambiamenti di segno discontinui causati dal wrapping.
• Compromesso (Trade-off): Il metodo offre un significativo compromesso tra stabilità e accuratezza. Sebbene l'addestramento non vincolato a precisione completa produca l'accuratezza più elevata (89,15%), esso permette una pericolosa crescita dell'energia. Il modello vincolato da Lyapunov sacrifica una modesta quantità di accuratezza (circa 2,2 punti percentuali in precisione completa) per ottenere una riduzione di 17,4 volte dell'energia massima dello stato nascosto e consentire un addestramento affidabile a basse larghezze di bit (ad es. 12 bit) dove i metodi non vincolati falliscono completamente.

Gli autori concludono che vedere l'inferenza e l'addestramento a bassa precisione come un problema di stabilità dinamica, piuttosto che esclusivamente come un problema di approssimazione numerica, è essenziale per l'implementazione di reti neurali affidabili su hardware a virgola fissa. Si suggerisce come lavoro futuro l'estensione a dataset più grandi, architetture più profonde e implementazioni hardware-in-the-loop.