Riepilogo Tecnico: Apprendimento di Controller Continui Quantizzati per Hardware a Interi

Problema

L'implementazione di policy di apprendimento per rinforzo (RL) per il controllo continuo su hardware embedded affronta vincoli significativi riguardanti latenza, consumo energetico e impronta di memoria. Mentre le GPU ad alte prestazioni offrono potenza computazionale, esse sono spesso troppo energivore per sistemi alimentati a batteria come nano-/micro-UAV o non riescono a soddisfare i requisari di latenza nell'ordine dei microsecondi per loop critici per la sicurezza (ad esempio, il controllo del plasma in fusione o bracci robotici). I Field-Programmable Gate Arrays (FPGA) offrono un'alterna promettente per l'inferenza a bassa latenza e basso consumo; tuttavia, soffrono di memoria on-chip limitata e dell'alto costo hardware dell'aritmetica in virgola mobile (FP32). Di conseguenza, l'implementazione di reti neurali standard in FP32 su FPGA è inefficiente. Sebbene la Quantizzazione Post-Training (PTQ) esista, essa spesso offre prestazioni inferiori rispetto alla Quantizzazione-Aware Training (QAT), in particolare per modelli piccoli e configurazioni a basso numero di bit. La sfida principale è sviluppare una pipeline che apprenda policy di controllo continuo direttamente in un regime a bassa precisione e solo intero, per consentire un'efficiente implementazione su FPGA senza sacrificare la qualità del controllo.

Metodologia

Gli autori propongono una pipeline di apprendimento-all'hardware centrata sulla Quantization-Aware Training (QAT) per il controllo continuo, mirando specificamente all'inferenza integer-only su FPGA.

1. Framework RL: Lo studio utilizza algoritmi actor-critic off-policy, Deep Deterministic Policy Gradient (DDPG) e Soft Actor-Critic (SAC), addestrati su cinque task di controllo continuo MuJoCo (Humanoid, Walker2d, Ant, HalfCheetah, Hopper).
2. Quantization-Aware Training (QAT):
   • Architettura: La rete della policy viene istanziata come una standard rete FP32 durante l'addestramento, ma dotata di strati di Quantize/De-Quantize (QDQ).
   • Meccanismo: Gli step QDQ sono inseriti all'input, dopo ogni attivazione ReLU e prima dell'output finale. Questi step simulano l'aritmetica intera tramite scaling, arrotondamento e clipping dei valori FP32 a un bitwidth target ($b$), e successivamente de-quantizzandoli nuovamente in FP32 per il calcolo del gradiente.
   • Differenziabilità: Un Straight-Through Estimator (STE) viene utilizzato per la backpropagazione dei gradienti attraverso l'operazione di arrotondamento non differenziabile.
   • Scaling: Gli scale delle attivazioni sono appresi tramite aggiornamenti del gradiente (dopo un periodo di warm-up), mentre gli scale dei pesi sono fissati al valore assoluto massimo della matrice dei pesi.
   • Ambito: Lo studio distingue tra la quantizzazione del "core" (pesi e attivazioni interne), dello stato di input e dell'output.
3. Strategia di Selezione del Modello: Viene impiegato un processo di selezione in tre fasi per trovare la configurazione più piccola e hardware-friendly che eguagli le prestazioni FP32:
   • Determinare il bitwidth minimo del core ($b_{core}$) per pesi e attivazioni interne.
   • Selezionare la larghezza minima dello strato nascosto ($h$) che mantiene le prestazioni.
   • Determinare il necessario bitwidth di input ($b_{in}$).
4. Sintesi Hardware: Le policy selezionate vengono sintetizzate su un FPGA Artix-7 (XC7A15T) utilizzando il compilatore dataflow FINN. La sintesi punta a un clock fisso di 100 MHz, ottimizzando il throughput attraverso l'aggiustamento degli elementi di elaborazione (PE) e della larghezza SIMD. L'implementazione è strettamente integer-only dopo la quantizzazione iniziale dell'input.

Risultati Chiave

Lo studio valuta la pipeline attraverso cinque ambienti MuJoCo, confrontando le policy QAT con i baseline a piena precisione (FP32) e un modello di riferimento quantizzato.

• Sensibilità al Bitwidth:
  • Le policy QAT possono raggiungere la parità con FP32 (entro una deviazione standard) con bitwidth del core così bassi come 3 bit, e in alcuni casi (es. Ant, Hopper), 2 bit sono sufficienti.
  • La quantizzazione dell'input è identificata come il collo di bottiglia primario; un alto errore di quantizzazione nel primo strato degrada significativamente le prestazioni, mentre gli strati più profondi sono più resilienti a bassi bitwidth.
  • La quantizzazione dell'output ha un impatto minimo sulle prestazioni ed è mantenuta a 8 bit per l'efficienza hardware.
• Selezione del Modello:
  • I modelli selezionati (Tabella 1) utilizzano larghezze degli strati nascosti che vanno da 16 a 256 e bitwidth del core di 2 o 3 bit.
  • Nonostante l'aggressiva riduzione, questi modelli convergono in modo simile ai baseline FP32 durante l'addestramento (Figura 2).
• Robustezza:
  • Le policy quantizzate mostrano una maggiore robustezza al rumore di input rispetto ai baseline FP32. Quando viene iniettato rumore Gaussiano nello spazio degli stati, i modelli QAT spesso eguagliano o superano le prestazioni FP32. Gli autori ipotizzano che ciò sia dovuto alla discretizzazione dello spazio degli stati durante l'addestramento, che forza la policy a rimanere stabile attraverso bin di quantizzazione adiacenti, agendo come una regolarizzazione implicita.
• Prestazioni Hardware (Sintesi FPGA):
  • Le policy a basso bitwidth selezionate sono state sintetizzate con successo su un basso-end FPGA Artix-7.
  • Latenza: Le latenze di inferenza variano da 0,2 µs (Hopper) a 243,2 µs (HalfCheetah).
  • Energia: Il consumo energetico per azione è nell'ordine dei microjoule (es. $6,5 \times 10^{-8}$ J per Hopper).
  • Confronto: Rispetto a un modello di riferimento con core a 8 bit (che spesso superava la capacità dell'FPGA o richiedeva molte più risorse), i modelli a basso bitwidth selezionati hanno ottenuto miglioramenti di ordini di grandezza nella latenza (fino a 1000x per Hopper) e riduzioni sostanziali nell'uso di potenza e risorse (LUT, FF, BRAM, DSP).

Significato e Rivendicazioni

Il documento sostiene che la Quantization-Aware Training è un metodo vitale ed efficace per implementare policy di controllo continuo RL su hardware a interi con risorse limitate.

• Fattibilità del Controllo a Basso Bitwidth: Gli autori dimostrano che i compiti di controllo continuo non richiedono necessariamente un'aritmetica in virgola mobile ad alta precisione. Le policy possono essere compresse a 2 o 3 bit per peso e attivazione mantenendo una qualità di controllo comparabile alle reti a piena precisione.
• Efficienza Hardware: Evitando costose pipeline in virgola mobile, la pipeline proposta consente l'implementazione di controller RL su piccoli FPGA a basso consumo con latenze nell'ordine dei microsecondi e costi energetici nell'ordine dei microjoule, rendendoli adatti per sistemi autonomi alimentati a batteria.
• Robustezza Inaspettata: Un risultato degno di nota è che il processo di quantizzazione stesso può migliorare la robustezza al rumore dei sensori, suggerendo che le policy addestrate con QAT potrebbero essere più affidabili in ambienti reali con sensori imperfetti.
• Limitazioni: Gli autori notano con modestia che lo studio è attualmente limitato alla simulazione (MuJoCo) e non affronta ancora i vincoli di sicurezza nel mondo reale, la sicurezza informatica o le caratteristiche specifiche del rumore dei sensori fisici oltre all'iniezione analitica. Il lavoro futuro proposto prevede test su sistemi fisici e policy basate sulla visione.