Sintesi Tecnica: Differentiable Weightless Controllers (DWC)

Problematica

Il controllo di sistemi autonomi in condizioni reali richiede spesso politiche che possano essere valutate con bassa latenza e un consumo energetico minimo. Le reti neurali profonde (DNN) standard, pur essendo efficaci per compiti di controllo continuo tramite reinforcement learning (RL), si affidano a operazioni di moltiplica-accumulo (MAC) computazionalmente intensive. Ciò le rende inefficienti per piattaforme embedded con risorse limitate come UAV e robot mobili, e persino subottimali per GPU di fascia alta rispetto alle alternative a bassa precisione.

Le soluzioni esistenti, come la quantizzazione post-training (PTQ) o la quantizzazione-aware training (QAT), mirano principalmente all'apprendimento supervisionato statico o a spazi di azione discreti. Spesso faticano a mantenere le prestazioni in contesti di controllo continuo, dove gli stati di input e le azioni di output sono valori reali, e piccoli errori di controllo possono accumularsi nel tempo. Inoltre, le DNN standard operano come "black box", offrendo una limitata interpretabilità riguardo a quali caratteristiche di input guidino specifiche decisioni di controllo.

Metodologia

Gli autori introducono i Differentiable Weightless Controllers (DWC), un'architettura simbolico-differenziabile che sostituisce le moltiplicazioni di matrici dense con la logica booleana sparsa. I DWC sono progettati per essere addestrati end-to-end tramite RL basato su gradienti, ma compilano direttamente in circuiti compatibili con FPGA.

Architettura Core

La pipeline di inferenza DWC consiste in tre fasi principali:

1. Codifica dell'Input: Le osservazioni a valori reali vengono normalizzate (clippate nell'intervallo $[-10, 10]$) e convertite in vettori binari tramite codifica a termometro. Per un input $x$, vengono definiti dei threshold $\tau_1 < \dots < \tau_B$ (basati su quantili Gaussiani dilatati), e la codifica $E(x)$ produce un vettore di bit in cui i bit sono impostati a 1 se $x \ge \tau_i$.
2. Layer Logici: I vettori binari sono elaborati da livelli di Lookup Table (LUT). Ogni LUT agisce come un neurone con $k$ input binari e un singolo output a bit. A differenza delle reti weightless tradizionali, la connettività (ovvero quali bit di input alimentano quale LUT) è apprendibile tramite straight-through estimation. Le LUT memorizzano tabelle di verità binarie, eseguendo logica booleana senza operazioni aritmetiche.
3. Decodifica dell'Output: L'ultimo livello produce output binari che vengono raggruppati per dimensione di azione. Un'operazione di popcount somma i bit in ogni gruppo. Questo valore intero viene poi mappato in un valore di azione continuo tramite una trasformazione affine addestrabile (scaling e bias) e, per il Soft Actor-Critic (SAC), un'attivazione $\tanh$ finale.

Meccanismo di Addestramento

I DWC utilizzano le Differentiable Weightless Networks (DWN) come fondamento. Per abilitare l'addestramento basato su gradienti su strutture discrete:

• Gradienti Sostitutivi: Gli autori impiegano un estimatore Extended Finite-Difference (EFD) per approssimare i gradienti attraverso le operazioni discrete delle LUT.
• Interconnessioni Apprendibili: Mentre le precedenti DWN apprendevano solo la connettività del primo livello, questo lavoro estende le interconnessioni apprendibili ai successivi livelli per migliorare la capacità di rappresentazione.
• Integrazione RL: La rete della policy è istanziata come un DWC, mentre le reti ausiliarie (critici, noise heads) in algoritmi come SAC rimangono reti standard a virgola mobile.

Contributi Chiave

1. Architettura Simbolico-Differenziabile: L'estensione delle DWN dalla classificazione al controllo continuo, consentendo la sintesi di policy di controllo che sono circuiti digitali piuttosto che funzioni a valori reali.
2. Addestramento e Prestazioni: Dimostrazione che i DWC possono essere addestrati con successo utilizzando algoritmi RL standard (SAC, DDPG, PPO), raggiungendo rendimenti competitivi con i baseline di reti neurali a piena precisione e quantizzate attraverso cinque benchmark MuJoCo.
3. Efficienza Hardware: I DWC compilano in hardware FPGA con latenza di pochi o singoli cicli di clock e un costo energetico di livello nanojoule per azione, ordini di grandezza più efficienti dei baseline quantizzati.
4. Interpretabilità: La connettività sparsa e discreta permette l'ispezione diretta della policy, rivelando quali dimensioni di input e soglie influenzano le decisioni di controllo.

Risultati Sperimentali

Gli autori hanno valutato i DWC su cinque ambienti MuJoCo: Ant, HalfCheetah, Hopper, Humanoid e Walker2d.

• Prestazioni: In quattro dei cinque compiti (Ant, Hopper, Humanoid, Walker2d), i DWC hanno ottenuto rendimenti mediani comparabili ai baseline a piena precisione (FP) e superiori o in linea con i network quantizzati a bassa precisione.
  • HalfCheetah ha presentato una sfida; i DWC standard (1024 LUT/layer) hanno ottenuto rendimenti inferiori (7.5k) rispetto ai baseline FP (11.5k). Tuttavia, una variante ad alta capacità (16.384 LUT/layer) ha colmato questo divario, raggiungendo ~10.3k, suggerendo che il compito sia limitato dalla capacità.
• Robustezza al Rumore: I DWC hanno dimostrato profili di robustezza al rumore comparabili ai network quantizzati e generalmente in linea o migliori dei baseline FP sotto rumore Gaussiano iniettato.
• Sintesi Hardware (FPGA): Sintetizzato su un FPGA AMD Xilinx Artix-7 a 100 MHz:
  • Latenza: 1–3 cicli di clock (rispetto ai 21–24.000 cicli dei baseline quantizzati).
  • Throughput: Fino a $10^8$ azioni al secondo.
  • Energia: ~2 nanojoule per azione (rispetto a $10^{-5}$ a $10^{-8}$ Joule per i baseline).
  • Risorse: I DWC non richiedevano risorse DSP o BRAM, affidandosi esclusivamente a LUT e Flip-Flop.
• Analisi dell'Interpretabilità: L'analisi della connettività ha rivelato che i DWC identificano costantemente dimensioni di input specifiche (ad esempio, la velocità del torso in Humanoid) come critiche, ignorando al contempo le dimensioni irrilevanti. La densità di connessione era massima intorno alla soglia zero normalizzata, con una distribuzione bimodale osservata in diversi compiti.

Significato e Limitazioni

Il paper sostiene che i DWC offrano una via percorribile verso un controllo a bassa latenza ed efficiente dal punto di vista energetico per dispositivi edge senza sacrificare le prestazioni del deep RL standard. Sostituendo le moltiplicazioni di matrici con la logica booleana sparsa, i DWC colmano il divario tra la flessibilità delle reti neurali e l'efficienza dei circuiti logici.

Gli autori rilevano una limitazione significativa: il costo computazionale dell'addestramento. A causa delle rilassazioni necessarie per l'addestramento basato su gradienti (gradienti sostitutivi e apprendimento delle interconnessioni), il processo di addestramento è computazionalmente oneroso e attualmente fattibile solo in ambienti simulati, non interattivamente sul dispositivo.

Questo lavoro si posiziona come un passo verso policy di controllo interpretabili e native per l'hardware, distinte dai lavori precedenti che si concentrano sul pruning o sulla quantizzazione di reti esistenti basate su pesi.