Technische Samenvatting: Differentiable Weightless Controllers (DWCs)

Probleemstelling

Het aansturen van autonome systemen onder reële omstandigheden vereist vaak beleid (policies) dat met een lage latentie en minimaal energieverbruik kan worden geëvalueerd. Standaard diepe neurale netwerken (DNN's), hoewel effectief voor continue controlesystemen via reinforcement learning (RL), vertrouwen op rekenintensieve multiply-accumulate (MAC) operaties. Dit maakt ze inefficiënt voor middelenbeperkte embedded platformen zoals UAV's en mobiele robots, en zelfs suboptimaal voor high-end GPU's vergeleken met precisie-arme alternatieven.

Bestaande oplossingen, zoals post-training quantisatie (PTQ) of quantization-aware training (QAT), richten zich primair op statische supervised learning of discrete actieruimtes. Ze hebben vaak moeite met het behouden van prestaties in continue controlesettings waar inputtoestanden en outputacties reële waarden zijn, en waar kleine controlefouten zich in de loop van de tijd kunnen opstapelen. Bovendien werken standaard DNN's als "black boxes", wat leidt tot een beperkte interpreteerbaarheid met betrekking tot welke inputkenmerken specifieke controlebeslissingen aansturen.

Methodologie

De auteurs introduceren Differentiable Weightless Controllers (DWCs), een symbolisch-differentieerbare architectuur die dense matrixvermenigvuldigingen vervangt door ijle (sparse) booleaanse logica. DWCs zijn ontworpt om end-to-end getraind te worden via gradiëntgebaseerde RL, maar compileren direct naar FPGA-compatibele circuits.

Kernarchitectuur

De DWC-inferentiepipeline bestaat uit drie hoofdfasen:

1. Input Encoding: Reële observaties worden genormaliseerd (afgekapt tussen $[-10, 10]$) en omgezet in binaire vectoren met behulp van thermometer encoding. Voor een input $x$ worden drempelwaarden $\tau_1 < \dots < \tau_B$ gedefinieerd (gebaseerd op stretched-Gaussian kwantielen), en de encoding $E(x)$ produceert een bitvector waarbij bits op 1 worden gezet als $x \ge \tau_i$.
2. Logica-lagen: De binaire vectoren worden verwerkt door lagen van Lookup Tables (LUT's). Elke LUT fungeert als een neuron met $k$ binaire inputs en een enkelvoudige bit-output. In tegenstelling tot traditionele weightless netwerken is de connectiviteit (welke inputbits in welke LUT terechtkomen) leerbaar via straight-through estimation. De LUT's slaan binaire waarheidstafels op en voeren booleaanse logica uit zonder rekenkundige operaties.
3. Output Decoding: De laatste laag produceert binaire outputs die gegroepeerd worden per actiedimensie. Een popcount operatie telt de bits in elke groep op. Deze gehele som wordt vervolgens via een leerbare affine transformatie (schaling en bias) naar een continue actiewaarde gemapt, en voor Soft Actor-Critic (SAC) volgt een finale $\tanh$-activatie.

Trainingsmechanisme

DWCs maken gebruik van Differentiable Weightless Networks (DWNs) als fundament. Om gradiëntgebaseerde training op discrete structuren mogelijk te maken:

• Surrogaatgradiënten: De auteurs gebruiken een Extended Finite-Difference (EFD) estimator om gradiënten te benaderen door de discrete LUT-operaties heen.
• Leerbare Interconnects: Waar eerdere DWNs alleen de connectiviteit van de eerste laag leerden, breidt dit werk leerbare interconnects uit naar opeenvolgende lagen om de representatiecapaciteit te verbeteren.
• RL Integratie: Het beleidsnetwerk wordt geïnstantieerd als een DWC, terwijl hulpnetwerken (critics, noise heads) in algoritmen zoals SAC standaard floating-point netwerken blijven.

Belangrijkste Bijdragen

1. Symbolisch-Differentieerbare Architectuur: De uitbreiding van DWNs van classificatie naar continue controle, wat de synthese van controlebeleid mogelijk maakt dat bestaat uit digitale circuits in plaats van reële functies.
2. Training en Prestaties: Demonstratie dat DWCs succesvol getraind kunnen worden met standaard RL-algoritmen (SAC, DDPG, PPO), waarbij ze returns bereiken die competitief zijn met full-precision en gekwantiseerde neurale netwerk-baselines over vijf MuJoCo benchmarks.
3. Hardware Efficiëntie: DWCs compileren naar FPGA-hardware met een latentie van enkele of één klokcyclus en een energieverbruik op nanojoule-niveau per actie, wat ordes van grootte efficiënter is dan gekwantiseerde baselines.
4. Interpreteerbaarheid: De ijle, discrete connectiviteit maakt directe inspectie van het beleid mogelijk, waardoor zichtbaar wordt welke inputdimensies en drempelwaarden de controlebeslissingen beïnvloeden.

Experimentele Resultaten

De auteurs evalueerden DWCs op vijf MuJoCo-omgevingen: Ant, HalfCheetah, Hopper, Humanoid, en Walker2d.

• Prestaties: Over vier van de vijf taken (Ant, Hopper, Humanoid, Walker2d) behaalden DWCs mediane returns die vergelijkbaar zijn met full-precision (FP) baselines en superieur aan of gelijk aan low-precision gekwantiseerde netwerken.
  • HalfCheetah vormde een uitdaging; standaard DWCs (1024 LUT's/laag) behaalden lagere returns (7.5k) dan FP baselines (11.5k). Echter, een variant met een hoge capaciteit (16.384 LUT's/laag) verkleinde deze kloof en behaalde ~10.3k, wat suggereert dat de taak capaciteitsgelimiteerd is.
• Ruisrobuustheid: DWCs vertoonden profielen van ruisrobuustheid die vergelijkbaar zijn met gekwantiseerde netwerken en waren over het algemeen gelijk aan of beter dan FP baselines onder geïnjecteerde Gaussische ruis.
• Hardware Synthese (FPGA): Gesynthetiseerd op een AMD Xilinx Artix-7 FPGA bij 100 MHz:
  • Latentie: 1–3 klokcycli (vs. 21–24.000 cycli voor gekwantiseerde baselines).
  • Doorvoersnelheid: Tot $10^8$ acties per seconde.
  • Energie: ~2 nanojoules per actie (vs. $10^{-5}$ tot $10^{-8}$ Joule voor baselines).
  • Resources: DWCs vereisten geen DSP of BRAM resources, maar vertrouwden uitsluitend op LUT's en Flip-Flops.
• Interpreteerbaarheidsanalyse: Connectiviteitsanalyse toonde aan dat DWCs consistent specifieke inputdimensies (bijv. torsosnelheid in Humanoid) als kritiek identificeren, terwijl irrelevante dimensies worden genegeerd. De connectiedichtheid was het hoogst rond de genormaliseerde nul-drempelwaarde, waarbij in verschillende taken een bimodale verdeling werd waargenomen.

Betekenis en Beperkingen

Het artikel stelt dat DWCs een levensvatbaar pad bieden naar lage-latentie, energie-efficiënte controle voor edge-devices zonder in te boeten op de prestaties van standaard deep RL. Door matrixvermenigvuldigingen te vervangen door ijle booleaanse logica, overbruggen DWCs de kloof tussen de flexibiliteit van neurale netwerken en de efficiëntie van logische circuits.

De auteurs merken een belangrijke beperking op: de computationele kosten van training. Vanwege de relaxaties die nodig zijn voor gradiëntgebaseerde training (surrogaatgradiënten en het leren van interconnects), is het trainingsproces computationeel duur en momenteel alleen haalbaar in gesimuleerde omgevingen, niet interactief op het apparaat zelf.

Dit werk positioneert zich als een stap richting interpreteerbare, hardware-native controlebeleid, dat verschilt van eerder werk dat zich richt op het snoeien (pruning) of kwantiseren van bestaande gewichtsgebaseerde netwerken.