Technische Samenvatting: Sparse by Command

Probleemstelling

Multi-task inferentiemodellen, met name in real-time autonome systemen, maken gebruik van een enkele neurale netwerkbackbone om diverse operationele modi te bedienen (bijv. rijstrook volgen, afslaan, remmen). Hoewel deze modellen parameters delen, voert de huidige hardware identieke berekeningen uit, ongeacht de actieve taak. Deze uniforme uitvoering verspilt energie en cycli aan taakonrelevante operaties, zoals het ophalen van gewichten en het verwerken van outputkanalen die niet vereist zijn voor het specifieke commando.

Bestaande oplossingen vallen uiteen in twee categorieën met duidelijke beperkingen:

1. Statische Sparse Accelerators: Ontwerpen zoals SCNN en Cambricon-S maken gebruik van singulariteit die bepaald is tijdens de training of compilatie. Deze patronen zijn statisch en passen zich niet aan op basis van runtime-taaksignalen.
2. Dynamische Neurale Netwerken: Benaderingen zoals SkipNet en BlockDrop leren input-conditionele gating-policies. Echter, op standaard GPU's/CPU's leidt het "overslaan" van een blok vaak nog steeds tot overhead (het ophalen van gewichten, het alloceren van registers) omdat de hardware niet is afgestemd op de granulariteit van het overslaan. Bijgevolg vertalen reducties in FLOPs zich niet in evenredige snelheidsverbeteringen op echte accelerators.

Er bestaat een kritieke kloof: multi-task modellen bezitten een runtime-signaal — het taakcommando — dat bekend is vóór de inferentie begint en stabiel blijft gedurende de duur van de taak. Voorgaand werk heeft dit signaal niet benut om gestructureerde, hardware-afgestemde singulariteit (sparsity) aan te drijven.

Methodologie

De auteurs presenteren een full-stack hardware/software co-design systeem dat de brug slaat tussen dynamische neurale netwerken en sparse hardware accelerators. De aanpak bestaat uit drie geïntegreerde componenten:

1. Taak-conditionele Gating Network

Een lichtgewicht Multi-Layer Perceptron (MLP) brengt een discrete taakcommando-vector (bijv. "links afslaan", "remmen") in kaart naar een binaire executie-masker over de output feature-tiles van de backbone.

• Granulariteit: De accelerator verwerkt gegevens in vaste grootte "tiles" (groepen outputkanalen). Het gating netwerk voorspelt een binair masker voor elke tile.
• Trainingspipeline: Het systeem maakt gebruik van een driefasig trainingsproces:
  • Fase 1: Train een dense backbone.
  • Fase 2: Train de backbone en het gating netwerk gezamenlijk met een soft mask en een sparsity penalty ($\lambda$) om tile-pruning te stimuleren.
  • Fase 3: Binariseer de maskers met een harde drempelwaarde en de straight-through estimator, en verfijn de backbone om onder discrete tile-executie te opereren.
• Efficiëntie: Het gating netwerk voegt minder dan 0,12% toe aan het totale aantal parameters en produceert maskers in nanoseconden, waardoor de overhead effectief tot nul wordt gereduceerd over de honderden frames die een enkel commando aanhoudt.

2. Instruction Set Architecture (NISA)

De auteurs introduceren een Neural Instruction Set Architecture (NISA) die van nature ondersteuning biedt voor tile-level sparsity.

• Codering: Elke 64-byte instructie bevat een 128-bit bitmask-veld dat de actieve/inactieve status van de output feature-tiles voor die laag weergeeft.
• Executie: De hardware scheduler leest deze maskers. Als een tile gemaskeerd is (bit = 0), slaat de tile manager de gehele executie-pipeline voor die tile over: geen gewichtsophalen, geen activatie laden en geen berekening. Dit overslaan plant zich voort naar opeenvolgende lagen, aangezien gemaskeerde outputs niet worden geladen als inputs voor de volgende laag.

3. Tiled Inference Accelerator

Een aangepaste FPGA-accelerator (geïmplementeerd op AMD/Xilinx Alveo U50) is ontworpen om deze gemaskeerde instructies zonder overhead uit te voeren.

• Architectuur: Beschikt over een double-buffered geheugensysteem, INT8 datapath en configureerbare parallellisme (OC_PAR, IC_PAR, PP_PAR).
• Tile Manager: Orquestreert de DMA- en compute-pipelines. Het controleert de instructie-bitmask voordat het start met DMA of compute voor een tile. Gesprongen tiles kosten slechts één cyclus voor de bit-check en de verschuivingsregister-stap.
• Zero Overhead: De datapath blijft ongewijzigd; sparsity wordt volledig gecontroleerd via instructie-niveau maskers.

Belangrijkste Bijdragen

1. Taak-conditionele Gating Mechanisme: Een methode om per-tile binaire executie-maskers te voorspellen vanuit een taakcommando-vector, gezamenlijk getraind met de backbone om te leren welke tiles overbodig zijn voor specifieke taken.
2. Native Tile Mask ISA: Een instruction set architecture die per-tile bitmask velden meedraagt, waardoor de hardware gemaskeerde tiles volledig kan overslaan zonder software-interventie of datapath-modificatie.
3. Co-Designed Accelerator: Een tiled inference accelerator met INT8-ondersteuning en cyclus-nauwkeurige prestatietellers die van nature sparse tile-instructies uitvoert, wat aantoont dat tile-level sparsity hardwareondersteuning vereist om snelheidswinst te behalen.
4. End-to-End Evaluatie: Een full-stack evaluatie op een FPGA geïntegreerd met de CARLA autonomous driving simulator, waarbij significante latentie- en energie-reducties worden aangetoond terwijl de kwaliteit van het rijgedrag behouden blijft.

Resultaten

Het systeem is geëvalueerd op een closed-loop visuomotorische rijtaak met zes verschillende commando's (bijv. rijstrook volgen, links afslaan, remmen).

• Sparsity en FLOPs: Taak-conditionele sparsity vermindert de FLOPs met 66–76% over verschillende commando's. De pruning is taakafhankelijk; bijvoorbeeld, "Remmen" pruneert agressiever (18,7% actieve tiles) dan "Links afslaan" (31,3% actieve tiles).
• Latentie: De on-device latentie neemt af met 51–59%, van 9,12 ms (dense) naar 3,74–4,44 ms (sparse), wat een 2,1–2,4× snelheidsverhoging betekent.
• Energie: De energie per inferentie daalt van 263 mJ naar 108–128 mJ.
• Rijkwaliteit: Het sparse model behoudt 100% route voltooiing op moeilijke evaluatieroutes met een Cross-Track Error (CTE) die vergelijkbaar met of beter dan de dense baseline is.
• Vergelijking met Statische Pruning: Statische gestructureerde pruning stort in prestaties in bij ~50% sparsity, terwijl de taak-conditionele aanpak de getrouwheid behoudt bij 69–81% sparsity.
• Vergelijking met GPU: Op een NVIDIA RTX 4090 resulteert het toepassen van dezelfde maskers in een vertraging van 22% vergeleken met dense executie, omdat de GPU nog steeds gewichten ophaalt en cores bezet houdt. Dit benadrukt dat tile-level sparsity alleen snelheidswinst oplevert wanneer het wordt ondersteund door dedicated hardware die fetch en compute overslaat.
• Generaliteit: Het mechanisme is succesvol uitgebreid naar een ViT-Base backbone, waarbij MLP-tiles werden gemaskeerd en een 40–62% FLOP-reductie werd bereikt, wat de toepasbaarheid buiten CNN's bevestigt.

Betekenis en Claims

Het artikel claimt dat taak-conditionele sparsity een onderscheidend en effectief paradigma is dat gebruikmaakt van de inherente structuur van multi-task modellen. In tegen tegenstelling tot voorgaand werk, dat sparsity behandelt als een statische eigenschap of vertrouwt op input-afhankelijke gating die per-input overhead met zich meebrengt, gebruikt deze aanpak het taakcommando — een "gratis" signaal dat beschikbaar is vóór de inferentie — om gestructureerde, hardware-afgestemde skipping aan te drijven.

De auteurs benadrukken dat hun bijdrage niet louter een nieuw pruning-algoritme is, maar een full-stack co-design die bewijst dat tile-level sparsity specifieke hardwareondersteuning (ISA en accelerator) vereist om FLOP-reducties te vertalen naar werkelijke latentie- en energiebesparingen. Ze demonstreren dat zonder deze hardware-afstemming, sparsity-mechanismen de prestaties op algemene accelerators zoals GPU's kunnen verslechteren. Het werk legt een fundament voor efficiënte, taak-adaptieve inferentie in edge autonome systemen waar stroomverbruik en latentie kritieke beperkingen zijn.