Technische Samenvatting: TREA – Een energiezuinige, tijdmultiplexed randversneller met lage precisie

Probleemstelling

Edge Vision en Visual AI (EV2AI)-systemen, die worden ingezet op hulpbronnenbeperkte embedded platforms voor taken zoals objectdetectie en scèneherkenning, staan voor een fundamenteel trilemma tussen nauwkeurigheid, latentie en energieverbruik. State-of-the-art modellen, zoals ViT-G, vereisen miljarden parameters en enorme vermenigvuldigings- en accumulatiebewerkingen (MAC), wat leidt tot onaanvaardbare energiekosten die worden gedomineerd door geheugentoegang (toegang tot off-chip DRAM kan tot 640 pJ per toegang kosten). Bestaande versnellerontwerpen adresseren vaak kwantisatie, pruning, het ontwerp van MAC-eenheden of architecturale hergebruik in isolatie, zonder een unified co-design framework dat de volledige stack van algoritme tot hardware bestrijkt. Bovendien lijden conventionele MAC-eenheden aan uitbreiding van de bit-breedte van de accumulator en hoge hardware- overhead, terwijl eenheden voor niet-lineaire activeringsfuncties (NAF) tot 25% van het totale oppervlak van de versneller kunnen verbruiken.

Methodologie

Het artikel stelt TREA voor, een unified rand-AI-versnellerarchitectuur die rekenkundige datapaden, pruningpatronen, hergebruik van activeringen en uitvoerschema's per laag gezamenlijk optimaliseert. De methodologie rust op drie kerncomponenten die in co-design zijn ontwikkeld:

1. MSD-geleide Power-of-Two-kwantisatie (MSD-PoTQ8) & DQ-MAC:
   De auteurs stellen een multiplier-vrije Dual-Precision (4/8-bit) SIMD Multiply-Accumulate (DQ-MAC)-eenheid voor. In plaats van conventionele vermenigvuldiging maakt deze gebruik van een Most-Significant-Digit-First (MSDF) verschuif-en-voeg-berekening gebaseerd op decompositie in machten van twee.

   • Pre-accumulatie Truncatie: Het schema benadert gewichten met behulp van voorzeichen-machten van twee. Cruciaal wordt truncatie uitgevoerd voor accumulatie, wat de vereiste bit-breedte van de accumulator verkleint en hardware voor kwantisatie na de vermenigvuldiger elimineert.
   • Dual-Precision SIMD: De eenheid ondersteunt 4-bit of 8-bit vastkomma-bewerkingen. Door tijdmultiplexing op digitaalniveau kan een enkele hardware-instantie vier 4-bit bewerkingen of één 8-bit bewerking per cyclus uitvoeren, wat een doorvoerverhoging tot 4x bereikt zonder hardware-duplicatie.

2. Gestructureerde Hardware-bewuste Reductieve Pruning (SHARP):
   Om de benutting van de 4-lane SIMD datapad te maximaliseren, introduceren de auteurs SHARP, een pruningstrategie die sparsiteitspatronen direct afstemt op de hardware-uitvoergrootte.

   • Uitlijning: In tegenstelling tot standaard gestructureerde pruning, dwingt SHARP behoudsratio's van gewichten per kernel af (4:9 voor 3x3-kernels en 12:25 voor 5x5-kernels) die exacte veelvouden zijn van de SIMD-breedte.
   • Planning: Deze uitlijning zorgt voor volledige lane-benutting, elimineert gedeeltelijk bezette uitvoercycli en transformeert pruning in een hardware-efficiënt planningsmechanisme.

3. Hergeconfigureerbare, Kwantisatie-gestuurde Niet-Lineaire Activering (RQ-NAF):
   Een enkele, gedeelde CORDIC-gebaseerde kern implementeert Sigmoid, Tanh en ReLU-functies.

   • Tijdmultiplexing: In plaats van afzonderlijke hardware te instantiëren voor elke neuron of laag, wordt een enkele 9-traps gepipelinde RQ-NAF-kern tijdmultiplexed over het netwerk.
   • Efficiëntie: Na een initiële opvulling van de pipeline produceert het één output per cyclus, wat de area-overhead aanzienlijk verlaagt terwijl het runtime-selectie van activeringsfuncties ondersteunt.

De volledige TREA-architectuur integreert een 1D-array van 100 SIMD DQ-MAC-eenheden met de gedeelde RQ-NAF-kern, aangestuurd door een unified engine die hergebruik van hardware per laag en tiling beheert.

Belangrijkste Bijdragen

Het artikel beschrijft de volgende specifieke bijdragen:

• DQ-MAC-eenheid: Een multiplier-vrije, MSDF-gebaseerde SIMD MAC die pre-accumulatie truncatie uitvoert, wat de accumulator-breedte verkleint en een doorvoerverhoging van 4x mogelijk maakt via 4-bit SIMD-uitvoering zonder hardware-duplicatie.
• SHARP-strategie: Een co-design pruningmethode die sparsiteitspatronen (4:9 en 12:25) in kaart brengt naar de SIMD-breedte, wat 100% lane-benutting garandeert en het aantal uitvoercycli voor kernels vermindert (bijv. 3x3-kernels van 9 cycli naar 1 cyclus in 4-bit modus).
• RQ-NAF-kern: Een herconfigureerbare, tijdmultiplexed CORDIC-gebaseerde activeringseenheid die meerdere functies ondersteunt (ReLU, Sigmoid, Tanh) met (N-1) hardware-hergebruik, wat de hardware-overhead voor activering drastisch verlaagt.
• Systeemniveau Co-Design: Een unified 1D-versnellerarchitectuur die DQ-MAC, SHARP en RQ-NAF integreert, gevalideerd door FPGA-implementatie en synthese in 28-nm ASIC.

Resultaten

De TREA-versneller is geëvalueerd met YOLO-varianten voor objectdetectie (PASCAL VOC, COCO) en MobileNet/EfficientNet/Inception voor classificatie (ImageNet), naast hardware-synthese op Xilinx VC707 FPGA's en 28-nm ASIC-processen.

• Nauwkeurigheid: Het systeem behoudt detectienauwkeurigheid vergelijkbaar met FP32-baselines, met minder dan 3% degradatie in mAP@0.5 over YOLO-varianten. De dual-precision configuratie bereikt nauwkeurigheid vergelijkbaar met 8-bit uniforme kwantisatie terwijl het selectief opereert met 4-bit precisie.
• Latentie & Doorvoer: De combinatie van SHARP en DQ-MAC levert tot een 9x reductie in latentie op kernel-niveau op (bijv. 3x3-kernels berekend in 1 cyclus versus 9 cycli). De versneller bereikt een doorvoerverhoging tot 4x ten opzichte van ontwerpen met vaste precisie.
• Hardware-efficiëntie:
  • FPGA: In vergelijking met Xilinx IP-kernen vermindert de DQ-MAC het LUT-gebruik tot 72% en het energieverbruik tot 50%.
  • ASIC: Het ontwerp toont concurrerend oppervlak, vertraging en Power-Delay Product (PDP) in vergelijking met state-of-the-art benaderde MAC-eenheden, en biedt een compacter en gebalanceerde implementatie voor embedded systemen.
  • Hulpbronnenfootprint: TREA bereikt een van de laagste hulpbronnenfootprints (LUT's en registers) onder vergeleken domeinspecifieke versnellers, terwijl het een hoge energie-efficiëntie (GOPS/W) behoudt.

Betekenis

Het artikel beweert dat TREA een significante stap voorwaarts vertegenwoordigt door te gaan voorbij geïsoleerde optimalisaties naar een holistisch algoritme-hardware co-design framework. De betekenis hiervan ligt in:

1. Unified Optimalisatie: Het integreert succesvol kwantisatie, gestructureerde pruning en architecturale hergebruik in één pipeline, waardoor wordt gegarandeerd dat optimalisaties op modelniveau (zoals pruning) direct vertalen naar hardware-efficiëntie (volle SIMD-benutting).
2. Hulpbronnen-efficiëntie: Door vermenigvuldigers te elimineren en activeringshardware te hergebruiken via tijdmultiplexing, adresseert TREA de strenge oppervlakte- en vermogensbegrotingen van randplatforms, waardoor real-time objectdetectie en classificatie haalbaar worden op batterij-aangedreven apparaten.
3. Schaalbaarheid: De tijdmultiplexed 1D-architectuur maakt schaalbare implementatie mogelijk over variërende DNN-topologieën zonder dedicated hardware per laag te repliceren, wat de controlecomplexiteit en het siliciumoppervlak verlaagt.

De auteurs concluderen dat TREA een praktische, schaalbare oplossing biedt voor real-time randvisie-workloads, waarbij de effectiviteit wordt gevalideerd door uitgebreide FPGA- en ASIC-evaluaties tegen state-of-the-art ontwerpen.