CORVET: A CORDIC-Powered, Resource-Frugal Mixed-Precision Vector Processing Engine for High-Throughput AIoT applications

Dit artikel presenteert CORVET, een energiezuinige vectorverwerkingseenheid voor AIoT-applicaties die gebruikmaakt van een CORDIC-gebaseerde MAC-eenheid met dynamische precisie-aanpassing om de doorvoer en energie-efficiëntie aanzienlijk te verbeteren ten opzichte van de huidige stand van de techniek.

De kern

Stel je voor dat je een slimme robot wilt bouwen die dingen kan zien en herkennen, zoals een camera die een vogel op een tak herkent. Dit soort robots moeten vaak werken op batterijen, bijvoorbeeld in een drone of een slimme camera in je tuin. Ze hebben dus weinig stroom en weinig ruimte, maar moeten toch heel snel rekenen.

Het probleem is dat de "hersenen" van deze robots (de kunstmatige intelligentie) normaal gesproken heel veel stroom verbruiken en grote, dure chips nodig hebben.

Deze paper introduceert een nieuwe, slimme manier om die rekenkracht te bouwen. Ze noemen het CORVET. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Slimme Rekenmachine" (De MAC-unit)

Normaal gesproken zijn rekenmachines in computers heel precies, maar ook heel groot en energievretend. Het is alsof je een zware, dure vrachtwagen gebruikt om een postzegel te bezorgen.

CORVET gebruikt een andere aanpak:

• De CORDIC-methode: In plaats van een zware vrachtwagen, gebruiken ze een slimme, lichte fiets. Deze methode (CORDIC) rekent dingen uit door alleen te verschuiven en op te tellen, wat veel minder energie kost dan de zware vermenigvuldigingen die normale chips doen.
• De "Snelheid vs. Nauwkeurigheid" knop: Dit is het coolste deel. Stel je voor dat je een foto bekijkt. Soms wil je hem heel scherp zien (voor een belangrijke foto), en soms is een beetje wazig prima (als je gewoon snel wilt weten of er een auto in beeld is).
  • CORVET heeft een knop waarmee je kunt kiezen: "Ik wil nu heel snel zijn, maar mag een klein beetje fout maken" (voor snelle taken) of "Ik wil nu heel precies zijn" (voor moeilijke taken).
  • De chip kan dit live aanpassen. Hij schakelt automatisch tussen "snel en goedkoop" en "langzaam en perfect", afhankelijk van wat de robot op dat moment moet doen.

2. De "Multitaskende Chef" (De Activatie-functies)

In een gewone AI-chip zijn er vaak speciale, dure machines die alleen maar één ding doen: bijvoorbeeld alleen maar de functie "ReLU" berekenen. Het probleem? Die machines staan 80% van de tijd stil omdat ze wachten op hun beurt. Dat is als een chef-kok die alleen maar eieren bakt, maar de rest van de dag niets doet terwijl de rest van het restaurant vol zit.

CORVET lost dit op met een multitaskende chef:

• In plaats van aparte machines voor elke taak, hebben ze één krachtige, flexibele machine die alles kan doen: ReLU, Sigmoid, Softmax, enzovoort.
• Ze delen deze machine slim op in de tijd. Als machine A even niets doet, springt machine B erin. Zo wordt er geen seconde stroom verspild aan machines die stil staan. Dit noemen ze "tijdmultiplexing".

3. De "Pakketdienst" (Vector Processing)

Stel je voor dat je 100 pakketjes moet bezorgen.

• Oude manier: Je hebt één bezorger die 100 pakketjes één voor één aflevert.
• CORVET manier: Je hebt 256 bezorgers die tegelijkertijd aan het werk gaan. Zelfs als elke bezorger iets langzamer is (omdat ze de slimme fiets gebruiken in plaats van de vrachtwagen), zijn ze samen 4 keer sneller dan de oude manier, en verbruiken ze veel minder brandstof per pakketje.

Wat levert dit op?

De onderzoekers hebben deze chip gebouwd en getest. De resultaten zijn indrukwekkend:

• Snelheid: Het is tot 4 keer sneller dan vergelijkbare ontwerpen.
• Stroom: Het verbruikt veel minder energie (tot 21% minder per rekenstap).
• Efficiëntie: Je krijgt veel meer rekenkracht per vierkante millimeter chip.
• Praktijk: Ze hebben het getest op een klein bordje (een Pynq-Z2) en het werkt perfect voor taken zoals het herkennen van objecten in video's.

Samenvattend

CORVET is als een slimme, energiezuinige elektrische auto voor kunstmatige intelligentie.

• Hij kan schakelen tussen sportmodus (snel, minder precies) en eco-modus (langzaam, super precies) afhankelijk van het verkeer.
• Hij heeft één motor die alles kan doen, in plaats van twintig kleine motoren die half de tijd stil staan.
• Hij is lichtgewicht en past in kleine ruimtes, waardoor je slimme apparaten (zoals drones of slimme camera's) langer op batterij kunnen draaien en sneller kunnen denken.

Kortom: het is een nieuwe manier om AI op kleine apparaten te laten draaien zonder dat je een enorme batterij of een dure computer nodig hebt.

Technische samenvatting

Probleemstelling

De implementatie van diepe neurale netwerken (DNNs) en Vision Transformers (ViTs) op randapparaten (Edge AI) wordt beperkt door strenge beperkingen op het gebied van energie, oppervlakte en latentie. Bestaande hardware-acceleratoren kampen met enkele fundamentele inefficiënties:

1. Rigiditeit in benadering: Veel huidige ontwerpen gebruiken vaste benaderingspunten (fixed-point approximation). Dit leidt ofwel tot onomkeerbare nauwkeurigheidsverlies, of vereist extra correctielogica die de energiebesparingen tenietdoet. Ze kunnen niet dynamisch schakelen tussen nauwkeurige en benaderende modi op basis van de gevoeligheid van de specifieke laag.
2. Onderbenutting van hardware: Hoewel niet-lineaire activatiefuncties (NAFs) slechts 2-5% van de totale berekeningen uitmaken, nemen ze vaak 20-25% van het chipoppervlak in beslag in commerciële accelerators (zoals Google TPU). Dit resulteert in veel "dark silicon" (inactieve hardware) en inefficiënt resourcegebruik.
3. Resource-intensiviteit: Traditionele pipelined of volledig parallelle architecturen vereisen diepe datapaden en grote hardware-omvang om doorvoer te garanderen, wat niet ideaal is voor energiebeperkte IoT-toepassingen.

Methodologie: De CORVET Architectuur

Het paper stelt CORVET voor, een runtime-adaptieve vector-engine die is ontworpen voor hoge doorvoer bij lage resource-kosten. De kern van de oplossing bestaat uit drie belangrijke architecturale innovaties:

1. Iteratieve CORDIC-gebaseerde MAC-eenheid:

   • In plaats van een vaste pipelined structuur, gebruikt CORVET een iteratieve CORDIC (Coordinate Rotation Digital Computer) eenheid voor Multiply-Accumulate (MAC) bewerkingen.
   • Dynamische precisie: Het aantal actieve iteraties kan per laag worden geconfigureerd. Laaggevoelige lagen kunnen in een "benaderende modus" (minder iteraties, lagere latentie, minder energie) draaien, terwijl kritieke lagen in een "nauwkeurige modus" (meer iteraties) draaien.
   • Dit elimineert de noodzaak voor extra correctielogica en biedt een vloeiende afweging tussen nauwkeurigheid en snelheid.

2. Tijd-gemultiplexeerd Multi-Activatiefunctie (Multi-AF) Blok:

   • Om het probleem van onderbenutte activatiefuncties op te lossen, deelt CORVET één hardwareblok voor alle niet-lineaire functies (Sigmoid, Tanh, SoftMax, GELU, Swish, ReLU, SELU) tussen alle verwerkingselementen (PEs).
   • Door gebruik te maken van tijd-multiplexing in plaats van dedicated hardware per functie, wordt de hardwarebenutting gemaximaliseerd en het "dark silicon"-probleem aanzienlijk verminderd.

3. Scalabele Vector-Engine met Parallelisme:

   • De engine bestaat uit N homogene verwerkingselementen (PEs), schaalbaar van 64 tot 256.
   • Hoewel de iteratieve MAC een meercyclische latentie heeft, wordt deze verdoezeld door parallelle uitvoering over meerdere PEs. Dit zorgt voor hoge doorvoer zonder de area-overhead van diep gepipelinde datapaden.
   • De architectuur ondersteunt flexibele precisie (4, 8 en 16-bit) en gebruikt een lightweight controle-engine voor runtime-reconfiguratie.

Belangrijkste Bijdragen

1. Runtime-adaptieve MAC: Een low-resource, iteratieve CORDIC-MAC-eenheid die runtime-schakeling tussen benaderende en nauwkeurige modi mogelijk maakt zonder structurele wijzigingen.
2. Hoge doorvoer via parallelisme: Een schaalbare vector-engine die de latentie van iteratieve berekeningen amortiseert over parallelle kanalen, waardoor een 4x verbetering in doorvoer wordt bereikt binnen dezelfde hardware-resources.
3. Efficiënte Activatiefunctie-unit: Een tijd-gemultiplexeerd Multi-AF-blok dat een breed scala aan niet-lineaire functies ondersteunt met minimale extra hardwarekosten, wat de hardwarebenutting drastisch verhoogt.
4. Uitgebreide Validatie: Een complete evaluatie via software-emulatie, FPGA-prototyping (AMD Virtex-7) en ASIC-synthese (28 nm), inclusief een hardware-software co-design voor objectdetectie en classificatie op een Pynq-Z2 platform.

Resultaten

De prestaties zijn getest op FPGA en in een 28 nm ASIC-technologie:

• ASIC Prestaties (28 nm, 0.9V):
  • Elke MAC-fase bespaart tot 33% tijd en 21% vermogen ten opzichte van vergelijkbare CORDIC-ontwerpen.
  • Een configuratie met 256 PEs bereikt een rekenkrachtdichtheid van 4,83 TOPS/mm² en een energie-efficiëntie van 11,67 TOPS/W. Dit is superieur aan de huidige state-of-the-art (SoTA) werken.
• FPGA Prestaties (Virtex-7):
  • De ontworpen engine werkt op 85,4 MHz en levert een energie-efficiëntie van 6,43 GOPS/W bij slechts 0,53 W vermogen, zonder gebruik te maken van DSP-blokken.
• Nauwkeurigheid:
  • In benaderende modus is er slechts een nauwkeurigheidsdaling van ongeveer 2% op applicatieniveau, terwijl de nauwkeurige modus verlies onder de 0,5% houdt.
  • Door gebruik te maken van een heuristiek voor nauwkeurigheidsgevoeligheid, wordt de eindnauwkeurigheid van het model behouden terwijl de voordelen van benaderende uitvoering worden benut.
• Systeemniveau (Pynq-Z2):
  • Voor objectdetectie en classificatie (o.a. VGG-16) werd een totale latentie van 84,6 ms bij 0,43 W bereikt. Dit presteert aanzienlijk beter dan bestaande FPGA-oplossingen en commerciële embedded platforms zoals de NVIDIA Jetson Nano en Raspberry Pi.

Betekenis en Impact

CORVET biedt een oplossing voor het fundamentele compromis tussen energie-efficiëntie, oppervlakte en flexibiliteit in Edge AI.

• Flexibiliteit: Het is de eerste architectuur die runtime-adaptieve precisie en iteratiediepte mogelijk maakt zonder extra correctielogica, waardoor het zich kan aanpassen aan de variabele eisen van verschillende neurale netwerklagen.
• Resource-efficiëntie: Door het "dark silicon"-probleem van activatiefuncties op te lossen via tijd-multiplexing, biedt het een veel efficiënter gebruik van chipoppervlak dan bestaande accelerators.
• Toepasbaarheid: De combinatie van hoge rekenkrachtdichtheid en lage energievraag maakt CORVET ideaal voor de volgende generatie energiezuinige AIoT-toepassingen, zoals drones (UAV's) en draagbare apparaten, waar batterijduur en thermische beperkingen cruciaal zijn.

Kortom, CORVET overbrugt de kloof tussen vaste benaderings-accelerators en volledig nauwkeurige, maar resource-intensieve ontwerpen, en biedt een schaalbare, energie-efficiënte compute-omgeving voor Edge AI.