Data-Rate-Aware High-Speed CNN Inference on FPGAs

Dit artikel presenteert een data-rate-bewuste CNN-versnellerarchitectuur voor FPGAs die door middel van multi-pixelverwerking en geoptimaliseerde ontwerpverkenning de hardwarebenutting maximaliseert en de rekenmiddelen voor complexe netwerken aanzienlijk reduceert.

De kern

Stel je voor dat je een zeer snelle fabriek hebt die foto's analyseert om er slimme beslissingen uit te halen, zoals een auto die zelfstandig rijdt of een camera die gezichten herkent. Deze fabriek is gebouwd op een speciale chip genaamd een FPGA (een soort hersenloze computer die je zelf kunt herschikken).

De uitdaging in deze fabriek is dat de "productiestroom" niet altijd gelijk loopt. Soms komen er veel onderdelen tegelijk binnen, en soms worden er onderweg stukken weggegooid (bijvoorbeeld als je een foto inzoomt of een beeld verkleint).

Hier is wat dit paper doet, vertaald naar alledaags taal met een paar creatieve vergelijkingen:

1. Het Probleem: De "Lege" Band

In de oude ontwerpen was de fabriek zo gebouwd dat hij altijd op volle toeren draaide, alsof er een onuitputtelijke stroom van dozen langs kwam.

• Het probleem: Zodra er een stap in het proces (zoals het verkleinen van een foto) minder dozen produceerde, bleef de rest van de fabriek toch maar doordraaien. De machines stonden dan te wachten op werk. Dat is zonde van de energie en de ruimte in de chip. Het is alsof je een vrachtwagen met 50 plekken laat rijden, maar er zit maar één pakketje in. De motor draait, maar je vervoert weinig.

2. De Oplossing: Een Slimme, Aanpasbare Band

De auteurs van dit paper hebben een nieuwe manier bedacht om deze fabriek te bouwen. Ze noemen het een "Data-Rate-Aware" architectuur.

• De analogie: In plaats van één grote, stijve band, hebben ze een slimme, flexibele band ontworpen.
  • Als er veel dozen aankomen, zetten ze alle machines aan en laten ze alles tegelijk verwerken.
  • Als er minder dozen aankomen (door het verkleinen van de foto), schakelen ze automatisch over op een efficiëntere modus. Ze passen de machines aan zodat ze precies zo hard werken als er werk is. Geen wachten, geen lege plekken.

3. De Nieuwe Truc: Twee Dozen Tegelijk

Het meest interessante nieuwe idee in dit paper is dat ze de fabriek hebben aangepast om twee dozen tegelijk te verwerken in plaats van maar één.

• De analogie: Stel je een tolpoort voor. Oude systemen lieten één auto per seconde door. Dit nieuwe systeem is als een tolpoort met twee rijstroken die perfect gesynchroniseerd zijn. Ze kunnen twee auto's tegelijk laten passeren zonder dat ze botsen.
• Hoe doen ze dat? Ze hebben de interne logica van de machines (de "KPU's" en "FCU's" in het paper) zo herschikt dat ze niet wachten tot de eerste auto klaar is voordat de tweede begint. Ze werken in een soort dansstap waarbij ze precies weten welke data op welk moment moet komen.

4. De Resultaten: Sneller en Kleiner

Dankzij deze slimme aanpassingen zijn ze erin geslaagd om:

• Veel sneller te zijn: Ze kunnen tot wel 16.000 beelden per seconde verwerken. Dat is alsof je in één seconde een heel uur aan video's hebt bekeken en begrepen.
• Minder ruimte te gebruiken: Omdat ze geen machines laten wachten, hebben ze minder hardware nodig. Ze gebruiken ongeveer 22% minder ruimte op de chip dan de vorige generaties.
• Flexibeler te zijn: Ze kunnen dezelfde chip gebruiken voor een heel snelle auto (veel data) én voor een camera die minder snel hoeft te werken (minder data), zonder dat je de chip hoeft te vervangen.

Samenvattend

Dit paper is als het vinden van de perfecte manier om een fabriek te runnen. In plaats van machines die vaak stil staan omdat ze wachten op werk, of machines die te groot zijn voor het werk dat er is, hebben de auteurs een systeem ontworpen dat meedraait met de stroom. Ze hebben de machines ook zo aangepast dat ze twee taken tegelijk kunnen doen, waardoor de hele fabriek veel sneller en zuiniger werkt.

Het is een stap in de richting van slimme, energiezuinige computers die overal kunnen worden ingezet, van zelfrijdende auto's tot medische apparatuur.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Data-Rate-Aware High-Speed CNN Inference on FPGAs" in het Nederlands.

Probleemstelling

Convolutionele Neurale Netwerken (CNN's) worden steeds vaker ingezet voor toepassingen die lage latentie en hoge doorvoer vereisen, zoals autonoom rijden en spraakherkenning. Field-Programmable Gate Arrays (FPGA's) zijn hiervoor bij uitstek geschikt vanwege hun mogelijkheid tot fijnmazige parallelisatie.

Echter, bestaande FPGA-accelerators kampen met een fundamenteel probleem:

• Data-rate mismatch: Laagjes zoals pooling en convoluties met een stapgrootte (strided convolutions) verminderen de hoeveelheid data aan de uitgang ten opzichte van de ingang.
• Ondersubstitutie: In volledig "unrolled" (parallelle) ontwerpen leidt deze daling in data-rate tot een inefficiënt gebruik van hardware-resources in de daaropvolgende laagjes. De hardware units blijven niet continu bezig.
• Beperkingen van eerdere werken: Bestaande "data-rate-aware" ontwerpen (zoals in referentie [11]) passen de parallelisatie wel aan aan de lokale data-rate, maar zijn beperkt tot het verwerken van slechts één pixel per klokcyclus. Dit beperkt de maximale doorvoer en maakt het moeilijk om complexe CNN's efficiënt op één FPGA te implementeren over een breed scala aan data-rates.

Methodologie

De auteurs stellen een verbeterde, data-rate-bewuste CNN-accelerator-architectuur voor die is ontworpen voor multi-pixel verwerking. De kern van de methode bestaat uit de volgende componenten:

1. Verbeterde Continue-Flow Architectuur:

   • Het ontwerp bouwt voort op het "Continuous-Flow" paradigma, waarbij elke laag is afgestemd op de invoer-data-rate ($r_{\ell-1}$).
   • In plaats van complexe berekeningen voor elke laag, worden de implementatieparameters gereduceerd tot twee variabelen: $j$ (aantal invoersignalen per cyclus) en $h$ (aantal neuronen dat sequentieel wordt verwerkt per eenheid).
   • Er worden wiskundige beperkingen (constraints) opgelegd om synchronisatieproblemen en het verwerken van ongeldige data (padding) te voorkomen:
     • $j$ moet een deler zijn van het aantal invoerkanalen ($d_{\ell-1}$).
     • $h$ moet een deler zijn van het aantal uitvoerkanalen/neuronen ($d_{\ell}$).

2. Design Space Exploration:

   • Het systeem zoekt binnen de verzameling van geldige $(j, h)$-combinaties naar de configuratie die de invoer-data-rate het nauwkeurigst benadert ($j/h \approx r_{\ell-1}$).
   • Dit voorkomt afrondingsfouten die in eerdere werken leidden tot onderbenutting van de hardware.

3. Multi-Pixel Verwerking:

   • De architectuur is uitgebreid om meerdere pixels (bijvoorbeeld twee) per klokcyclus te verwerken.
   • Aangepaste KPU (Kernel Processing Unit): Voor convolutielagen wordt de KPU aangepast om meerdere pixels tegelijk te verwerken. Dit vereist een "non-transposed" buffering van invoerfeatures en specifieke vertragingen (delays) in de signaalpaden zodat alle gewichten van een schuifvenster (sliding window) op hetzelfde moment worden verwerkt.
   • Flexibiliteit bij Stride: Bij een stapgrootte (stride) $> 1$ kunnen bepaalde KPU-ontwerpen volledig worden weggelaten als ze alleen ongeldige vensters berekenen, wat resources bespaart.

Belangrijkste Bijdragen

• Multi-Pixel Ondersteuning: De eerste uitbreiding van het data-rate-aware paradigma naar multi-pixel verwerking, wat de maximale doorvoer aanzienlijk verhoogt.
• Gereduceerde Complexiteit: De auteurs condenseerden de implementatieparameters tot een eenvoudigere wiskundige formulering (Diophantische benadering met beperkingen), wat het ontwerpproces vereenvoudigt en robuuster maakt.
• Resource-efficiëntie: Door het selecteren van optimale $(j, h)$-combinaties kunnen grotere "compressor trees" worden gebruikt, wat leidt tot minder logische resources (LUTs) en DSP-blokken.

Resultaten

De auteurs hebben hun methode gevalideerd met de MobileNetV1 en MobileNetV2 modellen op een Xilinx UltraScale+ (xcvu37p) FPGA.

• Vergelijking met eerdere werken (MobileNetV1):

  • In vergelijking met de staat-van-de-kunst (referentie [11]) resulteerde de nieuwe aanpak in een reductie van 22% in LUT-resources en 15% in BRAM-resources.
  • De DSP-gebruik nam licht af, terwijl het aantal registers iets toenam.

• Prestaties (MobileNetV2):

  • De architectuur toont enorme flexibiliteit in data-rate.
  • Hoge doorvoer: Bij verwerking van 2 pixels per cyclus (6 features) wordt een doorvoer van 16.020 FPS bereikt met een latentie van slechts 0,21 ms. Dit is meer dan 3x sneller dan de huidige state-of-the-art (SOTA) accelerators.
  • Lage doorvoer / Lage resource-gebruik: Bij lagere data-rates (bijv. 3 features over 32 klokcyclus) daalt de doorvoer naar ~219 FPS, maar het resource-gebruik daalt drastisch (slechts 30k LUTs en 212 DSPs).
  • De BRAM-gebruik blijft hoog omdat alle modelgewichten in het geheugen worden opgeslagen, wat een potentieel punt voor toekomstige optimalisatie is (bijv. uitwijken naar DRAM).

Betekenis en Conclusie

Dit paper biedt een significante doorbraak in het implementeren van CNN's op FPGA's voor toepassingen waar zowel lage latentie als hoge doorvoer cruciaal zijn. De voorgestelde architectuur lost het probleem van onderverschillende data-rates op door een dynamische aanpassing van de hardware-parallelisatie per laag.

De belangrijkste implicaties zijn:

1. Efficiëntie: Het is mogelijk om complexe CNN's op één enkele FPGA te draaien met een veel efficiënter gebruik van resources dan eerder mogelijk was.
2. Schalbaarheid: De methode schaalbaar van zeer hoge doorvoer (voor real-time video-analyse) tot zeer lage doorvoer (voor energie-efficiënte toepassingen), zonder de architectuur fundamenteel te hoeven wijzigen.
3. Toekomstperspectief: Hoewel de BRAM-gebruik nog steeds hoog is, biedt de methode een solide basis voor toekomstig werk gericht op het uitwijken van gewichten naar extern geheugen om de FPGA-gebruik verder te optimaliseren.