💻 computer science

Energy-Efficient CNN Acceleration with MSDF Digit-Serial Arithmetic on FPGA

Dit artikel stelt een merged multiply-add (MMA) architectuur voor met behulp van MSDF digit-serial rekenkunde op FPGA om latentie-bottlenecks in U-Net convolutionele lagen te overwinnen, waarbij tot 15,14 GOPS/W energie-efficiëntie en een 9× reductie in energieverbruik worden bereikt vergeleken met bestaande implementaties.

Oorspronkelijke auteurs: Muhammad Usman, Yousef Sadegheih, Dorit Merhof

Gepubliceerd 2026-06-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Muhammad Usman, Yousef Sadegheih, Dorit Merhof

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme puzzel probeert op te lossen, maar in plaats van in één keer naar het hele plaatje te kijken, moet je de puzzel stukje bij beetje opbouwen, van het belangrijkste stukje naar het minst belangrijke. Dit is in essentie wat een computer doet wanneer hij medische beelden verwerkt om tumoren te vinden, met behulp van een systeem dat een U-Net wordt genoemd.

Dit artikel introduceert een nieuwe, superefficiënte manier om de "motor" te bouwen die dit puzzeloplossende werk doet, specifiek ontworpen voor een type computerchip dat een FPGA wordt genoemd (wat een soort Lego-set voor elektronica is die je kunt herprogrammeren).

Hier is de uitleg van hun uitvinding met eenvoudige analogieën:

Het Probleem: De "Wachtkamer"-flessehals

Traditioneel, wanneer deze chips berekeningen uitvoeren (het vermenigvuldigen en optellen van getallen), gebruiken ze een methode genaamd MSDF (Most-Significant-Digit-First). Denk hierbij aan een hogesnelheidstrein die alleen eerst bij de belangrijkste stations stopt.

Het Goede Nieuws: Het is erg compact en bespaart ruimte.
Het Slechte Nieuws: De trein heeft een lange "wachtkamer" aan het begin. Voordat hij de eerste passagier (het eerste cijfer van het antwoord) kan afzetten, moet hij daar een paar cycli lang wachten.
Het Versterkende Probleet: In een complexe berekening moet je vaak getallen vermenigvuldigen en daarna optellen. In oude ontwerpen was er een "Wachtkamer" voor de vermenigvuldiging, en daarna nog een "Wachtkamer" voor de optelling. Als je deze aan elkaar koppelt, stapelen de vertragingen zich op, wat het hele proces trager maakt.

De Oplossing: De "Samengevoegde" Lopende Band

De auteurs hebben een nieuwe machine gebouwd die de MMA (Merged Multiply-Add) unit wordt genoemd.

De Analogie: Stel je een fabriek voor. Op de oude manier had je een "Vermenigvuldigingsstation" waar arbeiders in de rij stonden, hun taak voltooiden en vervolgens naar een apart "Optelstation" liepen waar ze in een andere rij moesten wachten.
De Innovatie: De auteurs hebben deze twee stations samengesmolten tot één grote, gestroomlijnde lopende band. Nu gebeuren de vermenigvuldiging en de optelling in één enkele, continue stroom.
Het Resultaat: In plaats van in twee aparte rijen te wachten, wacht de data slechts in één korte rij. Dit verwijdert de "opstartvertraging" die voorheen alles vertraagde.

Hoe het in de praktijk werkt

De U-Net architectuur (gebruikt voor zaken zoals het opsporen van hersentumoren in MRI-scans) moet telkens naar een 3x3 raster van pixels kijken.

De Oude Manier: Je zou deze pixels één voor één of in kleine, logge groepen kunnen verwerken.
De Nieuwe Manier: De auteurs hebben 16 parallelle lopende banden gebouwd (Kernel Processing Blocks). Stel je 16 teams van arbeiders voor die allemaal tegelijkertijd verschillende delen van de puzzel oplossen. Omdat hun "Samengevoegde" machines zo efficiënt zijn, kunnen ze 16 output-pixels tegelijkertijd verwerken zonder te vertragen door de wachtrijen.

De Resultaten: Snelheid vs. Energie

Het paper vergelijkt hun nieuwe chip met standaardcomputers (CPU's), krachtige grafische kaarten (GPU's) en andere FPGA-ontwerpen.

De CPU: Als een zeer slimme, algemene bibliothecaris. Hij is nauwkeurig maar traag en verbruikt veel elektriciteit om het zware werk te doen.
De GPU: Als een enorm leger van arbeiders. Hij is ongelooflijk snel, maar verbruikt een enorme hoeveelheid energie (zoals een stadion vol lampen).
Het Nieuwe FPGA-ontwerp: Als een team van zeer gespecialiseerde, energiezuinige robots.
- Snelheid: Het is niet zo snel als een enorme GPU, maar het is aanzienlijk sneller dan de CPU en andere FPGA-ontwerpen.
- Energie: Dit is de grote winst. Het nieuwe ontwerp is 7 keer energie-efficiënter dan de CPU en 2,7 keer beter dan de GPU.
- De Kern van het Zaken: Het levert ongeveer 15 eenheden werk voor elke eenheid energie, vergeleken met de 1,9 eenheden van de CPU.

Waarom dit ertoe doet (volgens het artikel)

De auteurs benadrukken dat dit perfect is voor edge-toepassingen—apparaten die op batterijen moeten werken of in omgevingen waar het stroomverbruik beperkt is, zoals draagbare medische diagnostische instrumenten. Door de wiskundige operaties samen te voegen en ze parallel te laten draaien, hebben ze een systeem gecreëerd dat snel genoeg is om nuttig te zijn, maar efficiënt genoeg om te draaien zonder een batterij leeg te trekken of een klein apparaat te laten oververhitten.

Kortom: Ze hebben een wiskundig proces genomen dat voorheen veel "wachttijd" tussen de stappen had, hebben die stappen aan elkaar gelijmd tot één vloeiende beweging, en hebben er 16 tegelijkertijd gedraaid. Het resultaat is een versneller voor medische beeldvorming die veel groener en efficiënter is dan wat we momenteel gebruiken.

Technische Samenvatting: Energie-efficiënte CNN-acceleratie met MSDF Digit-Serial Aritmetica op FPGA

Probleemstelling

Nauwkeurige segmentatie van hersentumoren met behulp van de U-Net architectuur is cruciaal voor medische beeldvorming, maar is computationeel intensief. De implementatie van U-Net op standaard CPU's en GPU's verbruikt aanzienlijke hoeveelheden energie en middelen, wat uitdagingen vormt voor de inzetbaarheid op embedded en edge-systemen waar energie-efficiëntie essentieel is. Hoewel Field-Programmable Gate Arrays (FPGA's) een veelbelovend platform bieden voor acceleratie, kampen bestaande digit-serial aritmetische technieken, specifiek Most-Significant-Digit-First (MSDF), met een specifieke bottleneck: initiële latentie.

In traditionele MSDF-implementaties worden inwendige productberekeningen uitgevoerd met behulp van een gekascadeerde structuur van een vermenigvuldiger gevolgd door een adder-boom. Elke fase (vermenigvuldiger en elk niveau van de adder-boom) introduceert een vaste opstartvertraging ( $\delta$ ). In gekascadeerde operaties stapelen deze vertragingen zich op, wat de totale latentie aanzienlijk verhoogt voordat het eerste output-digit wordt geproduceerd. Deze overhead ondermijnt het doorvoerpotentieel van digit-serial verwerking, met name in convolutionele lagen waar inwendige producten dominant zijn.

Methodologie

De auteurs stellen een nieuwe hardware-architectuur voor die vermenigvuldiging en optelling fuseert in een enkele Merged Multiply-Add (MMA) unit om de cumulatieve latentie van gekascadeerde componenten te elimineren.

Kernarchitectuur

Merged Multiply-Add (MMA) Unit:
- In plaats van afzonderlijke vermenigvuldigings- en optelfases, voert de MMA-unit bitwise vermenigvuldiging en accumulatie simultaan uit binnen een verenigde pipeline.
- Operatie: De unit verwerkt 32 inputkanalen ( $T_N = 32$ ) parallel. Het accepteert 8-bit gekwantiseerde activaties (gestreamd serieel, MSDF) en parallelle 8-bit gewichten.
- Logica: In elke klokcyclus wordt het $b$ -de bit van de 32 activatiekanalen ge-AND'ed met de overeenkomstige 8-bit gewichten. De resulterende partiële producten worden onmiddellijk geaccumuleerd met behulp van een carry-propagate adder-boom.
- Residu-afhandeling: Om digit-serial berekening te ondersteunen, wordt een "residu" (de lagere bits van de partiële som) doorgegeven aan de volgende cyclus. De adder-boom accommodeert $T_N + 1$ inputs (32 partiële producten + 1 residu), wat $\lceil \log_2(33) \rceil$ stages vereist.
- Redundant Getallensysteem: Het ontwerp maakt gebruik van een Signed Digit (SD) redundant getallensysteem met radix-2 en digits $\{1, 0, -1\}$ . Dit stelt het algoritme in staat om resultaten in opeenvolgende cycli te corrigeren als een vroegtijdig output-digit tentatief is, wat de nodige flexibiliteit biedt voor MSDF-aritmetica zonder dat volledige precisie bij elke stap vereist is. De auteurs maken gebruik van Inverted Encoding of Negabit (IEN) om signaalafhandeling te vereenvoudigen.
Systeemniveau Organisatie:
- Kernel Processing Block (KPB): Een $3 \times 3$ convolutiekernel wordt geïmplementeerd met behulp van een groep van 9 MMA-units (één voor elke ruimtelijke locatie). De outputs van deze 9 units worden opgeteld via een MSDF adder-boom om een enkele partiële som voor één output-pixel te produceren.
- Parallellisme: Het systeem instantieert 16 parallelle KPB's, waardoor de berekening van 16 output-pixels simultaan kan worden uitgevoerd per klokgroep.
- Doeltoepassing: Het ontwerp is geoptimaliseerd voor de U-Net architectuur, specifiek gericht op convolutionele lagen met $3 \times 3$ kernels en kanaalaantallen die veelvouden van 32 zijn.

Belangrijkste Bijdragen

Het artikel beschrijft vier primaire bijdragen:

Nieuwe MMA-architectuur: Een gefuseerde multiply-add unit die digit-serial vermenigvuldiging en accumulatie combineert in een enkele pipeline, waardoor de per-iteratie latentie wordt verminderd door het elimineren van de afzonderlijke vertragingen van vermenigvigers en adder-bomen.
Parallelle Ruimtelijke Verwerking: Een architectuur waarbij MMA-units meerdere ruimtelijke input-dieptes parallel verwerken, wat de doorvoer van convolutie-operaties aanzienlijk verhoogt.
Energie-efficiënte FPGA-implementatie: Een volledige accelerator voor U-Net convolutionele lagen geïmplementeerd op een FPGA, wat de toepasbaarheid op hulpbronnenbeperkte edge-applicaties aantoont.
Uitgebreide Evaluatie: Een vergelijkende analyse tegenover bit-parallel, bit-serial, conventionele MSDF, GPU en CPU implementaties op het gebied van latentie, doorvoer, oppervlakte en energie-efficiëntie.

Resultaten

Het voorgestelde ontwerp werd geïmplementeerd op een Xilinx Zynq-7020 SoC met behulp van Verilog RTL en geëvalueerd tegen een U-Net model dat gekwantiseerd is voor fixed-point inferentie. De accelerator werkt op 100 MHz.

Doorvoer: Het ontwerp bereikt 52,95 GOPS. Dit vertegenwoordigt een $1,07\times$ verbetering ten opzichte van conventionele bit-parallel ontwerpen, een $4,36\times$ verbetering ten opzichte van bit-serial ontwerpen, en een $2,52\times$ verbetering ten opzichte van hedendaagse MSDF-gebaseerde accelerators. Hoewel de GPU een hogere absolute doorvoer behaalde (385,99 GOPS), deed deze dit tegen een aanzienlijk hogere energiekosten.
Energie-efficiëntie: De accelerator levert 15,14 GOPS/W. Dit is:
- $2,7\times$ beter dan de GPU (5,51 GOPS/W).
- $7,8\times$ beter dan de CPU (1,93 GOPS/W).
- $5,0\times$ beter dan de MSDF-gebaseerde FPGA-implementatie (3,01 GOPS/W).
Energieverbruik: De energie die per operatie-batch wordt verbruikt is 186,20 mJ, wat $3,8\times$ lager is dan de GPU en $10,8\times$ lager dan de CPU.
Oppervlakte-efficiëntie: Het ontwerp bereikt 17,43 GOPS/Slice (geschaald door $10^{-4}$ ), wat $1,65\times$ hoger is dan bit-parallel ontwerpen en bijna $6,7\times$ hoger dan MSDF-gebaseerde accelerators.

Betekenis en Claims

Het artikel claimt dat de Merged Multiply-Add (MMA) benadering effectief de initiële latentie-bottleneck aanpakt die inherent is aan gekascadeerde MSDF-aritmetica. Door operaties te fuseren, bereikt het ontwerp een gestroomlijnde latentie per iteratie die korter is dan de gecombineerde latentie van conventionele units.

De auteurs positioneren dit werk als een oplossing voor hulpbronnenbeperkte, latentiegevoelige edge-applicaties, met name in medische beeldvorming (hersentumor segmentatie) en computer vision. De resultaten suggereren dat hoewel de accelerator een lagere frequentie heeft dan een CPU, de architecturale efficiëntie een orde van grootte verbetering in energie-efficiëntie oplevert. De auteurs concluderen dat deze aanpak zeer geschikt is voor embedded systemen waar energiebeperkingen kritiek zijn, en een levensvatbaar alternatief biedt voor energieverslindende GPU/CPU inferentie.

Toekomstig werk, zoals bescheiden door de auteurs vermeld, omvat het toevoegen van early termination mechanismen om onnodige operaties over te slaan en het schalen van de architectuur met meer tiles om complexere CNN's te ondersteunen.