💻 computer science

Energy-Efficient CNN Acceleration with MSDF Digit-Serial Arithmetic on FPGA

Dieses Paper schlägt eine Merged Multiply-Add (MMA)-Architektur unter Verwendung von MSDF-Digit-Serial-Arithmetik auf FPGAs vor, um Latenzengpässe in U-Net-Faltungsschichten zu überwinden, wobei eine Energieeffizienz von bis zu 15,14 GOPS/W und eine 9-fache Reduktion des Stromverbrauchs im Vergleich zu bestehenden Implementierungen erreicht wird.

Ursprüngliche Autoren: Muhammad Usman, Yousef Sadegheih, Dorit Merhof

Veröffentlicht 2026-06-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Muhammad Usman, Yousef Sadegheih, Dorit Merhof

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges Puzzle zu lösen, aber anstatt das ganze Bild auf einmal zu betrachten, müssen Sie es Teil für Teil aufbauen, beginnend mit dem wichtigsten Teil bis hin zum am wenigsten wichtigen. Dies ist im Wesentlichen das, was ein Computer tut, wenn er medizinische Bilder verarbeitet, um Tumore zu finden, indem er ein System namens U-Net verwendet.

Dieses Papier stellt eine neue, super-effiziente Methode vor, um den „Motor“ zu bauen, der diese Puzzle-Lösungsarbeit leistet, speziell entwickelt für einen Typ von Computerchip namens FPGA (was wie ein Lego-Set für Elektronik ist, das man neu programmieren kann).

Hier ist die Aufschlüsselung ihrer Erfindung unter Verwendung einfacher Analogien:

Das Problem: Der Engpass im „Warteraum“

Traditionell nutzen diese Chips, wenn sie Berechnungen durchführen (Zahlen multiplizieren und addieren), eine Methode namens MSDF (Most-Significant-Digit-First). Denken Sie an dies wie einen Hochgeschwindigkeitszug, der zuerst nur an den wichtigsten Bahnhöfen hält.

Die gute Nachricht: Es ist sehr kompakt und spart Platz.
Die schlechte Nachricht: Der Zug hat einen langen „Warteraum“ am Anfang. Bevor er den ersten Fahrgast (die erste Ziffer des Ergebnisses) absetzen kann, muss er dort für einige Zyklen warten.
Das verschlimmernde Problem: In einer komplexen Berechnung muss man oft Zahlen multiplizieren und dann aufaddieren. In alten Designs gab es einen „Warteraum“ für die Multiplikation und dann noch einen „Warteraum“ für die Addition. Wenn man diese hintereinander schaltet, häufen sich die Verzögerungen an, was den gesamten Prozess langsamer macht.

Die Lösung: Das „verschmolzene“ Fließband

Die Autoren haben eine neue Maschine namens MMA (Merged Multiply-Add) Einheit gebaut.

Die Analogie: Stellen Sie sich eine Fabrik vor. Auf dem alten Weg gab es eine „Multiplikationsstation“, an der Arbeiter in einer Schlange warteten, ihre Aufgabe erledigten und dann zu einer separaten „Additionsstation“ gingen, wo sie in einer anderen Schlange warteten.
Die Innovation: Die Autoren haben diese beiden Stationen zu einem einzigen, riesigen, optimierten Fließband zusammengeschweißt. Jetzt geschehen die Multiplikation und die Addition in einem einzigen, kontinuierlichen Fluss.
Das Ergebnis: Anstatt in zwei separaten Schlangen zu warten, bewegen sich die Daten nur in einer kurzen Schlange. Dies entfernt die „Startverzögerung“, die früher alles verlangsamt hat.

Wie es in der Praxis funktioniert

Die U-Net-Architektur (verwendet für Dinge wie das Aufspüren von Hirntumoren in MRT-Scans) muss immer ein 3x3-Pixel-Gitter gleichzeitig betrachten.

Der alte Weg: Man würde diese Pixel nacheinander oder in kleinen, klobigen Gruppen verarbeiten.
Der neue Weg: Die Autoren haben 16 parallele Fließbänder (genannt Kernel Processing Blocks) gebaut. Stellen Sie sich 16 Teams von Arbeitern vor, die alle zur exakt gleichen Zeit verschiedene Teile des Puzzles lösen. Da ihre „verschmolzenen“ Maschinen so effizient sind, können sie 16 Ausgangspixel gleichzeitig verarbeiten, ohne durch Verzögerungen ausgebremst zu werden.

Die Ergebnisse: Geschwindigkeit vs. Energie

Das Papier vergleicht ihr neues FPGA-Design mit Standardcomputern (CPUs), leistungsstarken Grafikkarten (GPUs) und anderen FPGA-Designs.

Die CPU: Wie ein sehr kluger, vielseitiger Bibliothekar. Sie ist genau, aber langsam und verbraucht viel Elektrizität für die schwere Arbeit.
Die GPU: Wie eine riesige Armee von Arbeitern. Sie ist unglaublich schnell, verbraucht aber eine enorme Menge an Energie (wie ein Stadion voller Flutlichter).
Das neue FPGA-Design: Wie ein Team aus hochspezialisierten, energieeffizienten Robotern.
- Geschwindigkeit: Es ist nicht ganz so schnell wie eine massive GPU, aber deutlich schneller als eine CPU und andere FPGA-Designs.
- Energie: Das ist der große Gewinn. Das neue Design ist 7-mal energieeffizienter als die CPU und 2,7-mal besser als die GPU.
- Das Fazit: Es liefert etwa 15 Einheiten Arbeit pro Einheit Energie, verglichen mit den 1,9 Einheiten der CPU.

Warum das wichtig ist (laut dem Papier)

Die Autoren betonen, dass dies perfekt für Edge-Anwendungen ist – Geräte, die auf Batterien laufen müssen oder an Orten mit begrenzter Stromversorgung, wie etwa tragbare medizinische Diagnosetools. Durch das Verschmelzen der mathematischen Operationen und das Ausführen dieser in Parallelität haben sie ein System geschaffen, das schnell genug ist, um nützlich zu sein, aber effizient genug, um ohne eine Batterie oder eine Überhitzung eines kleinen Geräts zu funktionieren.

Kurz gesagt: Sie haben einen mathematischen Prozess, der früher viel „Wartezeit“ zwischen den Schritten hatte, zusammengeklebt, damit er in einer fließenden Bewegung abläuft, und haben dies 16-mal gleichzeitig ausgeführt. Das Ergebnis ist ein Beschleuniger für medizinische Bildgebung, der viel grüner und effizienter ist als das, was wir derzeit verwenden.

Technisches Resümee: Energieeffiziente CNN-Beschleunigung mittels MSDF-Digit-Serieller Arithmetik auf FPGAs

Problemstellung

Die präzise Segmentierung von Hirntumoren mittels der U-Net-Architektur ist entscheidend für die medizinische Bildgebung, jedoch rechenintensiv. Die Implementierung von U-Net auf Standard-CPUs und GPUs verbraucht erhebliche Mengen an Energie und Ressourcen, was Herausforderungen für die Bereitstellung auf eingebetteten Systemen und Edge-Geräten mit sich bringt, bei denen die Energieeffizienz oberste Priorität hat. Während Field-Programmable Gate Arrays (FPGAs) eine vielversprechende Plattform zur Beschleunigung bieten, steht die bestehende digit-serielle Arithmetiktechnik, insbesondere die Most-Significant-Digit-First (MSDF)-Methode, vor einem spezifischen Engpass: der Anfangslatenz.

In herkömmlichen MSDF-Implementierungen werden Skalarproduktberechnungen über eine kaskadierte Struktur aus einem Multiplizierer gefolgt von einem Addiererbaum durchgeführt. Jede Stufe (Multiplizierer und jede Ebene des Addiererbaums) führt eine feste Startverzögerung ( $\delta$ ) ein. In kaskadierten Operationen summieren sich diese Verzögerungen auf, was die Gesamtlatenz erheblich erhöht, bevor das erste Ausgabedigit erzeugt wird. Dieser Overhead untergräbt das Durchsatzpotenzial der digit-seriellen Verarbeitung, insbesondere in Faltungsschichten (Convolutional Layers), in denen Skalarprodukte dominierend sind.

Methodik

Die Autoren schlagen eine neuartige Hardware-Architektur vor, die Multiplikation und Addition zu einer einzigen Merged Multiply-Add (MMA)-Einheit fusioniert, um die kumulative Latenz kaskadierter Komponenten zu eliminieren.

Kernarchitektur

Merged Multiply-Add (MMA) Einheit:
- Anstatt separater Multiplikations- und Addiererstufen führt die MMA-Einheit bitweise Multiplikation und Akkumulation gleichzeitig innerhalb einer vereinheitlichten Pipeline durch.
- Operation: Die Einheit verarbeitet 32 Eingangskanäle ( $T_N = 32$ ) parallel. Sie akzeptiert 8-Bit quantisierte Aktivierungen (die seriell im MSDF-Verfahren gestreamt werden) und parallele 8-Bit Gewichte.
- Logik: In jedem Taktzyklus wird das $b$ -te Bit der 32 Aktivierungskanäle mit den entsprechenden 8-Bit Gewichten per UND-Verknüpfung verknüpft. Die resultierenden Teilprodukte werden unmittelbar unter Verwendung eines Carry-Propagate-Addiererbaums akkumuliert.
- Restwert-Handhabung (Residual Handling): Um die digit-serielle Berechnung zu unterstützen, wird ein „Restwert“ (die niederwertigen Bits der Teilsumme) in den nächsten Zyklus übertragen. Der Addiererbaum berücksichtigt $T_N + 1$ Eingänge (32 Teilprodukte + 1 Restwert), was $\lceil \log_2(33) \rceil$ Stufen erfordert.
- Redundantes Zahlensystem: Das Design verwendet ein Signed-Digit (SD) redundantes Zahlensystem mit Radix-2 und Digits $\{1, 0, -1\}$ . Dies ermöglicht es dem Algorithmus, Ergebnisse in nachfolgenden Zyklen zu korrigieren, falls ein frühes Ausgabedigit vorläufig ist, was die notwendige Flexibilität für die MSDF-Arithmetik bietet, ohne in jedem Schritt volle Präzision zu benötigen. Die Autoren nutzen die Inverted Encoding of Negabit (IEN), um die Vorzeichenbehandlung zu vereinfachen.
Systemweite Organisation:
- Kernel Processing Block (KPB): Ein $3 \times 3$ Faltungskernel wird unter Verwendung einer Gruppe von 9 MMA-Einheiten (eine für jeden räumlichen Ort) implementiert. Die Ausgänge dieser 9 Einheiten werden über einen MSDF-Addiererbaum summiert, um eine einzige Teilsumme für einen Ausgabepixel zu erzeugen.
- Parallelität: Das System instanziiert 16 parallele KPBs, wodurch die Berechnung von 16 Ausgabepixeln gleichzeitig pro Taktgruppe möglich ist.
- Zielanwendung: Das Design ist auf die U-Net-Architektur optimiert, wobei es speziell auf Faltungsschichten mit $3 \times 3$ Kernen und Kanalzahlen, die Vielfache von 32 sind, abzielt.

Zentrale Beiträge

Das Paper skizziert vier primäre Beiträge:

Neuartige MMA-Architektur: Eine fusionierte Multiply-Add-Einheit, die die digit-serielle Multiplikation und Akkumulation in eine einzige Pipeline kombiniert und so die Latenz pro Iteration reduziert, indem sie die separaten Verzögerungen von Multiplizierern und Addiererbaums eliminiert.
Parallele räumliche Verarbeitung: Eine Architektur, bei der MMA-Einheiten mehrere räumliche Eingangstiefen parallel verarbeiten, was den Durchsatz von Faltungsoperationen signifikant erhöht.
Energieeffiziente FPGA-Implementierung: Ein vollständiger Beschleuniger für U-Net Faltungsschichten, implementiert auf einem FPGA, der die Anwendbarkeit für ressourcenbeschränkte Edge-Anwendungen demonstriert.
Umfassende Evaluierung: Eine vergleichende Analyse gegenüber Bit-Parallel-, Bit-Serial-, konventionellen MSDF- sowie GPU- und CPU-Implementierungen hinsichtlich Latenz, Durchsatz, Fläche und Energieeffizienz.

Ergebnisse

Das vorgeschlagene Design wurde auf einem Xilinx Zynq-7020 SoC mittels Verilog RTL implementiert und gegen ein auf Fixed-Point-Inferenz quantisiertes U-Net Modell evaluiert. Der Beschleuniger arbeitet mit 100 MHz.

Durchsatz: Das Design erreicht 52,95 GOPS. Dies stellt eine Verbesserung von $1,07\times$ gegenüber herkömmlichen Bit-Parallel-Designs, einer Verbesserung von $4,36\times$ gegenüber Bit-Serial-Designs und einer Verbesserung von $2,52\times$ gegenüber zeitgenössischen MSDF-basierten Beschleunigern dar. Während die GPU einen höheren absoluten Durchsatz (385,99 GOPS) erreichte, geschah dies zu einem deutlich höheren Leistungsaufwand.
Energieeffizienz: Der Beschleuniger liefert 15,14 GOPS/W. Dies ist:
- $2,7\times$ besser als die GPU (5,51 GOPS/W).
- $7,8\times$ besser als die CPU (1,93 GOPS/W).
- $5,0\times$ besser als die MSDF-basierte FPGA-Implementierung (3,01 GOPS/W).
Energieverbrauch: Der pro Operationsbatch verbrauchte Energie beträgt 186,20 mJ, was $3,8\times$ niedriger ist als bei der GPU und $10,8\times$ niedriger als bei der CPU.
Flächeneffizienz: Das Design erreicht 17,43 GOPS/Slice (skaliert um $10^{-4}$ ), was das $1,65\times$ Höhere ist als bei Bit-Parallel-Designs und fast das $6,7\times$ Höhere als bei MSDF-basierten Beschleunigern.

Bedeutung und Ansprüche

Das Paper behauptet, dass der Merged Multiply-Add (MMA)-Ansatz effektiv den inhärenten Engpass der Anfangslatenz in kaskadierten MSDF-Arithmetiken adressiert. Durch die Fusion der Operationen erreicht das Design eine gestraffte Latenz pro Iteration, die kürzer ist als die kombinierte Latenz konventioneller Einheiten.

Die Autoren positionieren diese Arbeit als Lösung für ressourcenbeschränkte, latenzsensible Edge-Anwendungen, insbesondere in der medizinischen Bildgebung (Hirntumorsegmentierung) und Computer Vision. Die Ergebnisse legen nahe, dass der Beschleuniger, obwohl er eine geringere Frequenz als eine CPU aufweist, durch seine architektonische Effizienz eine Größenordnung an Energieeffizienz gewinnt. Die Autoren kommen zu dem Schluss, dass dieser Ansatz sehr gut für eingebettete Systeme geeignet ist, bei denen Energiebeschränkungen kritisch sind, und eine lebensfähige Alternative zu leistungsstarken GPU/CPU-Inferenzen bietet.

Zukünftige Arbeiten, wie von den Autoren bescheiden angemerkt, beinhalten das Hinzufügen von Early-Termination-Mechanismen, um unnötige Operationen zu überspringen, sowie die Skalierung der Architektur mit mehr Tiles, um komplexere CNNs zu unterstützen.