Data-Rate-Aware High-Speed CNN Inference on FPGAs

Dieser Artikel stellt eine datenratenbewusste CNN-Beschleunigerarchitektur für FPGAs vor, die durch Multi-Pixel-Verarbeitung und eine optimierte Designraumexploration die Hardwareauslastung verbessert und den Einsatz komplexer CNNs auf einem einzigen FPGA bei verschiedenen Datenraten ermöglicht.

Das Wesentliche

Titel: Der effiziente Daten-Express – Wie FPGAs neuronale Netze schneller und sparsamer machen

Stellen Sie sich vor, Sie betreiben eine riesige, hochmoderne Fabrik, die Bilder analysiert, um Dinge zu erkennen – zum Beispiel, ob ein Auto vor einer Ampel hält oder ob ein Patient eine Krankheit hat. Diese Fabrik ist ein FPGA (ein programmierbarer Computer-Chip), und die Arbeiter in dieser Fabrik sind die Schichten eines Künstlichen Neuronalen Netzwerks (CNN).

Das Problem, das die Autoren Tobias Habermann und Martin Kumm lösen, ist wie ein Stau auf einer Autobahn, der sich plötzlich in einen einspurigen Feldweg verwandelt.

Das Problem: Der „Daten-Stau"

In einer solchen Bildanalyse-Fabrik fließen Daten wie Autos auf einer mehrspurigen Autobahn.

1. Der Anfang: Am Eingang kommen viele Daten gleichzeitig an (viele Spuren).
2. Die Engstelle: Dann passiert etwas wie eine Pooling-Schicht oder eine gestaffelte Faltung. Stellen Sie sich vor, die Fabrik entscheidet: „Wir brauchen nur noch jedes zweite Bild, um Platz zu sparen." Plötzlich wird aus der 8-spurigen Autobahn eine einspurige Straße.
3. Das Chaos: Die alten Fabrikdesigns waren so gebaut, dass sie immer für die volle Autobahn ausgelegt waren. Wenn die Straße plötzlich schmaler wird, stehen die Hälfte der Arbeiter (die Hardware-Einheiten) untätig herum und warten. Das nennt man „Unterauslastung". Es ist, als würde man einen riesigen Lastwagen mit nur einem Fahrer betreiben – extrem ineffizient und teuer.

Die Lösung: Ein intelligenter, flexibler Fluss

Die Autoren haben eine neue Art von Fabrikdesign entwickelt, das sie „datenratenbewusst" nennen. Hier ist die Idee mit ein paar einfachen Analogien:

1. Der schlaue Fluss (Continuous-Flow)

Statt die Arbeiter einfach stehen zu lassen, wenn die Datenmenge sinkt, passt sich die Fabrik dynamisch an.

• Früher: Wenn die Datenmenge halbiert wurde, wurden einfach die Hälfte der Maschinen abgeschaltet. Aber das war nicht optimal, weil die Maschinen oft zu groß oder zu starr waren.
• Jetzt: Die Fabrik stellt sich um wie ein Wasserhahn. Wenn wenig Wasser (Daten) kommt, drehen wir den Hahn etwas zu, aber der Wasserstrahl fließt trotzdem kontinuierlich. Kein Tropfen wird verschwendet, und keine Maschine steht still.

2. Der Multi-Pixel-Trick (Mehrere Bilder auf einmal)

Das Geniale an dieser neuen Arbeit ist, dass sie nicht nur einen Datenpunkt pro Taktzyklus verarbeiten, sondern mehrere gleichzeitig.

• Die Analogie: Stellen Sie sich vor, ein Arbeiter (ein KPU, eine kleine Recheneinheit) muss früher nur ein Bild prüfen. Jetzt kann er wie ein Superheld mit zwei Augenpaaren gleichzeitig zwei Bilder scannen.
• Wie das geht: Die Autoren haben die „Brille" des Arbeiters (die Hardware) so umgebaut, dass er zwei Eingänge gleichzeitig bedienen kann. Sie haben die Verkabelung so clever gelegt, dass die Daten genau dann ankommen, wenn sie gebraucht werden, ohne dass es zu Verwirrung kommt.

3. Der Puzzle-Macher (Design-Space Exploration)

Früher mussten Ingenieure raten, wie sie die Fabrik aufbauen. Die Autoren haben einen intelligenten Puzzle-Macher entwickelt.

• Dieser Algorithmus schaut sich genau an: „Wie viele Daten kommen rein? Wie viele müssen raus?"
• Dann sucht er die perfekte Kombination aus Anzahl der Arbeiter und deren Arbeitsgeschwindigkeit. Er stellt sicher, dass niemand auf „leere" Daten wartet und niemand unnötig viel Platz einnimmt.
• Das Ergebnis: Sie können die gleiche Aufgabe mit deutlich weniger Bauteilen (weniger LUTs und Speicher) erledigen. Es ist, als würde man ein riesiges Haus mit weniger Ziegeln bauen, weil man die Ziegel perfekt aneinanderfügt.

Was bringt das in der Praxis?

Die Autoren haben ihr System mit einem beliebten Bilderkennungs-Modell (MobileNet) getestet. Das Ergebnis ist beeindruckend:

• Geschwindigkeit: Ihr System ist so schnell, dass es fast 16.000 Bilder pro Sekunde analysieren kann. Das ist dreimal schneller als die besten bisherigen Systeme auf dem Markt.
• Flexibilität: Wenn Sie weniger Leistung brauchen (z. B. für ein batteriebetriebenes Gerät), können Sie das System so einstellen, dass es weniger Bilder pro Sekunde verarbeitet. Dafür spart es aber enorm viel Energie und Hardware-Ressourcen.
• Effizienz: Sie haben die Anzahl der benötigten Recheneinheiten drastisch reduziert, ohne an Geschwindigkeit zu verlieren.

Fazit in einem Satz

Die Autoren haben einen intelligenten, fließenden Daten-Express für FPGAs gebaut, der sich automatisch an die Menge der ankommenden Daten anpasst, mehrere Bilder gleichzeitig bearbeitet und dabei die Hardware so effizient nutzt, dass man komplexe KI-Modelle auf einem einzigen Chip mit extrem hoher Geschwindigkeit und geringem Ressourcenverbrauch betreiben kann.

Es ist der Unterschied zwischen einem starren, unflexiblen Bus, der immer voll ist oder leer steht, und einem autonomen Taxisystem, das genau so viele Fahrzeuge schickt, wie gerade Fahrgäste da sind – immer pünktlich und ohne Leerfahrten.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Data-Rate-Aware High-Speed CNN Inference on FPGAs" von Tobias Habermann und Martin Kumm auf Deutsch:

1. Problemstellung

Convolutional Neural Networks (CNNs) erfordern für Anwendungen wie autonomes Fahren oder Spracherkennung eine hohe Inferenzgeschwindigkeit und geringe Latenz. FPGAs sind hierfür aufgrund ihrer Parallelisierbarkeit gut geeignet.

• Herausforderung: Herkömmliche datenflussbasierte Beschleuniger auf FPGAs stoßen an Grenzen, wenn Schichten wie Pooling oder Strided Convolutions die Datenrate im Pipeline-Verlauf reduzieren. Dies führt in vollständig entrollten (fully unrolled) Designs zu einer Unterauslastung der Hardware-Einheiten, da nachfolgende Schichten nicht mehr mit der vollen Taktrate versorgt werden können.
• Bestehende Lösungen: Bisherige „datenratenbewusste" (data-rate-aware) Ansätze (z. B. aus Referenz [11]) passen die Parallelisierung pro Schicht an die lokale Datenrate an, um die Hardware-Auslastung zu maximieren. Ein wesentlicher Nachteil dieser Arbeiten ist jedoch, dass sie typischerweise nur einen Pixel pro Taktzyklus verarbeiten können. Dies limitiert den maximalen Durchsatz und die Effizienz bei komplexeren Modellen.

2. Methodik

Das Paper stellt eine erweiterte Architektur vor, die das Konzept des „Continuous-Flow" (kontinuierlicher Datenfluss) für die Mehr-Pixel-Verarbeitung (Multi-pixel Processing) adaptiert und die Parametrisierung vereinfacht.

• Grundlegende Architektur:

  • Die Architektur nutzt Basis-Komponenten: KPU (Kernel Processing Unit) für Faltungs- und Depthwise-Convolutions-Schichten sowie FCU (Fully Connected Unit) für vollvernetzte und punktweise Faltungsschichten.
  • Im Gegensatz zu früheren Ansätzen, die die Implementierung direkt aus der Eingangsdatenrate $r_{\ell-1}$ ableiteten und dabei Rundungsfehler sowie Unterauslastung riskierten, wird hier ein systematischer Designraum-Explorationsansatz gewählt.

• Parametrisierung und Constraints:

  • Die Architektur wird durch zwei ganzzahlige Parameter definiert:
    • $j$: Anzahl der pro Taktzyklus verarbeiteten Eingangs-Signale (Eingangsdatenrate).
    • $h$: Anzahl der pro FCU/KPU sequentiell verarbeiteten Neuronen/Kerne.
  • Strenge Constraints: Um Synchronisationsprobleme und das Verarbeiten von ungültigen Daten (Padding) zu vermeiden, müssen $j$ durch die Anzahl der Eingangs-Kanäle ($d_{\ell-1}$) und $h$ durch die Anzahl der Ausgangs-Neuronen ($d_{\ell}$) teilbar sein.
  • Optimierung: Der Algorithmus sucht im zulässigen Bereich ($HJ_\ell$) nach dem Paar $(j, h)$, das die tatsächliche Eingangsdatenrate $r_{\ell-1}$ am besten approximiert, wobei $h$ bevorzugt groß gewählt wird, um die Anzahl der Hardware-Einheiten zu minimieren und effiziente Addierbäume (Compressor Trees) zu ermöglichen.

• Multi-Pixel-Verarbeitung:

  • Um mehrere Pixel pro Takt zu verarbeiten (z. B. 2 Pixel), wird die Anzahl der FCUs verdoppelt.
  • Bei Faltungsschichten (KPU) wird eine nicht-transponierte Architektur eingeführt. Statt gewichtete Zwischenergebnisse zu puffern, werden die Eingangsmerkmale gepuffert und zwischen den KPUs geteilt.
  • Durch gezielte Verzögerungen (Delays) der Eingangssignale und eine spezifische Anordnung der Multiplikatoren können mehrere KPUs gleichzeitig verschiedene „Sliding Windows" für unterschiedliche Pixel verarbeiten.
  • Bei Strides $>1$ können bestimmte KPU-Designs sogar ganz entfallen, da sie keine gültigen Fenster berechnen würden, was Ressourcen spart.

3. Wichtige Beiträge

1. Erweiterung auf Multi-Pixel-Verarbeitung: Die erste datenratenbewusste FPGA-Architektur, die mehr als einen Pixel pro Taktzyklus verarbeitet, was den Durchsatz signifikant steigert.
2. Vereinfachtes Parametrisierungs-Modell: Die Autoren kondensieren die komplexen Herleitungen früherer Arbeiten auf zwei zentrale Parameter ($j$ und $h$) mit klaren mathematischen Constraints, was die Designraum-Suche effizienter und robuster macht.
3. Ressourceneffizienz: Durch die Möglichkeit, große Addierbäume (Compressor Trees) zu nutzen und redundante Einheiten bei Strides zu entfernen, wird die Logik-Ressourcennutzung (LUTs) drastisch reduziert.
4. Skalierbarkeit: Die Architektur deckt einen weiten Bereich von Datenraten ab, von sehr hohen Durchsätzen bis hin zu ressourcenschonenden, langsamen Konfigurationen, ohne die Hardware neu zu entwerfen.

4. Ergebnisse

Die Autoren synthetisierten ihre Designs auf einem Xilinx Virtex UltraScale+ (xcvu37p) FPGA und verglichen sie mit dem State-of-the-Art (SOTA), insbesondere mit Referenz [11] und anderen FPGA/GPU-Lösungen (wie FINN oder Alveo U280).

• Ressourceneinsparung (MobileNetV1): Im Vergleich zum Vorgängermodell [11] bei gleicher Datenrate:
  • Reduktion der LUTs um 22 %.
  • Reduktion der BRAMs um 15 %.
  • Leichte Erhöhung der Register (FF) um 7 %, aber geringere DSP-Nutzung.
• Durchsatz und Latenz (MobileNetV2):
  • Bei Verarbeitung von 2 Pixeln pro Takt (6 Features) wurde ein Durchsatz von 16.020 Bildern pro Sekunde (FPS) erreicht.
  • Dies ist mehr als drei Mal höher als die besten aktuellen SOTA-Beschleuniger für dasselbe Modell.
  • Die Latenz liegt bei ca. 0,21 ms.
• Flexibilität: Das Paper zeigt, dass durch Anpassung der Parameter (z. B. von 6/1 auf 3/32) der Durchsatz auf ca. 219 FPS reduziert werden kann, wobei die benötigten DSPs von über 6.000 auf nur 212 sinken. Dies ermöglicht eine feine Abstimmung zwischen Leistung und Ressourcenverbrauch.
• Energieeffizienz: Die Power-Effizienz (mJ/Inference) verbessert sich signifikant bei niedrigeren Datenraten.

5. Bedeutung und Ausblick

Das Paper demonstriert, dass durch eine intelligente, datenratenbewusste Anpassung der Hardware-Architektur und die Einführung der Multi-Pixel-Verarbeitung FPGAs extrem effiziente Plattformen für CNN-Inferenz werden können.

• Praxisrelevanz: Die Methode ermöglicht die Implementierung komplexer CNNs auf einem einzigen FPGA über einen weiten Bereich von Anforderungen (von Echtzeit-Hochgeschwindigkeitsverarbeitung bis zu ressourcenbeschränkten Szenarien).
• Zukünftige Arbeiten: Als Limitierung wird die hohe Auslastung der BRAMs identifiziert, da diese primär zur Speicherung der Gewichte genutzt werden und nicht mit der Datenrate skaliert. Als Lösung wird vorgeschlagen, Gewichte in externen Speichern (DRAM/HBM) zu offloaden, um die On-Chip-Ressourcen für höhere Datenraten freizumachen.

Zusammenfassend bietet das Paper einen wichtigen Schritt hin zu hochperformanten, ressourcenschonenden und flexiblen CNN-Beschleunigern auf FPGAs, die die Lücke zwischen theoretischer Datenrate und praktischer Hardware-Nutzung schließen.