💻 computer science

Hardware-aware Graph Neural Networks prunning for embedded event-based vision

Dieses Paper schlägt eine hardwarebewusste Pruning- und Quantisierungsstrategie für Graph Convolutional Neural Networks vor, die die Modellarchitektur für eingebettete FPGA-Plattformen optimiert und signifikante BRAM-Speicherreduzierungen bei minimalem Genauigkeitsverlust über verschiedene eventbasierte Vision-Datensätze hinweg erreicht.

Ursprüngliche Autoren: Piotr Wzorek, Kamil Jeziorek, Tomasz Kryjak

Veröffentlicht 2026-07-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Piotr Wzorek, Kamil Jeziorek, Tomasz Kryjak

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Wie man „Event-Kameras“ in einen Rucksack passt

Stellen Sie sich vor, Sie versuchen, eine riesige, hochtechnologische Bibliothek von Büchern (ein komplexes KI-Gehirn) in einen winzigen Rucksack (einen eingebetteten Computer auf einer Drohne oder einem Roboter) zu packen. Die Bücher sind schwer, und der Rucksack hat ein strenges Gewichtslimit. Wenn Sie versuchen, die ganze Bibliothek hineinzustopfen, reißt der Rucksack oder der Roboter kann sich nicht mehr bewegen.

Dieses Paper löst genau dieses Problem für eine spezielle Art von Kamera, die sogenannte Event-Kamera.

Die Kamera: Im Gegensatz zu normalen Kameras, die jede Sekunde ein vollständiges Foto machen (wie eine Videokamera), ist eine Event-Kamera wie ein Raum voller Menschen, die nur dann laut werden, wenn etwas passiert. Wenn ein Vogel durch den Raum fliegt, rufen sie „Vogel!“. Wenn ein Licht flackert, rufen sie „Licht!“. Wenn sich nichts bewegt, bleiben sie stumm. Dies erzeugt einen „spärlichen“ Datenstrom – viel Stille, aber sehr schnell und effizient, wenn etwas passiert.
Das Problem: Um diesen Strom von Ausrufen zu verstehen, verwenden wir eine spezielle Art von KI namens Graph Neural Network (GCNN). Denken Sie bei diesem Netzwerk an ein massives Geflecht von Verbindungen. Dieses „Geflecht“ benötigt jedoch viel internen Speicher (Memory), um die Verbindungen im Auge zu behalten. Auf kleinen, batteriebetriebenen Robotern ist dieser Speicher der größte Engpass. Es ist, als würde man versuchen, die ganze Bibliothek in seinen Rucksack zu packen, obwohl man nur Platz für ein paar Broschüren hat.

Die Lösung: Eine intelligente Packstrategie

Die Autoren (Piotr, Kamil und Tomasz) haben einen neuen Weg entwickelt, um dieses KI-Gehirn zu schrumpfen, damit es in den Rucksack passt, ohne seine Fähigkeit zur Objekterkennung zu verlieren. Sie nennen dies „Hardware-Aware Pruning and Quantization“ (Hardware-bewusste Beschneidung und Quantisierung).

So haben sie es gemacht, unterteilt in drei einfache Schritte:

1. Das „Pruning“ (Das Fett abschneiden)

Stellen Sie sich das KI-Netzwerk wie einen Baum mit tausenden von Zweigen vor. Einige Zweige sind dick und tragen viele wichtige Informationen; andere sind winzige Zweiglein, die kaum etwas bewirken.

Was sie getan haben: Sie haben die Zweige nicht einfach wahllos abgeschnitten. Sie haben auf den spezifischen „Rucksack“ (den FPGA-Chip) geschaut, für den sie packten. Sie erkannten, dass der Rucksack über spezifische, unterschiedlich große Regale (Memory-Blöcke) verfügt.
Der Trick: Sie schnitten die Zweige in einem sehr spezifischen Muster ab, sodass der verbleibende Baum perfekt auf die Regale passt und kein leerer Platz verschwendet wird. Dies nennt man Structured Pruning.

2. Die „Quantisierung“ (Zu kleineren Boxen wechseln)

Normalerweise speichert die KI Informationen in sehr großen, schweren Boxen (hochpräzise Zahlen).

Was sie getan haben: Sie entschieden sich, zu kleineren, leichteren Boxen zu wechseln (niedrigere Präzisionszahlen, wie 6-Bit oder 8-Bit statt 32-Bit).
Das Ergebnis: Man kann viel mehr Informationen in denselben Platz unterbringen, aber die Boxen sind etwas weniger präzise. Es ist, als würde man den Wechsel von der Lagerung in schweren Holzkisten zu leichten Pappkartons vollziehen. Man spart Platz, muss aber vorsichtig sein, dass man sie nicht fallen lässt.

3. Die „Suche“ (Den perfekten Fit finden)

Der schwierigste Teil ist herauszufinden, welche Zweige man schneidet und wie klein die Boxen sein sollten. Es gibt Millionen von möglichen Kombinationen.

Die Strategie: Sie verwendeten zwei clevere Suchmethoden:
- Fine Grid Search (FG): Wie das Betrachten einer Karte und das Überprüfen jedes großen Kreuzungspunkts, um die beste Startroute zu finden.
- Greedy Layer-wise Iterative Deepening (GLID): Wie ein Wanderer, der einen Schritt auf einem Pfad macht, prüft, ob die Aussicht noch gut ist, und wenn ja, noch einen Schritt weitergeht. Wenn die Aussicht zu schlecht wird, hält er inne. Dies ermöglicht es, den „Sweet Spot“ zu finden, an dem der Rucksack so leicht wie möglich ist, die KI aber immer noch klug genug ist, um ihre Aufgabe zu erfüllen.

Die Ergebnisse: Leichterer Rucksack, trotzdem klug

Sie haben diese Methode auf drei verschiedenen „Bibliotheken“ von Daten (Datensätzen) getestet:

MNIST-DVS: Erkennung handgeschriebener Ziffern.
CIFAR-10: Erkennung alltäglicher Objekte wie Autos und Flugzeuge.
N-Caltech101: Erkennung komplexerer Objekte.

Das Ergebnis:

Speichereinsparung: Es gelang ihnen, den Speicherverbrauch (speziell den „BRAM“ oder Block RAM, den internen Speicher des Chips) um 26,5 % bis 31,4 % zu reduzieren.
Genauigkeitsverlust: Die KI wurde etwas „dümmer“, aber nur ein kleines bisschen. Die Genauigkeit sank um lediglich 1,65 % bis 5,18 %.
Praxis-Test: Sie haben eine physische Version davon auf einem echten Chip (der ZCU104-Plattform) gebaut. Es funktionierte perfekt, lief mit hoher Geschwindigkeit und ohne Fehler, was beweist, dass die „leichterer Rucksack“-Strategie in der realen Welt funktioniert.

Das Fazzeit

Betrachten Sie dieses Paper als einen Meisterpacker, der herausgefunden hat, wie man eine riesige Bibliothek in einen kleinen Rucksack passt, indem man:

Unnötige Bücher herausschneidet (Pruning).
Schwere Hardcover-Ausgaben durch Taschenbücher ersetzt (Quantization).
Eine kluge Karte verwendet, um die exakte Kombination zu finden, die perfekt in die Regale passt (Die Suchmethoden).

Das Ergebnis ist ein Robotergehirn, das viel leichter und schneller ist – perfekt für Drohnen und mobile Roboter –, ohne die Fähigkeit zu verlieren, die Welt zu sehen und zu verstehen.

Technisches Resümee: Hardware-bewusste Pruning-Verfahren für Graph Neural Networks in der eingebetteten ereignisbasierten Vision

Problemstellung

Mobile Robotik und autonome Systeme erfordern Visionssensoren, die in der Lage sind, mit hoher Leistung in dynamischen Umgebungen zu arbeiten, während sie gleichzeitig strikte Anforderungen an Latenz, Durchsatz und Energieverbrauch erfüllen. Ereignisbasierte Kameras (Dynamic Vision Sensors oder DVS) adressieren diese Bedürfnisse, indem sie Szenenveränderungen asynchron mit Mikrosekundenauflösung, geringer Latenz und hohem Dynamikumfang erfassen. Die effiziente Verarbeitung der daraus resultierenden spärlichen Zeitreihendaten auf eingebetteten Plattformen bleibt jedoch eine erhebliche Herausforderung.

Während Spiking Neural Networks (SNNs) die zeitliche Sparsamkeit bewahren, leiden sie oft unter geringerer Genauigkeit und stellen aufgrund nicht-deterministischer Speicherzugriffsmuster eine Herausforderung für die Hardware-Beschleunigung auf Nicht-Neuromorphic-Plattformen dar. Im Gegensatz dazu bieten Graph Convolutional Neural Networks (GCNNs), welche Ereignisse als Graphknoten behandeln, eine hohe Genauigkeit und sind gut für die Hardware-Beschleunigung geeignet. Dennoch wird die Bereitstellung von GCNNs auf ressourcenbeschränkten, heterogenen FPGA-Plattformen durch die hohe Auslastung des On-Chip-Speichers (BlockRAM und UltraRAM) erschwert, insbesondere für die Speicherung von Feature-Maps zwischen den Schichten. Wenn externes DRAM aufgrund von Latenz- oder Energiebeschränkungen nicht praktikabel ist, wird der On-Chip-Speicher zum primären Engpass, was den Einsatz größerer, genauerer Modelle begrenzt.

Methodik

Die Autoren schlagen eine hardware-bewusste Optimierungsstrategie vor, die speziell für die ereignisbasierte FPGA-beschleunigte Graph Convolutional Network (EFGCN)-Architektur entwickelt wurde. Das Kernziel besteht darin, die Auslastung der internen FPGA-Speicherressourcen (speziell des dual-port-fähigen 36kb BlockRAM und 288kb UltraRAM) zu minimieren und gleichzeitig eine hohe Klassifizierungsgenauigkeit beizubehalten.

Die Methodik integriert zwei primäre Techniken:

Strukturiertes Pruning: Im Gegensatz zu unstrukturiertem Pruning entfernt dieser Ansatz ganze Kanäle (Ausgabe-Feature-Maps) basierend auf ihrer Position in der Gewichtsmatrix. Die Auswahl der Kanäle wird durch die mathematischen Eigenschaften der Ziel-FPGA-Speicherblöcke eingeschränkt. Die Autoren leiten spezifische Familien gültiger Kanalkonfigurationen ( $C$ ) ab, die eine vollständige Ausnutzung der BRAM- und URAM-Blöcke unter Berücksichtigung einer spezifischen Quantisierungspräzision ( $q$ ) gewährleisten. Dies vermeidet Speicherfragmentierung und gewährlebt eine effiziente Ressourcenpackung.
Quantisierung: Die Methode reduziert die Präzision der im Speicher gespeicherten Feature-Vektoren und Kanteninformationen. Durch die Verringerung der Bitbreite ( $q$ ) sinkt die benötigte Speicherbreite pro Kanal, was entweder zu einer Reduzierung der Gesamtmemornutzung oder zu einer Erhöhung der Kanalkapazität innerhalb desselben Speicher-Footprints führt.

Um den riesigen Designraum (der mehr als $7,8 \times 10^6$ mögliche Konfigurationen umfasst) zu navigieren, setzen die Autoren ein zweistufiges Suchverfahren ein:

Fine Grid Search (FG): Ausgehend von einer Baseline-Konfiguration (maximale Kanäle, 8-Bit-Quantisierung) führt der Algorithmus eine Abwärtssuche über Schichten und Quantisierungsstufen durch. Er evaluiert Konfigurationen basierend auf einer Pareto-Front, die Klassifizierungsqualität gegen Ressourcennutzung abwägt, um eine vielversprechende Teilmenge von Lösungen zu identifizieren.
Greedy Layer-wise Iterative Deepening Search (GLID): Diese Stufe verfeinert die ausgewählten Konfigurationen weiter. Sie reduziert iterativ die Ressourcennutzung Schicht für Schicht, indem sie die Modifikation (Pruning- oder Quantisierungsschritt) auswählt, die die beste Qualitätsbewertung bei den geringsten Ressourcenkosten liefert. Der Prozess terminiert, wenn der Genauigkeitsverlust einen vordefinierten Schwellenwert überschreitet.

Nach der Suche durchlaufen die ausgewählten Modelle eine Fine-Tuning-Phase mit einer niedrigen Lernrate, um die während der Kompression verlorene Genauigkeit wiederherzustellen.

Zentrale Beiträge

Das Paper beansprucht die folgenden primären Beiträge:

Erste hardware-bewusste Strategie für Event-GCNNs: Die Autoren präsentieren die erste Methode, die hardware-bewusstes Pruning und Quantisierung speziell für die ereignisbasierte Vision und Graph Convolutional Neural Networks kombiniert.
Flexible Architekturadaption: Die vorgeschlagene Methode ermöglicht die flexible Auswahl der finalen Modellkonfiguration basierend auf den spezifischen Ressourcenbeschränkungen und Genauigkeitsanforderungen der Ziel-Embedded-Plattform.
Validierte Performance: Der Ansatz wurde über mehrere Datensätze und Netzwerkkonfigurationen hinweg evaluiert und demonstrierte signifikante Reduktionen der BRAM-Nutzung (26,5 %–31,4 %) bei kontrollierter Genauigkeitsdegradation (1,65 %–5,18 %).
Hardware-Proof-of-Concept: Ein Hardware-Modul wurde auf einer heterogenen ZCU104 FPGA-Plattform entwickelt und verifiziert, was die Effektivität der Pruning-Strategie in einer realen Implementierung bestätigt.

Experimentelle Ergebnisse

Die Methode wurde mit drei neuromorphen Datensätzen evaluiert: MNIST-DVS, CIFAR-10-DVS und N-Caltech101. Die Experimente nutzten ein Baseline-EFGCN-Modell mit fünf Convolutional-Schichten.

Speicherreduktion: Die Optimierungsstrategie erreichte BRAM-Reduktionen von 28,8 % für CIFAR-10 (mit einem Genauigkeitsabfall von 1,65 %), 31,4 % für MNIST-DVS (3,55 % Genauigkeitsabfall) und 26,5 % für N-Caltech101 (5,18 % Genauigkeitsabfall).
Hardware-Implementierung: Auf der ZCU104-Plattform zeigte das finale optimierte Modell für MNIST-DVS eine Reduktion der gesamten BRAM-Nutzung um 30,6 % im Vergleich zur Baseline. Zusätzlich verringerte sich die Logikressourcennutzung (LUTs und Flip-Flops) um etwa 34 % bzw. 29 %. Bemerkenswerterweise stieg die DSP-Auslastung um 54 %, da das Synthese-Tool bestimmte 6-Bit-Multiplikationen auf DSP-Blöcke mappt, obwohl die Speicherersparnis das primäre Ziel war.
Sucheffizienz: Die zweistufige Suche (FG gefolgt von GLID) erwies sich als effektiv, um hochwertige Konfigurationen zu finden, ohne den Rechenaufwand einer exzessiven Suche über den gesamten Designraum oder den Einsatz komplexer evolutionärer Algorithmen zu verursachen (welche die Autoren in ihren Vorversuchen als nicht konvergent beschrieben).

Bedeutung und Ansprüche

Das Paper positioniert diese Arbeit als einen kritischen Schritt zur Ermöglichung effizienter, autonomer mobiler Robotik. Durch die Adressierung des Speicherengpasses, der bei FPGA-basierten GCNN-Implementierungen inhärent ist, ermöglichen die Autoren den Einsatz komplexer ereignisbasierter Visionsmodelle auf eingebetteten Systemen, ohne auf externen Speicher angewiesen zu sein, der inakzeptable Latenz- und Leistungs-Overheads verursachen würde.

Die Autoren rahmen ihren Beitrag bescheiden als "erste Exploration" dieser spezifischen Schnittmenge (hardware-bewusstes Pruning für ereignisbasierte GCNNs) ein. Sie betonen, dass die Methode einen Trade-off zwischen Genauigkeit und Ressourcennutzung ermöglicht und somit ein Werkzeug für Systemdesigner bereitstellt, um Modelle auf spezifische Hardwarebeschränkungen zuzuschneiden. Die Arbeit beansprucht nicht, alle Herausforderungen der ereignisbasierten Vision zu lösen, sondern zielt spezifisch auf die Optimierung der EFGCN-Architektur für eingebettete heterogene Plattformen ab und bietet einen praktischen Weg zur Bereitstellung hochperformanter, latenzarmer Visionssysteme für Drohnen und andere mobile Roboter.