Technische Samenvatting: Hardware-bewuste Pruning van Graph Neural Networks voor Embedded Event-gebaseerde Visie

Probleemstelling

Mobiele robotica en autonome systemen vereisen visuele sensoren die in staat zijn om met hoge prestaties te opereren in dynamische omgevingen, terwijl ze voldoen aan strikte beperkingen wat betreft latentie, doorvoer en energieverbruik. Event-gebaseerde camera's (Dynamic Vision Sensors of DVS) pakken deze behoeften aan door scèneveranderingen asynchroon vast te leggen met microseconde-resolutie, lage latentie en een hoog dynamisch bereik. Het efficiënt verwerken van de resulterende ijle, tijdreeksgegevens op embedded platforms blijft echter een aanzienlijke uitdaging.

Hoewel Spiking Neural Networks (SNNs) de temporele ijlheid behouden, lijden ze vaak aan een lagere nauwkeurigheid en vormen ze uitdagingen voor hardware-acceleratie op niet-neuromorfische platforms vanwege niet-deterministische geheugentoegangspatronen. Daarentegen bieden Graph Convolutional Neural Networks (GCNNs), die events behandelen als graafknopen, een hoge nauwkeurigheid en zijn ze goed geschikt voor hardware-acceleratie. De implementatie van GCNNs op hulpbronnenbeperkte embedded heterogene FPGA-platforms wordt echter gehinderd door de hoge benutting van on-chip geheugen (BlockRAM en UltraRAM), met name voor het opslaan van feature maps tussen lagen. Wanneer extern DRAM niet haalbaar is vanwege latentie- of energiebeperkingen, wordt het on-chip geheugen de primaire flessenhals, wat de inzet van grotere, nauwkeurigere modellen beperkt.

Methodologie

De auteurs stellen een hardware-bewuste optimalisatiestrategie voor die specifiek is ontworpen voor de Event-gebaseerde FPGA-geaccelereerde Graph Convolutional Network (EFGCN) architectuur. Het kerndoel is het minimaliseren van de benutting van interne FPGA-geheugenbronnen (specifiek dual-port 36kb BlockRAM en 288kb UltraRAM) met behoud van een hoge classificatienauwkeurigheid.

De methodologie integreert twee primaire technieken:

1. Gestructureerde Pruning: In tegenstelling tot ongestructureerde pruning, verwijdert deze aanpak volledige kanalen (output feature maps) op basis van hun positie in de gewichtsmatrix. De selectie van kanalen wordt beperkt door de wiskundige eigenschappen van de doel-FPGA geheugenblokken. De auteurs leiden specifieke families van geldige kanaalaantallen ($C$) af die volledige benutting van BRAM- en URAM-blokken garanderen bij een specifieke kwantisatieprecisie ($q$). Dit voorkomt geheugenfragmentatie en zorgt voor efficiënte resource packing.
2. Kwantisatie: De methode vermindert de precisie van feature vectoren en edge-informatie die in het geheugen worden opgeslagen. Door de bitbreedte ($q$) te verlagen, neemt de vereiste geheugenbreedte per kanaal af, waardoor er ofwel een reductie in totaal geheugengebruik plaatsvindt, ofwel een toename in kanaalcapaciteit binnen hetzelfde geheugenvoetafdruk.

Om de enorme ontwerpplek (meer dan $7,8 \times 10^6$ mogelijke configuraties) te navigeren, maken de auteurs gebruik van een twee-fasen zoekprocedure:

• Fine Grid Search (FG): Vertrekkend vanuit een baseline configuratie (maximale kanalen, 8-bit kwantisatie), voert het algoritme een neerwaartse zoektocht uit over lagen en kwantisatieniveaus. Het evalueert configuraties op basis van een Pareto-front, waarbij een balans wordt gezocht tussen classificatiekwaliteit en resource-benutting om een veelbelovende subset van oplossingen te identificeren.
• Greedy Layer-wise Iterative Deepening Search (GLID): Deze fase verfijnt de geselecteerde configuraties verder. Het vermindert iteratief de resource-benutting laag voor laag, waarbij de modificatie wordt gekozen (pruning of kwantisatiestap) die de beste kwaliteitsscore oplevert tegen de laagste resourcekosten. Het proces wordt beëindigd wanneer de daling in nauwkeurigheid een vooraf gedefinieerde drempel overschrijdt.

Na de zoektocht ondergaan de geselecteerde modellen een fine-tuning fase met een lage leersnelheid om de tijdens compressie verloren gegane nauwkeurigheid te herstellen.

Belangrijkste Bijdragen

Het artikel claimt de volgende primaire bijdragen:

• Eerste Hardware-bewuste Strategie voor Event GCNNs: De auteurs presenteren de eerste methode die hardware-bewuste pruning en kwantisatie combineert, specifiek voor event-gebaseerde visie en Graph Convolutional Neural Networks.
• Flexibele Architectuuradaptatie: De voorgestelde methode maakt de flexibele selectie van een definitieve modelconfiguratie mogelijk, gebaseerd op de specifieke resourcebeperkingen en nauwkeurigheidseisen van het doel-embedded platform.
• Gevalideerde Prestaties: De aanpak werd geëvalueerd over meerdere datasets en netwerkconfiguraties, waarbij significante reducties in BRAM-gebruik (26,5%–31,4%) werden aangetoond met gecontroleerde degradatie van de nauwkeurigheid (1,65%–5,18%).
• Hardware Proof-of-Concept: Een hardwaremodule werd ontwikkeld en geverifieerd op een ZCU104 heterogene FPGA-platform, wat de effectiviteit van de pruning-strategie in een real-world implementatie bevestigt.

Experimentele Resultaten

De methode werd geëvalueerd met drie neuromorfische datasets: MNIST-DVS, CIFAR-10-DVS en N-Caltech101. De experimenten maakten gebruik van een baseline EFGCN-model met vijf convolutionele lagen.

• Geheugenreductie: De optimalisatiestrategie bereikte BRAM-reducties van 28,8% voor CIFAR-10 (met een nauwkeurigheidsverlies van 1,65%), 31,4% voor MNIST-DVS (3,55% nauwkeurigheidsverlies) en 26,5% voor N-Caltech101 (5,18% nauwkeurigheidsverlies).
• Hardware Implementatie: Op het ZCU104-platform vertoonde het uiteindelijke geoptimaliseerde model voor MNIST-DVS een reductie van 30,6% in het totale BRAM-gebruik vergeleken met de baseline. Daarnaast nam de logische resource-benutting (LUTs en Flip-Flops) met respectievelijk ongeveer 34% en 29% af. Opvallend genoeg nam de DSP-benutting met 54% toe doordat de synthesetool bepaalde 6-bit vermenigvuldigingen naar DSP-blokken mapt, hoewel de totale geheugenbesparing het primaire doel was.
• Zoakefficiëntie: De twee-fasen zoektocht (FG gevolgd door GLID) bleek effectief in het vinden van hoogwaardige configuraties zonder de computationele kosten van een exhaustieve zoektocht door de gehele ontwerpplek of het gebruik van complexe evolutionaire algoritmen (die de auteurs opmerkten als falend in hun voorlopige tests).

Betekenis en Claims

Dit werk positioneert zich als een cruciale stap naar het mogelijk maken van efficiënte, autonome mobiele robotica. Door het geheugenprobleem aan te pakken dat inherent is aan FPGA-gebaseerde GCNN-implementaties, stellen de auteurs de inzet van complexe event-gebaseerde visiemodellen op embedded systemen mogelijk zonder afhankelijk te zijn van extern geheugen, wat onaanvaardbare latentie en energieoverhead zou introduceren.

De auteurs kaderen hun bijdrage bescheiden als een "eerste verkenning" van dit specifieke snijvlak (hardware-bewuste pruning voor event-gebaseerde GCNNs). Ze benadrukken dat de methode een afweging mogelijk maakt tussen nauwkeurigheid en resourcegebruik, waardoor systeemontwerpers een instrument hebben om modellen af te stemmen op specifieke hardwarebeperkingen. Het werk claimt niet alle uitdagingen van event-gebaseerde visie op te lossen, maar richt zich specifief op de optimalisatie van de EFGCN-architectuur voor embedded heterogene platforms, wat een praktisch pad biedt voor de inzet van hoogwaardige, lage-latentie visiesystemen op drones en andere mobiele robots.