FPGA-Based Hardware Architecture for Contrast Maximization in Event-Based Vision

Technische Samenvatting: FPGA-gebaseerde Hardwarearchitectuur voor Contrastmaximalisatie in Event-gebaseerde Visie

Probleemstelling
Event-gebaseerde camera's (Dynamic Vision Sensors) bieden aanzienlijke voordelen ten opzichte van traditionele frame-gebaseerde sensoren, waaronder een hoge temporele resolutie, lage latentie en een hoog dynamisch bereik. Het verwerken van hun ijle, asynchrone datastromen vormt echter een uitdaging. Het Contrast Maximization (CM) algoritme is een robuuste methode voor het schatten van bewegingsparameters door de variantie van een Image of Warped Events (IWE) te maximaliseren. Hoewel effectief, is CM afhankelijk van iteratieve optimalisatie om bewegingsparameters te vinden die de randen van events het beste uitlijnen. Dit proces is rekenintensief en omvat complexe warping, bilaterale voting en gradiëntberekeningen. Bijgevolg hebben bestaande CPU- en GPU-implementaties vaak moeite om echte realtime prestaties te leveren, met name in hogesnelheids-, laagvermogen embedded toepassingen, vanwege het hoge stroomverbruik en de latentie.

Methodologie
De auteurs stellen een specifieke hardwarearchitectuur voor, geïmplementeerd op Field-Programmable Gate Arrays (FPGA's), om het CM-algoritme te versnellen. De methodologie is gestructureerd rond een diep gepijpt, massaal parallel ontwerp:

1. Event Preprocessing en Warping: Inkomende events worden gefilterd op basis van een Region of Interest (ROI). Een referentietijd ($t_{ref}$) wordt berekend als het middelpunt van een event-batch. Events worden vervolgens gewarpt naar deze referentietijd met behulp van een constante translatiebeweging ($v_x, v_y$), waarbij de ruimtelijke coördinaten worden aangepast op basis van het tijdsverschil ($\Delta t$).
2. Bilineaire Voting en IWE Constructie: Om het feit op te vangen dat gewarpte events vaak tussen discrete pixellocaties vallen, maakt de architectuur gebruik van een bilaterale voting-mechanisme. Elk event draagt gewogen waarden bij aan vier naburige pixels op basis van fractionele coördinaten.
3. Parallelle Accumulatie: Om een hoge doorvoer te ondersteunen, maakt de geheugenarchitectuur gebruik van 12 Block RAM (BRAM) banken. Deze banken zijn verdeeld zodat gelijktijdige schrijfacties van bijdragen voor de IWE en de bijbehorende partiële afgeleiden met betrekking tot snelheid ($v_x$ en $v_y$) mogelijk zijn. Een register-gebaseerde buffer is geïmplementeerd om potentiële schrijffouten op te lossen wanneer meerdere events hetzelfde geheugenadres binnen opeenvolgende klokcycli targeten.
4. Gradiëntberekening en Optimalisatie: Het systeem berekent de gradiënt van de contrastfunctie (variantie van de IWE) met betrekking tot de bewegingsparameters. Dit omvat het berekenen van de IWE en de bijbehorende afgeleiden, het aftrekken van gemiddelde waarden en het uitvoeren van dot products. Een gradiënt-ascensie methode werkt de bewegingsparameters ($v_x, v_y$) iteratief bij over een vast aantal iteraties (100 in de experimenten).
5. ROI Update: Zodra de optimalisatielus convergeert, worden de berekende bewegingsparameters gebruikt om de ROI-coördinaten voor de volgende batch events bij te werken, wat continue objecttracking mogelijk maakt.

Belangrijkste Bijdragen

• Eerste Hardware Implementatie: Het artikel beweert de eerste hardwarearchitectuur te presenteren die specifiek is ontworpen om het Contrast Maximization algoritme op een FPGA-platform te versnellen.
• Diep Gepipte Architectuur: Het ontwerp kenmerkt zich door een volledig geoptimaliseerd circuit dat warping, IWE-generatie, gradiëntberekening en optimalisatielussen gelijktijdig uitvoert, waarbij gebruik wordt gemaakt van de deterministische parallelliteit van de FPGA.
• Hardware-bewuste Optimalisatie: De auteurs beschrijven specifieke implementatiestrategieën, waaronder een 12-banken geheugenschema om schrijffouten te voorkomen en een zero-write-back mechanisme om BRAM's te legen tussen iteraties zonder dat een volledige hardwarereset nodig is.
• Validatie: De architectuur werd gevalideerd met een event-gebaseerde objecttracking-toepassing, waarbij het vermogen van het systeem werd aangetoond om horizontale en verticale snelheidscomponenten in realtime te schatten.

Experimentele Resultaten
De voorgestelde architectuur werd geïmplementeerd op een Kria KV260 Vision AI Starter Kit (Zynq UltraScale+ MPSoC) en vergeleken met Python referentiemodellen die draaien op een Intel Core i5-11300H CPU en een Nvidia GeForce RTX 3050 Ti GPU.

• Prestaties: Voor een batch van 5.000 events met een 64×64 ROI en 100 optimalisatie-iteraties bereikte de FPGA een verwerkingstijd van 0,92 ms. Dit vertegenwoordigt een versnelling van meer dan 200 keer vergeleken met de CPU (185,96 ms) en ongeveer 500 keer vergeleken met de GPU (473,51 ms).
• Resourcegebruik: Het ontwerp maakte minder dan 4% van de beschikbare Look-Up Tables (LUT's) en Registers op de FPGA gebruik. Het BRAM-gebruik was 17,7% en het DSP-gebruik was 12,1%, wat aangeeft dat de architectuur resource-efficiënt is en ruimte laat voor grotere ROI's of complexere modellen.
• Energie-efficiëntie: Het systeem verbruikte ongeveer 0,813 W aan on-chip vermogen, wat de geschiktheid voor energie-beperkte embedded systemen benadrukt.

Betekenis en Claims
De auteurs stellen dat dit werk aantoont dat het haalbaar is om het rekenintensieve CM-algoritme te versnellen met behulp van FPGA-resources. Door verwerkingssnelheden van meer dan 200 keer sneller dan CPU-implementaties te bereiken terwijl het lage stroomverbruik behouden blijft, biedt de voorgestelde architectuur een solide basis voor realtime bewegingsschatting in hogesnelheids-, laagvermogen embedded systemen. Het artikel concludeert dat hoewel het huidige ontwerp een significante stap voorwaarts is, toekomstig werk zich kan richten op het verhogen van de werkfrequentie, het verminderen van het resourcegebruik, het ondersteunen van geavanceerdere bewegingsmodellen en het uitbreiden van de ROI-grootte via externe geheugenintegratie.