⚡ electrical engineering

No Attention, No Problem: DPU-Aware Attention Approximation in Modern YOLO on FPGA

Dit artikel stelt een DPU-bewuste architectuur voor die moderne op aandacht gebaseerde YOLO-varianten (YOLOv26 en YOLOv11) aanpast voor implementatie op AMD FPGA's door aandachtmechanismen te benaderen en operaties te modificeren voor hardwarecompatibiliteit, waarbij tot 3x lager energieverbruik en een hoge doorvoer worden bereikt met slechts een nauwkeurigheidstolerantie van 5% over zes benchmark-datasets.

Oorspronkelijke auteurs: Suraj Karki, Qazi Arbab Ahmed, Thorsten Jungeblut

Gepubliceerd 2026-07-16

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Suraj Karki, Qazi Arbab Ahmed, Thorsten Jungeblut

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren de wereld te zien. Je wilt dat hij een kat, een auto of een persoon direct herkent, of ze nu recht staan of onder een vreemde hoek gekanteld zijn. Dit is de taak van "objectdetectie", een superkracht voor computers die hen in staat stelt afbeeldingen en video's te begrijpen. Maar hier is de crux: je wilt deze robot niet aansluiten op een enorme, stroomverslindende serverfarm. Je wilt dat hij draait op een klein, op batterijen werkend apparaat, zoals een drone of een beveiligingscamera, precies daar waar de actie plaatsvindt. Dit wordt "edge computing" genoemd. Om dit werkend te krijgen, gebruiken ingenieurs speciale chips genaamd FPGA's. Denk aan een FPGA niet als een vaststaand brein, maar als een Lego-set van logische poorten die je in elke gewenste vorm aan elkaar kunt klikken, wat het ongelooflijk snel en energiezuinig maakt. De grote uitdaging? De slimste, meest moderne "hersenen" (AI-modellen) zijn vaak te complex voor deze kleine, op maat gemaakte Lego-hersenen. Ze gebruiken fancy wiskundige trucjes die de Lego-set niet kan uitvoeren, waardoor de robot vertraagt en hulp moet vragen aan een grotere, tragere computer.

Dit artikel gaat over een slimme hack om de nieuwste, slimste objectdetecterende AI-modellen soepel te laten draaien op deze kleine, op maat gemaakte Lego-chips zonder hun intelligentie te verliezen. De onderzoekers namen twee van de nieuwste en beste AI-modellen, genaamd YOLOv26 en YOLOv11, en gaven ze een "DPU-bewuste" make-over. Een DPU is een specifiek type hardware-accelerator dat in deze chips is ingebouwd, en het heeft een strikt regelboek: het kan bepaalde complexe wiskundige operaties zoals het op een vreemde manier "splitsen" van gegevens of het gebruiken van specifieiactivatiefuncties niet uitvoeren. De auteurs realiseerden zich dat als ze de modellen exact zoals ze zijn zouden proberen te draaien, de chip vast zou lopen en de robot traag zou worden. Dus bouwden ze een vertaal-laag. Ze vervingen de verboden wiskundige trucjes door goedgekeurde, eenvoudigere versies waar de chip dol op is. Bijvoorbeeld, ze vervingen een complex "spatial attention"-mechanisme — dat de AI helpt zich te concentreren op belangrijke delen van een afbeelding — door een eenvoudigere benadering die standaard bouwstenen gebruikt. Ze vervingen ook niet-ondersteunde activatiefuncties door functies die de chip wel herkent.

Het team testte deze aangepaste modellen op een echte chip genaamd de Xilinx ZCU104, met behulp van een verscheidenheid aan datasets variërend van standaard straatscènes tot luchtfoto's waarbij objecten gedraaid zijn. Ze maten alles: hoe snel de robot dingen kon spotten (frames per seconde), hoeveel stroom hij verbruikte en hoe accuraat hij bleef. De resultaten waren veelbelovend. Door deze specifieke architecturale aanpassingen te maken, slaagden ze erin de modellen te laten draaien op indrukwekkende snelheden — tot wel 34,05 frames per seconde voor standaarddetectie en 29,55 frames per seconde voor het detecteren van gedraaide objecten. Dit is snel genoeg voor real-time toepassingen zoals autonoom rijden of drone-navigatie. Er was echter een kleine prijs: de nauwkeurigheid daalde met ongeveer 5% vergeleken met het draaien van de modellen op een krachtige computer, een afweging die de auteurs opmerken als gebruikelijk wanneer complexe AI in kleine hardware wordt geperst. Ze ontdekten ook dat terwijl de chip zelf sneller werd naarmate ze krachtigere configuraties gebruikten, de laatste stap van het opschonen van de resultaten (genaamd post-processing) een bottleneck werd, wat de algehele snelheid vertraagde. Uiteindelijk suggereert het artikel dat zelfs de meest moderne AI-modellen met de juiste aangepaste modificaties efficiënt kunnen worden ingezet op edge-apparaten, wat een "sweet spot" biedt tussen snelheid, vermogen en nauwkeurigheid.

Technische Samenvatting: Geen Aandacht, Geen Probleem: DPU-bewuste Aandachtsbenadering voor Moderne YOLO op FPGA

Probleemstelling
AI aan de rand van het netwerk (Edge-based AI) vereist een delicaat evenwicht tussen nauwkeurigheid, snelheid en energie-efficiëntie, met name voor real-time objectdetectie. Hoewel Field-Programmable Gate Arrays (FPGA's) een hoge prestatie bieden met een laag energieverbruik door middel van reconfigureerbare hardware, brengt het implementeren van state-of-the-art (SOTA) objectdetectiemodellen op FPGA System-on-Chips (SoC's) aanzienlijke uitdagingen met zich mee. Specifiek maken moderne YOLO-varianten (zoals YOLOv11 en YOLOv26) gebruik van complexe componenten zoals ruimtelijke aandachtmechanismen, specifieke activatiefuncties (bijv. SiLU) en split-operaties die niet inherent worden ondersteund door commerciële Deep Learning Processor Units (DPU's) zoals de AMD Xilinx DPUCZDX8G. Wanneer deze niet-ondersteunde operatoren worden aangetroffen, vindt de uitvoering plaats op de CPU, wat knelpunten creëert die de efficiëntievoordelen van hardwareversnelling tenietdoen. Bovendien richt de bestaande literatuur zich grotendeels op eerdere YOLO-versies of standaard horizontale begrenzingskaders, waardoor moderne aandacht-gebaseerde architecturen en georiënteerde objectdetectie (OBB) onderbelicht blijven in de context van FPGA-implementatie.

Methodologie
De auteurs stellen een systematisch kader voor om moderne, aandacht-gebaseerde YOLO-modellen aan te passen voor implementatie op de AMD Xilinx ZCU104 FPGA SoC met behulp van de Vitis AI toolchain. De methodologie bestaat uit vier fasen:

Datasetvoorbereiding: De studie maakt gebruik van zes benchmark-datasets die zowel standaard (horizontale) als georiënteerde objectdetectie dekken: COCO, Pascal VOC en KITTI voor standaard taken; DOTA en DIOR-R voor georiënteerde taken; en een op maat gemaakte dataset voor menselijke aanwezigheid.
DPU-bewuste Architectuuradaptatie: Om volledige uitvoering op de DPU te garanderen, passen de auteurs de modelarchitecturen aan (YOLOv8, YOLOv11 en YOLOv26, inclusief OBB-varianten) om niet-ondersteunde componenten te vervangen:
- Activatiefuncties: De niet-ondersteunde Sigmoid Linear Unit (SiLU) wordt vervangen door de Rectified Linear Unit (ReLU).
- Split-operaties: In feature-fusieblokken (bijv. C2f) worden niet-ondersteunde split-operaties vervangen door equivalente $1 \times 1$ convolutie-operaties. De gewichten worden geïnitialiseerd als binaire selectiematrices om het kanaalsplitsgedrag te repliceren.
- Aandachtsmechanisme Benadering: De complexe ruimtelijke aandachtmodules (bijv. C2PSA in YOLOv11), die vertrouwen op niet-ondersteunde operaties zoals reshape, transpose, matrixvermenigvuldiging en Softmax, worden benaderd. De auteurs stellen een DPU-compatibele versie voor met parallelle $1 \times 1$ convoluties om Query, Key en Value features te extraheren, waarbij de aandachtsgewichten worden benaderd via geschaalde elementgewijze producten, Softmax wordt vervangen door Hard-Sigmoid, en de resultaten worden teruggeprojecteerd via $1 \times 1$ convoluties.
Training en Kwantisatie: Modellen worden getraind met de Ultralytics-bibliotheek met mixed-precision (FP16). Post-Training Quantization (PTQ) wordt toegepast om modellen om te zetten van 32-bits floating-point naar 8-bits integer representatie, een noodzakelijke stap voor DPU-implementatie.
Compilatie en Implementatie: Gekwantiseerde modellen worden gecompileerd met de Vitis AI compiler gericht op acht verschillende DPUCZDX8G IP-core configuraties (B512 tot B4096). Het hardwareontwerp wordt opnieuw opgebouwd met Vivado en Vitis om bitstreams en deployment-images voor de ZCU104 te genereren.

Belangrijkste Bijdragen
Het artikel levert vier primaire bijdragen:

Gecustomiseerde Architectuur: Het presenteert een DPU-bewuste aandacht-benaderingsarchitectuur die de implementatie van moderne, aandacht-gebaseerde YOLO-varianten (v11 en v26) op commerciële FPGA SoC's mogelijk maakt.
Uitgebreide Benchmarking: Het biedt een end-to-end prestatie-evaluatie van deze modellen over zowel standaard als georiënteerde objectdetectietaken met behulp van state-of-the-art datasets.
Architecturale Analyse: Het biedt een gedetailleerde analyse van prestaties (latentie, FPS, vermogen, resource-utilisatie) over alle acht DPUCZDX8G IP-core configuraties.
Kwantitatieve Baseline: Het werk stelt een kwantitatieve baseline vast voor het implementeren van standaard en georiënteerde bounding box detectiemodellen op FPGA SoC's met behulp van de Vitis AI toolchain.

Resultaten
De studie evalueert de aangepaste modellen over alle datasets en DPU-configuraties:

Nauwkeurigheid: De architecturale wijzigingen (het vervangen van SiLU, het benaderen van aandacht) resulteerden in een gemiddelde absolute reductie van ongeveer 3% in mAP@0.5:0.95 vergeleken met de originele FP32-modellen. De daaropvolgende implementatie op FPGA (waarbij 8-bit kwantisatie betrokken is) leidde tot een extra gemiddelde reductie van ongeveer 7% vergeleken met CPU-uitvoering, wat resulteert in een totale nauwkeurigheidsdaling van ongeveer 5% voor het uiteindelijke geïmplementeerde systeem.
Prestaties: YOLOv26n en YOLOv26n-OBB bereikten de hoogste end-to-end doorvoer. Op de grootste DPU-configuratie (B4096) bereikten zij 34,05 FPS voor standaard detectie en 29,55 FPS voor georiënteerde detectie.
Latentie en Knelpunten: Hoewel de DPU-specifieke FPS toenam en de latentie afnam naarmate de DPU-architectuur schaalde van B512 naar B4096, bleef er een aanzienlijk gat bestaan tussen de DPU-prestaties en de end-to-end prestaties. De auteurs identificeren post-processing (met name Non-Maximum Suppression of NMS) als een kritiek knelpunt, aangezien dit op een enkele CPU-core wordt uitgevoerd, wat de totale doorvoer beperkt ongeacht de DPU-capaciteit.
Efficiëntie: De B4096-configuratie verbruikte tot 8,760 W, wat een toename van 83% is ten opzichte van de B512-configuratie (4,792 W). Ondanks dit claimen de auteurs dat de oplossing ongeveer 3× lager energieverbruik bereikt vergeleken met state-of-the-art alternatieven.

Betekenis
Het artikel beweert dat het werk een kritieke kloof in de literatuur aanpakt door de implementatie van de nieuwste aandacht-gebaseerde YOLO-architecturen op FPGA's mogelijk te maken, een taak die voorheen werd gehinderd door hardware-incompatibiliteiten. Door deze modellen systematisch aan te passen en te benchmarken over diverse datasets en DPU-configuraties, biedt de studie een praktisch stappenplan voor Edge AI-ontwikkelaars. De resultaten laten zien dat hoewel een trade-off in nauwkeurigheid (ca. 5%) noodzakelijk is voor kwantisatie en hardware-adaptatie, de aanpak aanzienlijke winst oplevert in energie-efficiëntie en real-time doorvoer, waardoor het levensvatbaar is voor toepassingen zoals autonoom rijden, drone-navigatie en surveillance. De auteurs merken bescheiden op dat toekomstig werk zich zal richten op het verwijderen van NMS-afhankelijkheden om het post-processing knelpunt verder te verlichten en de end-to-end prestaties te verbeteren.

Meer zoals dit