⚡ electrical engineering

No Attention, No Problem: DPU-Aware Attention Approximation in Modern YOLO on FPGA

Questo articolo propone un'architettura consapevole della DPU che adatta le moderne varianti di YOLO basate sull'attenzione (YOLOv26 e YOLOv11) per l'implementazione su FPGA AMD approssimando i meccanismi di attenzione e modificando le operazioni per la compatibilità hardware, ottenendo un consumo energetico fino a 3 volte inferiore e un'elevata velocità di elaborazione con solo un compromesso del 5% sull'accuratezza attraverso sei dataset benchmark.

Autori originali: Suraj Karki, Qazi Arbab Ahmed, Thorsten Jungeblut

Pubblicato 2026-07-16

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Suraj Karki, Qazi Arbab Ahmed, Thorsten Jungeblut

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler insegnare a un robot a vedere il mondo. Vuoi che individui un gatto, un'auto o una persona istantaneamente, che siano in piedi dritti o inclinati con un angolo strano. Questo è il compito del "rilevamento di oggetti", un superpotere per i computer che permette loro di comprendere immagini e video. Ma ecco il problema: non vuoi collegare questo robot a una gigantesca e vorace farm di server. Vuoi che funzioni su un piccolo gadget alimentato a batteria, come un drone o una telecamera di sicurezza, proprio dove avviene l'azione. Questo si chiama "edge computing". Per far sì che ciò funzioni, gli ingegneri usano chip speciali chiamati FPGA. Pensa a un FPGA non come a un cervello fisso, ma come a un set di Lego di porte logiche che puoi incastrare in qualsiasi forma tu abbia bisogno, rendendolo incredibilmente veloce ed efficiente dal punto di vista energetico. La grande sfida? I "cervelli" più intelligenti e moderni (i modelli AI) sono spesso troppo complessi per questi piccoli cervelli Lego costruiti su misura. Utilizzano trucchi matematici sofisticati che il set di Lego non sa come eseguire, costringendo il robot a rallentare e a chiedere aiuto a un computer più grande e lento.

Questo articolo riguarda un trucco astuto per far girare i più nuovi e intelligenti modelli di IA per il rilevamento di oggetti in modo fluido su questi piccoli chip Lego personalizzati, senza perdere la loro intelligenza. I ricercatori hanno preso due dei modelli di IA più recenti e avanzati, chiamati YOLOv26 e YOLOv11, e hanno dato loro una rinfrescata "DPU-aware". Un DPU è un tipo specifico di acceleratore hardware integrato in questi chip, e ha un libro delle regole molto rigido: non può eseguire determinati trucchi matematici sofisticati come "dividere" i dati in modi strani o usare specifiche funzioni di attivazione. Gli autori si sono resi conto che se avessero provato a eseguire i modelli esattamente così come sono, il chip si sarebbe bloccato e il robot sarebbe stato lento. Così, hanno costruito uno strato di traduzione. Hanno sostituito i trucchi matematici proibiti con versioni più semplici e approvate che il chip ama. Ad esempio, hanno scambiato un complesso meccanismo di "attenzione spaziale" — che aiuta l'IA a concentrarsi sulle parti importanti di un'immagine — con un'approssimazione più semplice che utilizza blocchi costruttivi standard. Hanno anche sostituito le funzioni di attivazione non supportate con altre che il chip riconosce.

Il team ha testato questi modelli modificati su un chip reale chiamato Xilinx ZCU104, utilizzando una varietà di dataset che vanno dalle classiche scene stradali alle foto aeree dove gli oggetti sono ruotati. Hanno misurato tutto: quanto velocemente il robot riesce a individuare le cose (fotogrammi al secondo), quanta energia consumava e quanta precisione manteneva. I risultati sono stati promettenti. Effettuando queste specifiche modifiche all'architettura, sono riusciti a far girare i modelli a velocità impressionanti — fino a 34,05 fotogrammi al secondo per il rilevamento standard e 29,55 fotogrammi al secondo per il rilevamento di oggetti ruotati. Questa è una velocità sufficiente per applicazioni in tempo reale come la guida autonoma o la navigazione dei droni. Tuttavia, c'è stato un piccolo prezzo da pagare: la precisione è scesa di circa il 5% rispetto all'esecuzione dei modelli su un computer potente, un compromesso che gli autori notano essere comune quando si cerca di comprimere un'IA complessa in un hardware minuscolo. Hanno anche scoperto che, sebbene il chip diventasse più veloce man mano che utilizzavano configurazioni più potenti, l'ultimo passaggio di pulizia dei risultati (chiamato post-processing) diventava un collo di bottiglia, rallentando la velocità complessiva. In definitiva, l'articolo suggerisce che con le giuste modifiche personalizzate, anche i modelli di IA più moderni possono essere implementati in modo efficiente sui dispositivi edge, offrendo un punto di equilibrio ottimale tra velocità, potenza e precisione.

Sintesi Tecnica: No Attention, No Problem: Approssimazione dell'Attention DPU-Aware nei moderni YOLO su FPGA

Problematica
L'intelligenza artificiale (AI) basata sull'edge richiede un delicato equilibrio tra accuratezza, velocità ed efficienza energetica, in particolare per il rilevamento di oggetti in tempo reale. Sebbene i Field-Programmable Gate Arrays (FPGA) offrano alte prestazioni con basso consumo energetico attraverso l'hardware riconfigurabile, l'implementazione di modelli di rilevamento di oggetti allo stato dell'arte (SOTA) su sistemi su chip (SoC) FPGA presenta sfide significative. Nello specifico, le varianti moderne di YOLO (come YOLOv11 e YOLOv26) utilizzano componenti complessi come meccanismi di attenzione spaziale, funzioni di attivazione specifiche (ad esempio, SiLU) e operazioni di divisione (split) che non sono supportati nativamente dalle unità di elaborazione deep learning (DPU) commerciali come la AMD Xilinx DPUCZDX8G. Quando si incontrano questi operatori non supportati, l'esecuzione ricade sulla CPU, creando colli di bottiglia che annullano i vantaggi dell'accelerazione hardware. Inoltre, la letteratura esistente si concentra ampiamente su versioni precedenti di YOLO o sul rilevamento di bounding box orizzontali standard, lasciando l'architettura basata su attention e il rilevamento di oggetti orientati (OBB) poco esplorati nel contesto dell'implementazione su FPGA.

Metodologia
Gli autori propongono un framework sistematico per adattare i moderni modelli YOLO basati su attention per l'implementazione su un SoC FPGA AMD Xilinx ZCU104 utilizzando la toolchain Vitis AI. La metodologia prevede quattro fasi chiave:

Preparazione del Dataset: Lo studio utilizza sei dataset benchmark che coprono sia il rilevamento di oggetti standard (orizzontale) che quello orientato: COCO, Pascal VOC e KITTI per i compiti standard; DOTA e DIOR-R per i compiti orientati; e un dataset personalizzato sulla presenza umana.
Adattamento dell'Architettura DPU-Aware: Per garantire l'esecuzione completa sulla DPU, gli autori modificano le architetture dei modelli (YOLOv8, YOLOv11 e YOLOv26, incluse le varianti OBB) per sostituire i componenti non supportati:
- Funzioni di Attivazione: La funzione Sigmoid Linear Unit (SiLU) non supportata viene sostituita con la Rectified Linear Unit (ReLU).
- Operazioni di Split: Nelle unità di fusione delle caratteristiche (es. C2f), le operazioni di split non supportate vengono sostituite con operazioni di convoluzione equivalente $1 \times 1$ . I pesi sono inizializzati come matrici di selezione binaria per replicare il comportamento di divisione dei canali.
- Approssimazione del Meccanismo di Attention: I complessi moduli di attenzione spaziale (es. C2PSA in YOLOv11), che si affidano a operazioni non supportate come reshape, transpose, moltiplicazione di matrici e Softmax, vengono approssimati. Gli autori propongono una versione compatibile con la DPU utilizzando convoluzioni $1 \times 1$ parallele per estrarre le caratteristiche di Query, Key e Value, approssimando i pesi di attenzione tramite prodotti elemento per elemento scalati, sostituendo la Softmax con la Hard-Sigmoid e proiettando i risultati tramite convoluzioni $1 \times 1$ .
Training e Quantizzazione: I modelli vengono addestrati utilizzando la libreria Ultralytics con precisione mista (FP16). La quantizzazione post-training (PTQ) viene applicata per convertire i modelli da rappresentazione a virgola mobile a 32 bit a rappresentazione intera a 8 bit, un passaggio necessario per l'implementazione sulla DPU.
Compilazione e Implementazione: I modelli quantizzati vengono compilati utilizzando il compilatore Vitis AI prendendo come bersaglio otto diverse configurazioni di core IP DPUCZDX8G (da B512 a B4096). Il design hardware viene ricostruito usando Vivado e Vitis per generare bitstream e immagini di deployment per lo ZCU104.

Contributi Chiave
Il documento presenta quattro contributi primari:

Architettura Personalizzata: Presenta un'architettura di approssimazione dell'attention DPU-aware che consente l'implementazione di moderne varianti YOLO basate su attention (v11 e v26) su SoC FPGA commerciali.
Benchmarking Completo: Fornisce una valutazione delle prestazioni end-to-end di questi modelli attraverso sia compiti di rilevamento di oggetti standard che orientati utilizzando dataset allo stato dell'arte.
Analisi Architetturale: Offre un'analisi dettagliata delle prestazioni (latenza, FPS, potenza, utilizzo delle risorse) attraverso tutte le otto configurazioni di core IP DPUCZDX8G.
Baseline Quantitativa: Il lavoro stabilisce una baseline quantitativa per l'implementazione di modelli di rilevamento di bounding box standard e orientati su SoC FPGA utilizzando la toolchain Vitis AI.

Risultati
Lo studio valuta i modelli modificati attraverso tutti i dataset e le configurazioni DPU:

Accuratezza: Le modifiche architettoniche (sostituzione di SiLU, approssimazione dell'attention) hanno comportato una riduzione assoluta media di circa il 3% in mAP@0.5:0.95 rispetto ai modelli FP32 originali. La successiva implementazione su FPGA (che comporta la quantizzazione a 8 bit) ha portato a una riduzione ulteriore media di circa il 7% rispetto all'esecuzione su CPU, risultando in un calo totale dell'accuratezza di circa il 5% per il sistema finale implementato.
Prestazioni: YOLOv26n e YOLOv26n-OBB hanno ottenuto il throughput end-to-end più elevato. Sulla configurazione DPU più grande (B4096), hanno raggiunto 34,05 FPS per il rilevamento standard e 29,55 FPS per il rilevamento orientato.
Latenza e Colli di Bottiglia: Sebbene l'FPS specifico della DPU sia aumentato e la latenza sia diminuita man mano che l'architettura della DPU scalava da B512 a B4096, rimaneva un divario significativo tra le prestazioni della DPU e le prestazioni end-to-end. Gli autori identificano il post-processing (specificamente la Non-Maximum Suppression o NMS) come un collo di bottiglia critico, poiché viene eseguito su un singolo core CPU, limitando il throughput complessivo indipendentemente dalla capacità della DPU.
Efficienza: La configurazione B4096 ha consumato fino a 8,760 W, rappresentando un aumento dell'83% rispetto alla configurazione B512 (4,792 W). Nonostante ciò, gli autori affermano che la soluzione raggiunge un consumo di potenza circa 3 volte inferiore rispetto alle alternative allo stato dell'arte.

Significatività
Il documento afferma che il proprio lavoro affronta una lacuna critica nella letteratura consentendo l'implementazione delle ultime architetture YOLO basate su attention su FPGA, un compito precedentemente ostacolato dalle incompatibilità hardware. Adattando sistematicamente questi modelli e sottoponendoli a benchmark attraverso diversi dataset e configurazioni DPU, lo studio fornisce una tabella di marcia pratica per gli sviluppatori di edge AI. I risultati dimostrano che, sebbene sia necessario un compromesso in termini di accuratezza (circa il 5%) per la quantizzazione e l'adattamento all'hardware, l'approccio produce guadagni significativi in termini di efficienza energetica e throughput in tempo reale, rendendolo vitale per applicazioni come la guida autonoma, la navigazione di droni e la sorveglianza. Gli autori notano con modestia che il lavoro futuro si concentrerà sulla rimozione delle dipendenze NMS per alleviare ulteriormente il collo di bottiglia del post-processing e migliorare le prestazioni end-to-end.

Articoli simili