Sintesi Tecnica: Accelerazione di CNN a Consumo Energetico Efficiente con Aritmetica Digit-Serial MSDF su FPGA

Definizione del Problema

La segmentazione accurata dei tumori cerebrali utilizzando l'architettura U-Net è critica per l'imaging medico ma computazionalmente intensiva. L'implementazione di U-Net su CPU e GPU standard consuma una quantità significativa di energia e risorse, ponendo sfide per l'implementazione su sistemi embedded e edge dove l'efficienza energetica è fondamentale. Sebbene i Field-Programmable Gate Arrays (FPGA) offrano una piattaforma promettente per l'accelerazione, le tecniche aritmetiche digit-serial esistenti, specificamente la Most-Significant-Digit-First (MSDF), affrontano un collo di bottiglia specifico: la latenza iniziale.

Nelle implementazioni MSDF tradizionali, i calcoli del prodotto interno vengono eseguiti tramite una struttura a cascata composta da un moltiplicatore seguito da un albero di addizione. Ogni stadio (moltiplicatore e ogni livello dell'albero di addizione) introduce un ritardo di avvio ($\delta$) fisso. Nelle operazioni in cascata, questi ritardi si accumulano, aumentando significativamente la latenza totale prima che il primo díg di output venga prodotto. Questo overhead mina il potenziale di throughput della lavorazione digit-serial, particolarmente nei livelli convoluzionali dove i prodotti interni sono dominanti.

Metodologia

Gli autori propongono una nuova architettura hardware che fonde moltiplicazione e addizione in un'unica unità Merged Multiply-Add (MMA) per eliminare la latenza cumulativa dei componenti in cascata.

Architettura Core

1. Unità Merged Multiply-Add (MMA):

   • Invece di stadi separati di moltiplicazione e addizione, l'unità MMA esegue la moltiplicazione bit a bit e l'accumulazione simultaneamente all'interno di una pipeline unificata.
   • Operazione: L'unità elabora 32 canali di input ($T_N = 32$) in parallelo. Accetta attivazioni quantizzate a 8 bit (trasmesse in serie, MSDF) e pesi a 8 bit in parallelo.
   • Logica: Ad ogni ciclo di clock, il $b$-esimo bit dei 32 canali di attivazione viene operato con l'operazione AND con i corrispondenti pesi a 8 bit. I prodotti parziali risultanti vengono immediatamente accumulati utilizzando un albero di addizione con propagazione del riporto.
   • Gestione del Residuo: Per supportare il calcolo digit-serial, un "residuo" (i bit inferiori della somma parziale) viene trasportato al ciclo successivo. L'albero di addizione accoglie $T_N + 1$ input (32 prodotti parziali + 1 residuo), richiedendo $\lceil \log_2(33) \rceil$ stadi.
   • Sistema Numerico Ridondante: Il design impiega un sistema numerico ridondante Signed Digit (SD) con radix-2 e digiti $\{1, 0, -1\}$. Ciò consente all'algoritmo di correggere i risultati nei cicli successivi qualora un output precoce sia provvisorio, fornendo la necessaria flessibilità per l'aritmetica MSDF senza richiedere la piena precisione ad ogni step. Gli autori utilizzano l'Inverted Encoding of Negabit (IEN) per semplificare la gestione del segno.

2. Organizzazione a Livello di Sistema:

   • Blocco di Elaborazione Kernel (KPB): Un kernel di convoluzione $3 \times 3$ è implementato utilizzando un gruppo di 9 unità MMA (una per ogni posizione spaziale). Gli output di queste 9 unità vengono sommati tramite un albero di addizione MSDF per produrre un singolo valore di somma parziale per un singolo pixel di output.
   • Parallelismo: Il sistema istanzia 16 KPB paralleli, consentendo il calcolo di 16 pixel di output simultaneamente per ogni gruppo di clock.
   • Applicazione Target: Il design è ottimizzato per l'architettura U-Net, mirando specificamente ai livelli convoluzionali con kernel $3 \times 3$ e conteggi di canali multipli di 32.

Contributi Chiave

Il documento delinea quattro contributi primari:

1. Nuova Architettura MMA: Un'unità multiply-add fusa che combina la moltiplicazione digit-serial e l'accumulazione in una singola pipeline, riducendo la latenza per iterazione eliminando i ritardi separati di moltiplicatori e alberi di addizione.
2. Elaborazione Spaziale Parallela: Un'architettura in cui le unità MMA elaborano molteplici profondità spaziali di input in parallelo, aumentando significativamente il throughput delle operazioni di convoluzione.
3. Implementazione FPGA a Consumo Energetico Efficiente: Un acceleratore completo per i livelli convoluzionali di U-Net implementato su un FPGA, dimostrando l'applicabilità ad applicazioni edge con risorse limitate.
4. Valutazione Comprensiva: Un'analisi comparativa rispetto a implementazioni bit-parallel, bit-serial, MSDF convenzionali, GPU e CPU in termini di latenza, throughput, area ed efficienza energetica.

Risultati

Il design proposto è stato implementato su un Xilinx Zynq-7020 SoC utilizzando Verilog RTL ed è stato valutato contro un modello U-Net quantizzato per l'inferenza a virgola fissa. L'acceleratore opera a 100 MHz.

• Throughput: Il design raggiunge 52.95 GOPS. Ciò rappresenta un miglioramento di $1.07\times$ rispetto ai design bit-parallel convenzionali, un miglioramento di $4.36\times$ rispetto ai design bit-serial e un miglioramento di $2.52\times$ rispetto agli acceleratori basati su MSDF contemporanei. Sebbene la GPU abbia ottenuto un throughput assoluto superiore (385.99 GOPS), lo ha fatto a un costo energetico significativamente più elevato.
• Efficienza Energetica: L'acceleratore fornisce 15.14 GOPS/W. Questo è:
  • $2.7\times$ migliore della GPU (5.51 GOPS/W).
  • $7.8\times$ migliore della CPU (1.93 GOPS/W).
  • $5.0\times$ migliore dell'implementazione FPGA basata su MSDF (3.01 GOPS/W).
• Consumo Energetico: L'energia consumata per batch di operazioni è di 186.20 mJ, che è $3.8\times$ inferiore rispetto alla GPU e $10.8\times$ inferiore rispetto alla CPU.
• Efficienza di Area: Il design raggiunge 17.43 GOPS/Slice (scalato per $10^{-4}$), che è $1.65\times$ superiore ai design bit-parallel e quasi $6.7\times$ superiore agli acceleratori basati su MSDF.

Significato e Rivendicazioni

Il documento sostiene che l'approccio Merged Multiply-Add (MMA) affronta efficacementmente il collo di bottiglia della latenza iniziale inerente all'aritmetica MSDF a cascata. Fondendo le operazioni, il design ottiene una latenza per iterazione snella che è più breve della latenza combinata delle unità convenzionali.

Gli autori posizionano questo lavoro come una soluzione per applicazioni edge con risorse limitate e sensibili alla latenza, in particolare per l'imaging medico (segmentazione del tumore cerebrale) e la computer vision. I risultati suggeriscono che, sebbene l'acceleratore operi a una frequenza inferiore rispetto a una CPU, la sua efficienza architettonica garantisce un miglioramento di ordini di grandezza nell'efficienza energetica. Gli autori concludono che questo approccio è altamente adatto per sistemi embedded dove i vincoli energetici sono critici, offrendo un'alternativa valida alle inferenze energivore di GPU/CPU.

Il lavoro futuro, come modestamente dichiarato dagli autori, prevede l'aggiunta di meccanismi di early termination (terminazione anticipata) per saltare le operazioni non necessarie e la scalabilità dell'architettura con più tile per supportare CNN più complesse.