Riepilogo Tecnico: TREA – Acceleratore Edge a Bassa Precisione, Multiplexato nel Tempo ed Efficiente nelle Risorse

Enunciato del Problema

I sistemi di Visione Edge e Intelligenza Artificiale Visiva (EV2AI), distribuiti su piattaforme embedded con risorse limitate per compiti come il rilevamento di oggetti e il riconoscimento di scene, affrontano un trilemma fondamentale tra accuratezza, latenza e consumo energetico. I modelli all'avanguardia, come ViT-G, richiedono miliardi di parametri e massicce operazioni di moltiplicazione-accumulo (MAC), portando a costi energetici proibitivi dominati dall'accesso alla memoria (l'accesso alla DRAM off-chip può consumare fino a 640 pJ per accesso). I progetti di acceleratori esistenti spesso affrontano la quantizzazione, il pruning, la progettazione dell'unità MAC o il riutilizzo architetturale in isolamento, mancando di un framework unificato di co-progettazione che copra l'intera pila dall'algoritmo all'hardware. Inoltre, le unità MAC convenzionali soffrono dell'espansione della larghezza di bit dell'accumulatore e di un elevato sovraccarico hardware, mentre le unità per Funzioni di Attivazione Non Lineari (NAF) possono consumare fino al 25% dell'area totale dell'acceleratore.

Metodologia

Il documento propone TREA, un'architettura unificata di acceleratore per l'IA edge che ottimizza congiuntamente i percorsi dati aritmetici, i pattern di pruning, il riutilizzo delle attivazioni e i programmi di esecuzione a livello di strato. La metodologia si basa su tre componenti fondamentali co-progettati:

1. Quantizzazione a Potenza di Due Guidata dalla MSD (MSD-PoTQ8) & DQ-MAC:
   Gli autori propongono un'unità SIMD Multiply-Accumulate (DQ-MAC) a doppia precisione (4/8 bit) priva di moltiplicatori. Invece della moltiplicazione convenzionale, utilizza un calcolo shift-and-add basato sulla decomposizione a potenza di due, con il primo cifrario più significativo (MSDF).

   • Troncamento Pre-accumulo: Lo schema approssima i pesi utilizzando termini a potenza di due con segno. Crucialmente, esegue il troncamento prima dell'accumulo, riducendo la larghezza di bit dell'accumulatore richiesta ed eliminando l'hardware di quantizzazione post-moltiplicatore.
   • SIMD a Doppia Precisione: L'unità supporta operazioni in punto fisso a 4 bit o 8 bit. Attraverso il multiplexing temporale a livello di cifra, una singola istanza hardware può eseguire quattro operazioni a 4 bit o un'operazione a 8 bit per ciclo, raggiungendo un aumento del throughput fino a 4x senza duplicazione hardware.

2. Pruning Riduttivo Strutturato Consapevole dell'Hardware (SHARP):
   Per massimizzare l'utilizzo del percorso dati SIMD a 4 canali, gli autori introducono SHARP, una strategia di pruning che allinea i pattern di sparsità direttamente alla granularità di esecuzione hardware.

   • Allineamento: A differenza del pruning strutturato standard, SHARP impone rapporti di mantenimento dei pesi a livello di kernel (4:9 per kernel 3x3 e 12:25 per kernel 5x5) che sono multipli esatti della larghezza SIMD.
   • Pianificazione: Questo allineamento garantisce un utilizzo completo dei canali, eliminando i cicli di esecuzione parzialmente occupati e trasformando il pruning in un meccanismo di pianificazione efficiente per l'hardware.

3. Attivazione Non Lineare Abilitata alla Quantizzazione Riconfigurabile (RQ-NAF):
   Un singolo core condiviso basato su CORDIC implementa le funzioni Sigmoid, Tanh e ReLU.

   • Multiplexing Temporale: Piuttosto che istanziare hardware separato per ogni neurone o strato, un singolo core RQ-NAF pipeline a 9 stadi viene multiplexato temporalmente attraverso la rete.
   • Efficienza: Dopo un iniziale riempimento della pipeline, produce un'uscita per ciclo, riducendo significativamente il sovraccarico di area pur supportando la selezione delle funzioni di attivazione a runtime.

L'architettura TREA completa integra un array 1D di 100 unità SIMD DQ-MAC con il core RQ-NAF condiviso, controllato da un motore unificato che gestisce il riutilizzo hardware a livello di strato e il tiling.

Contributi Chiave

Il documento dettaglia i seguenti contributi specifici:

• Unità DQ-MAC: Una MAC SIMD basata su MSDF e priva di moltiplicatori che esegue il troncamento pre-accumulo, riducendo la larghezza dell'accumulatore e consentendo un miglioramento del throughput di 4x tramite esecuzione SIMD a 4 bit senza duplicazione hardware.
• Strategia SHARP: Un metodo di pruning co-progettato che mappa i pattern di sparsità (4:9 e 12:25) sulla larghezza SIMD, garantendo il 100% di utilizzo dei canali e riducendo i cicli di esecuzione del kernel (ad esempio, da 9 cicli a 1 ciclo per kernel 3x3 in modalità 4 bit).
• Core RQ-NAF: Un'unità di attivazione basata su CORDIC riconfigurabile e multiplexata temporalmente che supporta molteplici funzioni (ReLU, Sigmoid, Tanh) con riutilizzo hardware (N-1), riducendo drasticamente il sovraccarico hardware per le attivazioni.
• Co-progettazione a Livello di Sistema: Un'architettura di acceleratore 1D unificata che integra DQ-MAC, SHARP e RQ-NAF, validata attraverso l'implementazione su FPGA e la sintesi ASIC a 28 nm.

Risultati

L'acceleratore TREA è stato valutato utilizzando varianti di YOLO per il rilevamento di oggetti (PASCAL VOC, COCO) e MobileNet/EfficientNet/Inception per la classificazione (ImageNet), insieme alla sintesi hardware su FPGA Xilinx VC707 e processi ASIC a 28 nm.

• Accuratezza: Il sistema mantiene un'accuratezza di rilevamento comparabile alle baseline FP32, con una degradazione inferiore al 3% di mAP@0.5 tra le varianti YOLO. La configurazione a doppia precisione raggiunge un'accuratezza paragonabile alla quantizzazione uniforme a 8 bit operando selettivamente a precisione a 4 bit.
• Latenza e Throughput: La combinazione di SHARP e DQ-MAC produce una riduzione della latenza fino a 9x a livello di kernel (ad esempio, kernel 3x3 calcolati in 1 ciclo contro 9 cicli). L'acceleratore raggiunge un miglioramento del throughput fino a 4x rispetto ai progetti a precisione fissa.
• Efficienza Hardware:
  • FPGA: Rispetto ai core IP Xilinx, il DQ-MAC riduce l'utilizzo di LUT fino al 72% e il consumo energetico fino al 50%.
  • ASIC: Il progetto dimostra un'area, un ritardo e un Prodotto Potenza-Ritardo (PDP) competitivi rispetto alle unità MAC approssimate all'avanguardia, offrendo un'implementazione più compatta ed equilibrata per sistemi embedded.
  • Impronta delle Risorse: TREA raggiunge una delle impronte di risorse (LUT e registri) più basse tra gli acceleratori specifici per dominio confrontati, mantenendo un'alta efficienza energetica (GOPS/W).

Significato

Il documento afferma che TREA rappresenta un passo significativo in avanti superando le ottimizzazioni isolate per abbracciare un framework di co-progettazione algoritmo-hardware olistico. Il suo significato risiede in:

1. Ottimizzazione Unificata: Integra con successo quantizzazione, pruning strutturato e riutilizzo architetturale in un'unica pipeline, garantendo che le ottimizzazioni a livello di modello (come il pruning) si traducano direttamente in efficienza hardware (utilizzo completo SIMD).
2. Efficienza delle Risorse: Eliminando i moltiplicatori e riutilizzando l'hardware di attivazione tramite multiplexing temporale, TREA affronta i vincoli stringenti di area e potenza delle piattaforme edge, rendendo fattibili il rilevamento di oggetti e la classificazione in tempo reale su dispositivi alimentati a batteria.
3. Scalabilità: L'architettura 1D multiplexata temporalmente consente una distribuzione scalabile attraverso diverse topologie DNN senza replicare hardware dedicato per ogni strato, riducendo la complessità di controllo e l'area del silicio.

Gli autori concludono che TREA fornisce una soluzione pratica e scalabile per i carichi di lavoro di visione edge in tempo reale, validandone l'efficacia attraverso valutazioni FPGA e ASIC complete rispetto ai progetti all'avanguardia.