Retrospective: A CORDIC Based Configurable Activation Function for NN Applications

1. Il Problema

L'evoluzione delle applicazioni di Intelligenza Artificiale (dai DNN ai Transformer, RNN e LSTMs) ha creato una domanda crescente di accelerazione hardware. Sebbene l'ottimizzazione delle unità di calcolo per le operazioni lineari (GEMM, MVM, MAC) sia stata ampiamente studiata, le funzioni di attivazione non lineari (AF) sono diventate un collo di bottiglia significativo.
Le sfide principali identificate includono:

• Rigidità dell'hardware: Molte soluzioni esistenti (basate su LUT, approssimazioni polinomiali o serie di Taylor) sono fisse per una specifica funzione o precisione, rendendo difficile l'adattamento a diversi carichi di lavoro AI senza riprogettare l'hardware.
• Efficienza delle risorse: Soluzioni come le LUT richiedono molta memoria e latenza ad alte precisioni. Altre tecniche introducono errori di quantizzazione o artefatti che degradano l'accuratezza del modello.
• Costo energetico e area: L'implementazione software o pseudo-hardware di funzioni complesse (come SoftMax o funzioni iperboliche) su processori generici (es. RISC-V) comporta un elevato overhead di istruzioni e ritardo, rendendo inefficienti i dispositivi a risorse limitate (edge devices).
• Necessità di riconfigurabilità: I moderni modelli AI richiedono diverse funzioni di attivazione (Swish, GeLU, SeLU, ecc.) e diverse precisioni (8/16/32-bit) a runtime, una capacità spesso mancante nelle architetture ASIC dedicate.

2. Metodologia

Il paper propone un approccio basato sulla tecnica CORDIC (Coordinate Rotation Digital Computer), che utilizza operazioni di "Shift-and-Add" per calcolare funzioni trascendenti senza bisogno di moltiplicatori complessi o memorie di lookup estese.

• Core DA-VINCI: Viene introdotto un nuovo core di attivazione programmabile chiamato DA-VINCI. Questo core unifica l'algoritmo CORDIC per operare in modalità circolari, lineari e iperboliche.
  • Utilizza un'architettura riconfigurabile che supporta sia la modalità di rotazione (per funzioni come Sigmoid, Tanh, Swish) che quella vettoriale (per divisioni necessarie in SoftMax e GELU).
  • Integra un'unità HOAA-enabled (High-Order Area-Aware) per ridurre l'area e il consumo energetico.
  • Supporta precisioni dinamiche a 8 e 16 bit (e fino a 32 bit), permettendo di adattare il compromesso tra accuratezza e risorse.
• Motore NEURIC: Il core DA-VINCI viene integrato in un'unità di calcolo vettoriale chiamata NEURIC (Neuron Engine based on Reconfigurable Iterative CORDIC).
  • NEURIC combina un'unità MAC (Multiply-Accumulate) riconfigurabile con l'unità AF.
  • È progettato per essere un blocco fondamentale in motori vettoriali "layer-multiplexed", permettendo di elaborare diversi strati di reti neurali (DNN, RNN, Transformer) con la stessa hardware.
• Validazione: Il design è stato validato attraverso:
  • Simulazione software in Python (con librerie FxP e QKeras) per la verifica dell'aritmetica.
  • Sintesi su FPGA (Xilinx Zybo) e ASIC (tecnologie 28nm e 45nm) per valutare risorse, ritardo e potenza.

3. Contributi Chiave

• Core DA-VINCI Programmabile: Un'unica architettura hardware in grado di implementare runtime funzioni di attivazione diverse: Swish, SoftMax, SELU, GELU, Sigmoid, Tanh e ReLU, con un overhead trascurabile rispetto a implementazioni dedicate.
• Architettura NEURIC: Un'unità di elaborazione (PE) che integra MAC e AF in un unico flusso dati riconfigurabile, ottimizzata per l'efficienza energetica e la densità di calcolo.
• Scalabilità della Precisione: La capacità di operare a 8/16/32 bit con un controllo preciso degli errori di quantizzazione, rendendo il design adatto sia per l'edge computing che per applicazioni ad alte prestazioni.
• Ottimizzazione CORDIC: L'uso di CORDIC iperbolico e lineare permette di calcolare funzioni complesse (come la divisione per SoftMax) con un'utilità hardware dell'86% per le modalità iperboliche e del 72% per quelle lineari, minimizzando l'area "dark silicon".

4. Risultati

I risultati sperimentali dimostrano un miglioramento significativo rispetto allo stato dell'arte (SoTA):

• Risorse FPGA: Rispetto a soluzioni SoTA (come ReAFM, AFB, AxSF), NEURIC riduce l'uso di LUT fino a 4.5 volte e di FF (Flip-Flop) fino a 3.2 volte.
• Prestazioni ASIC:
  • Area: Riduzione fino a 16.2 volte rispetto a lavori precedenti (es. [20]) e 4 volte rispetto ad altri (es. [11]).
  • Potenza: Riduzione del consumo energetico fino a 14.3 volte rispetto a [11] e 2.5 volte rispetto a [13] a 28nm.
  • Ritardo (Delay): Miglioramento del ritardo critico fino a 7.8 volte rispetto a [20].
• Qualità dei Risultati (QoR): Il sistema mantiene un'accuratezza del modello superiore al 98.5% su benchmark standard come VGG-16, ResNet-50 (CIFAR-100) e MobileViT (ImageNet).
• Efficienza Energetica: Nel contesto dei Transformer, NEURIC offre un'efficienza energetica fino a 17.54 volte superiore rispetto all'architettura SIGMA e 2.5 volte superiore rispetto a TRETA, con un aumento di accuratezza del 2.33% e un boost di velocità del 1.8x.
• Throughput: L'acceleratore proposto raggiunge un throughput di 52.3 GOPS con un tempo di inferenza di 148 ms, superando le architetture esistenti in termini di efficienza.

5. Significato

Questo lavoro rappresenta un passo avanti cruciale verso acceleratori AI flessibili ed efficienti.

• Versatilità: Dimostra che è possibile superare il compromesso tra hardware specializzato (alta efficienza, bassa flessibilità) e hardware generico (alta flessibilità, bassa efficienza) creando un'unità riconfigurabile che supporta l'intera gamma di funzioni di attivazione moderne.
• Impatto Industriale: L'approccio CORDIC è già stato adottato da grandi player (AMD Xilinx, Intel, STMicroelectronics), e questa ricerca ne estende l'applicabilità ai carichi di lavoro AI complessi (inclusi i Transformer), riducendo l'area e il consumo energetico.
• Futuro dell'Edge AI: La capacità di operare a basse precisioni (8-bit) con alta accuratezza e basso consumo rende questa architettura ideale per dispositivi edge alimentati a batteria, dove l'efficienza energetica e la densità di calcolo sono critiche.

In sintesi, il paper presenta una soluzione hardware unificata che risolve i colli di bottiglia delle funzioni di attivazione non lineari, offrendo un design scalabile, riconfigurabile e ad alte prestazioni per la prossima generazione di acceleratori neurali.