Résumé technique : Accélération de CNN à haute efficacité énergétique avec l'arithmétique MSDF série-par-chiffre sur FPGA

Énoncé du problème

La segmentation précise des tumeurs cérébrales à l'aide de l'architecture U-Net est cruciale pour l'imagerie médicale mais s'avère très gourmande en calculs. L'implémentation de U-Net sur des CPU et GPU standards consomme une quantité importante d'énergie et de ressources, posant des défis pour le déploiement sur des systèmes embarqués et en périphérie (edge) où l'efficacité énergétique est primordiale. Bien que les circuits logiques programmables (FPGA) offrent une plateforme prometteuse pour l'accélération, les techniques d'arithmétique série-par-chiffre existantes, spécifiquement la méthode MSDF (Most-Significant-Digit-First), font face à un goulot d'étranglement spécifique : la latence initiale.

Dans les implémentations MSDF traditionnelles, les calculs de produit scalaire sont effectués via une structure en cascade composée d'un multiplicateur suivi d'un arbre d'additionneur. Chaque étape (le multiplicateur et chaque niveau de l'arbre d'additionneur) introduit un délai de démarrage ($\delta$) fixe. Dans les opérations en cascade, ces délais s'accumulent, augmentant considérablement la latence totale avant la production du premier chiffre de sortie. Cette surcharge compromet le potentiel de débit du traitement série-par-chiffre, particulièrement dans les couches convolutionnelles où les produits scalaires sont dominants.

Méthodologie

Les auteurs proposent une nouvelle architecture matérielle qui fusionne la multiplication et l'addition en une unité unique de Multiplication-Addition Fusionnée (MMA - Merged Multiply-Add) afin d'éliminer la latence cumulative des composants en cascade.

Architecture de base

1. Unité de Multiplication-Addition Fusionnée (MMA) :

   • Au lieu de séparer les étapes de multiplication et d'addition, l'unité MMA effectue la multiplication et l'accumulation par bits simultanément au sein d'un pipeline unifié.
   • Opération : L'unité traite 32 canaux d'entrée ($T_N = 32$) en parallèle. Elle accepte des activations quantifiées sur 8 bits (transmises en série, MSDF) et des poids parallèles de 8 bits.
   • Logique : À chaque cycle d'horloge, le $b$-ième bit des 32 canaux d'activation est soumis à une opération ET (AND) avec les poids de 8 bits correspondants. Les produits partiels résultants sont immédiatement accumulés à l'aide d'un arbre d'additionneur à propagation de retenue.
   • Gestion du résidu : Pour supporter le calcul série-par-chiffre, un « résidu » (les bits inférieurs de la somme partielle) est reporté au cycle suivant. L'arbre d'additionneur accueille $T_N + 1$ entrées (32 produits partiels + 1 résidu), nécessitant $\lceil \log_2(33) \rceil$ étages.
   • Système de numération redondant : La conception utilise un système de numération redondant à chiffres signés (SD) avec un radix-2 et des chiffres $\{1, 0, -1\}$. Cela permet à l'algorithme de corriger les résultats lors des cycles suivants si un chiffre de sortie précoce est provisoire, offrant la flexibilité nécessaire à l'arithmétique MSDF sans nécessiter une pleine précision à chaque étape. Les auteurs utilisent l'encodage inversé de négabit (IEN) pour simplifier la gestion des signes.

2. Organisation au niveau du système :

   • Bloc de traitement de noyau (KPB - Kernel Processing Block) : Un noyau de convolution $3 \times 3$ est implémenté à l'aide d'un groupe de 9 unités MMA (une pour chaque emplacement spatial). Les sorties de ces 9 unités sont sommées via un arbre d'additionneur MSDF pour produire une somme partielle unique pour un pixel de sortie.
   • Parallélisme : Le système instancie 16 KPB parallèles, permettant le calcul de 16 pixels de sortie simultanément par groupe d'horloge.
   • Application cible : La conception est optimisée pour l'architecture U-Net, ciblant spécifiquement les couches convolutionnelles avec des noyaux $3 \times 3$ et des nombres de canaux multiples de 32.

Principales contributions

L'article présente quatre contributions majeures :

1. Nouvelle architecture MMA : Une unité de multiplication-addition fusionnée qui combine la multiplication et l'accumulation série-par-chiffre dans un seul pipeline, réduisant la latence par itération en éliminant les délais distincts des multiplicateurs et des arbres d'additionneurs.
2. Traitement spatial parallèle : Une architecture où les unités MMA traitent plusieurs profondeurs spatiales d'entrée en parallèle, augmentant considérablement le débit des opérations de convolution.
   3. Implémentation FPGA à haute efficacité énergétique : Un accélérateur complet pour les couches convolutionnelles de U-Net implémenté sur un FPGA, démontrant son applicabilité aux applications de bord (edge) à ressources limitées.
3. Évaluation complète : Une analyse comparative par rapport aux implémentations bit-parallèle, bit-sériel, MSDF conventionnel, GPU et CPU en termes de latence, de débit, de surface et d'efficacité énergétique.

Résultats

La conception proposée a été implémentée sur un SoC Xilinx Zynq-7020 en utilisant le Verilog RTL et évaluée par rapport à un modèle U-Net quantifié pour l'inférence en virgule fixe. L'accélérateur fonctionne à 100 MHz.

• Débit : La conception atteint 52,95 GOPS. Cela représente une amélioration de $1,07\times$ par rapport aux conceptions bit-parallèles conventionnelles, de $4,36\times$ par rapport aux conceptions bit-sérielles et de $2,52\times$ par rapport aux accélérateurs contemporains basés sur MSDF. Bien que le GPU ait atteint un débit absolu plus élevé (385,99 GOPS), il l'a fait à un coût énergétique nettement supérieur.
• Efficacité énergétique : L'accélérateur délivre 15,14 GOPS/W. Cela est :
  • $2,7\times$ meilleur que le GPU (5,51 GOPS/W).
  • $7,8\times$ meilleur que le CPU (1,93 GOPS/W).
  • $5,0\times$ meilleur que l'implémentation FPGA basée sur MSDF (3,01 GOPS/W).
• Consommation d'énergie : L'énergie consommée par lot d'opérations est de 186,20 mJ, soit $3,8\times$ de moins que le GPU et $10,8\times$ de moins que le CPU.
• Efficacité de la surface : La conception atteint 17,43 GOPS/Slice (échelle de $10^{-4}$), ce qui est $1,65\times$ plus élevé que les conceptions bit-parallèles et près de $6,7\times$ plus élevé que les accélérateurs basés sur MSDF.

Signification et affirmations

L'article affirme que l'approche Merged Multiply-Add (MMA) répond efficacement au goulot d'étranglement de la latence initiale inhérent à l'arithmétique MSDF en cascade. En fusionnant les opérations, la conception parvient à une latence par itération rationalisée qui est plus courte que la combinaison des unités conventionnelles.

Les auteurs positionnent ce travail comme une solution pour les applications de bord à ressources limitées et sensibles à la latence, particulièrement dans l'imagerie médicale (segmentation de tumeurs cérébrales) et la vision par ordinateur. Les résultats suggèrent que, bien que l'accélérateur fonctionne à une fréquence inférieure à celle d'un CPU, son efficacité architecturale produit une amélioration d'un ordre de grandeur de l'efficacité énergétique. Les auteurs concluent que cette approche est hautement adaptée aux systèmes embarqués où les contraintes énergétiques sont critiques, offrant une alternative viable aux inférences gourmandes en énergie des GPU/CPU.

Les travaux futurs, comme l'indiquent modestement les auteurs, impliquent l'ajout de mécanismes de terminaison précoce pour sauter les opérations inutiles et le passage à l'échelle de l'architecture avec plus de tuiles pour supporter des CNN plus complexes.