CascadeLUT: Information-Ordered Streaming Inference for Bandwidth-Constrained FPGAs

Résumé Technique : CascadeLUT

Énoncé du Problème
Bien que les circuits intégrés logiques programmables (FPGA) offrent une inférence à faible latence et à haute efficacité énergétique pour les réseaux de neurones (NN), notamment grâce aux modèles basés sur des tables de correspondance (LUT) qui éliminent les multiplicateurs, les architectures existantes sont confrontées à un goulot d'étranglement critique dans les scénarios de streaming à bande passante limitée. Les pipelines d'inférence conventionnels sur FPGA supposent la disponibilité de l'échantillon complet, mettant en mémoire tampon l'ensemble du vecteur d'entrée avant le début du calcul. Dans les environnements où les données arrivent via des liaisons à bande passante limitée (ex. : mémoire hors puce, capteurs ou interconnexions), cette approche provoque des arrêts de pipeline et des cycles de calcul oisifs. Par conséquent, le goulot d'étranglement du système se déplace du calcul vers le mouvement des données, où le coût du transfert des caractéristiques dépasse le coût de l'évaluation, entraînant une augmentation de la latence de bout en bout et une réduction de l'efficacité énergétique.

Méthodologie
Les auteurs proposent CascadeLUT, un cadre d'inférence en streaming ordonné par l'information, conçu spécifiquement pour les FPGA à bande passante contrainte. L'innovation centrale est une architecture en cascade à ordonnancement statique qui élimine la mise en mémoire tampon de l'entrée complète en partitionnant les caractéristiques en sous-ensembles ordonnés.

• Streaming ordonné par l'information : Au lieu d'attendre l'entrée complète, les caractéristiques sont transmises dans un ordre fixe et appris basé sur la saillance. Le réseau traite ces sous-ensembles au fur et à mesure de leur arrivée, affinant progressivement les prédictions. Le calcul commence immédiatement dès l'arrivée du premier sous-ensemble, superposant le mouvement des données et l'inférence.
• Topologie de cascade statique : Le réseau est organisé en une cascade où des couches spécifiques sont désignées pour consommer les nouvelles caractures arrivantes (étages d'injection de caractéristiques), tandis que d'autres propagent les activations intermédiaires. Cet ordonnancement est déterminé lors de la conception, garantissant une exécution déterministe et sans branchement, sans logique de contrôle au moment de l'exécution.
• Saillance et ordonnancement des caractéristiques : Une méthode d'ordonnancement des caractéristiques dérive un ordre de transmission en analysant les poids d'un modèle substitut entièrement connecté. Les caractéristiques sont classées par leur contribution aux activations des neurones (masques top-k) et assignées à des sous-ensembles de sorte que les caractéristiques les plus discriminantes arrivent en premier.
• Quantification d'entrée apprise : Pour minimiser la largeur de bit sous des contraintes de bande passante fixes, le cadre intègre un prétraitement sur puce. Chaque caractéristique est quantifiée à l'aide de seuils et d'échelles appris, implémentés directement comme des comparateurs basés sur des LUT. Cela permet de streamer des données de capteurs brutes (ex. : int8) et de les quantifier sur puce sans ajouter d'étages de pipeline ou de latence significative.
• Co-conception matérielle : L'architecture est implémentée sur un Xilinx Zynq Z-7045. Le pipeline est entièrement statique, avec des registres insérés uniquement entre les étapes de caractéristiques pour respecter les contraintes de temps, permettant des fréquences d'horloge élevées (200 MHz) et un pipelining efficace.

Contributions Clés

1. Architecture Novatrice : Un flux de travail open-source implémentant une architecture en cascade à ordonnancement statique qui organise le calcul autour d'un ordonnancement de caractéristiques appris, permettant l'inférence directement sur des données en streaming.
2. Ordonnancement des Caractéristiques : Une méthode pour dériver un ordre de transmission qui priorise les caractéristiques saillantes sous des contraintes de bande passante fixes, permettant des prédictions précises à partir d'entrées tronquées.
3. Prétraitement Intégré sur l'Appareil : Une démonstration que le prétraitement appris (quantification) peut être implémenté dans la matrice FPGA avec un faible surcoût de surface, permettant des pipelines de bout en bout qui consomment des données de capteurs brutes.
4. Validation Empirique : Résultats FPGA complets sur quatre jeux de données (MNIST, FashionMNIST, KWS, ToyADMOS) démontrant des améliorations significatives de la latence, du débit et de l'efficacité énergétique par rapport aux bases de référence LUT précédentes.

Résultats
Évalué sur un Xilinx Zynq Z-7045 à 200 MHz avec une contrainte d'entrée de 112 bits/cycle, CascadeLUT atteint les gains de performance suivants par rapport aux architectures ultra-faible latence antérieures (incluant les bases de référence NeuraLUT-Assemble et DWN) :

• Latence : Réduction de 4,0× à 12,5×. Par exemple, la latence d'inférence de MNIST passe de 40 ns à 10 ns.
• Débit : Augmentation de 3,0× à 5,0× (ex. : jusqu'à 100,0M échantillons/s sur MNIST).
• Efficacité Énergétique : Jusqu'à 13,8× moins d'énergie par échantillon, attribuée à la réduction des cycles de pipeline actifs.
• Précision : Maintient une précision comparable ou supérieure aux bases de référence (ex. : 98,59 % sur FashionMNIST avec augmentation) malgré l'opération sur des sous-ensembles d'entrée tronqués.
• Utilisation des Ressources : L'approche utilise 1,2× à 4,4× plus de tables de correspondance (LUT) que la plus petite base de référence DWN par tâche. Cette augmentation est attribuée au fan-in requis pour l'injection de caractéristiques et la logique entre les étages. Cependant, elle reste nettement plus efficace en termes de surface que l'ULEEN (qui utilise 4 à 12× plus de LUT).
• Surcoût de Prétraitement : La quantification sur l'appareil ajoute un surcoût de surface modeste (ex. : 0,5k LUT pour MNIST), qui est réduit par la troncature des caractéristiques (seuls les quantificateurs pour les caractéristiques utilisées sont instanciés).

Signification
L'article soutient que la co-conception du transport des caractéristiques, de la représentation et du calcul autour des contraintes de streaming améliore fondamentalement l'efficacité de l'inférence sur FPGA. En changeant le paradigme de "calcul après buffer complet" à "calcul au fur et à mesure de l'arrivée des données", CascadeLUT répond au goulot d'étranglement du mouvement des données qui limite les systèmes actuels basés sur les LUT. Les résultats démontrent qu'une inférence en streaming déterministe et consciente de la bande passante peut atteindre des améliorations d'ordres de grandeur en termes de latence et d'énergie sans sacrifier la précision, ce qui en fait une solution viable pour les applications de bord (edge) en temps réel et à ressources limitées.