💻 computer science

Hardware-aware Graph Neural Networks prunning for embedded event-based vision

Cet article propose une stratégie de l'élagage et de la quantification tenant compte du matériel pour les réseaux de neurones convolutifs sur graphes qui optimise l'architecture du modèle pour les plateformes FPGA embarquées, réalisant des réductions significatives de la mémoire BRAM avec une perte de précision minimale sur divers ensembles de données de vision événementielle.

Auteurs originaux : Piotr Wzorek, Kamil Jeziorek, Tomasz Kryjak

Publié 2026-07-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Piotr Wzorek, Kamil Jeziorek, Tomasz Kryjak

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Faire tenir des « caméras à événements » dans un sac à dos

Imaginez que vous essayiez de ranger une immense bibliothèque de livres de haute technologie (un cerveau d'IA complexe) dans un tout petit sac à dos (un ordinateur embarqué sur un drone ou un robot). Les livres sont lourds et le sac à dos a une limite de poids stricte. Si vous essayez d'y fourrer toute la bibliothèque, le sac se déchire ou le robot ne peut plus bouillir.

Ce document résout ce problème pour un type spécifique de caméra appelé caméra à événements.

La Caméra : Contrairement aux camères normales qui prennent une photo complète chaque seconde (comme une caméra vidéo), une caméra à événements est comme une pièce remplie de gens qui ne prennent la parole que lorsqu' quelque chose change. Si un oiseau vole à travers la pièce, ils crient « Oiseau ! ». Si une lumière vacille, ils crient « Lumière ! ». Si rien ne bouge, ils restent silencieux. Cela crée un flux de données « creux » (sparse) — beaucoup de silence, mais très rapide et efficace quand les choses se produisent.
Le Problème : Pour comprendre ce flux de cris, nous utilisons un type spécial d'IA appelé Réseau de Neurones sur Graphe (GCNN). Pensez à ce réseau comme à une immense toile de connexions. Cependant, la « toile » nécessite beaucoup de stockage interne (mémoire) pour garder trace des connexions. Sur les petits robots alimentés par batterie, ce stockage est le principal goulot d'étranglement. C'est comme essayer de transporter toute la bibliothèque dans votre sac à dos alors que vous n'avez de la place que pour quelques brochures.

La Solution : Une stratégie de rangement intelligente

Les auteurs (Piotr, Kamil et Tomasz) ont développé une nouvelle façon de rétrécir ce cerveau d'IA pour qu'il tienne dans le sac à dos sans perdre sa capacité à reconnaître les objets. Ils appellent cela la « Élagage et Quantification Sensibles au Matériel » (Hardware-Aware Pruning and Quantization).

Voici comment ils ont fait, divisé en trois étapes simples :

1. L'Élagage (Couper le gras)

Imaginez que le réseau d'IA est un arbre avec des milliers de branches. Certaines branches sont épaisses et transportent beaucoup d'informations importantes ; d'autres sont de minuscules brindilles qui ne font presque rien.

Ce qu'ils ont fait : Ils n'ont pas simplement coupé les branches au hasard. Ils ont regardé le « sac à dos » spécifique (la puce FPGA) pour lequel ils emballaient. Ils ont réalisé que le sac à dos possède des étagères de tailles spécifiques (blocs de mémoire).
L'Astuce : Ils ont coupé les branches selon un motif très précis afin que l'arbre restant s'adapte parfaitement aux étagères, ne laissant aucun espace vide gaspillé. C'est ce qu'on appelle l'Élagage Structuré (Structured Pruning).

2. La Quantification (Passer à des boîtes plus petites)

Habituellement, l'IA stocke l'information en utilisant des boîtes très grandes et lourdes (nombres de haute précision).

Ce qu'ils ont fait : Ils ont décidé de passer à des boîtes plus petites et plus légères (nombres de précision inférieure, comme 6 ou 8 bits au lieu de 32 bits).
Le Résultat : Vous pouvez faire tenir beaucoup plus d'informations dans le même espace, mais les boîtes sont légèrement moins précises. C'est comme passer du stockage d'articles dans des caisses en bois lourdes à des boîtes en carton légères. Vous gagnez de l'espace, mais vous devez faire attention à ne pas les faire tomber.

3. La Recherche (Trouver l'ajustement parfait)

La partie la plus difficile est de déterminer quelles branches couper et quelle taille doivent avoir les boîtes. Il existe des millions de combinaisons possibles.

La Stratégie : Ils ont utilisé deux méthodes de recherche ingénieuses :
- Recherche par Grille Fine (Fine Grid Search - FG) : Comme regarder une carte et vérifier chaque intersection majeure pour trouver le meilleur itinier de départ.
- Approfondissement Itératif Glouton par Couche (Greedy Layer-wise Iterative Deepening - GLID) : Comme un randonneur qui fait un pas sur un sentier, vérifie si la vue est toujours bonne, et si c'est le cas, fait un autre pas. Si la vue devient trop mauvaise, il s'arrête. Cela permet de trouver le « point idéal » où le sac à dos est aussi léger que possible, tout en restant assez intelligent pour faire son travail.

Les Résultats : Un sac à dos plus léger, mais toujours intelligent

Ils ont testé cette méthode sur trois différents « bibliothèques » de données (jeux de données) :

MNIST-DVS : Reconnaissance de chiffres manuscrits.
CIFAR-10 : Reconnaissance d'objets du quotidien comme des voitures ou des avions.
N-Caltech101 : Reconnaissance d'objets plus complexes.

Le Résultat :

Économies de Mémoire : Ils ont réussi à réduire l'utilisation de la mémoire (spécifiquement la « BRAM » ou Block RAM, qui est le stockage interne de la puce) de 26,5 % à 31,4 %.
Coût de Précision : L'IA est devenue légèrement plus « bête », mais de très peu. La précision a chuté entre 1,65 % et 5,18 %.
Test en conditions réelles : Ils ont réellement construit une version physique de cela sur une puce réelle (la plateforme ZCU104). Cela a parfaitement fonctionné, tournant à grande vitesse sans aucune erreur, prouvant que la stratégie du « sac à dos plus léger » fonctionne dans la vraie vie.

Ce qu'il faut retenir

Considérez ce document comme un maître emballeur qui a trouvé comment faire tenir une immense bibliothèque dans un petit sac à dos en :

Coupant les livres inutiles (Élagage).
Remplaçant les versions reliées par du papier souple (Quantification).
Utilisant une carte intelligente pour trouver la combinaison exacte qui s'adapte parfaitement aux étagères (Les méthodes de recherche).

Le résultat est un cerveau de robot beaucoup plus léger et rapide, parfait pour les drones et les robots mobiles, sans perdre sa capacité à voir et à comprendre le monde qui l'entoure.

Résumé technique : Élagage de réseaux de neurones sur graphes conscient du matériel pour la vision événementielle embarquée

Problématique

La robotique mobile et les systèmes autonomes nécessitent des capteurs de vision capables de fonctionner avec des performances élevées dans des environnements dynamiques tout en respectant des contraintes strictes de latence, de débit et de consommation d'énergie. Les caméras événementielles (capteurs de vision dynamique ou DVS) répondent à ces besoins en capturant les changements de scène de manière asynchrone avec une résolution de l'ordre de la microseconde, une faible latence et une plage dynamique élevée. Cependant, le traitement efficace de ces données temporelles et éparses sur des plateformes embarquées reste un défi majeur.

Bien que les réseaux de neurones à impulsions (SNN) préservent la parcimonie temporelle, ils souffrent souvent d'une précision moindre et posent des problèmes d'accélération matérielle sur les plateformes non neuromorphiques en raison de modèles d'accès mémoire non déterministes. À l'inverse, les réseaux de neurones convolutifs sur graphes (GCNN), qui traitent les événements comme des nœuds de graphe, offrent une précision élevée et se prêtent bien à l'accélération matérielle. Pourtant, le déploiement des GCNN sur des plateformes FPGA hétérogènes et à ressources limitées est entravé par l'utilisation élevée de la mémoire sur puce (BlockRAM et UltraRAM), notamment pour le stockage des cartes de caractéristiques entre les couches. Lorsque la DRAM externe n'est pas envisageable en raison de contraintes de latence ou d'énergie, la mémoire sur puce devient le goulot d'étranglement principal, limitant le déploiement de modèles plus larges et plus précis.

Méthodologie

Les auteurs proposent une stratégie d'optimisation consciente du matériel, spécifiquement conçue pour l'architecture de réseau de neurones convolutifs sur graphes accéléré par FPGA pour l'événementiel (EFGCN). L'objectif central est de minimiser l'utilisation des ressources de mémoire interne du FPGA (spécifiquement les blocs BRAM dual-port de 36 kb et UltraRAM de 288 kb) tout en maintenant une précision de classification élevée.

La méthodologie intègre deux techniques principales :

Élagage structuré : Contrairement à l'élagage non structuré, cette approche supprime des canaux entiers (cartes de caractéristiques de sortie) basés sur leur position dans la matrice de poids. La sélection des canaux est contrainte par les propriétés mathématiques des blocs de mémoire cibles du FPGA. Les auteurs dérivent des familles spécifiques de nombres de canaux valides ( $C$ ) qui garantissent une utilisation complète des blocs BRAM et URAM compte tenu d'une précision de quantification ( $q$ ) donnée. Cela évite la fragmentation de la mémoire et assure un empaquetage efficace des ressources.
Quantification : La méthode réduit la précision des vecteurs de caractéristiques et des informations sur les arêtes stockées en mémoire. En abaissant la largeur de bits ( $q$ ), la largeur mémoire requise par canal diminue, permettant soit une réduction de l'utilisation totale de la mémoire, soit une augmentation de la capacité de canaux pour une même empreinte mémoire.

Pour naviguer dans l'immense espace de conception (dépassant $7,8 \times 10^6$ configurations possibles), les auteurs emploient une procédure de recherche en deux étapes :

Recherche par grille fine (FG - Fine Grid Search) : Partant d'une configuration de base (nombre maximal de canaux, quantification 8 bits), l'algorithme effectue une recherche descendante à travers les couches et les niveaux de quantification. Il évalue les configurations basées sur une frontière de Pareto, équilibrant la qualité de classification et l'utilisation des ressources pour identifier un sous-ensemble de solutions prometteuses.
Recherche itérative par approfondissement couche par couche (GLID - Greedy Layer-wise Iterative Deepening Search) : Cette étape affine davantage les configurations sélectionnées. Elle réduit de manière itérative l'utilisation des ressources couche par couche, en sélectionnant la modification (étape d'élagage ou de quantification) qui offre le meilleur score de qualité pour le coût de ressource le plus faible. Le processus se termine lorsque la chute de précision dépasse un seuil prédéfini.

Après la recherche, les modèles sélectionnés subissent une phase de réglage fin (fine-tuning) avec un taux d'apprentissage faible pour récupérer la précision perdue lors de la compression.

Principales contributions

Le papier revendique les contributions primaires suivantes :

Première stratégie consciente du matériel pour les GCNN événementiels : Les auteurs présentent la première méthode combinant élagage et quantification conscients du matériel, spécifiquement pour la vision événementielle et les réseaux de neurones convolutifs sur graphes.
Adaptation flexible de l'architecture : La méthode proposée permet la sélection flexible d'une configuration de modèle finale basée sur les contraintes de ressources et les exigences de précision de la plateforme embarquée cible.
Performance validée : L'approche a été évaluée sur plusieurs jeux de données et configurations de réseaux, démontrant des réductions significatives de l'utilisation de la BRAM (26,5 % – 31,4 %) avec une dégradation contrôlée de la précision (1,65 % – 5,18 %).
Preuve de concept matérielle : Un module matériel a été développé et vérifié sur une plateforme FPGA hétérogène ZCU104, confirmant l'efficacité de la stratégie d'élagage dans une implémentation réelle.

Résultats expérimentaux

La méthode a été évaluée à l'aide de trois jeux de données neuromorphiques : MNIST-DVS, CIFAR-10-DVS et N-Caltech101. Les expériences ont utilisé un modèle EFGCN de référence comprenant cinq couches convolutives.

Réduction de la mémoire : La stratégie d'optimisation a obtenu des réductions de BRAM de 28,8 % pour CIFAR-10 (avec une chute de précision de 1,65 %), 31,4 % pour MNIST-DVS (chute de précision de 3,55 %) et 26,5 % pour N-Caltech101 (chute de précision de 5,18 %).
Implémentation matérielle : Sur la plateforme ZCU104, le modèle optimisé final pour MNIST-DVS a démontré une réduction de 30,6 % de l'utilisation totale de la BRAM par rapport au modèle de base. De plus, l'utilisation des ressources logiques (LUTs et Flip-Flops) a diminué d'environ 34 % et 29 %, respectivement. Notamment, l'utilisation des DSP a augmenté de 54 % car l'outil de synthèse a mappé certaines multiplications de 6 bits sur des blocs DSP, bien que les économies de mémoire globale aient été la cible principale.
Efficacité de la recherche : La recherche en deux étapes (FG suivie de GLID) s'est avérée efficace pour trouver des configurations de haute qualité sans le coût de calcul d'une recherche exhaustive dans tout l'espace de conception ou l'utilisation d'algorithmes évolutionnaires complexes (que les auteurs ont notés comme ayant échoué à converger lors de leurs tests préliminaires).

Signification et affirmations

Le papier positionne ce travail comme une étape critique vers l'enablement de la robotique mobile autonome efficace. En abordant le goulot d'étranglement de la mémoire inhérent aux implémentations de GCNN sur FPGA, les auteurs permettent le déploiement de modèles de vision événementielle complexes sur des systèmes embarqués sans dépendre d'une mémoire externe, laquelle introduirait une latence et une surcharge de puissance inacceptables.

Les auteurs présentent modestement leur contribution comme une "première exploration" de cette intersection spécifique (élagage conscient du matériel pour les GCNN événementiels). Ils soulignent que la méthode permet un compromis entre la précision et l'utilisation des ressources, offrant un outil aux concepteurs de systèmes pour adapter les modèles à des contraintes matérielles spécifiques. Ce travail ne prétend pas résoudre tous les défis de la vision événementielle, mais cible spécifiquement l'optimisation de l'architecture EFGCN pour les plateformes hétérogènes embarquées, offrant une voie pratique pour déployer des systèmes de vision haute performance et faible latence sur des drones et d'autres robots mobiles.