Convolutional Sparse Coding via the Locally Competitive Algorithm on Loihi 2

Résumé technique : Codage parcimonieux convolutionnel via l'algorithme de compétition locale sur Loihi 2

Énoncé du problème
Le codage parcimonieux offre un cadre rigoureux pour la représentation de signaux en les exprimant comme des combinaisons linéaires d'un petit nombre de fonctions de base. Bien que l'algorithme de compétition locale (LCA) soit bien adapté au calcul neuromorphique en raison de son alignement avec l'état local, les mises à jour pilotées par événements et la communication parcimonieuse, les études neuromorphiques antérieures se sont largement concentrées sur des contextes non convolutionnels. Le LCA non convolutionnel manque de la structure spatiale, du partage de poids et des champs récepteurs chevauchants essentiels aux charges de travail de l'inférence parcimonieuse pratique. Le codage parcimonieux convolutionnel introduit ces propriétés, transformant fondamentalement le problème d'une simple question de mise à l'échelle vectorielle en une charge de travail d'inférence structurée distincte. Le défi consiste à implémenter ce cadre convolutionnel sur du matériel neuromorphique (spécifiquement l'Intel Loihi 2) tout en préservant les dynamiques essentielles et en évaluant sa faisabilité par rapport aux références matérielles conventionnelles.

Méthodologie
Les auteurs présentent une implémentation sur Loihi 2 du codage parcimonieux convolutionnel utilisant une formulation LCA récurrente à une couche. La méthodologie comprend :

• Formulation algorithmique : Le problème est défini par la minimisation d'une fonction d'énergie comprenant un terme de fidélité de reconstruction et une pénalité de parcimonie $\ell_1$. Les dynamiques du LCA évoluent via des interactions locales où les unités intègrent une commande directe (feedforward), entrent en compétition via une inhibition latérale et émettent des activations seuillées. La règle de mise à jour utilise une discrétisation d'Euler vers l'avant en temps discret avec des dynamiques de membrane à virgule fixe.
• Cartographie matérielle : L'implémentation projette le LCA convolutionnel sur Loihi 2 en représentant les coefficients parcimonieux comme une couche de neurones récurrents unique.
  • Commande directe (Feedforward Drive) : Précalculée par la convolution de l'entrée avec le dictionnaire et injectée comme un biais fixe.
  • Inhibition latérale : Dérivée des corrélations de paires de dictionnaires ($W = (\Phi * \Phi) - \delta$), où le chevauchement de soi est supprimé pour éviter une auto-inhibition triviale. Cela crée des noyaux d'inhibition locaux.
  • Dynamiques : Les neurones utilisent l'arithmétique à virgule fixe pour les états de membrane et des règles de mise à jour personnalisées pour le seuillage doux (soft-thresholding). Les unités actives émettent des sorties graduées correspondant aux activations seuillées, générant un trafic d'événements parcimonieux.
• Configuration expérimentale :
  • Jeu de données : Benchmark d'images Set12 avec des entrées en niveaux de gris.
  • Configuration : Les expériences utilisent des dictionnaires convolutionnels 3×3 et 5×5 avec un nombre variable de noyaux. Deux régimes de pas (stride) sont testés : Pas-1 (tailles cibles 50×50 à 200×200) et Pas-2 (400×400 à 800×800).
  • Entraînement : Les dictionnaires sont appris hors ligne via un entraînement alterné (codage parcimonieux via LCA suivi d'une mise à jour du dictionnaire via SGD) et restent fixes pendant l'inférence.
  • Référence (Baseline) : Une implémentation GPU correspondante (NVIDIA RTX A6000, PyTorch) utilisant les mêmes dictionnaires, images, paramètres de parcimonie ($\lambda$) et un budget fixe de 1000 itérations LCA.
  • Métriques : La qualité de reconstruction (PSNR, SSIM, MSE, parcimonie) est traitée comme indépendante du matériel. Les métriques dépendantes du matériel incluent la latence sur puce ($time\_chip\_ms$), la latence temps réel (wall-clock), la puissance dynamique et l'énergie dynamique par inférence.

Contributions clés

1. Première implémentation : À la connaissance des auteurs, il s'agit de la première implémentation et évaluation de référence du LCA convolutionnel sur Loihi 2.
2. Benchmark structuré : Ce travail établit une configuration de benchmarking correspondante qui sépare les métriques algorithmiques (qualité de reconstruction) des métriques dépendantes du matériel (latence, puissance, énergie).
3. Analyse de régime : L'étude analyse les compromis à travers plusieurs réglages de régularisation ($\lambda$), tailles de filtres et configurations de pas pour identifier les régimes de fonctionnement où l'inférence parcimonieuse convolutionnelle est intéressante sur du matériel neuromorphique.

Résultats

• Comportement Loihi-seul : L'augmentation du paramètre de parcimonie $\lambda$ agit comme un levier de contrôle fiable. À mesure que $\lambda$ augmente, la qualité de reconstruction (PSNR) diminue modérément, tandis que la latence sur puce et l'énergie dynamique diminuent considérablement. L'ampleur de ces économies dépend du régime, variant selon le pas et la taille du filtre.
• Comparaison inter-plateformes :
  • Latence : La référence GPU démontre systématiquement une latence plus faible que Loihi 2, particulièrement dans les régimes de Pas-1. L'écart de latence se réduit dans les régimes de Pas-2 mais reste en faveur du GPU.
  • Énergie : Loihi 2 présente un avantage substantiel en matière d'énergie dynamique par inférence dans tous les régimes testés, nécessitant nettement moins d'énergie que la référence GPU.
  • Qualité de reconstruction : La qualité de reconstruction inter-plateforme dépend du régime plutôt que d'un ordre uniforme. Les écarts entre les résultats de Loihi 2 et du GPU sont plus prononcés dans les régimes de fonctionnement plus denses (faible $\lambda$) et diminuent lorsque les représentations deviennent plus parcimonieuses ($\lambda$ élevé). Les auteurs attribuent cela aux effets de la quantification en virgule fixe dans l'implémentation de Loihi 2 qui s'accumulent au cours de la dynamique récurrente.

Signification et affirmations
L'article positionne le LCA convolutionnel sur Loihi 2 non pas comme un remplacement universel de l'exécution GPU conventionnelle, mais comme un substrat d'inférence parcimonieuse dépendant du régime. La principale signification réside dans la démonstration de la faisabilité et la clarification des conditions de fonctionnement spécifiques sous lesquelles le matériel neuromorphique devient avantageux.

• Identification des compromis : L'étude clarifie que si les GPU offrent une latence supérieure et une qualité de reconstruction généralement meilleure (notamment dans les régimes denses), Loihi 2 offre un avantage convaincant en termes d'efficacité énergétique dynamique.
• Contexte d'application : Les résultats suggèrent que Loihi 2 est particulièrement attractif pour les applications où l'inférence parcimonieuse itérative est précieuse mais où la latence absolue est secondaire par rapport aux contraintes énergétiques, comme les pipelines de détection à faible consommation ou le traitement frontal "toujours actif" (always-on).
• Valeur de benchmark : Le LCA convolutionnel est proposé comme un benchmark utile pour les systèmes neuromorphiques émergents car il expose une famille structurée de compromis (qualité vs latence vs énergie) qui dépendent à la fois du régime de fonctionnement et du support matériel.

Les auteurs notent explicitement les limites, incluant la restriction aux dictionnaires entraînés hors ligne, l'utilisation de l'arithmétique à virgule fixe qui impacte la précision dans les régimes denses, et l'utilisation d'un budget fixe de 1000 itérations qui peut ne pas refléter des critères d'arrêt optimisés pour les applications. La comparaison est présentée comme un benchmark apparié pour contextualiser Loihi 2 face à une référence conventionnelle forte, plutôt que comme une affirmation de supériorité neuromorphique universelle.