A Synthesizable RTL Implementation of Predictive Coding Networks

1. Problématique

L'apprentissage profond moderne repose principalement sur la rétropropagation du gradient (backpropagation). Bien que très efficace, ce paradigme présente des défis majeurs pour sa mise en œuvre dans des systèmes matériels distribués et en ligne :

• Propagation globale des erreurs : Le calcul des gradients nécessite une propagation structurée de l'erreur à travers tout le réseau, ce qui brise la localité.
• Séparation des phases : L'entraînement exige une coordination stricte entre les phases de propagation avant (forward), de propagation arrière (backward) et de mise à jour des poids, nécessitant le stockage d'activations intermédiaires.
• Dépendance à la mémoire centralisée : Ces systèmes reposent sur des mouvements massifs de données entre la mémoire et les unités de calcul, ce qui est coûteux en énergie et en latence.

L'auteur propose d'explorer le codage prédictif (Predictive Coding) comme alternative. Dans ce cadre, l'inférence et l'apprentissage émergent de la minimisation locale des erreurs de prédiction entre couches adjacentes, éliminant le besoin de propagation d'erreur globale et de synchronisation centralisée.

2. Méthodologie

L'article présente une architecture matérielle numérique (RTL) qui implémente directement les équations de mise à jour du codage prédictif au niveau de chaque neurone, sans logiciel intermédiaire.

• Architecture de base (Neural Core) :

  • Chaque unité neuronale (core) maintient son propre état d'activité ($x$), son erreur de prédiction ($\epsilon$) et ses poids synaptiques ($\theta$).
  • La communication se fait exclusivement via des connexions filaires rigides (hardwired) entre les couches adjacentes (haut et bas).
  • Aucune mémoire de paramètres partagée ni contrôleur global de phase d'apprentissage n'est requis.

• Dynamique de mise à jour (Tick-based) :

  • Le système fonctionne par cycles discrets (ticks). À chaque tick, un neurone exécute une séquence déterministe d'états finis (FSM) :
    1. PRED : Calcul de la prédiction descendante ($\mu$) à partir des états de la couche supérieure.
    2. ERR : Calcul de l'erreur de prédiction locale ($\epsilon = x - \mu$).
    3. BACKSUM : Accumulation des termes remontant de la couche inférieure.
    4. BACKVEC : Émission des produits nécessaires pour la couche supérieure.
    5. WUP : Mise à jour des poids synaptiques selon une règle de type Hebbien locale ($\Delta \theta \propto \epsilon \cdot f(x_{sup})$).
    6. STATE : Mise à jour de l'état du neurone ($\Delta x$) basée sur l'erreur et les termes remontants.
  • Les mises à jour de poids et d'état sont simultanées et incrémentales.

• Interface de Clamp (Clamping) :

  • Un mécanisme uniforme permet de « verrouiller » (clamp) les neurones des couches limites (entrées et sorties cibles) via des signaux externes.
  • Cela permet de réaliser à la fois l'apprentissage supervisé (en fixant les entrées et les cibles) et l'inférence (en fixant uniquement les entrées), sans modifier la logique interne du neurone.

• Implémentation Matérielle :

  • Le design est écrit en SystemVerilog, synthétisable et basé sur l'arithmétique IEEE-754 (simple précision).
  • Il utilise un datapath MAC (Multiply-Accumulate) séquentiel pour réduire la surface matérielle au détriment de la latence par tick (le nombre de cycles par tick est linéaire par rapport au fan-in).

3. Contributions Clés

1. Architecture de cœur neuronal composable : Une implémentation matérielle directe d'une mise à jour de codage prédictif en temps discret utilisant un datapath MAC séquentiel.
2. Interface de clamp uniforme : Un mécanisme simple par neurone qui gère l'apprentissage supervisé et l'inférence via des conditions aux limites, sans changer le calendrier interne de mise à jour.
3. Substrat RTL déterministe : Une organisation matérielle complète, vérifiable et synthétisable, où la structure de la tâche est imposée par la connectivité et les paramètres, et non par l'exécution d'instructions logicielles.
4. Correspondance directe : Une correspondance explicite entre les équations mathématiques du codage prédictif et les états de la machine à états finis (FSM) du matériel.

4. Résultats Expérimentaux

Les expériences ont été réalisées via des simulations Verilator utilisant l'implémentation RTL open-source fournie.

• Régression Enseignant-Élève : Un réseau de 3 couches (2→4→3) avec une fonction d'activation ReLU a été entraîné pour imiter une fonction cible. L'erreur quadratique moyenne (MSE) est passée de ~0.34 à ~0.006 en 25 époques, montrant une convergence rapide suivie d'un plateau stable.
• Régression Non-linéaire (Tanh) : Un réseau plus petit (2→2→1) avec une couche cachée Tanh a réduit l'erreur de plus de deux ordres de grandeur en seulement 3 époques.
• Évolutivité Architecturale : Le même code RTL et la même logique de contrôle ont été appliqués à trois architectures de tailles croissantes (2→4→3, 4→8→4, 8→16→8).
  • Résultat majeur : Aucune modification du code RTL n'était nécessaire pour changer l'échelle du réseau. Seuls les paramètres de dimension à la compilation changeaient.
  • Les réseaux plus grands ont montré une convergence initiale rapide mais se sont stabilisés sur des résidus légèrement plus élevés, ce qui est cohérent avec le régime incrémental (nécessitant plus de ticks pour l'équilibration de l'inférence dans les couches larges).

5. Signification et Impact

Ce travail démontre qu'il est possible de construire un substrat d'apprentissage matériel où l'algorithme et le matériel sont indissociables.

• Vers le « Mortal Computation » : L'auteur relie cette approche au concept de « calcul mortel » (Hinton), où les paramètres appris sont spécifiques à la pièce de matériel physique et ne peuvent pas être transférés. Ici, les règles de mise à jour sont directement instantanées dans le datapath matériel, éliminant la séparation entre logiciel et matériel.
• Apprentissage Distribué et Local : L'architecture valide le potentiel du codage prédictif pour créer des systèmes d'apprentissage en ligne, distribués et économes en énergie, évitant les goulots d'étranglement de la rétropropagation globale.
• Limites et Perspectives : L'approche actuelle utilise une logique synchrone numérique et une arithmétique flottante, ce qui est moins efficace énergétiquement que les systèmes neuromorphiques asynchrones ou analogiques (SNN). Cependant, elle offre une vérifiabilité et une reproductibilité mathématique strictes. Le travail ouvre la voie à l'exploration de l'approximation d'activations non linéaires pour la synthèse et à l'analyse de la stabilité dans des régimes de précision finie.

En résumé, cet article ne propose pas une nouvelle règle d'apprentissage, mais fournit la première implémentation matérielle complète et synthétisable d'un réseau de codage prédictif, prouvant que l'apprentissage peut être réalisé comme un processus dynamique localisé directement dans le silicium.