A Symbolic Neural CPU for Quantization-Simulated Writeback and Interpretable Program Execution

Résumé Technique : Un CPU Neuronal Symbolique pour la Réécriture de Simulation de Quantification et l'Exécution de Programmes Interprétables

1. Énoncé du Problème

Les réseaux neuronaux modernes excellent dans l'apprentissage de correspondances entrées-sorties continues, mais fonctionnent souvent comme des « boîtes noires » où les transitions d'état internes sont cachées au sein d'activations ou de paramètres denses. Cette opacité rend difficile la confiance envers les exécuteurs appris, particulièrement lorsque la tâche nécessite un raisonnement algorithmique ou un déploiement sur du matériel contraint. Bien que les réseaux augmentés par la mémoire (ex: Machines de Turing Neuronales) et les approches neuro-symboliques aient amélioré les capacités de raisonnement, ils manquent généralement d'une piste d'audit au niveau des registres. Plus précisément, il existe une lacune dans l'évaluation de savoir si un système appris expose l'opération symbolique spécifique sélectionnée, le registre exact mis à jour, et si le chemin d'exécution intermédiaire reste fidèle à une machine de référence, notamment sous des contraintes d'arithmétique à faible précision (quantifiée). Les benchmarks actuels évaluent souvent uniquement la précision de l'état final, échouant à distinguer un modèle qui suit correctement un chemin algorithmique d'un modèle qui se contente d'approximer le point final.

2. Méthodologie

Les auteurs introduisent un CPU neuronal symbolique supervisé par trace, une architecture factorisée conçue pour rendre le processus d'exécution auditable. Le système opère sur une interface de machine à registres contrôlée où l'état de la machine est un fichier de registres $r_t \in [0, 1]^{R \times W}$, et les instructions sont des tuples composés d'une opération et d'indices de registres source/destination.

Architecture Centrale :

• Encodage d'Instruction : Les instructions sont encodées comme des étiquettes d'opérations en un-vers (one-hot) combinées à des indices de registres normalisés.
• Contrôleur Récurrent : Un contrôleur (principalement un GRU, avec des comparaisons avec les Transformers, les TCN et les modèles d'espace d'état) traite l'instruction et les vecteurs de lecture de mémoire optionnels pour générer des états cachés.
• Routeur d'Opération Explicite : Au lieu d'une sortie monolithique, le modèle utilise un routeur pour prédire les logits sur un ensemble fixe d'opérations nommées ($O = \{AND, OR, XOR, ADD, SUB, SHL, SHR, MUL\}$).
• Banque d'ALU Différentiable : Une banque d'opérations logiques et arithmétiques continues fixes et différentiables (ex: $A_{ADD}(u,v) = \text{clip}(u+v, 0, 1)$) génère des sorties candidates.
• Réécriture Masquée (Masked Writeback) : Le modèle sélectionne un registre de destination et ne met à jour que ce registre, préservant la contrainte de localité des CPU traditionnels.
• Réécriture de Simulation de Quantification (QAT8) : Dans le cadre expérimental principal, la sortie ALU sélectionnée est projetée sur une grille de point fixe à 8 bits avant d'être écrite dans le registre de destination.

Protocoles d'Entraînement et d'Évaluation :

• Supervision par Trace : Le modèle est entraîné non seulement sur l'état final, mais sur la trajectoire complète des états de registres, des étiquettes d'opérations et des masques de destination.
• Relaxation Gumbel-Softmax : Pendant l'entraînement, une sélection d'opérations stochastique est utilisée pour permettre la propagation du gradient. Lors de l'évaluation, des portes argmax déterministes dures sont utilisées pour garantir un chemin d'exécution inspectable et symbolique.
• Rejeu de Point Fixe Apparié : Pour évaluer les performances en basse précision, les auteurs définissent un « rejeu de référence ». Il s'agit d'une réimplémentation indépendante à point fixe de l'interprète de référence, exécutée à la même précision 8 bits que le modèle. Cela sépare le « décalage de sémantique de référence » (dérive due à la quantification) de l'« échec d'exécution » (mauvaise opération).
• Benchmarks : Le système est évalué sur des programmes synthétiques de longueurs variables (jusqu'à 1000 instructions), de largeurs (16 et 32 registres) et de familles de tâches incluant l'exécution à opcode visible, la pression mémoire à opcode caché, et les tâches de choix d'énergie de programmes équivalents.

3. Contributions Clés

• Interface d'Exécution Auditable : L'article établit un cadre où le processus d'exécution est décomposé en composants inspectables : portes d'opérations, masques de destination, trajectoires de registres et signaux de mémoire.
• Réécriture de Simulation de Quantification avec Rejeu Apparié : Les auteurs démontrent qu'un exécuteur neuronal peut préserver le chemin d'opération symbolique exactement, même lorsque les valeurs numériques dérivent en raison de la quantification 8 bits, à condition que l'évaluation utilise une référence de basse précision appariée plutôt qu'une référence continue à pleine précision.
• Conception d'Architecture Factorisée : Le travail montre que séparer le contrôleur, le routeur d'opération et la banque d'ALU fixe est nécessaire pour une exécution interprétable. Les ablations révèlent que supprimer la supervision des portes conduit à des chemins latents ininterprétables, même si la précision finale est maintenue.
• Interfaces Étendues : Le cadre est étendu pour inclure la ValueMemory (pour les tâches à opcode caché), les contrôleurs à impulsions (utilisant des dynamiques de type leaky integrate-and-fire pour la mémoire de contrôle uniquement), et un pont sémantique vers les instructions de base RV32I.

4. Résultats

• Stabilité de Longueur et Correctitude Logique : Sur le profil principal de 16 registres, l'exécuteur non quantifié reproduit l'exécution de référence exactement. L'exécuteur simulé par quantification (QAT8) préserve le chemin d'opération symbolique (accord des portes) à 100 % pour des programmes allant jusqu'à 1000 instructions, malgré la dérive numérique des registres continus (MAE finale $\approx 2,5 \times 10^{-3}$).
• Fidélité du Rejeu Apparié : Lorsqu'il est évalué contre le rejeu de point fixe apparié (la référence 8 bits), l'exécuteur QAT8 atteint 100 % de fidélité de la grille scalaire et zéro erreur de trace. Cela confirme que la dérive observée dans le score continu est un décalage de sémantique de référence, et non un échec d'exécution.
• Comparaisons d'Architecture : Les contrôleurs récurrents (GRU) surpassent généralement ou égalent les Transformers et autres variantes sur ces tâches. Crucialement, les ablations montrent que supprimer la perte de supervision des portes provoque l'effondrement de l'accord des portes (à ~74,5 %), même si le modèle apprend à approximer l'état final.
• Pression Mémoire et Opcodes Cachés : Lorsque les indices d'opcode sont cachés (tâches de pression mémoire), les performances se dégradent considérablement, exposant les limites de l'utilisation différée de l'état et de la liaison temporelle. Les variantes ValueMemory améliorent les performances sur les tâches de type pile, mais peinent sur les inversions de mémoire cachée de longue durée.
• Limites d'Extrapolation : Un profil de 32 registres entraîné sur des programmes courts (max 40 étapes) échoue à généraliser à de longs horizons (au-delà de ~500 étapes), montrant que la limite est l'horizon d'entraînement, et non la largeur de l'état. Un réentraînement sur des horizons plus longs restaure l'exactitude.
• Exécution Sensible au Coût : Le modèle apprend avec succès à sélectionner des programmes équivalents à moindre coût (chemins d'énergie minimale) lorsqu'il est entraîné avec des objectifs de choix d'énergie, réduisant l'énergie proxy d'environ 38 % tout en maintenant la correction.

5. Signification et Revendications

L'article affirme établir un cadre vérifiable par trace pour une exécution neuronale interprétable, à basse précision et contrôlable. Sa signification primaire réside dans le changement de paradigme de l'évaluation, passant de la « précision du point final » à la « fidélité au niveau de la transition ».

Les auteurs affirment modestement que leurs résultats démontrent :

1. Audibilité : Les exécuteurs appris peuvent être conçnés pour exposer leurs choix symboliques internes (opérations et mises à jour de registres) plutôt que de les cacher dans des états continus.
2. Robustesse à la Basse Précision : Les exécuteurs neuronaux peuvent maintenir la correction logique (chemin symbolique) même lorsque la précision numérique est contrainte à 8 bits, à condition que les métriques d'évaluation tiennent compte de la sémantique de la quantification.
3. Contrôle : Le cadre supporte des extensions pour le contrôle en boucle fermée et les contraintes matérielles (proxies d'énergie/délai).

L'article précise explicitement qu'il ne prétend pas être une implémentation physique de processeur, un moteur d'inférence entièrement basé sur l'entier, ou un émulateur complet conforme à RISC-V. Il sert plutôt de pont sémantique et de substrat de diagnostic pour vérifier si les systèmes appris préservent la trace de machine étape par étape requise pour un déploiement de confiance dans les environnements d'exécution face aux appareils. Le travail souligne que pour que les systèmes neuronaux fonctionnent comme des coprocesseurs ou des contrôleurs, leurs choix d'opérations et leurs transitions d'état doivent être visibles et vérifiables avant le déploiement matériel.