Uncertainty-Aware End-to-End Co-Design of Neural Network Processors: From Training and Mapping to Fabrication

Résumé Technique : Co-conception de Processeurs de Réseaux de Neurones Sensibles à l'Incertitude

Énoncé du Problème
La conception d'un processeur de réseau de neurones (NNP - Neural Network Processor) est intrinsèquement un problème de co-conception de bout en bout impliquant quatre étapes interdépendantes : l'architecture et l'entraînement du réseau, le mappage matériel, la fabrication au niveau de la tranche (wafer-level fabrication) et l'allocation des ressources de calcul. Les décisions prises lors des premières étapes (par exemple, le budget d'entraînement) dictent la charge de travail d'inférence, tandis que le mappage matériel détermine la surface de la puce, la latence et l'énergie, ce qui influence ensuite le rendement de fabrication et le coût de production.

Les méthodologies actuelles souffrent de trois limitations principales :

1. Manque de Modularité : Les approches existantes (par exemple, le NAS sensible au matériel, les outils d'exploration conjointe comme NAAS ou DANCE) couplent étroitement l'objectif global à des algorithmes de recherche spécifiques. L'amélioration d'un composant (par exemple, un substitut d'entraînement) nécessite souvent de retravailler l'ensemble du pipeline d'exploration.
2. Coût d'Évaluation : L'exploration exhaustive à travers les choix de réseaux, de mappage et de fabrication est irréalisable en raison du coût élevé de la vérification matérielle détaillée, imposant le recours à des prédicteurs statistiques autonomes plutôt qu'à un cadre composable.
3. Gestion de l'Incertitude : Les éléments stochastiques dans l'entraînement (initialisation aléatoire), le mappage (recherche heuristique) et la fabrication (variation des processus) sont généralement réduits à des estimations ponctuelles ou traités comme des variables de nuisance, plutôt que d'être explicitement gérés comme des ressources optimisables.

Méthodologie
Le document propose un cadre unifié fondé sur la Théorie de la Co-conception Monotone. L'innovation centrale réside dans la décomposition du processus de conception de l'NNP en quatre Problèmes de Conception Monotones avec Implémentation (MDPI) interopérables. Chaque bloc expose uniquement une interface fonctionnalité–ressource au reste du système, masquant ses détails algorithmiques internes.

Les quatre blocs MDPI sont :

1. Pipeline de Sélection et d'Entraînement du Réseau : Mappe les budgets d'entraînement aux configurations d'encodage (embedding) et aux garanties de précision.
2. Pipeline de Conception de la Puce : Mappe les configurations d'encodage et les budgets de solveur aux métriques de Surface, Énergie et Latence (LEA) au niveau de la puce.
3. Prédiction de Fabrication : Mappe la surface de la puce et le coût monétaire au nombre de puces fonctionnelles obtenues (yield).
4. Planificateur de Distribution de Calcul : Alloue les budgets de calcul (temps, puissance, coût) entre les blocs d'entraînement et de mappage.

Contributions Clés

1. Composition Formelle via les MDPI :
   Le cadre traite chaque sous-système comme un MDPI, défini par un ensemble d'implémentations et une application vers un Problème de Conception (DP) sur des ordres partiels de fonctionnalité et de ressources. Cela permet de composer le système via des opérations de série, de parallèle et de rétroaction. Crucialement, le solveur interne (par exemple, un algorithme génétique pour le mappage) est opaque ; seul l'ensemble résultant des paires fonctionnalité-ressource réalisables est visible. Cela garantit que l'amélioration de l'ensemble d'implémentation d'un seul bloc ne nécessite pas de changements structurels dans le diagramme de co-conception global.

2. L'Incertitude comme Ressource de Premier Rang (Confiance) :
   Le document étend les MDPI pour gérer l'incertitude distributionnelle. Au lieu de réduire les résultats stochastiques en estimations ponctuelles, le cadre introduit la Confiance ($\pi^{-1}$), l'inverse de la probabilité de succès, comme une ressource explicite et optimisable aux côtés du coût, du temps et de la puissance.

• Entraînement : Modélisé comme un processus stochastique budgétisé où la précision suit une courbe d'apprentissage avec un bruit gaussien homoscédastique.
• Mappage : Modélisé à l'aide d'une distribution de substitution (un modèle de mélange à trois composantes) sur les métriques LEA dérivées des exécutions de l'algorithme génétique.
• Fabrication : Modélisée à l'aide d'un modèle de rendement binomial négatif pour tenir compte du regroupement des défauts, mappant la surface et le coût à une distribution de puces produites.
  La confiance globale est le produit des confiances des composants (sous hypothèse d'indépendance), permettant aux concepteurs de négocier la fiabilité contre l'investissement en ressources.

3. Évaluation Basée sur des Substituts (Surrogates) :
   Pour répondre aux coûts d'évaluation, le cadre s'appuie sur des substituts profilés hors ligne (par exemple, courbes d'apprentissage gaussiennes, distributions de mélange pour le LEA et modèles de rendement binomial négatif). Ces substituts permettent au système de calculer des solutions Pareto-optimales en quelques secondes sans réinvoquer les solveurs sous-jacents coûteux.

Résultats
Le cadre est validé par trois études de cas :

• Étude de Cas I (Co-conception de Bout en Bout) : Résout un problème de conception d'NNP de base pour un robot de nettoyage intérieur. Le solveur récupère des implémentations Pareto-optimales couvrant l'architecture du réseau, la stratégie de mappage, le nœud de fabrication et le matériel de calcul. Il démontre que le cadre peut identifier des compromis non intuitifs (par exemple, des choix matériels agressifs réduisant le coût au détriment de la puissance) que l'optimisation séquentielle ignorerait.
• Étude de Cas II (Multi-Scénarios et Incertitude) :
  • Sensibilité aux Contraintes : Évalue quatre scénarios avec des contraintes de plus en plus strictes (Surface, Énergie, Latence, Rendement, Précision). Les résultats montrent un déplacement monotone vers l'extérieur de la frontière de Pareto à mesure que les contraintes se durcissent, conformément à la structure d'ordre du formalisme.
  • La Confiance comme Levier de Conception : Démontre que la Confiance fonctionne comme une ressource continuellement ajustable. Pour un scénario hautement contraint (implant neural), la frontière de Pareto Temps–Confiance révèle un arbitrage brutal : atteindre une haute fiabilité nécessite un investissement de temps disproportionné. Cela quantifie le « coût de la fiabilité », une métrique cachée dans les formulations déterministes.
  • Validation des Substituts : Valide que les distributions de substitution pour l'entraînement, le mappage et la fabrication capturent fidèlement la stochasticité observée, justifiant l'utilisation de la Confiance comme une ressource de conception fiable.
• Étude de Cas III (Découplage Algorithme–Cadre) : Valide la modularité en enrichissant l'ensemble d'implémentation du bloc de Conception de la Puce (simulant un meilleur solveur en augmentant les époques de l'algorithme génétique). Les résultats montrent que les améliorations d'un seul bloc se propagent automatiquement à la frontière Pareto globale sans modifier le diagramme de co-conception ou les autres blocs. Les implémentations dominées sont éliminées automatiquement, tandis que les améliorations non dominées déplacent la frontière globale.

Signification
L'article affirme que ce formalisme fournit une base pour une co-conception d'NNP rigoureuse, flexible et modulaire qui offre simultanément :

1. Compositionnalité : La capacité de composer des conceptions à travers différents niveaux d'abstraction (de l'entraînement à la fabrication).
2. Quantification de l'Incertitude de Premier Rang : Traiter la fiabilité comme un levier de conception ajustable plutôt que comme un diagnostic post-hoc.
3. Modularité : Permettre aux améliorations algorithmiques de n'importe quel bloc d'être contribuées et composées indépendamment, changeant fondamentalement l'économie du développement itératif des NNP.
4. Efficacité d'Évaluation : Permettre une exploration rapide via des substituts hors ligne sans sacrifier la capacité à modéliser la stochasticité.

Les auteurs positionnent ce travail comme une étape vers une méthodologie de co-conception d'NNP principled, flexible et modulaire qui comble le fossé entre l'exploration de co-conception de haut niveau et l'implémentation prête pour la fabrication (tape-out), se distinguant des méthodes de recherche conjointe antérieures qui manquent de garanties de composition formelles.