HERCULES: Hardware-Efficient, Robust, Continual Learning Neural Architecture Search

Cet article présente HERCULES, un nouveau cadre et une nouvelle taxonomie pour la recherche d'architectures neuronales qui unifie les objectifs critiques d'efficacité matérielle, de robustesse et d'apprentissage continu afin de guider le développement de systèmes d'intelligence artificielle déployables et capables d'apprentissage tout au long de la vie.

L'essentiel

Imaginez que vous soyez un architecte chargé de construire une maison. Pendant longtemps, la seule chose qui comptait était de faire en sorte que la maison ait bonne apparence (haute précision). Mais alors que nous commencions à déplacer ces « maisons » (modèles d'IA) des plans vers le monde réel, nous avons réalisé que avoir bonne apparence ne suffisait pas.

Ce papier, intitulé HERCULES, soutient que pour construire une maison d'IA véritablement réussie, vous devez équilibrer trois objectifs difficiles simultanément :

1. Efficacité : La maison doit être assez petite pour tenir sur un petit appareil alimenté par batterie (comme une montre connectée ou un capteur), en utilisant très peu d'énergie.
2. Robustesse : La maison doit être assez solide pour résister aux tempêtes, aux tremblements de terre, ou même à quelqu'un qui tente de s'introduire (attaques adverses ou bruit matériel).
3. Apprentissage continu : La maison doit pouvoir croître et évoluer au fil du temps. Si un nouveau membre de la famille emménage (une nouvelle tâche), la maison doit s'agrandir pour les accueillir sans effondrer les anciennes pièces (oublier les connaissances précédentes).

Le Problème : L'Approche en « Silo »

Les auteurs soulignent que les chercheurs en IA actuels construisent généralement des maisons en se concentrant sur une seule de ces choses.

• Certains construisent des maisons minuscules, économes en énergie, mais qui s'effondrent lors d'une tempête.
• D'autres construisent des maisons fortifiées, super solides, mais trop lourdes pour être déplacées.
• D'autres encore construisent des maisons capables d'ajouter facilement de nouvelles pièces, mais qui sont si grandes qu'elles vident la batterie instantanément.

Le papier affirme que dans le monde réel, vous avez besoin d'une maison qui réalise les trois simultanément.

La Solution : Le Cadre HERCULES

Les auteurs proposent un nouveau cadre appelé HERCULES (Hardware-Efficient, Robust, and Continual LEarning Search). Ils le nomment d'après le héros grec Hercule car, comme le héros, la tâche est « redoutable ».

Pensez à HERCULES comme à un Architecte Maître qui ne se contente pas de dessiner un plan statique. À la place, cet architecte conçoit une maison « vivante » avec deux caractéristiques spéciales :

1. Le « Commutateur Intelligent » (Adaptativité Dynamique) :
   Imaginez une maison dotée d'un système d'éclairage intelligent. Si vous traversez simplement le couloir, les lumières sont tamisées (économie d'énergie). Mais si vous préparez un repas complexe, les lumières s'allument intensément (utilisation de plus de puissance pour de meilleurs résultats).

   • Dans le papier : Cela s'appelle un Réseau de Neurones Dynamique. L'IA peut choisir de faire un « rapide coup d'œil » pour les tâches faciles (économie d'énergie) ou une « plongée profonde » pour les tâches difficiles (assurant la précision). Elle peut également réacheminer son câblage interne si le matériel commence à dysfonctionner.

2. L'« Extension Modulaire » (Apprentissage Continu) :
   Imaginez une maison avec un fondation magique. Lorsqu'un nouveau membre de la famille arrive, la maison peut ajouter doucement une nouvelle aile sans démolir l'ancienne.

   • Dans le papier : Cela résout l'« oubli catastrophique ». L'IA apprend de nouvelles tâches en étendant légèrement sa structure, plutôt qu'en écrasant ses anciennes mémoires.

Les « Douze Travaux » de HERCULES

Tout comme Hercule devait accomplir douze tâches impossibles, les auteurs affirment que construire cette IA parfaite nécessite de surmonter 12 défis spécifiques (ou « travaux »). Voici quelques-uns des plus importants, traduits en termes courants :

• Travail 1 : Le Test du Monde Réel (Conception Couplée Matériel-Logiciel).
  Ne calculez pas seulement combien de briques vous avez besoin sur le papier. Vous devez tester la maison sur le véritable terrain où elle se tiendra. La conception de l'IA doit tenir compte des particularités spécifiques de la puce sur laquelle elle s'exécutera.
• Travail 2 : Le Test de la Tempête (Robustesse Évolutif).
  Vous ne pouvez pas attendre qu'une ouragan arrive pour tester si votre maison est sûre. Vous avez besoin d'un moyen de simuler rapidement les tempêtes pendant la phase de conception pour garantir que la maison ne s'effondrera pas.
• Travail 3 : L'Équilibre (Plasticité vs Stabilité).
  C'est la partie la plus difficile. Vous voulez que la maison soit assez flexible pour ajouter une nouvelle pièce (plasticité) mais assez stable pour que la nouvelle pièce ne fissure pas la fondation (stabilité). Le cadre doit trouver l'équilibre parfait.
• Travail 12 : La Vision à Long Terme (Durabilité du Cycle de Vie).
  La plupart des IA sont « déployer et oublier ». HERCULES demande : « Que se passe-t-il dans 5 ans lorsque le matériel vieillit ou que les données changent ? » La conception doit être durable sur le long terme, pas seulement pour le premier jour.

Pourquoi Cela Importe

Le papier conclut que nous ne pouvons plus nous fier à des outils séparés pour l'efficacité, la force et la croissance. Nous avons besoin d'une approche unifiée.

HERCULES est la feuille de route pour construire une IA qui est :

• Légère assez pour fonctionner sur votre téléphone ou un capteur.
• Résistante assez pour gérer de mauvaises données ou des bugs matériels.
• Adaptable assez pour apprendre de nouvelles choses indéfiniment sans oublier l'ancien.

C'est un appel à arrêter de construire une IA « statique » et à commencer à construire une IA « vivante » capable de survivre dans le monde réel, désordonné, changeant et avide de ressources.

Résumé technique

Résumé Technique : HERCULES – Recherche d'Architecture Neurale Évolutive, Économe en Ressources et Robuste

1. Énoncé du Problème

La Recherche d'Architecture Neurale (NAS) s'est traditionnellement concentrée sur l'optimisation du compromis entre la précision et l'efficacité matérielle (par exemple, la latence, la mémoire, l'énergie). Cependant, à mesure que les systèmes d'IA passent des benchmarks statiques au déploiement dans le monde réel, cette double focalisation est insuffisante. Les applications modernes d'IA font face à trois défis orthogonaux mais interconnectés :

1. Efficacité : La nécessité de fonctionner dans des contraintes de ressources strictes (énergie, mémoire, calcul) sur des dispositifs périphériques (edge devices).
2. Robustesse : L'exigence de maintenir la fiabilité face aux variabilités environnementales, y compris les perturbations adverses, le bruit induit par le matériel (par exemple, la dérive de la conductance dans les mémoires émergentes) et les décalages de distribution.
3. Apprentissage Continu (CL) : La capacité de s'adapter à des tâches séquentielles sans oublier catastrophiquement, en équilibrant la plasticité (apprentissage de nouvelles connaissances) et la stabilité (préservation des anciennes connaissances).

La littérature actuelle sur la NAS traite largement ces objectifs de manière isolée. Des études de synthèse existent pour la NAS consciente du matériel, la NAS robuste ou la NAS d'apprentissage continu, mais aucune ne fournit une perspective unifiée traitant les trois comme également fondamentaux. De plus, les solutions existantes échouent souvent à prendre en compte la nature dynamique du déploiement dans le monde réel, où les modèles doivent s'adapter aux flux de données changeants et à la dégradation matérielle au fil du temps. La question de recherche centrale abordée est la suivante : Est-il possible d'automatiser la conception d'architectures de réseaux neuronaux qui maintiennent une fiabilité de performance face au bruit matériel et aux décalages de données tout en respectant des budgets énergétiques stricts et des exigences de tâches évolutives ?

2. Méthodologie et Taxonomie

L'article propose une taxonomie complète des approches NAS à travers la « triple lentille » de l'efficacité, de la robustesse et de l'apprentissage continu. Il catégorise les méthodes existantes en trois piliers principaux et analyse leurs intersections :

A. Efficacité (NAS Consciente du Matériel)

L'étude de synthèse examine les méthodes optimisant pour des environnements contraints en ressources, catégorisées en :

• Compression de Modèle : Intégration de l'élagage, de la quantification et de la mise à l'échelle de l'architecture directement dans la boucle de recherche (par exemple, MSuNAS, CNAS, APQ).
• Réseaux Neuronaux Dynamiques : Architectures adaptant le calcul à la complexité de l'entrée, telles que les réseaux à sortie précoce (Early-Exit Networks - EENN), les mélanges d'experts (MoE) et les réseaux multi-branches (par exemple, EExNAS, HADAS, InstaNAS).
• Conception Matériel-Logiciel Co-optimisée : Optimisation conjointe des architectures neuronales et des paramètres des accélérateurs (par exemple, configurations FPGA/ASIC, flux de données) pour atteindre des solutions de Pareto optimales inaccessibles en fixant l'un ou l'autre côté (par exemple, Codesign-NAS, DNA, NACIM).

B. Robustesse

L'article catégorise la NAS consciente de la robustesse en cinq sources de perturbation :

• Optimisation de la Platitude : Recherche de minima plats dans le paysage de la perte pour améliorer la généralisation et la stabilité (par exemple, R-DARTS, GeNAS, A2M).
• Robustesse Adverse : Optimisation contre des perturbations intentionnelles utilisant des techniques telles que l'entraînement adversarial et la régularisation de Lipschitz (par exemple, ADVRUSH, RNAS, WsrNAS).
• Robustesse au Bruit Matériel : Traitement des non-idéalités dans les dispositifs de Calcul en Mémoire (IMC) comme les RRAM et les PCM, incluant la dérive de la conductance et la commutation stochastique (par exemple, CMQ, UAE, AnalogNAS).
• Robustesse au Décalage de Ressources : Adaptation à la disponibilité énergétique dynamique (par exemple, scénarios de récupération d'énergie).
• Robustesse Multimodale : Assurer la stabilité à travers différentes modalités et décalages de domaine (par exemple, NAS-OOD, MFAS, Harmonic-NAS).

C. Apprentissage Continu

L'étude de synthèse identifie que peu de travaux sur la NAS optimisent l'apprentissage continu (CL) de manière isolée. La plupart des méthodes NAS axées sur le CL sont examinées dans le contexte de l'optimisation conjointe avec l'efficacité. Les approches clés incluent :

• Basées sur l'Expansion : Croissance dynamique de la largeur ou de la profondeur du réseau à mesure que de nouvelles tâches arrivent (par exemple, Continual NAS, CLEAS, BNS).
• Basées sur la Régularisation : Utilisation de pénalités pour empêcher les mises à jour des poids d'interférer avec les tâches précédentes (par exemple, REC).
• Basées sur la Distillation : Transfert de connaissances des anciens vers les nouveaux modèles.

D. Le Vide

L'article met en évidence des faiblesses critiques dans les solutions actuelles :

• Vision Statique : La plupart des NAS conscientes du matériel supposent un environnement statique et sans bruit, échouant à anticiper la dégradation matérielle ou les décalages de distribution au fil du temps.
• Aveuglement Temporel : La NAS axée sur la robustesse ignore souvent le besoin d'adaptabilité, créant des modèles robustes mais rigides (incapables d'apprendre de nouvelles tâches).
• Surcharge Matérielle : Les architectures robustes entraînent souvent une surcharge significative de paramètres, les rendant inadaptées aux budgets TinyML.
• Isolement : L'efficacité, la robustesse et le CL sont rarement optimisés conjointement, conduisant à des compromis sous-optimaux pour le déploiement dans le monde réel.

3. Contributions Clés : Le Cadre HERCULES

Pour combler ces lacunes, les auteurs proposent HERCULES (Hardware-Efficient, Robust, and Continual LEarning Search), un nouveau cadre et une nouvelle taxonomie pour la NAS de nouvelle génération.

Architecture du Cadre

HERCULES étend la NAS traditionnelle en introduisant un module Adaptateur d'Architecture qui enrichit les architectures de base (issues de l'espace de recherche $\Gamma_x$) avec des capacités dynamiques (issues de l'espace de configuration $\Gamma_\theta$), créant un espace de recherche affiné $\Gamma_{\tilde{x}}$.

• Entrées : Jeux de données, ensembles d'architectures, hyperparamètres de comportement dynamique, paramètres d'évaluation, informations a priori (par exemple, profils de bruit matériel, modèles de récupération d'énergie) et contraintes.
• Sortie : Un ensemble de réseaux neuronaux de Pareto-optimaux qui sont soit statiques, soit dynamiques (intégrant l'adaptabilité au moment de l'exécution).
• Objectif d'Optimisation : Une fonction multi-objectifs contrainte minimisant une fonction de coût $G$ qui équilibre :
  • $F_A(\tilde{x})$: Précision (ou Précision Incrémentale Moyenne $F_{AIA}$ pour le CL).
  • $F_C(\tilde{x})$: Coûts des ressources (latence, énergie, mémoire).
  • $F_R(\tilde{x}, \rho, \Delta)$: Robustesse face à diverses perturbations environnementales.

Les Douze Travaux d'HERCULES

L'article définit douze défis techniques (désidérata) nécessaires pour réaliser des systèmes d'IA déployables et d'apprentissage tout au long de la vie :

1. Conception Matériel-Logiciel Co-optimisée : Intégration de la NAS avec les compilateurs et les temps d'exécution pour des performances réelles.
2. Estimation Évolutive de la Robustesse : Estimation efficace des métriques de robustesse sans surcharge prohibitive.
3. Équilibre Plasticité-Stabilité : Optimisation explicite du compromis entre l'apprentissage de nouvelles tâches et la rétention des anciennes connaissances.
4. Fidélité du Déploiement : Assurer que les évaluations au moment de la recherche approximent fidèlement les conditions opérationnelles réelles en utilisant des informations a priori.
5. Modélisation des Objectifs : Traitement de l'efficacité, de la robustesse et du CL comme des objectifs orthogonaux et de première classe.
6. Adaptabilité Dynamique : Optimisation à la fois des motifs statiques et des politiques adaptatives au moment de l'exécution.
7. Espaces de Recherche Expressifs : Inclusion de blocs architecturaux capables d'optimiser à travers les trois piliers.
8. Stratégies de Recherche Multi-Objectifs : Développement d'algorithmes pour naviguer sur la frontière de Pareto non convexe des trois objectifs.
9. Alignement Environnemental : Adaptation des espaces de recherche et des stratégies à des environnements de déploiement spécifiques.
10. Reproductibilité des Benchmarks : Proposition d'un HERCULES-Bench unifié combinant l'apprentissage incrémental, la robustesse OOD et la variabilité matérielle.
11. Efficacité de la Recherche : Optimisation du coût computationnel du processus NAS lui-même.
12. Durabilité du Cycle de Vie : Prise en compte des coûts de déploiement à long terme, incluant le réentraînement et la maintenance sous un matériel vieillissant.

4. Résultats et Preuves

L'article ne présente pas de nouveaux résultats expérimentaux issus d'un algorithme novateur, mais fournit une étude de synthèse et une analyse complète de la littérature existante.

• Tableaux I–VIII : L'article catégorise et résume systématiquement plus de 50 méthodes NAS à travers les trois piliers. Il détaille leurs objectifs, coûts de recherche, jeux de données et métriques de performance.
• Analyse des Lacunes : L'étude de synthèse démontre que, bien que les piliers individuels soient bien étudiés, l'optimisation conjointe est rare. Par exemple, peu de travaux optimisent le CL de manière isolée ; la plupart le font conjointement avec l'efficacité. De même, la robustesse s'accompagne souvent d'un coût en efficacité, et l'adaptabilité dynamique commence seulement à être intégrée avec la robustesse et l'efficacité.
• Synthèse : L'analyse révèle que le domaine converge vers la nécessité d'une optimisation conjointe, validant le besoin du cadre HERCULES.

5. Signification et Revendications

L'article revendique une importance en tant que feuille de route pour le domaine de la Recherche d'Architecture Neurale.

• Perspective Unifiée : C'est la première étude de synthèse à traiter explicitement l'efficacité, la robustesse et l'apprentissage continu comme des objectifs également fondamentaux et orthogonaux, dépassant la vision en silo de la recherche actuelle.
• Changement de Paradigme : Il plaide pour un passage d'une NAS statique « déployer-oublier » à une NAS dynamique d'« apprentissage tout au long de la vie » qui prend en compte les dynamiques environnementales et temporelles.
• Cadre Fondamental : En définissant HERCULES et ses douze travaux, l'article fournit un ensemble structuré de désidérata pour la recherche future, guidant le développement de systèmes d'IA véritablement déployables.
• Directions Futures : L'article suggère modestement que, bien que HERCULES fournisse un cadre pour concevoir des réseaux dynamiques, les travaux futurs doivent intégrer l'adaptabilité dans le processus de recherche lui-même (NAS Dynamique) et boucler la boucle avec des retours matériels réels pour atteindre des systèmes « auto-évolutifs ».

En résumé, l'article postule que l'avenir du déploiement de l'IA repose sur des architectures qui ne sont pas seulement précises, mais intrinsèquement résilientes, conscientes des ressources et capables d'évoluer parallèlement à leurs environnements d'exploitation. HERCULES est proposé comme le fondement conceptuel et technique pour atteindre cet objectif.