🤖 machine learning

Coverage You Can Steer: Online Conformal Calibration for RL-Driven Hardware-Aware NAS

Cet article propose un cadre de calibration conforme en ligne utilisant un contrôle par rétroaction adaptatif pour restaurer les garanties de couverture sans distribution dans la recherche d'architecture neuronale sensible au matériel pilotée par l'apprentissage par renforcement, permettant l'élagage efficace de 25 à 50 % des architectures candidates sans sacrifier la précision ni violer le taux d'erreur cible malgré la nature non échangeable du processus de recherche.

Auteurs originaux : Pedro Brandimarte, Nerea Aranjuelo, Marcos Nieto, Oihana Otaegui

Publié 2026-10-05✓ Author reviewed ⓘ

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pedro Brandimarte, Nerea Aranjuelo, Marcos Nieto, Oihana Otaegui

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les minuscules ordinateurs situés à l'intérieur de votre montre connectée, du système de freinage de votre voiture ou d'un capteur médical pourraient exécuter la même intelligence artificielle puissante qui ne réside actuellement que dans de gigantesques centres de données. C'est la promesse de l'IA en périphérie (Edge AI) : des systèmes intelligents qui fonctionnent localement, instantanément et sans avoir besoin de renvoyer des données privées vers le cloud. Mais il y a un piège. Ces appareils en périphérie ont des limites sévères sur la quantité de mémoire qu'ils peuvent contenir et sur la rapidité avec laquelle ils peuvent traiter l'information. Concevoir un réseau de neurones — un type de programme informatique qui apprend à partir de données — pour qu'il s'adapte à ces contraintes serrées, c'est comme essayer de construire un gratte-ciel qui doit également tenir dans une boîte à chaussures. Le nombre de conceptions possibles est si vaste, impliquant des millions de combinaisons de couches, de connexions et de paramètres, qu'un concepteur humain ne peut pas raisonnablement toutes les tester.

Pour résoudre ce problème, les chercheurs utilisent une méthode appelée recherche d'architecture neuronale (Neural Architecture Search), où un programme informatique essaie automatiquement différentes conceptions pour trouver la meilleure. Cependant, tester une seule conception est incroyablement coûteux et lent ; cela nécessite d'entraîner le modèle sur des données pour voir comment il fonctionne. Si un ordinateur doit entraîner des milliers de conceptions pour en trouver une seule de bonne qualité, le processus devient trop coûteux pour être pratique. Le défi consiste donc à déterminer quelles conceptions méritent le temps et l'argent nécessaires à leur entraînement, et lesquelles doivent être écartées immédiatement, sans jamais subir le test complet.

Une équipe de chercheurs de Vicomtech, en Espagne, a développé une nouvelle façon de rendre ce processus de filtrage fiable. Ils ont abordé un problème qui avait discrètement sapé les tentatives précédentes : le propre processus d'apprentissage de l'ordinateur modifiait les règles du jeu pendant qu'il jouait. Dans ces systèmes de recherche, un « contrôleur » suggère de nouvelles conceptions en fonction de ce qu'il a appris jusqu'à présent. À mesure que le contrôleur devient plus intelligent, les conceptions qu'il suggère changent. Les anciennes méthodes de filtrage des mauvaises conceptions supposaient que les conceptions suggérées au début de la recherche étaient statistiquement similaires à celles suggérées à la fin. Mais parce que le contrôleur apprend et s'améliore, cette supposition est fausse. Les conceptions changent constamment, et les anciens filtres, qui étaient calibrés sur les premières conceptions, commençaient à échouer. Ils perdaient soit du temps à entraîner de terribles conceptions, soit, pire encore, jetaient accidentellement la meilleure conception avant qu'elle ne puisse être correctement testée.

Les chercheurs ont remplacé ce filtre statique et ponctuel par un système qui apprend et s'ajuste en temps réel. Au lieu de fixer une règle une fois pour toutes et d'espérer qu'elle tienne, leur nouvelle méthode utilise une boucle de rétroaction pour vérifier constamment ses propres performances. Après chaque test de conception, le système se demande : « Ai-je correctement prédit que cette conception serait bonne ou mauvaise ? » Si le système a fait une erreur, il ajuste légèrement son seuil interne de ce qui compte comme une « bonne » conception. Cet ajustement se produit en continu, permettant au système de suivre l'évolution changeante de la recherche. Le résultat est un filtre qui peut être réglé sur un niveau de sécurité spécifique. Si un chercheur demande une garantie de 90 % qu'aucune bonne conception ne sera manquée, le système délivre exactement cela, peu importe l'évolution de la recherche. S'il demande 95 %, il délivre cela à la place. Ce contrôle est précis, reproductible et fonctionne même lorsque les conceptions suggérées changent rapidement.

L'équipe a testé cette approche sur trois types différents d'architectures de réseaux et sur divers ensembles de données, simulant la recherche de modèles capables de fonctionner sur des microcontrôleurs dotés d'une mémoire très limitée. Ils ont constaté que leur système adaptatif pouvait écarter en toute sécurité entre 25 % et 50 % des conceptions proposées sans jamais les entraîner, économisant ainsi une quantité massive de temps de calcul. Crucialement, cet élagage n'a pas altéré la qualité finale de la solution. En fait, dans un cas de test spécifique où la meilleure conception était un pic rare et isolé dans un vaste paysage d'options médiocres, les anciennes méthodes ont échoué de manière répétée, jetant la meilleure conception. La nouvelle méthode adaptative l'a trouvée à chaque fois.

Les chercheurs ont également découvert que le contrôleur « intelligent » souvent utilisé pour générer ces conceptions n'était pas réellement le moyen le plus efficace de trouver la meilleure architecture. Lorsqu'ils ont comparé un contrôleur d'apprentissage sophistiqué à une simple recherche aléatoire, la recherche aléatoire s'est révélée tout aussi performante, voire meilleure, dans de nombreux cas. Le contrôleur était bon pour trouver des conceptions moyennes, mais il avait tendance à rester bloqué dans des zones locales et à manquer les rares et parfaites. La véritable valeur de la nouvelle méthode, ont-ils découvert, ne résidait pas dans le contrôleur lui-même, mais dans le filtre calibré qui gérait le budget. En utilisant le filtre adaptatif comme un guide pour savoir où chercher ensuite, plutôt que comme un simple gardien, les chercheurs ont pu orienter la recherche directement vers les meilleures solutions. Cet « optimisme calibré » a permis au système d'explorer des conceptions prometteuses mais non prouvées avec un niveau de risque connu, surpassant la recherche aléatoire et même des algorithmes de planification plus complexes dans des environnements contraints.

L'étude a également examiné comment ces filtres se comportent lorsque la recherche construit une conception couche par couche, plutôt que d'un seul bloc. Ils ont découvert qu'une règle de filtrage globale unique échouait souvent à prendre en compte les difficultés spécifiques des différentes étapes de la construction. Par exemple, une règle qui fonctionnait bien pour les parties initiales et peu profondes d'un réseau pouvait être trop souple ou trop stricte pour les parties profondes et complexes. En appliquant leur méthode adaptative séparément à chaque étape de la construction, ils ont pu garantir que la garantie de sécurité restait vraie à chaque étape, quelle que soit la profondeur de croissance du réseau. Ce contrôle granulaire a empêché le système de commettre des erreurs systématiques qui seraient passées inaperçues avec une approche uniforme.

En fin de compte, ce travail démontre que dans le jeu à enjeux élevés de la conception d'intelligence artificielle pour des appareils limités, l'outil le plus important n'est pas nécessairement un prédicteur plus intelligent, mais un prédicteur plus honnête. Les anciennes méthodes reposaient sur des hypothèses concernant le comportement des données, des hypothèses brisées par l'acte même d'apprendre. La nouvelle méthode abandonne ces hypothèses. Elle repose plutôt sur une vérification continue et indépendante de la distribution face à la réalité, ajustant son niveau de confiance instant après instant. Elle prouve que l'on peut avoir un processus de recherche qui soit à la fois efficace et sûr, un processus qui sait exactement quel risque il prend et qui peut être réglé pour en prendre plus ou moins, simplement en tournant un cadran. Ce passage de règles statiques à un contrôle dynamique et autocorrecteur offre une voie robuste pour la construction de la prochaine génération de dispositifs intelligents aux ressources limitées.

Résumé Technique : Une couverture que vous pouvez piloter : Calibration conforme en ligne pour la NAS orientée matériel pilotée par RL

Énoncé du Problème
La recherche d'architecture neuronale sensible au matériel (HW-NAS) est contrainte par le coût élevé de l'évaluation des candidats, où chaque architecture proposée nécessite un entraînement pour déterminer sa récompense. Pour atténuer cela, les travaux antérieurs (par exemple, MARCO) utilisent des filtres de prédiction conforme pour élaguer les candidats peu prometteurs avant l'entraînement. Ces filtres s'appuient sur un prédicteur substitut et un décalage (offset) conforme pour établir une borne supérieure sur la récompense réelle, garantissant que les candidats dont les bornes sont inférieures à un seuil sont écartés avec une probabilité d'erreur contrôlée ( $\delta$ ).

Cependant, la prédiction conforme standard suppose l'échangeabilité entre l'ensemble de calibration et les candidats de test. Dans la NAS pilotée par apprentissage par renforcement (RL), cette hypothèse est violée par construction :

Dérive de la politique (Policy Drift) : À mesure que le contrôleur RL apprend, la distribution des architectures proposées s'éloigne de la distribution initiale de préchauffage utilisée pour la calibration.
Décalage intra-épisode (Within-Episode Shift) : Dans une recherche séquentielle, couche par couche, la distribution des réseaux partiels change rapidement au cours d'un seul épisode à mesure que la profondeur augmente.

Par conséquent, les filtres conformes statiques souffrent d'une « dégradation silencieuse » : leur couverture réalisée se détache de la cible demandée ( $1-\delta$ ), entraînant soit des évaluations gaspillées (sur-couverture), soit l'écartement erroné d'architectures optimales (sous-couverture). La recalibration périodique atténue la variance mais ne parvient ni à restaurer le contrôle ni à corriger les biais dépendants de la profondeur.

Méthodologie
Le papier propose de remplacer l'estimation de quantile statique par l'Inférence Conforme Adaptative (ACI) et de l'étendre avec plusieurs variantes pour gérer la nature non stationnaire de la recherche par RL.

Inférence Conforme Adaptative (ACI) : Au lieu d'un décalage fixe, la méthode emploie un contrôle par rétroaction en ligne. Après chaque évaluation réelle, le décalage conforme ( $\alpha_t$ ) est mis à jour via une étape de sous-gradient basée sur l'indicateur de non-couverture :
$\alpha_{t+1} = \alpha_t + \gamma (\mathbb{I}\{r_t > g(x_t) + \alpha_t\} - \delta)$
Cela garantit que la couverture à long terme converge vers la cible $1-\delta$ pour des séquences de candidats arbitraires, indépendamment des changements de distribution ou de l'absence d'échangeabilité.
AgACI (Sans réglage) : Pour éliminer le besoin de réglage manuel du pas ( $\gamma$ ), les auteurs agrègent plusieurs experts ACI (chacun ayant un $\gamma$ différent) en utilisant l'algorithme Hedge à pondération exponentielle, créant ainsi un filtre robuste et sans paramètre.
Conforme Normalisé (Localement Adaptatif) : Pour permettre l'exploration (acquisition), la méthode normalise les scores de non-conformité par une estimation de la difficulté par candidat ( $u(x)$ ) dérivée d'un second substitut. Cela produit des largeurs d'intervalle $U(x) = g(x) + q \cdot u(x)$ , permettant à la borne de classer les candidats par incertitude, et non seulement par récompense prédite.
Conforme Mondrian (Conditionnel par Groupe) : Pour traiter les décalages de profondeur intra-épisode, la méthode maintient des décalages ACI distincts pour différents groupes (par exemple, la profondeur de couche). Cela fournit des garanties de couverture conditionnelles à la profondeur de construction spécifique, corrigeant les déséquilibres systématiques là où les décalages globaux échouent.
Acquisition Conforme : La borne optimiste calibrée est détournée en fonction d'acquisition. Les auteurs implémentent :
- Acquisition Gloutonne (Greedy) : Sélection du candidat ayant la borne optimiste la plus élevée parmi un pool échantillonné.
- MCTS Conforme-Optimiste : Utilisation de la borne calibrée pour valoriser les nœuds feuilles dans une recherche arborescente Monte-Carlo (MCTS), permettant une planification étendue sans coûts d'entraînement réels.

Contributions Clés

Filtrage Adaptatif sous Dérive de Politique : Le papier démontre que l'ACI restaure une « couverture pilotable » dans la NAS pilotée par RL. Contrairement aux bases statiques, le filtre adaptatif suit les niveaux de couverture demandés ( $1-\delta$ ) à environ $\pm 10^{-3}$ sur trois familles d'architectures (LeNet, ResNet, MobileNet) et pour les deux formulations de recherche (étape unique et séquentielle). Il élague 25 à 50 % des évaluations sans perte mesurable de qualité de solution.
Extensions Conditionnelles pour la Recherche Structurée : Les auteurs montrent que la calibration marginale peut masquer des erreurs systématiques (par exemple, une sous-couverture aux couches profondes). La construction Mondrian corrige cela, atteignant une couverture conditionnelle par groupe partout où la recherche visite une profondeur suffisamment souvent pour la calibrer.
De l'Élagage à la Recherche : La borne optimiste calibrée est utilisée avec succès comme un mécanisme de recherche direct. L'acquisition optimiste gloutonne surpasse la recherche aléatoire et le contrôleur RL sur un banc d'essai contraint, l'apport de la calibration en ligne offrant une réduction significative de la variance par rapport à l'optimisme fixe.
Analyse Indépendante du Contrôleur : L'étude révèle que le contrôleur RL (fidèlement reproduit de MARCO) ne surpasse pas la recherche aléatoire sur ces espaces car il optimise l'espérance de la récompense plutôt que l'argmax. La valeur de la méthode proposée réside dans la borne conforme elle-même, qui gère efficacement le budget d'évaluation quel que soit le mécanisme de proposition.

Résultats Expérimentaux

Calibration et Pilotabilité : À travers trois jeux de données (MNIST, CIF-10, CIF-100), les filtres adaptatifs et AgACI atteignent une couverture monotone et reproductible. En revanche, les bases de comparaison de type split-conformal statique sont impossibles à piloter (la couverture ne varie pas avec $\delta$ ) et présentent une variance élevée selon les graines (seeds). Une base de processus gaussien (GP) est confiantement mal calibrée, avec une couverture réalisée bloquée près de 0,99 quel que soit le niveau demandé.
Qualité de la Solution : Sur des paysages avec des optima isolés (type ResNet), les filtres statiques écartent faussement la meilleure architecture à chaque graine en raison d'une mauvaise calibration. Les filtres adaptatifs préservent la meilleure solution tout en élagant 25 à 50 % des candidats.
Couverture Conditionnelle à la Profondeur : Dans la recherche séquentielle, l'ACI globale sous-couvre aux profondeurs extrêmes (faible ou grande profondeur selon la famille). L'adaptation Mondrian restaure la couverture cible pour toutes les profondeurs bien échantillonnées.
Efficacité de la Recherche : Sur un banc d'essai contraint (budget mémoire de 256 ko), l'acquisition conforme gloutonne bat la recherche aléatoire et le contrôleur RL pour tous les budgets d'évaluation jusqu'à 1 000. Le gain est principalement porté par l'optimisme de la borne, l'ACI en ligne apportant un avantage final et réduisant la variance d'environ 6 fois.

Signification et Revendications
Le papier soutient qu'à l'intérieur des boucles d'apprentissage, l'incertitude doit être vérifiée par rapport aux résultats plutôt que supposée à partir d'un modèle. La contribution principale est une machinerie de calibration distribuée sans distribution et contrôlée par rétroaction, capable de survivre à la non-stationnarité de la recherche par RL.

Les auteurs affirment que :

La pilotabilité est restaurée : Les praticiens peuvent régler un niveau de risque cible ( $\delta$ ) et recevoir ce résultat de manière monotone et reproductible, une capacité perdue avec les filtres statiques.
Le contrôleur n'est pas le goulot d'étranglement : La valeur des méthodes de HW-NAS sur ces espaces ne réside pas dans la politique apprise (qui échoue souvent à battre la recherche aléatoire) mais dans la gestion efficace et sûre du budget d'évaluation via des bornes calibrées.
L'acquisition est viable : La même machinerie calibrée qui filtre les évaluations peut aussi les guider, offrant un analogue sans distribution au GP-UCB qui ne souffre pas de la mauvaise calibration du modèle sous l'effet de la dérive.

Le papier reste modeste quant aux limites, notant que le modèle de coût matériel est analytique (non calibré sur du matériel réel), que les résultats reposent sur des proxys d'entraînement partiel, et que les garanties de couverture conditionnelle à la profondeur se dégradent lorsque des groupes spécifiques (par exemple, des couches très profondes) manquent de données. Les preuves pour une recherche dirigée sont actuellement limitées à un seul banc d'essai contraint.

Articles similaires