Résumé technique : De la régression à l'inférence : Méta-apprentissage de prédicteurs pour la recherche d'architecture neuronale

Énoncé du problème

La recherche d'architecture neuronale (NAS) vise à automatiser la conception d'architectures d'apprentissage profond, une tâche rendue nécessaire par la forte dépendance des performances des modèles vis-à-vis des choix architecturaux. Cependant, l'immensité des espaces de recherche modernes rend l'évaluation exhaustive computationnellement prohibitive. Le NAS basé sur la prédiction a émergé comme une solution, utilisant des prédicteurs appris pour estimer les performances des architectures candidates sans entraînement complet.

Malgré leur utilité, les prédicteurs existants reposent généralement sur une régression supervisée pour apprendre une mapping fixe des représentations d'architecture vers les métriques de performance. Cette approche rencontre des limitations critiques dans le contexte du NAS :

1. Pénurie de données : Le NAS opère dans un régime où seule une infime fraction de l'espace de recherche peut être observée.
2. Surapprentissage et généralisation : Les mappings fixes entraînés sur un nombre limité d'échantillons échouent souvent à généraliser à des architectures non vues, conduisant à de mauvaises performances hors distribution.
3. Désalignement avec le déploiement : La régression conventionnelle ne reflète pas explicitement le scénario de déploiement, où les prédictions doivent être conditionnées par des observations partielles de l'espace de recherche plutôt que par une fonction globale fixe.

Méthodologie

Les auteurs proposent une reformulation fondamentale de la prédiction de performance en NAS, passant d'une régression déterministe à une inférence de fonction conditionnelle dans un cadre de méta-apprentissage.

Cadre central : Processus Neuronal Convolutif (ConvNP)

Au lieu d'apprendre une fonction statique $y = f(x)$, le prédicteur modélise la distribution conditionnelle des sorties cibles étant donné les paires observées architecture-performance (l'ensemble de contexte). Les auteurs emploient un Processus Neuronal Convolutif (ConvNP), qui se compose de :

• Encodeur : Agrège les informations de l'ensemble de contexte en représentations latentes.
• Décodeur : Prédit les sorties cibles conditionnées par ces représentations latentes.
• Mécanisme : Le modèle apprend une distribution sur les fonctions, lui permettant d'inférer des sorties non vues à partir d'observations partielles tout en tenant compte de l'incertitude. Cela exploite l'équivariance par translation des structures convolutives pour extrapoler au-delà du support des entrées observées.

Construction de tâches synthétiques

Pour entraîner le ConvNP dans un paradigme de méta-apprentissage, les auteurs génèrent une distribution de tâches à partir d'un seul jeu de données disponible ($D$) via :

1. Rééchantillonnage : Création de tâches synthétiques par rééchantillonnage des données observées avec remise.
2. Mélange : Ordonnancement aléatoire des points de données pour encourager l'invariance par permutation.
3. Division contexte-cible : Chaque tâche synthétique est divisée exclusivement en un ensemble de contexte ($C$) et un ensemble de cible ($T$). Cela simule le scénario d'inférence NAS où le modèle doit prédire la performance basée sur un sous-ensemble d'architectures observées.

Extraction de méta-caractéristiques

Les auteurs conçoivent un ensemble de méta-caractéristiques simples mais efficaces pour les architectures basées sur des cellules, se concentrant sur trois aspects :

• Informations statistiques : Comptages d'opérations spécifiques (par exemple, Conv $3\times3$, Conv $1\times1$) et de nœuds.
• Complexité architecturale : Poids basés sur les chemins attribués aux opérations selon leur complexité (par exemple, Conv $3\times3$ = 3, Max-pooling = 1), agrégés en mesures telles que les poids de chemin maximum/minimum et le nombre total de paramètres.
• Informations structurelles : Métriques dérivées de la matrice d'adjacence, incluant les nombres d'arêtes, les ratios arêtes-nœuds, et les degrés d'entrée/sortie maximum.
  Ces caractéristiques sont normalisées dans l'intervalle $[0, 1]$.

Objectif d'apprentissage

Reconnaissant que le NAS privilégie l'identification d'architectures performantes plutôt qu'une prédiction distributionnelle parfaite, les auteurs combinent deux objectifs :

1. Perte de régression ($L_{MSE}$) : Encourage la prédiction précise de la précision de validation.
2. Perte de classement ($L_{rank}$) : Une perte basée sur des marges par paires qui impose le bon ordre relatif des architectures candidates dans l'ensemble de cible.
   L'objectif total est $L_{total} = L_{MSE} + \lambda L_{rank}$. Les auteurs notent que les objectifs basés sur la vraisemblance (standards dans les NP) se sont révélés empiriquement moins efficaces et moins efficaces que la prédiction directe de la moyenne avec supervision par classement pour la sélection d'architecture.

Contributions clés

1. Nouvelle formulation : L'article redéfinit la prédiction NAS comme un problème d'inférence de fonction conditionnelle utilisant le ConvNP, s'éloignant des mappings fixes vers des modèles conditionnés par des observations partielles.
2. Stratégie de méta-apprentissage : Il introduit une stratégie pour générer des tâches synthétiques par rééchantillonnage et mélange, permettant au prédicteur de généraliser dans des conditions de pénurie extrême de données.
3. Perspective d'évaluation : Les auteurs soutiennent que de fortes métriques de classement global (par exemple, tau de Kendall) ne se traduisent pas nécessairement par une meilleure sélection d'architecture. Ils préconisent des métriques orientées sélection comme la performance Top-K.
4. Validation empirique : Des expériences complètes sur NAS-Bench-101 et NAS-Bench-201 démontrent l'efficacité de la méthode.

Résultats expérimentaux

La méthode a été évaluée sur NAS-Bench-101 (CIFAR-10) et NAS-Bench-201 (CIFAR-10, CIFAR-100, ImageNet16-120) par rapport à diverses bases de référence, incluant des modèles de régression (LR, RF, MLP, XGB), des prédicteurs basés sur les réseaux de neurones graphiques (NP, CAP, CARL) et des algorithmes de recherche (RS, RE).

• Précision prédictive : ConvNP a atteint des précisions de validation et de test compétitives ou supérieures. Sur NAS-Bench-101, il a atteint 94,76 % de précision de validation et 94,09 % de précision de test, surpassant la plupart des bases de référence de régression et des algorithmes de recherche.
• Performance Top-K : Bien que ConvNP n'ait pas toujours atteint la plus haute corrélation de classement global (tau de Kendall) par rapport à des méthodes de classement spécialisées comme CARL, il a constamment démontré une Recall@k supérieure. Il a identifié les architectures performantes plus efficacement à mesure que $k$ augmentait, en particulier dans les régimes à faible quantité de données.
• Efficacité des données : Des expériences variant les tailles des ensembles d'entraînement (de 50 à 860 échantillons) ont montré que ConvNP bénéficie considérablement de l'augmentation des données dans les régimes à faible quantité de données, avec des gains de performance qui saturent à mesure que le volume de données augmente.
• Études d'ablation : Le retrait de la division contexte-cible ou de la génération de tâches synthétiques a entraîné des baisses de performance significatives, confirmant la nécessité de la formulation de méta-apprentissage. La combinaison des pertes de régression et de classement s'est avérée supérieure à l'utilisation de l'une ou de l'autre seule.

Signification et affirmations

L'article affirme que sa signification principale réside dans l'alignement du processus d'entraînement des prédicteurs NAS avec le scénario réel de déploiement. En modélisant la prédiction comme une inférence à partir d'observations partielles, la méthode aborde la pénurie inhérente de données du NAS plus efficacement que la régression supervisée traditionnelle.

Une idée clé mise en évidence est que les métriques de classement global ne sont pas toujours alignées avec l'objectif pratique du NAS. Les auteurs démontrent que l'optimisation pour des métriques orientées sélection (Top-K) produit une sélection d'architecture plus efficace, même si la corrélation de classement global est légèrement inférieure à celle des modèles de classement spécialisés. Le travail suggère que les futurs prédicteurs NAS devraient privilégier les approches probabilistes et de méta-apprentissage qui reflètent mieux la nature conditionnelle du processus de recherche.

Les auteurs reconnaissent des limitations, notamment une performance de classement global légèrement inférieure par rapport aux prédicteurs de classement spécialisés, une sensibilité à la conception des tâches synthétiques, et une surcharge computationnelle supplémentaire par rapport aux régresseurs simples. Ils notent également que leur évaluation est actuellement limitée à des espaces de recherche de référence spécifiques.