Résumé Technique : Structuration de la Recherche d'Architecture Neurale Ouverte avec des Connaissances de Conception Semi-Automatisées

Énoncé du Problème

Les méthodes actuelles de Recherche d'Architecture Neurale (NAS) font face à un compromis fondamental entre la flexibilité de l'espace de recherche et l'efficacité de l'exploration. Les approches NAS traditionnelles reposent sur des espaces de recherche fermés et prédéfinis (par exemple, des combinaisons d'opérateurs fixes comme des convolutions 3x3), ce qui limite la découverte de nouvelles architectures. À l'inverse, les méthodes NAS récentes assistées par des Modèles de Langage (LLM) permettent une recherche « ouverte » en générant directement le code source des modèles, autorisant ainsi la création de nouveaux blocs et topologies. Cependant, ces approches ouvertes souffrent souvent d'une exploration inefficace. Elles reposent fréquemment sur des pools de connaissances non structurés dérivés des priors des LLM ou de l'extraction brute de papiers, conduisant à :

1. Idées biaisées et de faible qualité : L'espace de recherche peut être contaminé par des concepts de conception trop spécifiques à un domaine, à une tâche ou sans pertinence (par exemple, la conception de fonctions de perte ou le traitement de nuages de points 3D) qui ne s'appliquent pas aux backbones visuels.
2. Échantillonnage inefficace : Sans organisation structurée, l'échantillonnage des idées de conception manque de diversité, omettant souvent des modèles compacts mais performants ou échouant à explorer des régions prometteuses du front de Pareto.
3. Violations des contraintes matérielles : Les stratégies de mutation naïves génèrent souvent des modèles dépassant les budgets matériels (FLOPs, nombre de paramètres), entraînant leur rejet immédiat et une réduction de la diversité des candidats.

Méthodologie

Les auteurs proposent une approche à deux volets pour remédier à ces inefficacités : la Structuration Semi-Automatisée des Attributs de Conception de Modèle et le cadre FairNAD.

1. Structuration Semi-Automatisée des Attributs de Conception de Modèle

Pour sélectionner des connaissances de conception de haute qualité et diversifiées, les auteurs introduisent un Arbre d'Attributs de Conception de Modèle ($D_{attr}$) hiérarchique.

• Structure : L'arbre est organisé en trois niveaux : Granularité (Opération, Bloc/Connectivité, Réseau), Catégorie Principale (par exemple, Extraction de Caractéristiques, Normalisation) et Sous-Category (par exemple, Convolution Groupée, Normalisation par Couche).
• Construction : Les deux niveaux supérieurs sont prédéfinis par des experts pour assurer une couverture large. Les sous-attributs sont générés de manière semi-automatique en sollicitant un LLM avec des codes de modèles de l'état de l'art (SOTA) de référence (par exemple, ResNet, ViT, EfficientNet) et un modèle d'attribut prédéfini.
• Extraction de Connaissances : Cet arbre structuré est utilisé pour filtrer et extraire des idées de conception à partir de papiers académiques. Les papiers sont d'abord filtrés pour s'assurer qu'ils s'alignent avec l'arbre d'attributs. Les papiers valides sont ensuite traités pour extraire des idées fines, qui sont étiquetées avec leurs attributs correspondants dans $D_{attr}$. Ce processus filtre les connaissances non pertinentes ou trop spécifiques, aboutissant à une Base de Connaissances de Conception de Modèle ($D_{kn}$) sélectionnée.

2. Le Cadre FairNAD

FairNAD est un cadre de recherche évolutionniste qui utilise la base de connaissances structurée pour effectuer une Conception d'Architecture Neurale (NAD) ouverte et efficace. Il emploie une stratégie de mutation multi-type et une boucle de rétroaction :

• Mutation avec Échantillonnage Équitable d'Idées : Pour assurer une exploration non biaisée, les idées sont échantillonnées uniformément à partir de $D_{kn}$ en fonction de leurs étiquettes d'attribut (granularité, catégorie principale). Cela empêche la recherche d'être dominée par des tendances populaires mais potentiellement sous-optimales (par exemple, des mécanismes d'attention excessifs). L'étiquette de granularité détermine également la cible de la mutation (par exemple, modifier une opération vs la structure du réseau).
• Mutation Consciente du Pareto : Pour remédier au problème de l'oubli des modèles compacts, cette étape échantillonne des modèles parents à partir du front de Pareto (équilibrant précision et contraintes matérielles). Elle emploie une double stratégie :
  • Mise à l'échelle ascendante : Les modèles en dessous du seuil du budget matériel sont mis à l'échelle vers le haut (augmentation de la largeur/profondeur).
  • Ajustement des Hyperparamètres : Les modèles proches ou dépassant le seuil subissent un réglage des hyperparamètres (par exemple, taille du noyau, pas).
• Mutation Itérative Pilotée par LLM : Pour accélérer la convergence, le cadre effectue un raffinement itératif sur les modèles performants. Le LLM analyse l'historique des mutations réussies et génère de nouvelles idées dans des catégories d'attributs similaires pour optimiser davantage les candidats prometteurs.
• Boucle de Rétroaction : Un composant critique pour maintenir la diversité et la validité. Le code généré subit trois étapes de vérification :
  1. Vérification d'Exécution : S'assure que le code est compilable et exécutable ; en cas d'erreur, le LLM est sollicité pour déboguer.
  2. Vérification du Budget : Vérifie les FLOPs et la taille des paramètres. Si les contraintes sont violées, le modèle est automatiquement réduit (par exemple, réduction de la profondeur ou de la largeur) plutôt que rejeté.
  3. Vérification Structurelle : S'assure que le modèle est multicouche et structurellement distinct du parent.

Contributions Clés

1. Structuration de Connaissances Semi-Automatisée : L'article introduit une méthode pour organiser les connaissances de conception non structurées issues de papiers en un arbre d'attributs hiérarchique. Cela permet de filtrer les idées bruyantes et spécifiques à un domaine et de créer une base de connaissances diversifiée et de haute qualité pour le NAS.
2. Cadre FairNAD : Un cadre de recherche novateur qui intègre des mutations multi-types (Échantillonnage Équitable d'Idées, Conscient du Pareto et Itérative Pilotée par LLM) avec une boucle de rétroaction. Cette approche équilibre l'exploration (diversité) et l'exploitation (performance) tout en respectant les contraintes matérielles.
3. Performance de l'État de l'Art : La méthode démontre des améliorations significatives par rapport aux méthodes NAS existantes à la main et basées sur LLM sur des benchmarks standards.

Résultats Expérimentaux

Les auteurs ont évalué FairNAD sur le benchmark NAS-Bench-201 en utilisant les jeux de données CIFAR-10, CIFAR-100 et ImageNet16-120. La recherche était contrainte à des nombres de paramètres spécifiques (1,5M) et des limites de FLOPs.

• Gains de Performance : Par rapport à la méthode NAS ouverte de l'état de l'art actuelle (NADER), FairNAD a obtenu des améliorations de précision de test de :
  • 0,84 % sur CIFAR-10
  • 2,17 % sur CIFAR-100
  • 2,35 % sur ImageNet16-120
• Études d'Ablation :
  • Connaissances Structurées : L'utilisation d'inspiration structurée (par opposition à l'inspiration brute de papiers ou aux priors LLM) a amélioré la précision de test de 0,37 point sur CIFAR-100.
  • Échantillonnage Équitable : La mise en œuvre de l'échantillonnage équitable d'idées a amélioré la précision de 1,81 point, soulignant l'importance de l'exploration d'attributs diversifiée.
  • Mutation Multi-Type : La combinaison des mutations conscientes du Pareto et itératives pilotées par LLM a produit les meilleurs résultats. Notamment, la mutation pilotée par LLM seule s'est révélée préjudiciable, confirmant la nécessité de la diversité fournie par l'échantillonnage Pareto.
  • Boucle de Rétroaction : La suppression du vérificateur de budget a considérablement dégradé les performances et les taux de réussite, démontrant son rôle dans la préservation de candidats diversifiés qui auraient autrement été rejetés.

Importance et Revendications

L'article revendique que FairNAD établit une fondation cruciale pour les recherches futures en NAS ouvert en démontrant que la structuration des connaissances de conception est essentielle pour une exploration efficace. Les auteurs soutiennent que se fier simplement à la capacité « ouverte » des LLM est insuffisant ; le processus de recherche doit être guidé par des connaissances hiérarchiques sélectionnées et équilibré par des stratégies de mutation multi-étapes.

Les architectures découvertes présentent des caractéristiques uniques généralement absentes du NAS standard, telles que :

• Des mécanismes d'attention personnalisés (par exemple, DPCA utilisant à la fois le pooling moyen et le pooling max).
• Des mécanismes de partage de caractéristiques dynamiques (par exemple, FeaturePool).
• Des tailles de canaux et des profondeurs de couches non standard (par exemple, utilisant 51, 102, 204 canaux au lieu de puissances de deux).
• Des approches hybrides combinant des CNN avec des encodages de position ou des fonctions d'activation spécialisées (par exemple, BandLimitedReLU).

Les auteurs positionnent ce travail comme une étape vers la réduction de la dépendance à la conception manuelle par des experts et permettant la découverte d'architectures neuronales plus puissantes, efficaces et novatrices en exploitant des connaissances externes de manière structurée et systématique. Ils reconnaissent le coût computationnel élevé de la recherche mais le présentent comme un investissement nécessaire pour atteindre des niveaux de performance inaccessibles par les méthodes conventionnelles.