ONNX-Net: Towards Universal Representations and Instant Performance Prediction for Neural Architectures

Dans le monde de l'intelligence artificielle, les outils les plus puissants sont souvent les réseaux de neurones, des systèmes largement modélisés sur le cerveau humain qui apprennent à reconnaître des formes, à traduire des langues ou à conduire des voitures. Pendant des décennies, les scientifiques ont tenté de construire ces réseaux à la main, en ajustant leur structure comme un mécanicien réglant un moteur. Mais à mesure que ces systèmes devenaient plus complexes, l'intuition humaine est devenue un goulot d'étranglement. Cela a donné naissance à un domaine appelé la recherche d'architecture neuronale (Neural Architecture Search), où les ordinateurs sont chargés de concevoir leurs propres réseaux. Le but est de laisser les machines trouver la meilleure structure possible pour une tâche spécifique. Cependant, ce processus s'est heurté à un mur. Pour savoir si un design est bon, l'ordinateur doit le construire et l'entraîner à partir de zéro, un processus qui peut prendre des jours, voire des semaines, sur des supercalculateurs massifs. Cela rend la recherche incroyablement lente et coûteuse, limitant ainsi la quantité d'expérimentations possibles.

Une équipe de chercheurs a maintenant proposé un moyen de briser ce goulot d'étranglement, non pas en construisant des ordinateurs plus rapides, mais en changeant la façon dont ils parlent des designs. Ils ont introduit un nouveau système appelé ONNX-Net, qui agit comme un traducteur universel pour les réseaux de neurones. Au lieu de forcer chaque nouveau design dans une boîte rigide et prédéfinie, ce système lit le plan du réseau comme s'il s'agissait d'une simple phrase. En convertissant des diagrammes techniques complexes en descriptions textuelles simples, les chercheurs ont entraîné un modèle de langage pour prédire la performance d'un réseau par la simple lecture de ce texte. Le résultat est un outil capable de deviner instantanément le succès d'un design de réseau neuronal sans jamais avoir à le construire ou à l'entraîner, économisant ainsi de vastes quantités de temps et d'énergie.

Le problème central que les chercheurs ont abordé était que les tentatives précédentes pour accélérer ce processus étaient trop étroites. Les méthodes antérieures fonctionnaient bien uniquement pour des réseaux construits à partir de petits blocs répétitifs, comme l'empilement de briques Lego identiques. Mais alors que les scientifiques commençaient à concevoir des réseaux plus flexibles et complexes, ces anciennes méthodes échouaient car elles ne pouvaient pas comprendre les nouvelles formes irrégulières. De plus, les données utilisées pour entraîner ces outils de prédiction étaient éparpillées sous différents formats, rendant impossible la création d'un prédicteur unique et intelligent capable de gérer n'importe quel type de réseau. Pour résoudre cela, l'équipe a d'abord construit une immense bibliothèque unifiée appelée ONNX-Bench. Ils ont rassemblé près de 650 000 designs de réseaux neuronaux différents provenant de diverses sources et les ont tous convertis dans un format de fichier unique et standardisé appelé ONNX. Ce format est comme une langue universelle pour les réseaux de neurones, capable de décrire n'importe quelle structure, aussi complexe ou inhabituelle soit-elle.

Une fois qu'ils ont obtenu cette vaste collection de designs standardisés, les chercheurs ont été confrontés au défi de savoir comment injecter cette information dans un programme informatique. Ils ont réalisé que la manière la plus flexible de décrire un réseau n'était pas par des graphes ou des matrices complexes, mais par le langage naturel. Ils ont développé une méthode pour traduire les détails techniques de chaque réseau — les opérations qu'il effectue, la façon dont ses parties sont connectées et les paramètres spécifiques de chaque composant — en une description textuelle lisible. Imaginez un réseau comme un ensemble d'instructions : « Prenez une entrée, passez-la à travers un filtre, puis appliquez une correction, et enfin produisez un résultat. » Les chercheurs ont écrit un logiciel pour générer ces instructions pour chacun des 650 000 réseaux de leur bibliothèque.

Ils ont ensuite utilisé ce texte pour entraîner un grand modèle de langage, un type d'intelligence artificielle familière avec le langage humain, pour agir comme un prédicteur de performance. Au lieu d'apprendre à écrire de la poésie ou à répondre à des questions, ce modèle a appris à lire les « phrases » techniques décrivant les réseaux de neurones et à prédire leur précision. L'entraînement a été étonnamment efficace. Le modèle a appris à faire des prédictions précises après n'avoir vu qu'une infime fraction des données requises par les méthodes précédentes. En fait, il a atteint le même niveau de performance que les anciens systèmes en utilisant moins de un pour cent des données d'entraînement. Cela suggère qu'en décrivant les réseaux dans un format textuel clair, l'ordinateur peut saisir les caractéristiques essentielles d'un design beaucoup plus rapidement qu'auparavant.

Le véritable test de cette nouvelle approche était de savoir si elle pouvait se généraliser à des designs qu'elle n'avait jamais vus auparavant. Les chercheurs ont testé le modèle en l'entraînant sur des réseaux appartenant à une famille spécifique, puis en lui demandant de prédire la performance de réseaux complètement différents issus d'autres familles. Les résultats ont été frappants. Le modèle a prédit avec succès la performance de ces designs inconnus avec une grande précision, une capacité connue sous le nom de transfert "zero-shot". Cela signifie que le système n'avait pas besoin d'être réentraîné ou ajusté pour les nouveaux types de réseaux ; il appliquait simplement ce qu'il avait appris des descriptions textuelles pour comprendre les nouvelles structures. C'est une avancée significative, car les outils précédents étaient souvent verrouillés dans les types spécifiques de réseaux pour lesquels ils avaient été entraînés et ne pouvaient pas s'adapter à des designs nouveaux et plus complexes.

Les chercheurs ont également exploré précisément quelles informations le modèle avait besoin pour faire ces prédictions. Ils ont décomposé les descriptions textuelles en différentes parties, telles que les noms des opérations, les formes des données circulant à travers elles et les paramètres spécifiques définis par le concepteur. Ils ont découvert que l'inclusion des détails sur la façon dont les parties du réseau étaient connectées et sur les formes des données était le facteur le plus critique pour le succès. Bien que le modèle ait performé avec la seule structure de base, l'ajout de ces détails spécifiques lui a permis de faire des prédictions beaucoup plus tranchées. Cela confirme que l'approche textuelle capture les détails nécessaires de la conception d'un réseau sans se perdre dans le bruit des variations de code non pertinentes.

Malgré ces succès, les chercheurs veillent à noter les limites de leur travail. Le système a été entraîné et testé principalement sur des réseaux conçus pour des tâches de reconnaissance d'images en utilisant un ensemble de données spécifique appelé CIFAR-10. Bien que la méthode soit théoriquement capable de gérer n'importe quel réseau pouvant être converti dans leur format standard, les résultats actuels sont limités à ce domaine spécifique. L'équipe reconnaît que la diversité de leurs données d'entraînement, bien que vaste, provient toujours de benchmarks existants et ne couvre pas encore tous les types possibles de réseaux de neurones ou de tâches. Ils soulignent également que, bien que leur méthode textuelle soit plus flexible que les approches basées sur les graphes, ces dernières peuvent encore surpasser la leur dans des scénarios très spécifiques et restreints.

La publication de ce nouveau benchmark et de l'outil de prédiction qui l'accompagne ouvre une porte à une exploration plus efficace dans l'intelligence artificielle. En fournissant un moyen d'évaluer instantanément les designs sans le coût énorme de l'entraînement, les chercheurs peuvent désormais tester des milliers d'idées dans le temps qu'il fallait auparavant pour en tester quelques-unes. Ce travail suggère que l'avenir de la conception des réseaux de neurones ne réside peut-être pas dans la construction de matériel plus rapide, mais dans la recherche de meilleures façons de décrire et de comprendre les designs eux-mêmes. Les chercheurs espèrent qu'en rendant leurs outils et leurs données disponibles, ils encourageront d'autres à construire des méthodes de recherche qui ne soient pas limitées à des types spécifiques de réseaux, mais qui puissent s'adapter au paysage en constante évolution de l'intelligence artificielle.