On the Architectural Complexity of Neural Networks

Cet article présente un cadre théorique unifié pour l'analyse et la construction de réseaux de neurones profonds en modélisant explicitement les opérations tensorielles, révélant les liens historiques entre la complexité architecturale et les percées, tout en identifiant et en publiant un ensemble de données de plus de 3 000 architectures à haute complexité inexploitées.

L'essentiel

Imaginez que la construction d'un réseau de neurones profond (RNP) soit comparable à l'édification d'une usine massive et complexe. Depuis quarante ans, les ingénieurs construisent ces usines en empilant des briques Lego standard (couches) de différentes manières. Nous savons que ces usines fonctionnent incroyablement bien, mais nous n'avons jamais vraiment disposé d'un plan expliquant exactement comment les briques s'assemblent au niveau le plus fondamental. Nous avons observé l'usine de l'extérieur, en devinant comment les engrenages tournent à l'intérieur.

Ce papier introduit un nouveau plan ultra-détaillé appelé Cadre Combinatoire Hiérarchique. Il ne se contente pas d'observer l'usine ; il la désassemble jusqu'au niveau moléculaire du déplacement et du mélange des données.

Voici la décomposition de leur découverte à l'aide d'analogies simples :

1. Le Nouveau Plan : Des "Boîtes Noires" aux "Engrenages Transparents"

La plupart des théories précédentes traitaient les couches de réseaux de neurones comme des "boîtes noires". Elles disaient : "Cette boîte prend une image et vous donne une étiquette", sans expliquer la machinerie interne.

Les auteurs proposent une nouvelle façon de voir ces réseaux en utilisant des Complexes Combinatoires Hiérarchiques (CCH). Imaginez cela comme un jeu de poupées russes :

• Les Éléments (Les Briques) : Les données brutes (nombres).
• Les Tranches (Les Tas) : Le regroupement de ces nombres en lignes ou en colonnes.
• Les Modes (Les Étagères) : L'organisation de ces tas en dimensions spécifiques (comme la hauteur, la largeur, la couleur).
• Les Tenseurs (Les Boîtes) : Les conteneurs réels en 3D (ou plus) contenant les données.
• Les Opérations (Les Mélangeurs) : Les machines qui combinent ces boîtes (comme la multiplication matricielle).
• L'Architecture (Le Sol de l'Usine) : La façon dont tous les mélangeurs et les boîtes sont connectés.

L'innovation clé ici est qu'ils modélisent explicitement les "Opérations Tensorielles" (les mélangeurs). Les théories précédentes ignoraient la forme et la structure spécifiques de ces mélangeurs. Ce papier dit : "Comptons exactement combien d'engrenages il y a dans le mélangeur et comment ils s'engrènent."

2. La Leçon d'Histoire : Pourquoi les Nouvelles Architectures Fonctionnent

Les auteurs ont utilisé leur nouveau plan pour revenir en arrière sur 40 ans d'histoire des réseaux de neurones. Ils ont mesuré la "complexité" d'architectures célèbres (comme le Perceptron original, les CNN, les ResNet et les Transformers) en comptant des types spécifiques de connexions.

L'Analogie : Imaginez mesurer la complexité d'une voiture.

• 1986 (FCNN) : Un vélo. Simple, un seul engrenage.
• 1998 (CNN) : Une voiture avec une transmission. Elle a plus d'engrenages (opérations d'ordre supérieur) pour gérer différents terrains.
• 2016 (ResNet) : Une voiture avec un turbo et une valve de dérivation (connexions de saut). Elle ajoute plus de pièces au moteur pour le faire tourner plus doucement.
• 2017 (Transformer) : Un réacteur d'avion. Il utilise un type de combustion complètement différent et plus complexe (un mélangeur à 3 voies au lieu d'un à 2 voies).

La Découverte : Chaque fois qu'une architecture "révolutionnaire" était inventée, ce n'était pas juste un ajustement ; c'était un saut vers un niveau de complexité supérieur. Le papier a révélé que les modèles les plus réussis étaient les premiers à introduire un nouvel "engrenage" ou une nouvelle façon de mélanger les données qui n'avait jamais été utilisée auparavant.

3. La Découverte : Un Univers d'Usines Non Construites

Voici la partie la plus excitante. Les auteurs ont réalisé que, tandis que nous avons construit avec des mélangeurs à 2 voies (opérations binaires) et des mélangeurs à 3 voies, il existe tout un univers de mélangeurs à 4 voies, 5 voies, et même plus que nous avons complètement ignorés.

Ils se sont demandé : "Et si nous construisions une usine en utilisant ces mélangeurs super-complexes ?"

En utilisant leur cadre, ils n'ont pas seulement deviné ; ils ont généré systématiquement 3 028 nouveaux designs d'usines en utilisant ces mélangeurs à complexité supérieure. Ils n'ont pas seulement théorisé ; ils les ont construits et testés.

Le Résultat :
Ils ont découvert que certains de ces designs "étranges" à haute complexité étaient étonnamment efficaces.

• L'Analogie : Imaginez un camion de livraison standard (MobileNetV2) célèbre pour être petit et efficace. Les auteurs ont construit un nouveau véhicule en utilisant leurs mélangeurs complexes. Ce nouveau véhicule était plus petit (n'utilisant que 10 % des pièces) mais pouvait transporter plus de cargaison (a atteint une précision plus élevée) que le camion célèbre.
• Plus précisément, l'un de leurs nouveaux modèles à 5 couches a battu un célèbre modèle à 30 couches tout en utilisant une fraction des paramètres.

4. L'Architecture "Étoile Rouge"

Ils ont mis en avant un design spécifique (l'"Étoile Rouge") qui était un champion.

• Il utilisait une "connexion de saut" (envoyer des données autour d'un mélangeur) mais l'a combinée avec un mélangeur très complexe à 4 voies.
• Il réutilisait des pièces (poids) de manière ingénieuse, comme un mécanicien réutilisant un boulon d'une pièce de moteur pour en réparer une autre.
• Il a prouvé que vous n'avez pas besoin d'un réseau massif et profond pour obtenir d'excellents résultats ; vous avez juste besoin du bon type de mélange complexe.

Résumé

Ce papier est comparable à donner aux ingénieurs un nouvel ensemble d'outils pour comprendre et construire des réseaux de neurones.

1. L'Outil : Un langage mathématique précis pour décrire exactement comment les données sont mélangées, pas seulement comment elles circulent.
2. L'Insight : L'histoire montre que les percées se produisent lorsque nous inventons de nouveaux types de "mélangeurs".
3. L'Expérience : Ils ont construit des milliers de nouveaux designs en utilisant ces mélangeurs complexes inexplorés.
4. La Surprise : Certains de ces nouveaux designs sont incroyablement efficaces, surpassant les normes industrielles actuelles avec beaucoup moins de ressources.

Le papier conclut que l'avenir des réseaux de neurones ne réside peut-être pas dans le fait de les rendre plus profonds ou plus larges, mais dans le fait de les rendre structurellement plus complexes de manières que nous n'avons pas encore essayées. Ils ont publié leurs plus de 3 000 nouveaux designs pour que quiconque puisse les étudier et les utiliser.

Résumé technique

Résumé technique : Sur la complexité architecturale des réseaux de neurones

Énoncé du problème

Les réseaux de neurones profonds (RNP) ont connu un succès empirique significatif grâce à la prolifération d'architectures diverses et complexes. Cependant, les cadres théoriques unifiés existants (par exemple, l'apprentissage profond géométrique, l'apprentissage profond catégoriel) reposent sur des abstractions de haut niveau des opérations sur les tenseurs, les traitant souvent comme des fonctions paramétrées de type boîte noire ou des transformations linéaires abstraites. Cette abstraction obscurcit la structure hiérarchique complexe des opérations sur les tenseurs — spécifiquement les informations de bas niveau concernant la manière dont les tenseurs sont couplés, découpés et transformés. Par conséquent, il existe un écart dans la compréhension théorique de l'évolution de la complexité architecturale au fil du temps et un manque de méthodes systématiques pour construire de nouvelles architectures basées sur de nouveaux types d'opérations sur les tenseurs. De plus, la recherche d'architecture neuronale (NAS) se limite actuellement à faire varier les connexions entre des ensembles fixes d'opérations existantes, échouant à explorer l'espace des architectures construites à partir d'opérations sur les tenseurs fondamentalement nouvelles.

Méthodologie

Les auteurs introduisent un cadre combinatoire hiérarchique unifié basé sur les complexes combinatoires hiérarchiques (HCC). Ce cadre modélise explicitement la structure des opérations sur les tenseurs plutôt que de les abstraire. Le cadre construit un HCC de rang 5 pour représenter les réseaux de neurones, organisé comme suit :

• Rank 0 — Éléments : Un ensemble de base de variables à valeurs réelles.
• Rank 1 — Tranches : Ensembles ordonnés dérivés des éléments.
• Rank 2 — Modes : Partitions de tranches, représentant les dimensions d'un tenseur.
• Rank 3 — Tenseurs : Tenseurs généralisés définis comme des 3-cellules. Contrairement aux tableaux multidimensionnels standard, ceux-ci peuvent représenter des tenseurs « irréguliers » (tableaux incomplets) et des « hyper-tenseurs » (mappant des multi-indices vers plusieurs éléments) en utilisant des partitions d'ensembles ordonnés et des ordres faibles stricts.
• Rank 4 — Opérations : Ce niveau est divisé en deux types :
  • Applications de modes : Fonctions entre tenseurs qui préservent les structures de l'espace des tranches (par exemple, aplatissement, dépliage, création de patches).
  • Opérations sur les tenseurs : Mécanismes pour combiner plusieurs tenseurs (par exemple, multiplication matricielle, produit de Hadamard, projection multi-têtes). Elles sont définies via des Matrices d'Opérations sur les Tenseurs (TOM), qui encodent les relations d'incidence entre les tenseurs d'entrée et les modes du tenseur de sortie, y compris les contractions (sommes).
• Rank 5 — Réseaux de neurones : Composés d'applications de modes et d'opérations sur les tenseurs, représentés par des Matrices d'Équations Tensorielles (TEM) qui décrivent la structure relationnelle entre les opérations et les tenseurs.

Le cadre introduit des métriques spécifiques pour quantifier la Complexité Architecturale :

• Complexité des opérations ($C_{op}$) : Nombre d'opérations.
• Complexité des tenseurs ($C_T$) : Nombre de tenseurs.
• Complexité d'arité ($C_\alpha$) : Nombre maximal d'opérandes dans une seule opération.
• Complexité d'ordre ($C_O$) : Nombre maximal de modes dans une opération.
• Complexité d'arité de couplage ($C_A$) : Taille maximale d'un couplage (modes partagés entre les entrées).

Les auteurs exploitent ce cadre pour réaliser deux tâches principales : une analyse rétrospective de 40 ans d'évolution des RNP et une génération systématique de nouvelles architectures.

Contributions clés

1. Cadre combinatoire hiérarchique : L'article construit le premier cadre qui modélise explicitement la structure des opérations sur les tenseurs, paramétrant un large espace d'architectures et formalisant des concepts tels que les diagrammes d'architecture en tant que relations d'incidence.
2. Analyse rétrospective de la complexité : Les auteurs appliquent le cadre pour analyser huit architectures fondamentales (FCNN, CNN, ResNet, Transformer, Poly-Net, MO-Net, ViM, TT-Net). Ils définissent une « signature de complexité » pour chacune et retracent l'évolution de ces signatures au cours des quatre dernières décennies.
3. Génération systématique de nouvelles architectures : Au-delà des limites des architectures connues, les auteurs génèrent systématiquement un ensemble de données de 3 028 nouvelles architectures de complexité supérieure. Celles-ci sont construites en échantillonnant de nouvelles Matrices d'Opérations sur les Tenseurs (TOM) et Matrices d'Équations Tensorielles (TEM) avec une arité ($C_\alpha$) et une arité de couplage ($C_A$) plus élevées que celles explorées précédemment.
4. Décomposition théorique : L'article fournit des preuves théoriques (par exemple, le théorème A.35) démontrant que, sous des conditions spécifiques (associativité et distributivité des opérations de base), les opérations sur les tenseurs d'arité supérieure peuvent être décomposées en séquences d'opérations binaires, et inversement, que les séquences d'opérations binaires peuvent être équivalentes à des opérations d'arité supérieure.

Résultats

Évolution de la complexité architecturale

L'analyse des architectures historiques révèle une tendance claire : les changements architecturaux révolutionnaires correspondent à des augmentations de types spécifiques de complexité.

• Les FCNN représentent la ligne de base avec une faible complexité.
• Les CNN ont introduit une complexité d'ordre supérieure ($C_O$) via la convolution.
• Les ResNet ont augmenté la complexité des tenseurs et des opérations ($C_T, C_{op}$) via les connexions résiduelles.
• Les Transformers ont marqué la première augmentation significative de la complexité d'arité ($C_\alpha$), utilisant des opérations ternaires pour l'attention auto-attentive.
• Les architectures post-Transformer (Poly-Net, MO-Net, ViM, TT-Net) ont accru davantage la complexité, certaines explorant une arité de couplage plus élevée ($C_A > 2$) et une arité plus élevée ($C_\alpha > 3$).
  L'étude note que de nombreuses architectures de haute complexité ont été découvertes par accident ou décrites à l'aide d'encodages de complexité inférieure ; le cadre révèle leurs véritables signatures de complexité plus élevée.

Performance des nouvelles architectures

L'ensemble de données de 3 028 architectures échantillonnées a été évalué sur des tâches de classification d'images (CIFAR-10, CIFAR-100, Tiny ImageNet).

• Efficacité des paramètres : De nombreuses architectures échantillonnées ont démontré une efficacité remarquable en termes de paramètres et de profondeur.
• Réalisation spécifique : Une architecture spécifique « étoile rouge » (échantillon $\star$) avec seulement 5 couches et environ 198 000 paramètres (152 000 provenant de l'étape de base, 46 342 du bloc novel) a atteint 65,52 % de précision sur CIFAR-100.
• Comparaison : Cette performance a surpassé MobileNetV2 (64,29 % de précision), une architecture légère largement utilisée avec 2,5 millions de paramètres, en utilisant moins de 10 % des paramètres.
• Efficacité : Les résultats suggèrent que des opérations sur les tenseurs de complexité supérieure peuvent produire des modèles nettement plus efficaces que les modèles légers actuels de l'état de l'art.

Importance et affirmations

L'article prétend fournir le premier langage unifié pour analyser et construire rigoureusement des réseaux de neurones basés sur la structure explicite des opérations sur les tenseurs. Son importance réside dans :

1. Révéler la complexité cachée : Il révèle que l'évolution de l'apprentissage profond est pilotée par des augmentations de métriques de complexité spécifiques (en particulier l'arité et l'arité de couplage) qui étaient auparavant obscurcies par des abstractions de haut niveau.
2. Définir les limites : Il identifie la limite des classes de complexité architecturale connues, soulignant que de grandes classes d'architectures de complexité supérieure (par exemple, $C_A > 2$) sont restées largement inexplorées.
3. Construction systématique : Il va au-delà de l'essai-erreur ou de la recherche basée sur les connexions (NAS) pour une construction systématique d'architectures à partir d'opérations sur les tenseurs nouvelles.
4. Efficacité des ressources : Les résultats empiriques démontrent que l'exploration de ces espaces de complexité supérieure peut conduire à des architectures non seulement nouvelles, mais aussi nettement plus efficaces en termes de paramètres que les modèles existants, remettant en cause l'hypothèse selon laquelle la performance nécessite des comptes de paramètres massifs.

Les auteurs concluent que leur cadre permet l'exploration de nouveaux espaces d'architectures construites à partir d'opérations sur les tenseurs de complexité supérieure, offrant une voie vers des conceptions de réseaux de neurones de nouvelle génération, hautement efficaces. L'ensemble de données et le code sont publiés publiquement pour faciliter la recherche dans ce domaine.