Complete Identification of Deep ReLU Networks through Łukasiewicz Logic

L'apprentissage profond a transformé la manière dont les machines voient, parlent et raisonnent, pourtant le fonctionnement interne de ces systèmes reste souvent une boîte noire. Au cœur de ce mystère se trouve un puzzle simple mais profond : deux réseaux de neurones peuvent paraître complètement différents à l'intérieur — l'un peut avoir une structure large et peu profonde tandis qu'un autre est étroit et profond, ou ils peuvent utiliser des nombres entièrement différents pour ajuster leurs connexions — et pourtant, ils produisent exactement le même résultat pour chaque entrée possible. Pendant des années, les scientifiques ont su que cela se produisait, mais ils ne pouvaient pas pleinement expliquer pourquoi ni cartographier chaque façon dont cela pouvait survenir. Cette incertitude est importante car si nous ne pouvons pas dire quand deux modèles sont véritablement distincts, nous ne pouvons pas comprendre pleinement le paysage de l'apprentissage, ni être certains de ce qu'un modèle a réellement appris par rapport à ce qui n'est qu'une simple coïncidence de sa conception. La question n'est pas seulement de compter les possibilités ; il s'agit de trouver un livre de règles complet qui décrit chaque façon dont une machine peut être réorganisée sans changer son comportement.

Une équipe de chercheurs de l'ETH Zürich a maintenant résolu ce problème pour un type spécifique et largement utilisé d'intelligence artificielle connu sous le nom de réseau ReLU. Ces réseaux sont les moteurs de la reconnaissance d'images moderne et de nombreuses autres applications, reposant sur une règle mathématique simple qui transforme les valeurs négatives en zéro tout en laissant les valeurs positives inchangées. Les chercheurs ont découvert que la raison pour laquelle ces réseaux peuvent être si différents tout en étant fonctionnellement identiques est qu'ils sont régis par un ensemble caché de lois logiques, tout comme les règles de l'arithmétique ou la logique des commutateurs dans un circuit électrique. En traduisant la structure du réseau dans un langage de la logique, ils ont prouvé que deux réseaux effectuant la même tâche peuvent être transformés l'un en l'autre par une série finie de mouvements spécifiques autorisés. Cette découverte fournit une carte complète des « symétries » de ces réseaux, révélant que la redondance n'est pas un chaos aléatoire mais un système structuré et prévisible.

Pour comprendre cette percée, il faut d'abord saisir la nature du problème. Un réseau de neurones profond est construit en couches, où chaque couche traite l'information et la transmet à la suivante. Les chercheurs ont découvert que, pendant longtemps, les scientifiques ne connaissaient que les symétries « superficielles » — des façons de réorganiser les connexions au sein d'une seule paire de couches sans changer le résultat. Par exemple, vous pourriez inverser l'ordre de deux neurones dans une couche et ajuster leurs poids en conséquence, et le réseau se comporterait exactement de la même manière. Cependant, les chercheurs ont montré que ce n'était qu'une partie de l'histoire. Ils ont démontré qu'il existe des symétries « profondes » qui s'étendent sur trois couches ou plus, permettant des changements structurels massifs qui ne peuvent être accomplis en modifiant simplement une couche à la fois. Ces symétries profondes peuvent fondamentalement altérer l'architecture du réseau, fusionnant ou divisant des sections d'une manière qui était auparavant jugée impossible sans changer la fonction.

La clé pour déverrouiller ce mystère a été de cesser de regarder les réseaux comme des collections de nombres et de commencer à les voir comme des expressions d'un type de logique spécifique. Les chercheurs ont construit un système symbolique qui traduit l'entrée et la sortie du réseau en une formule logique. Dans ce système, le comportement du réseau est équivalent à une proposition dans une logique polyvalente (many-valued logic), un système qui étend la logique traditionnelle vrai-faux à une échelle continue de possibilités. Tout comme un mathématicien peut prouver que deux équations algébriques différentes sont en fait les mêmes en appliquant un ensemble de règles standards, les chercheurs ont montré que deux réseaux différents sont fonctionnellement identiques si et seulement si leurs formules logiques correspondantes peuvent être transformées les unes en les autres en utilisant les axiomes de cette logique. Cela signifie que la question de savoir si deux réseaux sont les mêmes n'est plus une question de supposition ou de test ; c'est une question de dérivation, une preuve logique étape par étape.

L'équipe a développé un processus en trois étapes pour faire fonctionner cela. Premièrement, ils ont créé un algorithme pour extraire la formule logique cachée à l'intérieur de n'importe quel réseau donné, lisant efficacement l'esprit du réseau pour trouver sa vérité sous-jacente. Deuxièmement, ils ont appliqué les règles de leur système logique pour montrer que deux réseaux produisant la même sortie doivent avoir des formules qui peuvent être dérivées l'une de l'autre. Cette étape repose sur un théorème mathématique profond qui garantit qu'aucune possibilité n'est oubliée ; si deux réseaux font le même travail, il existe un chemin logique les reliant. Troisièmement, ils ont construit un algorithme inverse capable de prendre une formule logique et de reconstruire le réseau exact qui l'a produite. Cela a bouclé la boucle, prouvant que la description logique est une représentation parfaite et fidèle du réseau physique.

Ce qui rend ce résultat particulièrement puissant, c'est qu'il couvre tous les scénarios possibles, des réseaux avec des poids de nombres entiers simples aux réseaux avec des fractions complexes ou même des valeurs décimales infinies. Les chercheurs ont montré que le même cadre logique s'applique quel que soit la précision des nombres utilisés, à condition que le réseau ne soit pas « dégénéré » — c'est-à-dire qu'il ne contient pas de parties inutiles qui ne font rien. Ils ont également identifié que certains des réarrangements autorisés par ces règles sont « pseudo-profonds », ce qui signifie qu'ils semblent s'étendre sur plusieurs couches mais sont en réalité une combinaison de trucages plus simples à une seule couche. En distinguant les véritables symétries profondes de ces symétries superficielles, les chercheurs ont fourni une taxonomie claire de la manière dont ces réseaux peuvent être remodelés.

Ce travail fait plus que résoudre un puzzle théorique ; il offre une nouvelle façon de penser l'identité des modèles d'intelligence artificielle. Avant cela, si deux modèles produisaient les mêmes résultats, il n'était pas clair s'ils étaient fondamentalement les mêmes ou s'il s'agissait de coïncidences chanceuses. Désormais, nous savons que leur équivalence est une question de dérivation logique. Si vous pouvez transformer un réseau en un autre en utilisant les règles spécifiques découvertes par les chercheurs, ils sont les mêmes. Si vous ne le pouvez pas, ils sont véritablement différents. Cette clarté est essentielle pour comprendre la géométrie de l'apprentissage, aidant les scientifiques à voir la véritable forme de l'espace dans lequel ces modèles opèrent. Cela suggère que la vaste redondance des réseaux de neurones n'est pas un défaut mais une caractéristique, une flexibilité structurée qui permet de multiples chemins vers une même solution.

L'approche des chercheurs reflète une célèbre percée historique en génie électrique, où la logique des circuits a été cartographiée sur la logique des commutateurs, permettant aux ingénieurs de concevoir des systèmes complexes avec une certitude mathématique. Ici, le même principe est appliqué aux structures complexes et stratifiées du deep learning. En traitant le réseau comme un objet logique plutôt que comme un simple objet statistique, l'équipe a fourni une caractérisation complète de ses symétries. Ils ont montré que l'univers des réseaux ReLU est régi par un ensemble de règles qui sont aussi rigoureuses et complètes que les lois de l'arithmétique. Cela signifie que le mystère de savoir pourquoi différents réseaux peuvent faire la même chose n'est plus un mystère ; c'est une équation résolue, où chaque solution possible est prise en compte par les axiomes de la logique polyvalente. Le résultat est un guide définitif de l'identité des réseaux de neurones profonds, transformant un paysage de confusion en une carte de connexions précises et navigables.