🤖 machine learning

Parameter-Level Attribution of Symmetry in Trained Networks Though Parameter-Wise Functional Sensitivity

Cet article établit qu'une action lisse de l'espace des paramètres réalisant la symétrie d'une fonction existe si et seulement si l'orbite tangente de la symétrie se situe dans l'image des sensibilités fonctionnelles du réseau, fournissant ainsi un cadre pour identifier les directions locales des paramètres qui suivent soit l'orbite de symétrie, soit descendent vers le sous-espace équivariant dans les réseaux entraînés.

Auteurs originaux : Alan Muriithi, Vedanta Thapar, Torben Berndt

Publié 2026-08-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alan Muriithi, Vedanta Thapar, Torben Berndt

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le vaste paysage de l'intelligence artificielle moderne, les réseaux de neurones sont souvent traités comme des boîtes noires : des systèmes complexes qui reçoivent des données et produisent des réponses, mais n'offrent que peu d'indices sur la manière dont ils parviennent à ces conclusions. Ces systèmes sont construits à partir de couches de connexions mathématiques, chacune possédant une valeur numérique spécifique, ou paramètre, que la machine ajuste pendant l'entraînement. Une question centrale pour les scientifiques étudiant ces systèmes est de savoir si la structure interne d'un réseau entraîné reflète les règles régissant le monde qu'il a appris. Si un réseau apprend une tâche impliquant une symétrie — comme reconnaître qu'une forme reste identique après avoir été pivotée — le câblage interne du réseau contient-il réellement un mécanisme qui reflète cette rotation ? Les chercheurs soupçonnent depuis longtemps que la réponse est oui, mais prouver exactement quelles parties du réseau sont responsables de ce comportement est resté insaisissable. Cette incertitude est importante car la compréhension de la géométrie interne de ces modèles pourrait révéler comment ils généralisent la connaissance et s'ils saisissent réellement les lois physiques qu'ils sont entraînés à imiter.

Une équipe de chercheurs de l'Université d'Oxford et de l'Institut de études théoriques d'Heidelberg a développé une nouvelle façon de regarder à l'intérieur de ces réseaux, en allant au-delà de la simple statistique pour examiner la géométrie précise et locale de la manière dont les paramètres influencent la sortie d'un réseau. Ils se sont concentrés sur un concept qu'ils appellent la sensibilité fonctionnelle, qui mesure à quel point la réponse finale d'un réseau change lorsqu'un seul nombre interne est légèrement modifié. En cartographiant ces minuscules changements, les chercheurs ont créé une image détaillée des directions dans lesquelles le réseau peut déplacer sa sortie. Ils ont posé une question spécifique : si un réseau a appris une fonction dotée d'une symétrie connue, cette symétrie peut-elle être tracée jusqu'à un mouvement spécifique au sein des paramètres du réseau ? En d'autres termes, existe-t-il un chemin à travers les réglages internes du réseau qui correspond exactement à la rotation ou au déplacement de la fonction qu'il exécute ?

Les chercheurs ont formulé cela comme un problème de relèvement, demandant si les transformations fluides observées dans la sortie finale peuvent être « relevées » vers une transformation fluide dans les réglages internes du réseau. Ils ont découvert que pour qu'un tel mouvement existe, les directions dans lesquelles la fonction peut changer en raison de la symétrie doivent être atteignables par les paramètres actuels du réseau. Si les réglages internes du réseau sont trop rigides ou mal alignés, la symétrie dans la sortie ne peut pas être pleinement réalisée par le mouvement des paramètres. Pour tester cela, l'équipe a développé une méthode pour calculer la meilleure direction possible pour déplacer les paramètres afin soit de suivre une symétrie, soit de corriger un manque de symétrie. Ils ont identifié deux chemins distincts : l'un qui déplace le réseau le long de l'orbite de symétrie, faisant pivoter efficacement la fonction apprise sans changer sa nature fondamentale, et un autre qui déplace le réseau vers un état de symétrie parfaite, réduisant ainsi les erreurs où la fonction ne respecte pas la symétrie.

Pour voir si ces directions théoriques fonctionnaient en pratique, les chercheurs ont entraîné des réseaux de neurones sur deux tâches différentes. Premièrement, ils ont utilisé un classificateur d'images simple conçu pour distinguer un cercle complet d'une tranche en forme de coin. Ils ont ensuite appliqué leurs directions calculées au réseau entraîné. Lorsqu'ils ont déplacé les paramètres du réseau le long du chemin de symétrie, la frontière de décision du réseau a pivoté exactement comme prévu, préservant son précision tout en changeant son orientation. Lorsqu'ils ont déplacé les paramètres le long du chemin vers la symétrie, la sortie du réseau est devenue plus cohérente avec les règles de rotation, réduisant l'erreur dans son comportement. Crucialement, ils ont constaté que ces directions ne fonctionnaient de manière fiable que lorsqu'elles étaient recalculées à chaque étape du mouvement. S'ils calculaient la direction une seule fois au début et la maintenaient fixe, le réseau déviait rapidement de sa trajectoire, échouant à maintenir la symétrie ou la correction. Cela a montré que la relation entre les paramètres et la symétrie est hautement locale et change à mesure que le réseau se déplace.

L'équipe a répété ce processus avec un système plus complexe conçu pour apprendre la physique d'un potentiel de rotation, connu sous le nom de système hamiltonien. Même si l'architecture du réseau ne l'obligeait pas explicitement à respecter la symétrie de rotation, le réseau entraîné a tout de même appris la physique sous-jacente. Lorsque les chercheurs ont appliqué leur méthode ici, ils ont observé le même schéma : recalculer la direction à chaque étape permettait au réseau de faire pivoter son potentiel appris ou de le rendre plus symétrique, tandis que maintenir la direction fixe entraînait une dérive graduelle loin du comportement correct. L'étude démontre que bien que les réseaux de neurones puissent apprendre à encoder des symétries, les paramètres spécifiques responsables de ce comportement ne sont pas statiques. La capacité de retracer ces symétries jusqu'à la structure interne du réseau dépend d'une réévaluation constante de la géométrie locale des paramètres. Les résultats suggèrent que la représentation interne de la symétrie est une caractéristique dynamique, qui nécessite un ajustement continu pour rester alignée avec les règles mathématiques que le réseau a appris à suivre.

Résumé Technique : Attribution au niveau des paramètres de la symétrie dans les réseaux entraînés

Énoncé du Problème
L'article traite d'une question fondamentale dans l'étude des classes de fonctions paramétrées : lorsqu'un réseau de neurones a appris une fonction possédant une symétrie connue, cette symétrie peut-elle être « élevée » (lifted) à travers la paramétrisation du réseau ? Plus précisément, les auteurs étudient s'il existe un mouvement dans l'espace des paramètres qui réalise une action de groupe dans l'espace des fonctions. Bien qu'un élévage global (une action lisse sur l'ensemble du manifold de paramètres) puisse ne pas toujours exister, l'article se concentre sur le problème de l'élévation infinitésimale : déterminer si l'espace tangent à l'orbite de symétrie d'une fonction se situe dans l'image de la différentielle de la carte de réalisation du réseau. Si cette condition est remplie, le réseau peut se déplacer localement le long de la direction de symétrie via des mises à jour de paramètres.

Méthodologie
Les auteurs introduisent un cadre basé sur la sensibilité fonctionnelle, définie comme la réponse locale de la sortie du réseau aux perturbations de chaque paramètre individuel.

Sensibilité Fonctionnelle : Pour un réseau $f_\theta$ paramétré par $\theta$ , la sensibilité fonctionnelle ponctuelle du $i$ -ème paramètre est $S^*_i(x; \theta) = \frac{\partial f_\theta}{\partial \theta_i}(x)$ . La sensibilité agrégée $S_i(\theta)$ est la racine carrée de la moyenne des carrés de ces sensibilités sur une distribution de sondage.
Critère d'Élévation Différentielle : L'article formule le problème de l'élévation en utilisant la carte de réalisation $\Phi: \Theta \to \mathcal{B}$ , où $\mathcal{B}$ est l'espace des fonctions. La différentielle $J_\theta = d\Phi_\theta$ transforme les vitesses de paramètres en variations de l'espace des fonctions. Les colonnes de $J_\theta$ correspondent aux sensibilités fonctionnelles. Une condition nécessaire pour élever un générateur de symétrie $\xi$ est que la direction induite dans l'espace des fonctions $\eta_\xi$ appartienne à l'image de $J_\theta$ (c'est-à-dire $\text{Im}(J_\theta)$ ).
Relaxation par Moindres Carrés : Puisque l'élévation exacte est souvent impossible dans des réseaux surparamétrés ou imparfaitement entraînés, les auteurs proposent une approche par moindres carrés pour trouver la meilleure direction de paramètre locale. Cela produit deux directions distinctes :
1. Direction de l'Orbite de Symétrie ( $c^\star$ ) : La direction de paramètre de norme minimale qui approxime le mouvement le long de l'orbite de symétrie ( $\eta_\xi$ ). Le résidu mesure la composante de la direction de symétrie inaccessible à la paramétrisation actuelle.
2. Direction du Défaut d'Équivariance ( $b^\star$ ) : La direction de paramètre de norme minimale qui déplace la fonction vers le sous-espace équivariant (réduisant le « défaut d'équivariance » $\delta_\theta = f_\theta - P_E f_\theta$ ).
Attribution : Les coefficients de ces solutions de moindres carrés fournissent une attribution par paramètre des générateurs de symétrie, identifiant quels poids et biais spécifiques contribuent à la symétrie ou à l'absence de celle-ci.

Contributions Clés

Cadre de Sensibilité Fonctionnelle : Les auteurs définissent un cadre différentiel au niveau des paramètres qui relie les paramètres individuels aux variations locales de la carte apprise, déplaçant l'attention des corrélations statistiques dans l'espace des paramètres (comme dans les travaux antérieurs de Maiti et al.) vers la géométrie différentielle locale de la carte apprise.
Projection des Générateurs de Symétrie : Ils développent une méthode pour projeter les générateurs de symétrie infinitésimaux sur l'espace tangent des paramètres, produisant des attributions par paramètre et un diagnostic d'équivariance.
Validation Empirique : Ils comparent empiriquement ces quantités dans deux contextes : un classificateur à invariance rotationnelle et des réseaux de neurones hamiltoniens (HNN) entraînés sur un potentiel à symétrie rotationnelle.

Résultats Expérimentaux
Les auteurs évaluent si les directions de paramètres locales calculées induisent les changements finis prédits dans l'espace des fonctions.

Classificateur d'Annulus : Un MLP entraîné pour distinguer un disque intérieur d'un anneau extérieur a été testé. L'étude a comparé les trajectoires « Résolues » (recalculant le Jacobien et la direction à chaque étape) avec les trajectoires « Fixes » (utilisant la direction calculée à l'initialisation).
- Trajectoires Résolues : Le flux dirigé par la symétrie ( $c^\star$ ) a réussi à déplacer la fonction le long de son orbite de symétrie rotationnelle tout en préservant la distance par rapport au sous-espace équivariant. Le flux dirigé par l'équivariance ( $b^\star$ ) a réussi à réduire la composante non invariante (défaut d'équivariance).
- Trajectoires Fixes : Les directions maintenues fixes ont dévié considérablement des orbites prédites après l'entraînement, soulignant la nécessité de recalculer les directions pour des trajectoires finies.
Réseaux de Neurones Hamiltoniens : En utilisant des réseaux de neurones récurrents symplectiques adaptables (ASRNN) entraînés sur un potentiel de type « chapeau mexicain », les auteurs ont observé des résultats similaires. Le recalcul des directions a permis au réseau de faire pivoter efficacement le potentiel (flux de symétrie) ou de rendre le potentiel appris « plus » équivariant (flux d'équivariance). Les directions fixes ont montré un succès initial mais ont accumulé une dérive au fil du temps.
Indépendance de l'Architecture : Notamment, ces résultats ont été vérifiés même pour les réseaux hamiltoniens dont l'architecture n'imposait pas explicitement la symétrie, démontrant que la méthode peut identifier l'encodage de la symétrie dans des architectures standards.

Signification et Revendications
L'article affirme que la sensibilité fonctionnelle fournit un outil rigoureux pour identifier les paramètres spécifiques qui encodent les symétries dans une carte apprise. En formulant le problème comme une tâche d'élévation, les auteurs établissent une condition nécessaire et suffisante pour l'élévation ponctuelle de premier ordre. La signification réside dans la capacité de :

Diagnostiquer le « défaut d'équivariance » d'un réseau entraîné.
Identifier les directions orthogonales dans l'espace des paramètres qui correspondent au mouvement le long d'une orbite de symétrie par rapport au mouvement vers le sous-espace équivariant.
Démontrer que bien que l'élévation locale soit fiable, l'élévation globale nécessite un recalcul continu de ces directions, car les directions fixes ne parviennent pas à suivre l'orbite sur des trajectoires finies.

Le travail ne prétend pas imposer des symétries pendant l'entraînement, mais propose plutôt une méthode de diagnostic et d'attribution post-hoc pour comprendre comment les symétries sont représentées dans l'espace des paramètres des réseaux entraînés.

Résumé Technique : Attribution au niveau des paramètres de la symétrie dans les réseaux entraînés

Articles similaires