🤖 machine learning

Measuring Dead Directions: Decomposing and Classifying Singular Structure off Canonical Alignment

Cet article introduit une méthode déterministe et sans alignement pour mesurer et classifier les structures singulières dans les réseaux de neurones entraînés en extrayant des ordres d'apprentissage directionnels à partir du taux de Fisher directionnel à un point de contrôle unique, récupérant ainsi les coefficients d'apprentissage globaux et cartographiant les fluctuations singulières sans nécessiter d'alignement canonique ou de conditions préalables de descente.

Auteurs originaux : Tejas Pradeep Shirodkar

Publié 2026-07-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tejas Pradeep Shirodkar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une machine massive et complexe (un réseau de neurones) qui a été entraînée pour accomplir une tâche. Au fil du temps, au fur et à mesure qu'elle apprend, certaines de ses parties internes cessent de fonctionner ou deviennent redondantes. Dans le monde de l'apprentissage profond (deep learning), on appelle cela des « directions mortes ».

Ce document présente une nouvelle façon de mesurer et de comprendre ces parties mortes sans avoir à redémarrer la machine ou à la soumettre à un processus long et lent. Voici la décomposition utilisant des analogies simples :

1. Le Problème : Trouver les parties « Fantômes »

Imaginez un réseau de neurones entraîné comme une immense pelote de laine emmêlée. Certains fils sont tendus et travaillent (parties vivantes), tandis que d'autres sont lâches, mous ou totalement inutiles (parties mortes).

L'ancienne méthode : Pour trouver ces fils inutiles, les scientifiques devaient autrefois tirer sur la laine lentement (descente) ou l'aligner parfaitement avec une règle (alignement canonique) pour voir où se trouvait le mou. Si la laine était tordue ou si la règle était de travers, ils ne pouvaient pas trouver les parties mortes.
La nouvelle méthode : Ce document propose une méthode de « lampe de poche ». Vous pouvez projeter une lumière sur la machine exactement telle qu'elle est (un point de contrôle figé), même si elle est tordue ou désordonnée, et identifier instantanément les parties mortes.

2. L'Outil : Le Scan « Fisher Directionnel »

Les auteurs utilisent un outil appelé le Fisher Directionnel. Imaginez que vous avez une direction spécifique dans la machine que vous souhaitez tester.

Le Test : Vous poussez doucement la machine légèrement dans cette direction et observez à quel point l'« erreur » (la difficulté de la tâche) change.
Le Résultat :
- Si la machine est vivante dans cette direction, l'erreur change immédiatement (comme si l'on poussait un ressort rigide).
- Si la machine est morte dans cette direction, l'erreur reste stable pendant un certain temps avant de commencer à augmenter.
- L'« Ordre » ( $k$ ) : Le document mesure combien de temps ce plateau plat dure. Cette durée est appelée l'« ordre ».
  - Un plateau court signifie que la partie est juste légèrement morte.
    better Un plateau long et profond signifie que la partie est complètement morte (une « singularité »).
  - Cet « ordre » nous indique exactement quelle quantité de complexité la machine a perdue à cet endroit précis.

3. Le Twist : Cela fonctionne même quand c'est tordu

Habituellement, pour mesurer cela, la partie morte devait être parfaitement alignée avec la grille interne de la machine (comme une ligne droite sur du papier millimétré). Mais les machines réelles tordent souvent ces parties mortes, les rendant diagonales ou rotatives.

L'analogie : Imaginez que vous essayez de mesurer la longueur d'une ombre. Si le soleil est à un angle étrange, l'ombre est de travers. Les anciennes méthodes disaient : « Nous ne pouvons pas mesurer cela à moins que le soleil ne soit directement au zénith. »
L'innovation : Cette nouvelle méthode dit : « Nous nous moquons de l'angle. » Elle peut construire mathématiquement l'« ombre » correcte (la direction morte) à partir des données internes de la machine et la mesurer parfaitement, même si elle est pivotée à 45 degrés.

4. Trier les parties mortes : « Mort réelle » vs « Fausse mort »

Le document nous apprend également à faire la distinction entre deux types de directions « mortes » :

Mort réelle (Mort de nœud) : Une partie qui a réellement cessé de fonctionner parce que la machine a appris qu'elle n'en avait pas besoin. C'est une perte permanente de complexité. La machine a « oublié » cette caractéristique.
Symétrie de jauge (Fausse mort) : Une partie qui semble morte mais qui est en fait simplement une règle de conception de la machine. C'est comme une porte qui semble verrouillée alors qu'il s'agit en fait d'un panneau décoratif qui n'a jamais été censé s'ouvrir. Cela ne compte pas comme une perte d'apprentissage ; c'est juste une caractéristique de l'architecture.
La Solution : La méthode observe la « profondeur » de la platitude. La mort réelle possède une signature mathématique spécifique ; la fausse mort (jauge) se situe à un autre niveau. Le document les sépare automatiquement.

5. Pourquoi cela importe (selon le document)

Rapidité : C'est incroyablement rapide. Vous n'avez pas besoin de réentraîner le modèle ou de lancer des simulations complexes. Il vous suffit de prendre un instantané et d'effectuer un calcul rapide.
Clarté : Au lieu d'obtenir un chiffre vague pour toute la complexité de la machine, cette méthode la décompose. Elle vous dit : « Voici 5 parties mortes de type A, et 3 parties mortes de type B. »
Précision : Cela fonctionne sur différents types de machines (Transformers, réseaux convolutifs) et différents niveaux, prouvant que l'« ordre » de la mort est déterminé par la conception de la machine (comme le type de fonction d'activation utilisé) plutôt que par le simple hasard.

Résumé

Ce document nous offre une radiographie déterministe et instantanée pour les réseaux de neurones. Il nous permet de regarder une IA entraînée, de trouver exactement quelles parties sont devenues inutiles, de mesurer à quel point elles sont inutiles, et de distinguer les parties qui sont réellement mortes à cause de l'apprentissage de celles qui ont simplement été conçues pour être décoratives — le tout sans avoir besoin d'aligner parfaitement la machine ou de la soumettre à une boucle d'entraînement lente.

Résumé Technique : Mesurer les directions mortes hors alignement canonique

Énoncé du Problème
La théorie de l'apprentissage singulier caractérise les réseaux de neurones entraînés via le triplet de Watanabe : le coefficient d'apprentissage ( $\lambda$ ), la multiplicité ( $m$ ) et la fluctuation singulière ( $\nu$ ). Ces invariants régissent l'énergie libre bayésienne et l'erreur de généralisation. Cependant, mesurer ces valeurs sur de vrais réseaux est coûteux et repose souvent sur l'échantillonnage stochastique de la distribution postérieure (par exemple, SGLD), ce qui produit un scalaire global unique sans localiser la structure vers des coordonnées spécifiques du réseau. De plus, les méthodes déterministes précédentes pour lire l'« ordre » ( $k$ ) des singularités nécessitaient deux préconditions restrictives : l'alignement canonique (la direction morte doit s'aligner avec les axes de coordonnées à chaque couche) et la descente (la lecture doit s'effectuer le long d'une trajectoire d'entraînement approchant la singularité). Les réseaux réels entraînés violent souvent ces conditions, laissant des directions mortes pivotées hors des axes ou formant des structures diffuses que les balayages standards par coordonnée ne parviennent pas à détecter.

Méthodologie
Le papier propose un pipeline de mesure sans descente et sans dépendance à l'alignement qui opère sur un point de contrôle (checkpoint) figé unique. La méthode se compose de deux étapes : Détection et Lecture.

Détection (Adaptative à l'architecture) :
- Le détecteur localise la « direction morte » ( $u$ ) en identifiant le quasi-noyau de l'objet de second moment naturel de la couche.
- Pour les couches génériques, il utilise le couple de facteurs K-FAC (Kronecker-factored approximate curvature) ( $A \otimes G$ ), exploitant la dualité A-G : si la covariance d'entrée ( $A$ ) échoue à isoler la direction, la covariance du gradient de sortie ( $G$ ) réussit, et vice versa.
- Pour les couches convolutives, il utilise une covariance de patch spatial ; pour la LayerNorm, il utilise le noyau en forme fermée de l'échelle de normalisation.
- Crucialement, la méthode construit le mode conjoint à partir de ces facteurs plutôt que de chercher dans le spectre de Fisher, évitant ainsi le « plancher de jauge » (directions de symétrie plates) et l'échantillonnage de noyaux qui se situent sous le mode porteur d'ordre.
Lecture (Balayage sans descente) :
- Une fois une direction $u$ nommée, la méthode effectue un balayage synthétique : $\theta(t) = \theta_0 + tu$ , où $\theta_0$ est le point de contrôle figé.
- Elle mesure le Fisher directionnel $F(\theta(t))$ le long de ce balayage.
- L'ordre $k$ est récupéré à partir du taux de croissance de Fisher : $u^\top F(\theta(t)) u = \Theta(t^{2(k-1)})$ .
- Un sélecteur de fenêtre de pureté appariée isole le régime asymptotique ( $t \to 0$ ) en maximisant la qualité de l'ajustement ( $r^2 > 0,95$ ), garantissant que l'exposant récupéré n'est pas contaminé par des composantes d'ordre inférieur ou du bruit de jauge.
- La méthode classifie les directions selon leur magnitude et leur pente : une pente finie indique une singularité réelle (ex: mort de neurone, singularité de profondeur), tandis qu'une magnitude plate au « plancher » indique une symétrie de jauge (ex: noyau de LayerNorm, rotation).

Contributions Clés

Récupération d'ordre sans dépendance à l'alignement : La méthode récupère l'ordre par direction $k$ (et donc le coefficient d'apprentissage local $\lambda_{dir} = 1/(2k)$ ) sans exiger que la direction morte soit alignée avec les axes de coordonnées. Elle réussit à lire les morts de neurones pivotés dans les réseaux profonds là où les balayages par coordonnée échouent.
Taxonomie de la structure morte : Le papier classifie les directions mortes en singularités réelles (ordre fini déterminé par l'ordre analytique de l'activation ou la profondeur du réseau) et jauges plates (ordre infini, contribuant à la multiplicité mais pas à la complexité). Il introduit un critère basé sur la magnitude pour distinguer les orbites de jauge courbes (qui imitent des ordres finis par leur pente) des véritables singularités.
Décomposition déterministe : Contraques les échantillonneurs de la distribution postérieure qui renvoient un $\lambda$ global unique, cette méthode décompose la complexité en ordres par direction et en la dimension de l'espace mort (le nombre de directions à l'ordre dominant).
Géométrie dépendante de l'optimiseur : L'étude démontre que si l'ordre est fixé par l'architecture (fonction d'activation ou profondeur), la base et la netteté de la structure morte sont déterminées par l'optimiseur. Les optimiseurs orthogonaux produisent des structures propres et lisibles, tandis que les optimiseurs standards peuvent laisser des structures trop diffuses ou pivotées pour être lues par les méthodes canoniques.
Cartographie du triplet de Watanabe :
- Ordre ( $k$ ) : Détermine la fluctuation singulière universelle $\nu(k)$ .
- Multiplicité ( $m$ ) : Récupérée à partir de la dimension de l'espace mort sous l'hypothèse de croisement normal.
- Fluctuation ( $\nu$ ) : Le papier montre que bien que l'ordre fixe le $\nu(k)$ théorique, le $\nu$ réalisé d'un réseau entraîné est supprimé en dessous de cette valeur universelle car la structure « vivante » absorbe la fluctuation des données destinée à la direction morte.

Résultats

Validation sur des cellules construites : La méthode récupère exactement les ordres prédits ( $k=2$ pour les morts de neurones GELU/ReLU, $k=3$ pour le squared-ReLU, $k=L$ pour les réseaux linéaires de profondeur $L$ ) avec $r^2 \approx 1,000$ .
Réseaux réels :
- ViT de zéro (From-Scratch) : Récupère avec succès l'ordre prédit par l'activation ( $k \approx 2$ ou $3$) pour les morts de neurones pivotés dans les blocs MLP, alors que les balayages par coordonnée donnent des valeurs déviantes.
- DINOv2 affiné (Fine-Tuned) : N'identifie aucune mort de neurone mais classifie la structure morte comme des jauges architecturales (noyau de LayerNorm, rotation QK de l'attention), confirmant la capacité de la méthode à distinguer les singularités apprises des symétries.
- Comparaison d'optimiseurs : Le Muon vanilla laisse souvent les structures mortes trop diffuses pour être lues, tandis que les orthogonaliseurs polaires scalés produisent des structures propres, alignées sur les axes ou pivotées, que la méthode lit avec précision.
Coefficient Global : Sur des modèles analytiques où la structure singulière est enumerable, les ordres assemblés par direction correspondent au $\lambda$ global par construction avec une précision machine.

Signification et Revendications
Le papier affirme transformer la récupération d'ordre en une lecture déterministe et générale à l'architecture qui élimine les préconditions d'alignement canonique et de descente des travaux précédents. Il fournit une alternative « peu coûteuse » (un seul passage forward/backward) à l'échantillonnage de la distribution postérieure, qui est très gourmand en ressources, pour décomposer le coefficient d'apprentissage.

Les auteurs soulignent la modestie de la portée :

La lecture est conditionnelle à ce qu'un détecteur nomme avec succès la direction ; elle ne trouve pas de structure dans des directions aléatoires.
Elle caractérise la structure laissée par l'optimiseur ; si un optimiseur laisse une solution diffuse (ex: Muon vanilla sur des Transformers profonds), il n'y a pas d'ordre propre à récupérer.
Bien qu'elle récupère l'ordre et le coefficient local exactement, la fluctuation singulière réalisée dans les réseaux entraînés est supprimée par l'absorption de la structure vivante, ce qui signifie que le $\nu(k)$ universel est une limite supérieure, et non la valeur exacte réalisée.
La méthode traite actuellement des structures « énumérables » ; pour les variétés déterminantales complexes (ex: réseaux linéaires profonds à matrices larges), l'assemblage global peut encore nécessiter l'échantillonnage de la distribution postérieure ou une résolution algébrique plus avancée.

En résumé, ce papier établit un cadre pratique pour « lire » la géométrie singulière de réseaux entraînés à un point de contrôle figé, offrant une carte détaillée, par direction, de la complexité qui complète les méthodes d'échantillonnage global.