📊 statistics

Fisher Rank Inflation: A Spectral Signature of Memorization under Label Noise

Cet article identifie l'« inflation du rang de Fisher », une expansion transitoire du rang effectif des spectres de gradient de la dernière couche, comme une signature spectrale fiable qui marque la transition entre l'apprentissage de structures propres et la mémorisation d'étiquettes corrompues, permettant ainsi la détection d'exemples bruités et de la sévérité de la corruption des étiquettes avant que les performances de test ne se dégradent.

Auteurs originaux : Satwik Bathula, Anand A. Joshi

Publié 2026-07-15

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Satwik Bathula, Anand A. Joshi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à reconnaître les chats et les chiens. Vous lui donnez une énorme pile de photos, mais quelqu'un a secrètement griffonné « CHAT » sur les photos de chiens et « CHIEN » sur les photos de chats. C'est ce qu'on appelle le bruit d'étiquetage (label noise).

D'habitude, on pense que le robot s'embrouille simplement et commence à deviner au hasard. Mais cette recherche suggère qu'un phénomène bien plus intéressant se produit à l'intérieur du cerveau du robot. Les chercheurs ont découvert une « signature spectrale » spécifique — un motif unique dans la façon dont les ondes cérébrales du robot vibrent — qui nous indique exactement quand le robot cesse d'apprendre les vraies règles pour commencer à mémoriser les fausses. Ils appellent ce phénomène l'Inflation du Rang de Fisher (Fisher Rank Inflation).

L'effet « Ballon » : Apprendre vs Mémoriser

Pensez au processus d'apprentissage du robot comme à l'inflation d'un ballon.

La phase initiale (Apprentissage de la structure) : Au début, le robot est intelligent. Il regarde toutes les photos de chats et toutes les photos de chiens et trouve les motifs communs (oreilles, queues, fourrure). Il organise ses connaissances proprement. Dans les mathématiques du papier, le « rang effectif » (une mesure de la dispersion de la pensée du robot) est faible et stable. C'est comme un petit ballon bien serré.
La phase intermédiaire (L'inflation) : Ensuite, le robot commence à rencontrer les faux étiquettes. Au lieu de les ignorer, il essaie de forcer son cerveau à s'adapter à ces exemples impossibles. Pour ce faire, il doit étirer sa pensée vers des directions étranges et inutilisées qu'il n'avait jamais nécessaires auparavant.
- La signature : C'est là que la magie opère. Le « ballon » interne du robot gonfle soudainement. Le papier montre que le « rang effectif » des gradients de la dernière couche du robot (les signaux qui lui disent comment s'ajuster) s'étend de manière transitoire. Il se gonfle, atteignant un sommet.
- La cause : Les faux étiquettes agissent comme de l'air pompé dans le ballon, mais spécifiquement dans les parties « à faible énergie » ou inutilisées du cerveau du robot. Cela augmente l'« entropie » (ou le chaos) des signaux.
La phase finale (L'effondrement) : Une fois que le robot a pleinement mémorisé les faux étiquettes, il arrête de s'étirer. Le ballon se dégonfle. Le « rang effectif » se contracte et se stabilise à nouveau, même si le robot est désormais parfaitement erroné concernant les données fausses.

Le papier montre que cette trajectoire d'inflation-effondrement se produit de manière constante à travers différents cerveaux de robots (architectures) et différents ensembles de photos (jeux de données).

Qui gonfle le ballon ? (Les coupables)

Vous pourriez vous demander : « Est-ce tout le robot qui gonfle, ou seulement les parties qui traitent les fausses photos ? »

Les chercheurs ont utilisé une astuce ingénieuse appelée Attribution Leave-One-Out. Imaginez que vous preniez le cerveau du robot, que vous retiriez une seule photo et que vous regardiez si le ballon rétrécit.

Le constat : Lorsqu'ils ont retiré une photo avec un étiquette fausse, le ballon a beaucoup rétréci. Lorsqu'ils ont retiré une photo avec une étiquette réelle, le ballon a à peine changé.
La preuve : Au moment où le ballon est le plus gros (le moment du « pic de rang »), les 100 photos contribuant le plus à l'inflation étaient presque entièrement les fausses.
- Dans les expériences avec des étiquettes synthétiques fausses, les 100 principaux contributeurs étaient de 69,2 % à 96,2 % de faux étiquettes, selon le modèle de robot.
- Dans un test avec des erreurs humaines naturelles (issues du jeu de données CIFAR-10N), les 100 principaux contributeurs étaient de 94,4 % ± 1,9 % de faux étiquettes.

Cela suggère que la mémorisation est pilotée par les exemples corrompus, et non par l'ensemble du groupe. Les faux étiquettes sont ceux qui injectent cet « air » supplémentaire dans les directions inutilisées du cerveau.

S'agit-il simplement de photos « difficiles » ?

Un sceptique pourrait dire : « Peut-être que le robot lutte simplement avec les photos les plus difficiles, et non avec les fausses étiquettes. » Pour tester cela, les chercheurs ont créé un groupe de contrôle :

Photos propres normales : Étiquettes faciles et correctes.
Photos propres difficiles : Étiquettes correctes, mais très difficiles à apprendre (perte élevée).
Photos corrompues mémorisées : Étiquettes fausses, mais le robot les a déjà mémorisées parfaitement (perte faible).

Le résultat : Les photos « propres difficiles » n'ont pas provoqué l'inflation du ballon. Elles n'ont presque pas contribué. Les photos « corrompues mémorisées », en revanche, étaient celles qui provoquaient l'inflation massive. Cela prouve que le phénomène concerne la corruption de l'étiquette, et non simplement la difficulté.

À quel point le bruit est-il important ?

Le papier a également vérifié si la taille du ballon dépend du nombre de faux étiquettes.

Avec 0 % de bruit (entraînement propre), le pic de rang effectif était de 28,88 ± 1,95.
Avec 60 % de bruit (60 % des étiquettes sont fausses), le pic de rang effectif a grimpé en flèche à 97,09 ± 1,78.

Plus vous ajoutez de faux étiquettes, plus le ballon grossit. Le papier suggère que cela est dû au fait que davantage de faux étiquettes signifient plus d'exemples injectant de la variance dans ces directions faibles et inutilisées du cerveau.

Qu'est-ce que cela signifie ?

Le papier soutient que l'Inflation du Rang de Fisher est un signe fiable qu'un réseau profond est en train de mémoriser du bruit.

Le timing : L'inflation commence souvent avant que les scores de test du robot ne commencent à chuter. C'est comme voir le ballon commencer à s'étirer avant que le robot ne rate réellement son examen.
L'universalité : Cela se produit dans les petits CNN, les ResNets, et même les Vision Transformers (bien que le signal soit un peu plus faible dans les Transformers). Cela se produit avec du bruit synthétique et des erreurs humaines réelles.

Ce que le papier ne dit PAS :

Il ne prétend pas que c'est un outil parfait et universel pour arrêter le surapprentissage (overfitting) dans toutes les situations. Le papier note que le « délai d'avance » (combien de temps avant l'alerte) varie selon l'architecture.
Il ne dit pas qu'il s'agit d'un détecteur de « bruit » générique qui fonctionne mieux que toutes les autres méthodes. En fait, pour certains modèles, les méthodes basées sur la perte (loss) standard pourraient encore être meilleures pour trouver tous les mauvaises étiquettes de manière globale. Le papier souligne qu'il s'agit d'une signature spectrale de la mémorisation, et non nécessairement d'une solution miracle pour nettoyer les données.
Il ne prétend pas que la théorie est prouvée pour chaque type possible de bruit ou pour chaque modèle massif. Les mathématiques sont basées sur des instantanés locaux (checkpoints) et des approximations de premier ordre, qui fonctionnent très bien pour les modèles convolutionnels mais sont légèrement moins précises pour les Transformers.

En résumé, le papier suggère que lorsqu'un robot commence à mémoriser des étiquettes fausses, son calcul interne « gonfle » d'une manière très spécifique. En surveillant cette inflation, nous pouvons voir le moment où le robot cesse d'apprendre et commence à mémoriser, bien avant qu'il ne commence à échouer.

Résumé technique : Inflation du rang de Fisher : une signature spectrale de la mémorisation sous bruit d'étiquetage

Énoncé du problème

Les réseaux de neurones profonds entraînés avec un bruit d'étiquetage présentent une trajectoire d'apprentissage distincte : ils apprennent d'abord des motifs structurés partagés entre les exemples sains, puis mémorisent les étiquettes corrompues qui contredisent la distribution sous-jacente des données. Alors que les recherches existantes ont largement caractérisé quand la mémorisation se produit en utilisant des métriques telles que la perte d'entraînement/test, la dynamique de prédiction ou la géométrie des représentations, il existe une lacune dans la compréhension de la manière dont les exemples corrompus remodèlent la structure spectrale des gradients d'entraînement lors de cette transition. Plus précisément, la vue géométrique globale de l'évolution de la covariance des gradients au moment où le réseau passe de l'apprentissage de la structure à la mémorisation reste peu explorée.

Méthodologie

Les auteurs proposent une analyse spectrale de la matrice de dispersion du gradient de Fisher centrée dérivée des gradients de la dernière couche pour chaque exemple d'entraînement.

Définitions fondamentales

Dispersion du gradient de Fisher centrée ( $S$ ) : Soit $g_i$ le gradient vectorisé de la couche affine finale pour l'exemple $i$ . Les auteurs définissent le gradient centré $\bar{g}_i = g_i - \mu$ , où $\mu$ est la moyenne des gradients. La matrice de dispersion est $S = \sum \bar{g}_i \bar{g}_i^\top$ .
Rang effectif : Le papier utilise le rang effectif par entropie, défini par $er(S) = \exp(H(S))$ , où $H(S)$ est l'entropie spectrale des valeurs propres normalisées de $S$ . Cette métrique quantifie le nombre de directions effectives dans lesquelles la variance du gradient est distribuée.
Attribution Leave-One-Out (LOO) : Pour identifier quels exemples pilotent les changements de rang, les auteurs définissent $\Delta_i = er(S) - er(S_{-i})$ , où $S_{-i}$ est la matrice de dispersion calculée après avoir retiré l'exemple $i$ et recentré la matrice. Un $\Delta_i$ positif indique qu'un exemple contribue à l'inflation du rang.

Cadre théorique

Les auteurs développent une théorie spectrale pour expliquer trois observations empiriques :

Inflation du rang : La corruption des étiquettes augmente le rang effectif de la covariance des gradients.
Enrichissement par corruption : Les échantillons corrompus contribuent davantage à l'inflation du rang que les échantillons sains.
Affaiblissement du signal : Le signal d'attribution diminue une fois la mémorisation terminée.

La théorie postule que les étiquettes corrompues injectent de la masse de covariance dans des directions propres de faible énergie ou précédemment inutilisées de la matrice de dispersion du gradient de Fisher. Cela augmente l'entropie spectrale, augmentant ainsi le rang effectif. Les auteurs dérivent une formule d'attribution LOO de premier ordre montrant que les exemples dont les gradients sont alignés avec des directions propres "augmentant le rang" (où le coefficient de sensibilité spectrale $\beta_k > 0$ ) contribuent le plus à l'inflation. Ils prouvent également qu'une fois le spectre du gradient normalisé stabilisé (post-mémorisation), les signaux d'attribution individuels disparaissent.

Protocole expérimental

Le phénomène est évalué à travers :

Jeux de données : CIFAR-10, CIFAR-100 (avec corruption symétrique synthétique des étiquettes) et CIFAR-10N (avec erreurs d'annotation humaine naturelles).
Architectures : SmallCNN, ResNet18 et Vision Transformers (ViT).
Protocole : L'entraînement est surveillé pour identifier l'« époque de pic de rang » (où le rang effectif est maximisé). À ce point de contrôle, les contributions LOO sont calculées pour analyser l'enrichissement au niveau de l'échantillon.

Contributions clés

Identification de l'inflation du rang de Fisher : Le papier identifie une expansion transitoire du rang effectif du gradient de Fisher qui se produit spécifiquement durant la phase de mémorisation de l'entraînement sous bruit d'étiquetage, suivie d'un effondrement une fois les étiquettes corrompues ajustées.
Explication du mécanisme spectral : Les auteurs fournissent une dérivation théorique montrant que les étiquettes corrompues gonflent le rang effectif en répartissant la masse spectrale dans des directions propres faibles ou nouvelles, augmentant ainsi l'entropie spectrale.
Attribution au niveau de l'échantillon : Un cadre d'attribution LOO de premier ordre est dérivé, établissant les conditions sous lesquelles les exemples corrompus présentent des contributions de rang plus importantes que les exemples sains. La théorie explique que ce signal s'affaiblit post-mémorisation en raison de la stabilisation du spectre normalisé.
Validation empirique : Le phénomène est validé sur plusieurs architectures et jeux de données, incluant des erreurs humaines naturelles, démontant que l'inflation du rang de Fisher est une signature spectrale robuste de la mémorisation plutôt qu'un artefact de la génération de bruit synthétique.

Résultats expérimentaux

Trajectoire Inflation-Effondrement : Dans tous les contextes, le rang effectif de Fisher présente une trajectoire cohérente : il augmente pendant le début de l'entraînement, culmine pendant la transition vers la mémorisation, et s'effondre à mesure que l'entraînement se poursuit.
Enrichissement par les exemples corrompus : Au point de contrôle du pic de rang, les exemples corrompus sont surreprésentés parmi les échantillons contribuant le plus au rang.
- Bruit synthétique : Dans les 100 principaux contributeurs de rang, la fraction d'étiquettes bruitées varie de 69,2 % (ViT sur CIFAR-10) à 96,2 % (SmallCNN sur CIFAR-10).
- Bruit humain : Sur CIFAR-10N (erreurs humaines naturelles), les exemples corrompus constituent 94,4 % des 100 principaux contributeurs, bien qu'ils ne représentent qu'environ 40 % du jeu de données.
Dépendance à la sévérité : L'amplitude du rang effectif de Fisher maximal augmente de manière monotone avec la sévérité de la corruption. Sous un entraînement propre, le rang de pic est d'environ 28,9, grimpant à 97,1 avec une corruption de 60 %.
Temporalité : Dans plusieurs configurations, l'apparition de l'inflation du rang de Fisher précède la dégradation observable des tests, suggérant qu'elle capture le début de la mémorisation avant que l'échec de la généralisation ne devienne apparent.
Différences d'architecture : Bien que le phénomène soit universel, la force du signal d'attribution varie. Les modèles convolutionnels (SmallCNN, ResNet) montrent un fort alignement entre l'attribution spectrale de premier ordre et les contributions LOO exactes (corrélation de Spearman > 0,96), tandis que les Vision Transformers montrent un signal plus faible, suggérant que des effets d'ordre supérieur pourraient être plus prédominants dans les transformers.

Signification et affirmations

Le papier affirme établir l'inflation du rang de Fisher comme une signature spectrale distincte de la mémorisation sous bruit d'étiquetage. Sa signification réside dans :

Lien entre dynamique et géométrie : Il lie la dynamique du spectre du gradient de Fisher de la dernière couche au processus spécifique d'ajustement des étiquettes corrompues, offrant une perspective géométrique qui complète les analyses basées sur la perte.
Distinction entre difficulté et corruption : À travers une expérience de « contrôle de difficulté propre », les auteurs démontrent que l'inflation du rang de Fisher est pilotée par la corruption d'étiquette mémorisée plutôt que simplement par des exemples propres « difficiles » ou rares (qui présentent des contributions de rang négligeables).
Robustesse à la source du bruit : La persistance du phénomène sous les erreurs d'annotation humaine naturelles (CIFAR-10N) suggère que le mécanisme capture un aspect fondamental de la manière dont les réseaux profonds traitent une supervision incohérente, plutôt qu'un artefact de modèles de bruit synthétique spécifiques.
Limites : Les auteurs notent modestement que l'inflation du rang de Fisher est une signature spectrale de la mémorisation, et non nécessairement une règle d'arrêt en ligne universelle ou un détecteur de bruit générique avec une performance de séparation globale parfaite (les valeurs AUROC sont modestes, environ ~0,6–0,8). Les résultats théoriques sont des énoncés spectraux locaux à des points de contrôle fixes, et l'approximation d'attribution de premier ordre est moins précise pour les modèles à haute capacité comme ViT et CIFAR-100.