Résumé Technique : Détection du Surapprentissage dans les Réseaux de Neurones durant le Grokking à Long Terme en Utilisant la Théorie des Matrices Aléatoires

Énoncé du Problème

L'entraînement de réseaux de neurones profonds (NN) sans surapprentissage est difficile, et la détection du surapprentissage l'est tout autant, particulièrement lorsque l'accès aux données d'entraînement, aux données de test, aux états de l'optimiseur ou aux historiques d'entraînement n'est pas disponible. C'est un problème critique pour les modèles de fondation à poids ouverts, où les utilisateurs peuvent posséder les poids et les cartes du modèle mais manquer du contexte nécessaire pour déterminer si un point de contrôle est entraîné de manière robuste ou s'il a surappris des corrélations spécifiques aux données.

L'article se concentre sur le phénomène de grokking, où la précision d'entraînement d'un modèle atteint la perfection tandis que la précision de test reste proche du hasard pendant une longue période avant de s'améliorer brusquement. Alors que les recherches précédentes se sont concentrées sur la transition de la mémorisation à la généralisation, ce travail investigate le régime à long terme après le grokking. Dans cette phase, qualifiée d'« anti-grokking », un modèle qui a réussi à généraliser peut perdre sa performance sur les données retenues et revenir à un surapprentissage de ses données d'entraînement, malgré le maintien d'une précision d'entraînement proche de la perfection. Distinguer cette phase néfaste d'« anti-grokking » de la phase initiale de « pré-grokking » (où le modèle n'a pas encore trouvé de solution généralisante) est difficile en utilisant uniquement les courbes de précision d'entraînement/test standard, car les deux régimes présentent une précision d'entraînement élevée et une mauvaise précision de test.

Méthodologie

Les auteurs proposent une méthode de diagnostic novatrice basée sur la Théorie des Matrices Aléatoires (RMT) qui opère uniquement sur les matrices de poids du modèle sans nécessiter l'accès aux données.

Concept Central : Pièges de Corrélation

La méthode repose sur le principe de l'auto-moyennage. Dans un modèle bien entraîné et généralisant, les matrices de poids devraient présenter des propriétés statistiques cohérentes avec des matrices aléatoires lorsque leur structure interne est randomisée.

1. Randomisation : Pour chaque matrice de poids de couche $W$, les entrées sont mélangées élément par élément pour créer une matrice randomisée $W_{rand}$.
2. Analyse Spectrale : La distribution spectrale empirique (ESD) de la matrice de covariance $X_{rand} = \frac{1}{N} W_{rand}^\top W_{rand}$ est calculée.
3. Référence Marchenko-Pastur (MP) : L'ESD est ajustée à la distribution de Marchenko-Pastur, qui sert de référence théorique pour une matrice aléatoire non corrélée et auto-moyennante.
4. Détection des Pièges : Les auteurs identifient les Pièges de Corrélation comme des valeurs propres aberrantes ($\lambda_{trap}$) qui se situent significativement au-delà du bord droit de la distribution MP ajustée (en tenant compte des fluctuations de Tracy-Widom).
   • Définition : Un Piège de Corrélation est une valeur propre $\lambda_{trap} > \lambda_{MP}^+ + \Delta_{TW}$.
   • Signification : Ces aberrations indiquent une violation de l'auto-moyennage, suggérant la présence de corrélations structurées et non aléatoires au sein de la couche qui persistent même après le mélange élément par élément.

Distinction entre Pièges Néfastes et Bénéfiques

Puisque la présence de pièges indique un manque d'auto-moyennage mais ne prouve pas intrinsèquement un surapprentissage néfaste, les auteurs introduisent un test d'ablation diagnostique sans données basé sur la Divergence de Jensen-Shannon (JSD) :

• Procédure : Un piège spécifique (vecteur propre) est remplacé par un vecteur aléatoire. Le modèle est ensuite exécuté sur des entrées de sonde (tokens aléatoires pour les transformateurs, entrées gaussiennes pour les MLP).
• Métrique : La JSD entre les logits de sortie du modèle original et du modèle ablaté est calculée.
• Classification :
  • Piège Néfaste : La suppression du piège modifie significativement la distribution de sortie du modèle (JSD élevé) et altère la précision de test.
  • Piège Bénéfique : La suppression du piège a un effet négligeable sur les sorties et la précision.

Contributions Clés

1. Définition des Pièges de Corrélation : Les auteurs définissent les Pièges de Corrélation comme des valeurs propres aberrantes dans les matrices de poids de couches mélangées qui violent la référence de Marchenko-Pastur, servant de signature d'une structure non auto-moyennante.
2. Identification de l'Anti-Grokking : L'article caractérise l'« anti-grokking » comme une phase distincte suivant une généralisation réussie, où la précision de test se dégrade tandis que la précision d'entraînement reste élevée. Cette phase est structurellement distincte du pré-grokking.
3. Pièges de Corrélation comme Outil Diagnostique : L'étude démontre que les Pièges de Corrélation sont absents durant le pré-grokking et le grokking, mais émergent et augmentent en nombre et en échelle spécifiquement lors du début de l'anti-grokking.
4. Lien Mécanistique avec le Surapprentissage : Les auteurs relient ces pièges à la localisation (où la variance est concentrée sur un petit ensemble de coordonnées) et à la condensation spectrale (où un seul mode dominant porte une variance macroscopique), tous deux empêchant l'erreur de généralisation de se concentrer.
5. Validation Empirique : La méthode est validée sur trois architectures et tâches distinctes :
   • Un MLP à 3 couches sur MNIST.
   • Un petit Transformateur sur une tâche d'Addition Modulaire (MA).
   • Un Transformateur de style GPT2 sur une tâche de composition synthétique.
6. Application aux Modèles de Fondation : Le diagnostic a été appliqué aux points de contrôle à poids ouverts de gpt-oss-20b et gpt-oss-120b d'OpenAI, révélant la présence de Pièges de Corrélation, suggérant un surapprentissage potentiel dans les modèles à l'échelle de la pointe.

Résultats

• Séparation des Phases : Dans les trois benchmarks (MLP, MA, GPT2), le nombre de Pièges de Corrélation reste pratiquement nul durant le pré-grokking et le grokking. Une augmentation brutale du nombre de pièges corrèle précisément avec le déclin de la précision de test durant la phase d'anti-grokking.
• Contrôle par Décroissance des Poids : Des expériences avec décroissance des poids (WD=0,01) ont montré que, bien que l'anti-grokking se produise toujours, la croissance des Pièges de Corrélation et la sévérité de la dégradation de la précision de test sont significativement supprimées par rapport au paramétrage sans décroissance des poids (WD=0).
• Robustesse aux Perturbations : Des études de perturbation ont confirmé que les comptes de pièges ne sont pas simplement un proxy de l'échelle globale (norme) des poids. Même lorsque les normes globales des poids étaient modifiées, les pièges restaient absents en pré-grokking/grokking et n'apparaissaient qu'en anti-grokking.
• Insight Mécanistique (MLP) : Dans l'étude de cas MLP, des directions de pièges localisées ont été trouvées évoluer vers des structures de type « prototype » dans l'espace des pixels. Ces structures ont poussé le modèle à se fier à l'amplitude globale de l'entrée (par exemple, $\|x\|^2$) plutôt qu'aux motifs sémantiques des chiffres, conduisant à un comportement fragile sur des entrées mélangées ou gaussiennes tout en maintenant une précision d'entraînement parfaite.
• Ablation JSD : Le diagnostic JSD a réussi à distinguer entre les pièges qui, lorsqu'ils sont supprimés, dégradent les performances du modèle (néfastes) et ceux qui ont peu d'effet (bénéfiques).

Signification et Revendications

L'article affirme que les Pièges de Corrélation fournissent un diagnostic pratique, basé uniquement sur les poids, pour détecter les signatures d'un surapprentissage potentiellement néfaste dans des modèles entraînés sans accès aux données d'entraînement ou de test.

• Distinction Structurelle : La signification principale réside dans la capacité à distinguer structurellement un modèle qui n'a pas encore appris (pré-grokking) d'un modèle qui a appris puis désappris/généralisé mal (anti-grokking). Les deux états semblent identiques via les métriques de précision mais diffèrent fondamentalement dans leurs spectres de poids.
• Filtrage des Modèles de Fondation : La détection de Pièges de Corrélation dans de grands LLM à poids ouverts suggère que les modèles à l'échelle de fondation peuvent involontairement surapprendre leurs données d'entraînement de manière détectable via l'analyse spectrale.
• Utilité Réglementaire et Pratique : Les auteurs suggèrent que cette méthode pourrait servir d'outil impartial pour les organismes de régulation ou les utilisateurs afin d'évaluer la sécurité et la robustesse des modèles, particulièrement lorsque les données propriétaires ne sont pas disponibles.
• Limites : Les auteurs notent modestement que leurs preuves proviennent de paramètres de grokking à long terme contrôlés. Ils ne revendiquent pas que tous les surapprentissages produisent des Pièges de Corrélation, ni n'affirment que la présence de pièges dans les modèles de pointe prouve définitivement un comportement néfaste sans évaluation supplémentaire basée sur des tâches. Le compte de pièges est un signal d'avertissement, pas un score de qualité universel.