📊 statistics

Unveiling Memorization-Generalization Coexistence: A Case Study on Arithmetic Tasks with Label Noise

Cet article examine comment les réseaux de neurones sur-paramétrés mémorisent simultanément des étiquettes bruyantes et généralisent sur des tâches arithmétiques, révélant que, bien que le bruit supprime la sortie d'une structure de généralisation interne, cette structure peut être efficacement récupérée par des méthodes basées sur la fréquence, même en présence d'un bruit d'étiquetage important.

Auteurs originaux : Linyu Liu, Pinyan Lu

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Linyu Liu, Pinyan Lu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez les mathématiques à un étudiant très intelligent, mais légèrement chaotique. Vous lui donnez un tas d'exercices, mais vous mélangez par erreur certains problèmes comportant des réponses incorrectes (du bruit).

Habituellement, nous pensons qu'un étudiant qui mémorise les mauvaises réponses échouera au vrai test. Mais cet article découvre quelque chose de surprenant : l'étudiant peut en réalité apprendre les règles mathématiques correctes et mémoriser les mauvaises réponses en même temps. Il cache simplement les règles correctes dans son cerveau tandis que sa bouche continue de dire les mauvaises choses.

Voici une décomposition de ce que les chercheurs ont découvert, en utilisant des analogies simples :

1. La surprise de la « Double Descente »

Dans les anciens jours du machine learning, nous pensions que les modèles plus grands étaient simplement de « plus grandes éponges » qui absorberaient chaque erreur et échoueraient.

L'analogie : Imaginez un étudiant trop petit pour comprendre les mathématiques. Il devine au hasard. À mesure qu'il grandit (plus de neurones), il commence à mémoriser les mauvaises réponses spécifiques que vous lui avez données, si bien qu'il devient moins performant au vrai test.
La retournement : Mais si vous rendez l'étudiant énorme (sur-paramétré), quelque chose de magique se produit. Il devient si grand qu'il peut contenir deux choses à la fois : une compréhension parfaite des règles mathématiques et une liste de toutes les mauvaises réponses.
Le résultat : Plus le modèle est grand, mieux il réussit au vrai test, même si les données d'entraînement sont pleines de mensonges. Il a simplement besoin des bonnes « habitudes d'étude » (paramètres d'optimisation) pour débloquer cette capacité.

2. Le phénomène « Les mauvaises nouvelles voyagent plus vite »

L'une des découvertes les plus contre-intuitives concerne quand l'étudiant apprend les choses.

L'analogie : Vous pourriez vous attendre à ce qu'un étudiant apprenne d'abord les règles logiques correctes, puis mémorise lentement les erreurs étranges et aléatoires.
La réalité : L'article a révélé que l'étudiant mémorise les mauvaises réponses en premier. C'est comme si l'étudiant entendait un cri fort et confus (le bruit) et l'écrivait immédiatement parce qu'il est facile à saisir. Les règles logiques et silencieuses (les données propres) mettent plus de temps à s'ancrer.
Pourquoi cela compte : Cela signifie que si vous arrêtez l'entraînement de l'étudiant trop tôt, il ne connaîtra que les mensonges. Il doit continuer à s'entraîner assez longtemps pour que la « logique » rattrape et dépasse la « mémorisation ».

3. La « Bibliothèque cachée » contre la « Bouche bruyante »

Même lorsque le modèle est entraîné sur des données à 80 % incorrectes, il apprend toujours les règles mathématiques correctes à l'intérieur de son cerveau. Le problème est que le « bruit » est si fort qu'il noie la bonne réponse lorsque le modèle parle.

L'analogie : Imaginez une bibliothèque où les livres corrects sont soigneusement rangés sur les étagères (la structure interne), mais où quelqu'un a collé des post-it avec du charabia aléatoire sur toutes les couvertures (le bruit). Si vous regardez seulement les couvertures, cela semble être un désordre.
La découverte : Les chercheurs ont trouvé un moyen de « décoller » les post-it. En utilisant un filtre fréquentiel (un outil qui recherche des motifs répétitifs, comme un accordeur musical), ils ont pu isoler la « bibliothèque correcte » des « couvertures de charabia ».
Le résultat : Même avec 80 % de bruit, ils ont pu extraire la bibliothèque cachée et obtenir des scores de test presque parfaits. Les règles étaient là tout le temps ; elles étaient simplement ensevelies sous le bruit.

4. Pourquoi vous ne pouvez pas simplement « couper » les mauvaises parties

Les chercheurs ont essayé une méthode plus simple : ils ont tenté de trouver les neurones spécifiques (cellules cérébrales) responsables des bonnes mathématiques et de supprimer ceux responsables du mauvais bruit.

L'analogie : Imaginez essayer de ranger une pièce en jetant les objets « mauvais » et en ne gardant que les « bons ».
L'échec : Cela n'a pas très bien fonctionné. Pourquoi ? Parce que les « bonnes » mathématiques et le « mauvais » bruit ne sont pas stockés dans des pièces séparées. Ils sont mélangés dans les mêmes neurones, comme les ingrédients d'un smoothie. Vous ne pouvez pas simplement retirer les fraises sans perdre la banane.
La conclusion : Pour extraire les bonnes choses, vous avez besoin d'un outil sophistiqué (comme le filtre fréquentiel mentionné ci-dessus) capable de séparer les ingrédients selon leur « saveur » (structure mathématique), et non pas simplement en essayant de supprimer des neurones spécifiques.

Résumé

Cet article montre que les modèles d'IA massifs sont incroyablement robustes. Même nourris d'un régime de mensonges, ils peuvent toujours apprendre la vérité. Ils apprennent la vérité lentement et la cachent profondément à l'intérieur, tout en mémorisant rapidement les mensonges en surface. Avec les bons outils, nous pouvons extraire cette vérité cachée, prouvant que le modèle n'a pas simplement mémorisé le bruit ; il a réellement appris les règles.

Résumé Technique : Révélation de la Coexistence entre Mémorisation et Généralisation

Énoncé du Problème

Les modèles fortement sur-paramétrés, tels que les grands modèles de langage, démontrent la capacité de mémoriser simultanément des étiquettes bruyantes et de bien généraliser à des données invisibles. Cependant, les mécanismes internes régissant la coexistence de ces deux comportements distincts restent mal compris. Dans des contextes réalistes, les données d'entraînement sont souvent contaminées par du bruit (par exemple, des échantillons mal étiquetés), créant une compétition interne entre la généralisation (découverte de règles structurelles applicables à des données invisibles) et la mémorisation (ajustement à des étiquettes bruyantes spécifiques qui ne reflètent pas les règles sous-jacentes).

Diagnostiquer cette interaction dans des tâches complexes du monde réel est difficile, car une haute précision de test ne distingue pas intrinsèquement l'apprentissage de véritables règles de l'exploitation de motifs locaux ou de raccourcis. Pour y remédier, les auteurs étudient des tâches d'arithmétique modulaire (spécifiquement l'addition et la multiplication modulo $P$ ) comme environnement expérimental contrôlé. Ces tâches sont choisies pour leur distinction claire entre généralisation basée sur des règles et mémorisation point par point, leur manifestation du « grokking » (généralisation survenant bien après la mémorisation), et la disponibilité de solutions analytiques connues pour des configurations de modèles spécifiques.

Méthodologie

L'étude utilise un réseau de neurones à deux couches paramétré par $\theta = \{W, U, V, \mu\}$ , entraîné sur des tâches d'arithmétique modulaire avec introduction de bruit dans les étiquettes. Le ratio de bruit $\alpha$ est varié, où un sous-ensemble des données d'entraînement se voit attribuer des étiquettes aléatoires uniformes distinctes du résultat réel.

La recherche aborde trois questions clés grâce à des expériences extensives couvrant diverses fonctions d'activation (ReLU, Quadratique, GeLU, LeakyReLU), optimiseurs (Adam, AdamW, Muon, SGD) et forces de régularisation :

Q1 : Dans quelles conditions l'augmentation de la taille du modèle améliore-t-elle la généralisation avec des étiquettes bruyantes ?
Q2 : Les modèles peuvent-ils récupérer des règles structurelles internes sous un bruit d'étiquettes extrême ?
Q3 : Les neurones responsables de la généralisation peuvent-ils être séparés de ceux utilisés pour la mémorisation ?

La méthodologie comprend :

Analyse de la Dynamique d'Entraînement : Suivi de la précision sur des sous-ensembles propres versus bruyants durant l'entraînement pour observer l'ordre d'apprentissage.
Filtrage Fréquentiel (FF) : Exploitation de la solution analytique connue pour les activations quadratiques (qui exhibent des structures périodiques) pour décomposer les poids du réseau ReLU. Les auteurs émettent l'hypothèse que le signal de généralisation est porté par la composante fréquentielle dominante des poids, tandis que la mémorisation est encodée dans les fréquences résiduelles.
Partitionnement du Réseau : Tentative de séparer le réseau en sous-réseaux de généralisation et de mémorisation en utilisant des scores d'importance de neurones agnostiques de la tâche (Rapport d'Inversion de Participation et Force du Neurone) par rapport à des a priori fréquentiels spécifiques à la tâche.

Résultats Clés

1. Mise à l'échelle et Double Descente

Les auteurs observent robustement le phénomène de double descente en présence de bruit d'étiquettes.

Sur-paramétrisation : Dans le régime sur-paramétré, l'augmentation de la taille du modèle améliore constamment la précision de test, à condition que l'optimisation et la régularisation soient correctement configurées.
Régularisation : Une régularisation plus forte déplace le modèle du régime sur-paramétré vers le régime sous-paramétré, retardant la seconde descente.
Fonctions d'Activation : Les modèles ReLU montrent une précision de test non décroissante dans le régime sur-paramétré. En revanche, les modèles avec des activations Quadratiques ou GeLU exhibent des plafonds de précision de test à mesure que la taille du modèle augmente, potentiellement en raison de contraintes de symétrie sur la manière dont le bruit est absorbé.

2. Dynamiques d'Apprentissage Contre-Intuitives

Une découverte significative est que les étiquettes bruyantes sont mémorisées plus rapidement que les étiquettes propres durant les premières époques d'entraînement, indépendamment de l'optimiseur (AdamW, Adam, Muon) ou du ratio de bruit.

Cette inversion de l'ordre d'apprentissage typique est attribuée à la dynamique d'entraînement par lots complets. Le sous-ensemble bruyant, étant plus petit, reçoit un signal d'optimisation par échantillon plus fort provenant du gradient par lot complet comparé au sous-ensemble propre plus vaste, ce qui fait que sa précision augmente plus tôt.
Ce phénomène a également été observé dans des expériences sur MNIST, suggérant qu'il s'agit d'une propriété plus large de l'optimisation précoce par lots complets sous corruption explicite d'étiquettes.

3. Coexistence des Règles et du Bruit

Même sous un bruit d'étiquettes extrême (jusqu'à 80 %), les modèles apprennent intérieurement la règle algébrique correcte, bien que cette règle soit masquée dans la sortie brute par la nécessité d'interpoler les étiquettes bruyantes.

Filtrage Fréquentiel : En isolant la composante fréquentielle dominante des poids (alignée avec la solution analytique pour les activations quadratiques), les auteurs peuvent extraire un sous-réseau qui atteint une précision de test quasi parfaite, même lorsque la sortie du modèle complet est fortement corrompue.
Résidus : Les composantes fréquentielles résiduelles retiennent principalement la capacité d'ajuster les étiquettes bruyantes mais contribuent peu à la généralisation.
Indépendance de l'Activation : Le remplacement de l'activation ReLU par une activation Quadratique ou ReLU Inverse dans un réseau entraîné préserve ou améliore la généralisation, indiquant que les poids appris encodent déjà une représentation de règle symétrique compatible avec ces fonctions.

4. Limites de la Séparation Agnostique de la Tâche

L'article examine si la généralisation et la mémorisation peuvent être séparées au niveau des neurones sans recourir à des a priori spécifiques à la tâche (comme la structure de Fourier).

Sélection de Neurones : En utilisant des métriques comme le Rapport d'Inversion de Participation (IPR) ou la Force du Neurone (Str.), les auteurs élaguent le réseau pour sélectionner des neurones pour la généralisation. Bien que cela améliore légèrement la généralisation, le gain est significativement plus faible que celui obtenu par le Filtrage Fréquentiel.
Enchevêtrement : Les résultats suggèrent que la structure généralisable n'est pas localisée à un petit sous-ensemble de neurones mais est diffusément encodée à travers le réseau et profondément enchevêtrée avec les composants utilisés pour la mémorisation du bruit. L'élagage agnostique de la tâche ne peut pas extraire complètement la structure de règle apprise par le modèle.

Importance et Revendications

L'article revendique fournir une frontière rigoureuse et vérifiable entre la généralisation structurelle et la mémorisation non structurée dans l'apprentissage sur-paramétré. Ses contributions principales sont :

Insight Mécanistique : Il démontre que les modèles sur-paramétrés peuvent apprendre intérieurement des règles sous-jacentes même sous un bruit d'étiquettes explicite, mais que ces règles sont masquées par la nécessité d'ajuster le bruit.
Découplage Basé sur la Fréquence : Il introduit une méthode (Filtrage Fréquentiel) qui réussit à dissocier la généralisation de la mémorisation dans les tâches d'arithmétique modulaire en exploitant les a priori structurels de la tâche, récupérant une précision quasi parfaite à partir d'un entraînement fortement corrompu.
Limitation de l'Élagage Post-Hoc : Il met en lumière une limitation fondamentale des outils actuels au niveau des neurones. Bien que la sélection de neurones agnostique de la tâche offre des améliorations marginales, elle échoue à extraire complètement la structure généralisable car la règle est distribuée et enchevêtrée à travers le réseau.
Implications Plus Larges : Les auteurs suggèrent que les futurs paradigmes d'apprentissage devront peut-être isoler explicitement la mémorisation de l'inférence logique durant l'entraînement, et que l'extraction efficace de connaissances post-hoc pourrait nécessiter des a priori structurels spécifiques au domaine plutôt que des scores d'importance génériques.

Les auteurs reconnaissent que leur configuration abstrait la variabilité complexe des tâches de vision ou de langage naturelles. Cependant, ils soutiennent que ce cadre contrôlé est nécessaire pour étudier rigoureusement la coexistence de la mémorisation et de la généralisation, fournissant des preuves fondamentales que ces processus sont profondément entrelacés dans les réseaux sur-paramétrés.