A Theory of Generalization in Deep Learning

Ce papier présente une théorie non asymptotique de la généralisation en apprentissage profond fondée sur la partition de l'espace de sortie par le noyau tangent neuronal empirique, qui explique des phénomènes tels que la surapprentissage bénin et le déclic tout en introduisant un préconditionneur pratique basé sur le rapport signal-sur-bruit qui accélère l'entraînement et supprime la mémorisation sans nécessiter de données de validation.

L'essentiel

La Grande Image : Pourquoi des Modèles d'IA Super-Complexes Fonctionnent-ils ?

Imaginez que vous enseignez à un étudiant (un réseau de neurones) pour un examen final. Vous lui donnez un manuel contenant 100 exemples. Mais voici la particularité : l'étudiant possède une mémoire photographique et est si intelligent qu'il peut mémoriser chaque mot du manuel, y compris les fautes de frappe et les gribouillis aléatoires dans les marges.

Par le passé, les scientifiques pensaient : « Si un étudiant mémorise les fautes de frappe, il échouera à l'examen car celui-ci ne contiendra pas ces fautes. » C'est le problème du surapprentissage (overfitting).

Cependant, dans l'IA moderne, nous observons quelque chose d'étrange : ces « super-mémorisateurs » réussissent souvent l'examen avec brio, même lorsque les données d'entraînement sont désordonnées. Ce papier fournit une nouvelle carte pour expliquer comment et pourquoi cela se produit, et il nous offre même une nouvelle méthode pour les entraîner plus vite et mieux.

---

1. Les Deux Pièces : Le « Canal du Signal » et le « Réservoir »

Les auteurs imaginent le processus d'apprentissage de l'IA se déroulant dans un bâtiment comportant deux pièces distinctes.

• Pièce A : Le Canal du Signal (La Scène)
  C'est là que se produit le « vrai » apprentissage. C'est comme une scène où l'étudiant apprend l'intrigue réelle de l'histoire. Lorsque l'IA se déplace dans cette direction, elle apprend des motifs qui s'appliquent au monde réel (le test).

  • Ce qui s'y passe : L'IA apprend rapidement et régulièrement. C'est comme un coureur sprintant sur une piste.

• Pièce B : Le Réservoir (Le Sous-sol Insonorisé)
  C'est un immense sous-sol sombre où l'IA stocke le « bruit » — les fautes de frappe, les gribouillis aléatoires et les pures ordures présentes dans les données.

  • Le Tour de Magie : Les auteurs prouvent que ce sous-sol est insonorisé. Même si l'IA mémorise chaque faute de frappe dans le sous-sol, aucun son ne s'échappe. Le test (l'examen) ne peut pas entendre ce qui se passe dans le réservoir.
  • Résultat : L'IA peut mémoriser le bruit sans nuire à sa note à l'examen, car le bruit est piégé dans un endroit que le test ne peut pas voir.

2. Le Agent de Circulation : Comment la Descente de Gradient Stochastique (SGD) Maintient l'Ordre

Comment l'IA sait-elle quelle direction est la « Scène » et laquelle est le « Sous-sol » ? Le papier explique que la méthode d'entraînement standard (appelée SGD ou Descente de Gradient Stochastique) agit comme un agent de circulation astucieux.

• La Dérive vs Le Fouillis :
  • Vrais Signaux (La Scène) : Lorsque l'IA voit un motif réel, l'agent de circulation la pousse en avant dans une ligne droite et rapide (une « dérive »). Cela s'accumule rapidement.
  • Bruit (Le Sous-sol) : Lorsque l'IA voit du bruit aléatoire, l'agent de circulation lui dit de simplement se déplacer sur place (une « marche aléatoire »). Elle bouge, mais n'arrive à rien d'utile.
  • Le Résultat : Avec le temps, les vrais motifs s'empilent haut, tandis que le bruit reste faible et se perd dans le fouillis. L'IA sépare naturellement le bon grain de l'ivraie.

3. L'Énigme du « Grokking » Résolue

Vous avez peut-être entendu parler d'un phénomène appelé « Grokking ». C'est lorsque une IA semble échouer (en mémorisant les données d'entraînement) pendant longtemps, puis soudainement, sans prévenir, elle « comprend » et commence à résoudre le problème parfaitement.

• L'Explication du Papier :
  Imaginez que l'IA déplace lentement le « Signal » du Sous-sol Insonorisé vers la Scène.
  • Au début, l'IA est coincée dans le sous-sol, mémorisant du bruit.
  • Lentement, le « noyau » (la carte interne de l'IA) évolue.
  • Finalement, le vrai signal migre du sous-sol vers la scène.
  • Le Grokking est simplement le moment où le signal arrive sur la scène. Ce n'est pas de la magie ; c'est juste le signal qui rattrape enfin le test.

4. Le Nouvel Outil : L'Entraînement par « Risque de Population »

Les auteurs n'ont pas seulement expliqué la théorie ; ils ont construit un outil pratique basé sur celle-ci.

• Le Problème : Habituellement, pour entraîner une IA, nous avons besoin d'un « ensemble de validation » (un examen blanc) pour vérifier si elle apprend les bonnes choses. Si nous n'en avons pas, nous risquons d'enseigner par inadvertance le bruit.
• La Solution : Ils ont créé une nouvelle règle d'entraînement qui agit comme un Filtre Auto-Correctif.
  • Au lieu de simplement regarder l'ensemble du lot de données, cette nouvelle méthode examine chaque exemple individuellement et demande : « Si je retirais cet exemple, l'IA apprendrait-elle toujours la même chose ? »
  • Si la réponse est « Non, elle mémorise juste ce bruit spécifique », le filtre bloque cette mise à jour.
  • Si la réponse est « Oui, c'est un vrai motif », le filtre autorise la mise à jour.

L'Analogie :
Imaginez un professeur notant un étudiant.

• Ancienne Méthode (AdamW) : Le professeur regarde l'ensemble du test et dit : « Tu as eu 90 % de bonnes réponses, bon travail ! » (Même si l'étudiant a triché sur 10 questions).
• Nouvelle Méthode (Risque de Population) : Le professeur examine chaque question et demande : « As-tu appris ce concept, ou as-tu simplement mémorisé la clé de réponse ? » S'il s'agit seulement de mémorisation, le professeur ignore ce point. Cela force l'étudiant à apprendre les concepts plus rapidement.

5. Qu'Ont-ils Accompli ?

Le papier a testé cette nouvelle méthode sur trois tâches difficiles où l'IA échoue habituellement ou reste bloquée :

1. Simulations Physiques (PINNs) : Lors de l'entraînement d'une IA pour résoudre des équations physiques avec des données bruyantes, la nouvelle méthode a atteint la bonne réponse 2,4 fois plus vite que les méthodes standard.
2. Énigmes Mathématiques (Grokking) : Sur un problème de division modulaire, l'IA a atteint 95 % de précision en 5 950 étapes au lieu des habituelles 29 450 étapes. Elle a « grokké » 5 fois plus vite.
3. Chatbots IA (DPO) : Lors du réglage fin d'un chatbot avec des retours humains désordonnés (où les gens ne s'accordent pas sur ce qui est bien), la nouvelle méthode a appris de meilleures préférences tout en restant beaucoup plus proche du comportement original et sûr du bot.

Résumé

Ce papier nous dit que l'apprentissage profond fonctionne parce que le processus d'entraînement trie naturellement l'« apprentissage réel » du « bruit mémorisé » dans deux pièces séparées. Le « bruit » est piégé dans un sous-sol insonorisé où il ne peut pas nuire aux performances de l'IA.

En comprenant cela, les auteurs ont construit un nouvel outil d'entraînement qui agit comme un filtre intelligent, ignorant automatiquement le bruit et se concentrant uniquement sur les vrais signaux. Cela permet à l'IA d'apprendre plus vite, de résoudre des problèmes plus difficiles et d'éviter le « piège de la mémorisation » sans avoir besoin de données supplémentaires pour vérifier son travail.

Résumé technique

Résumé Technique : Une Théorie de la Généralisation en Apprentissage Profond

Énoncé du Problème

Les modèles d'apprentissage profond dont le nombre de paramètres dépasse celui des exemples d'entraînement peuvent mémoriser un bruit arbitraire tout en généralisant bien sur des données réelles. Les bornes classiques basées sur la capacité (par exemple, la dimension de VC, la complexité de Rademacher) sont vides aux échelles pratiques, tandis que les théories du Noyau Tangent Neuronal (NTK) ne décrivent que le régime « paresseux » où les noyaux restent figés. Les architectures modernes opèrent dans le régime complet d'apprentissage de caractéristiques, où le noyau évolue de manière significative (de $O(1)$ en norme d'opérateur) durant l'entraînement. Il manque une théorie non asymptotique expliquant la généralisation dans ce régime dynamique, unifiant des phénomènes disparates tels que le surapprentissage bénin et le « grokking », et fournissant une méthode pratique pour entraîner directement sur le risque de population sans données de validation.

Méthodologie

Les auteurs développent une théorie basée sur la dynamique de l'espace de sortie le long de la trajectoire d'entraînement réalisée. Le cadre central décompose l'espace de sortie à l'aide du Gramien de dissipation cumulative ($W_S$), dérivé de l'intégration de l'évolution du noyau tangent empirique ($K_{SS}$) et du propagateur du gradient de sortie ($P_g$).

1. Décomposition Canal de Signal et Réservoir

La théorie partitionne l'espace de sortie en deux sous-espaces orthogonaux :

• Canal de Signal ($\text{range}(W_S)$) : Directions où l'entraînement dissipe la perte.
• Réservoir ($\ker(W_S)$) : Directions où l'entraînement ne dissipe aucune perte.

Un résultat théorique clé est l'Invisibilité aux Tests du Réservoir (Proposition 3.2) : L'opérateur de transfert de test $G_Q$ s'annule sur le réservoir. Par conséquent, toute erreur résiduelle ou bruit d'étiquette piégé dans le réservoir durant l'entraînement est invisible pour l'ensemble de test.

2. Séparation Dérive-Diffusion dans la Descente de Gradient Stochastique (SGD)

À l'intérieur du canal de signal, l'article analyse la Descente de Gradient Stochastique par Minibatch (SGD). Il prouve une séparation des échelles de temps :

• Dérive : Le signal de population cohérent s'accumule linéairement ($O(T)$) le long des directions de signal.
• Diffusion : La fluctuation centrée (bruit) se comporte comme une martingale, s'accumulant uniquement comme une marche aléatoire ($O(\sqrt{T})$).
  Cela garantit que le signal véritable domine la mémorisation idiosyncrasique au fil du temps, supprimant le bruit dans le canal de signal.

3. Couplage Entraînement-Test sous Apprentissage de Caractéristiques

Même lorsque le noyau évolue de $O(1)$, l'article prouve que le mouvement de test est déterminé exactement par le mouvement d'entraînement au sein du canal de signal. En normalisant les opérateurs de déplacement d'entraînement et de test par la dissipation cumulative ($W_S^{1/2}$), le déplacement de test $U_Q(T) - U_Q(s)$ peut s'exprimer comme une fonction linéaire du déplacement d'entraînement $U_S(T) - U_S(s)$ plus un reste irréductible $R_\perp$. Sous une perte quadratique, ce reste s'annule, établissant un couplage exact :
$$U_Q(T) - U_Q(s) = A^\circ (U_S(T) - U_S(s))$$
où $A^\circ$ est le prédicteur linéaire optimal dérivé de la trajectoire réalisée.

4. Algorithme d'Entraînement sur le Risque de Population

En tirant parti de l'échangeabilité des données d'entraînement, les auteurs dérivent un estimateur sans biais du taux de diminution du risque de population en utilisant une perspective leave-one-out (LOO).

• Objectif : Ils définissent une porte par paramètre basée sur le rapport entre le carré du gradient moyen ($\mu_k^2$) et la variance du lot ($\sigma_k^2$).
• Règle : Un paramètre $k$ est mis à jour uniquement si $\mu_k^2 > \sigma_k^2 / (b-1)$.
• Implémentation : Cela se traduit par une modification de l'optimiseur Adam nécessitant un seul vecteur d'état supplémentaire (suivi de la variance en flux continu). Cette « porte de risque de population » supprime les mises à jour sur les paramètres où le signal du lot est dominé par le bruit, empêchant efficacement l'ajustement à un bruit incohérent.

Contributions Clés

1. Théorie de Généralisation Non Asymptotique : Un cadre gérant l'apprentissage complet de caractéristiques (noyaux évolutifs) plutôt que de reposer sur des approximations de noyaux figés. Elle explique la généralisation par la séparation géométrique du signal et du bruit en sous-espaces visibles et invisibles aux tests.
2. Explication Unifiée des Phénomènes : La théorie fournit une explication mécaniste unique pour :
   • Surapprentissage Bénin : Bruit piégé dans le réservoir (invisible aux tests).
   • Double Descente : Bruit se déplaçant entre le réservoir et les canaux de signal à mesure que la capacité du modèle change.
   • Biais Implicite : L'échéancier spectral de $W_S(t)$ remplissant le canal de signal des plus grands aux plus petits valeurs propres.
   • Grokking : Signal migrant du réservoir vers le canal de signal à mesure que le noyau évolue dans le temps.
3. Objectif Exact de Risque de Population : Une méthode pour dériver un objectif exact de risque de population à partir d'une seule exécution d'entraînement sans données de validation. Cet objectif mesure précisément le bruit dans le canal de signal.
4. Algorithme Pratique : Un algorithme d'« Entraînement sur le Risque de Population » agissant comme un préconditionneur SNR au-dessus d'Adam. Il ajoute une surcharge computationnelle minimale (un vecteur d'état) et ne nécessite aucun réglage d'hyperparamètre pour le seuil de la porte.

Résultats

La méthode proposée a été évaluée sur trois régimes où l'entraînement empirique standard est connu pour échouer ou surapprendre :

1. Réseaux de Neurones Informés par la Physique (PINNs) : Sur un problème d'advection avec condition initiale bruitée, la méthode de risque de population a atteint une erreur de test cible ($\ell_2 \le 0.40$) 2,4 fois plus vite que la meilleure référence AdamW avec réglage du taux d'apprentissage. Elle a supprimé l'ajustement au bruit qui causait la divergence de l'entraînement standard par rapport à la solution physique.
2. Grokking (Arithmétique Modulaire) : Sur une tâche de division modulaire ($a \cdot b^{-1} \mod 97$) connue pour sa généralisation retardée, la méthode a atteint 95 % de précision sur les données retenues à l'étape 5 950, contre 29 450 pour AdamW. Cela représente une réduction de 4,9 fois du nombre d'étapes d'entraînement, effaçant efficacement le délai de grokking.
3. Alignement sur Préférences Bruitées (DPO) : Le fine-tuning de Qwen2.5-0.5B-Instruct avec 30 % d'étiquettes de préférence échangées, la méthode a amélioré la précision finale de la récompense de 0,566 à 0,641 tout en restant 3,05 fois plus proche de la politique de référence en termes de dérive de la récompense absolue moyenne. Elle a maintenu une haute précision soutenue là où AdamW a échoué à se stabiliser.

Signification et Revendications

L'article revendique fournir une lentille théorique unifiée qui résout la tension entre la surparamétrisation et la généralisation sans recourir à des limites asymptotiques ou à des noyaux figés. En identifiant le « réservoir » comme un puits invisible aux tests pour le bruit, il explique pourquoi le surapprentissage des données d'entraînement n'implique pas nécessairement le surapprentissage des données de test.

Les auteurs affirment que leur objectif de risque de population dérivé n'est pas simplement une heuristique mais un taux exact et sans biais de diminution du risque de population calculable à partir d'une seule exécution. La signification pratique réside dans la capacité à entraîner directement sur le risque de population, accélérant la convergence (par exemple, grokking 5 fois plus rapide), supprimant la mémorisation dans les représentations neuronales implicites, et améliorant la robustesse dans l'alignement des préférences, le tout sans besoin d'ensembles de validation ou de recherche complexe d'hyperparamètres. La théorie comble le fossé entre le régime « paresseux » du NTK et le régime d'« apprentissage de caractéristiques », montrant que les mécanismes de généralisation persistent même lorsque le noyau dérive de manière significative.