🤖 machine learning

Do Deep Networks Forget Initialization? A Forgetting-Time View of Practical Inductive Bias

Ce papier démontre que le biais inductif pratique des réseaux profonds entraînés est déterminé non seulement par leur architecture, mais aussi par la manière dont la dynamique d'entraînement — spécifiquement le taux d'apprentissage, le choix de l'optimiseur et la régularisation — filtre ou efface la mémoire de l'initialisation aléatoire, l'algorithme SGD à faible taux d'apprentissage préservant ce biais initial tandis que les méthodes adaptatives et le contrôle explicite de la norme l'effacent efficacement.

Auteurs originaux : Mohua Das, Pierfrancesco Beneventano, Shibshankar Dey, Gareth H. McKinkey, Tomaso Poggio

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohua Das, Pierfrancesco Beneventano, Shibshankar Dey, Gareth H. McKinkey, Tomaso Poggio

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez un chef pour préparer un plat complexe. Vous lui donnez un ensemble spécifique d'ingrédients (l'initialisation) et une recette (le pipeline d'entraînement).

Ce papier pose une question simple mais profonde : Le goût final du plat dépend-il exactement de la façon dont le chef a haché les oignons au tout début, ou le processus de cuisson lui-même efface-t-il ces différences initiales ?

Dans le monde de l'IA, « hacher les oignons » s'appelle l'initialisation. C'est le point de départ aléatoire d'un réseau de neurones avant qu'il n'ait appris quoi que ce soit. Le « processus de cuisson » est l'entraînement, où le réseau apprend à partir des données.

Voici ce que le papier a découvert, décomposé en concepts du quotidien :

1. La « Mémoire » du Chef

Les chercheurs ont introduit un concept appelé « Mémoire d'initialisation ». C'est une façon de mesurer à quel point l'IA finale « se souvient » encore de son point de départ aléatoire.

Mémoire élevée : L'IA finale se comporte très différemment selon la façon dont elle a été lancée. Si vous commencez avec une graine aléatoire légèrement différente, l'IA devient un chef totalement différent (et potentiellement pire).
Mémoire faible : L'IA finale oublie son point de départ. Peu importe comment vous hachez les oignons initialement, le processus de cuisson lisse tout, et vous obtenez le même excellent plat.

2. Les Deux Types de Cuisiniers (Optimiseurs)

Le papier a testé différentes « méthodes de cuisson » (optimiseurs) pour voir lesquels oublient et lesquels se souviennent.

Le Cuisinier Lent et Prudent (SGD à faible taux d'apprentissage) :
Imaginez un chef qui fait des pas minuscules et prudents. Le papier a découvert que ce chef se souvient de tout. Même après avoir cuisiné longtemps et parfaitement mémorisé la recette (précision d'entraînement), le plat final a toujours un goût différent selon la façon dont les ingrédients étaient initialement disposés.
- Le Résultat : Si vous commencez avec un « gros » hachage aléatoire, le plat peut avoir un goût terrible. Si vous commencez avec un « petit » hachage, il a un goût délicieux. Le chef n'oublie jamais complètement le chaos initial.
Le Cuisinier Adaptatif et Rapide (Adam, AdamW, Muon) :
Imaginez un chef qui ajuste la vitesse et la pression de son couteau en fonction de l'aliment qu'il coupe. Ces méthodes oublient le point de départ très rapidement.
- Le Résultat : Peu importe à quel point le hachage initial était différent, le chef adaptatif ajuste sa technique si bien que le plat final a presque exactement le même goût. Ils « effacent » la mémoire du début.

3. Le Temps N'Aide Pas Toujours

Une croyance commune est que si vous laissez simplement le cuisinier lent (SGD) travailler plus longtemps, il finira par oublier le mauvais départ.

La Découverte du Papier : Non. Même si vous laissez le cuisinier lent travailler pendant 5 000 heures (epochs), il se souvient toujours du hachage initial. Le « mauvais départ » persiste.
La Solution : Pour faire oublier le cuisinier lent, vous n'avez pas besoin de plus de temps ; vous devez changer le style de cuisson. Vous devez ajouter de la régularisation (comme ajouter une épice spécifique ou une contrainte, par exemple la décroissance des poids L2) ou cuire avec des pas plus grands (taux d'apprentissage plus élevé). Ces changements agissent comme un « bouton de réinitialisation » qui efface l'ardoise.

4. L'« Horloge » de l'Oubli

Le papier soutient que nous ne devrions pas mesurer l'oubli en fonction du nombre d'heures (epochs) pendant lesquelles le chef a travaillé. Au lieu de cela, nous devrions le mesurer par la quantité totale d'« effort » ou de « régularisation » appliquée.

Pensez-y comme à un seau d'eau (la mémoire du début).
La cuisson lente (faible taux d'apprentissage) a un tout petit trou dans le seau. L'eau (la mémoire) s'écoule si lentement que même après un long moment, le seau est encore plein.
La cuisson adaptative ou l'ajout de décroissance des poids crée un grand trou. L'eau s'écoule rapidement, et le seau est vide (oublié) rapidement.

5. La Grande Conclusion

Le « biais » ou la « personnalité » d'une IA n'est pas seulement intégré dans son architecture (le pot et la poêle). Il est également façonné par la façon dont le processus d'entraînement gère son point de départ.

Si vous utilisez une recette d'entraînement « oublieuse » (comme Adam ou SGD avec décroissance des poids), l'IA devient robuste. Peu importe si vous commencez avec une graine aléatoire chanceuse ou malchanceuse ; elle apprendra la même bonne solution.
Si vous utilisez une recette « souvenante » (comme le SGD lent sans aide supplémentaire), l'IA est fragile. Un mauvais départ peut ruiner les performances finales, même si l'IA a appris les données d'entraînement parfaitement.

En bref : Le papier prouve que la bonne généralisation (faire de bonnes prédictions sur de nouvelles données) est étroitement liée à la capacité du processus d'entraînement à « oublier » son départ aléatoire. Les mécanismes qui aident une IA à bien généraliser sont exactement les mêmes mécanismes qui la font oublier son initialisation.

Résumé technique : « Les réseaux profonds oublient-ils l'initialisation ? Une vue du temps d'oubli du biais inductif pratique »

Énoncé du problème
Les réseaux de neurones modernes sont fortement surparamétrés, ce qui signifie que leur capacité seule ne peut expliquer la généralisation. Bien que le pipeline d'entraînement (architecture, optimiseur, régularisation, etc.) sélectionne une fonction spécifique au sein de la classe d'hypothèses, le rôle des poids initiaux aléatoires dans la détermination du prédicteur final reste ambigu. La littérature existante présente deux points de vue contradictoires :

L'initialisation comme source de biais : Les travaux théoriques suggèrent que les réseaux aléatoires possèdent un « biais de simplicité » inhérent (un a priori sur les fonctions) qui pourrait survivre à l'entraînement et piloter la généralisation.
L'initialisation comme mécanisme d'entraînabilité : L'entraînement pratique à grande échelle traite souvent l'initialisation simplement comme un outil pour stabiliser la propagation du signal et prévenir les gradients explosifs ou disparaissants, en supposant que le prédicteur final est largement indépendant de la graine initiale une fois l'entraînement convergé.

L'article examine une sous-question précise : Dans quelle mesure le prédicteur final sélectionné par un pipeline d'entraînement moderne dépend-il de l'échelle de l'initialisation aléatoire ? Plus spécifiquement, le processus d'entraînement « oublie-t-il » la condition initiale, ou le biais initial persiste-t-il dans la solution finale ?

Méthodologie
Les auteurs mènent une étude empirique contrôlée utilisant des ResNets sur le jeu de données CIFAR-10. Ils introduisent une métrique diagnostique appelée Mémoire d'initialisation, définie comme la dépendance du prédicteur sélectionné par validation vis-à-vis de l'échelle d'initialisation $\sigma_w$ .

Conception expérimentale : Ils balayent l'échelle globale $\sigma_w$ de l'initialisation des noyaux aléatoires tout en maintenant tous les autres facteurs constants (architecture, partition des données, optimiseur, taille de lot, calendrier du taux d'apprentissage et horizon d'entraînement).
Métriques :
- Dispersion de la précision de test : La différence entre la meilleure et la pire précision de test à travers différentes valeurs de $\sigma_w$ au point de contrôle de perte de validation optimale.
- Époque d'interpolation ( $\tau_{interp}$ ) : L'époque où la précision d'entraînement atteint 99,5 %.
- Norme de Frobenius ( $\|W\|_F$ ) : Utilisée pour mesurer la « mémoire radiale » (si la norme des poids finale reste couplée à la norme initiale).
- Écart de réparation : La variation de la précision de validation entre l'interpolation et le point de contrôle final.
Variables : L'étude fait varier les optimiseurs (SGD, SGD avec momentum, Adam, AdamW, Muon), les tailles de lot ( $b \in \{16, 32, 64, 128, 256\}$ ), les échelles d'initialisation ( $\sigma_w \in [0.1, 2.5]$ ), les profondeurs de réseau (ResNet-9, 56, 110) et la régularisation explicite (décroissance de poids L2).
Cadre théorique : Les auteurs emploient l'analyse de l'erreur rétroactive pour interpréter les optimiseurs discrets comme des flux de gradient sur des objectifs modifiés. Ils proposent des « échelles de temps d'oubli » basées sur la force accumulée des mécanismes de régularisation plutôt que sur de simples comptes d'époques.

Résultats clés

Dépendance à l'optimiseur :
- SGD se souvient : Sous de faibles taux d'apprentissage, le SGD vanilla conserve une forte mémoire d'initialisation. Sur ResNet-9 avec une taille de lot $b=128$ , la précision de test varie de 26,5 points de pourcentage à travers les échelles d'initialisation, malgré l'atteinte d'une précision d'entraînement $\ge 99,5 \%$ . La norme des poids finale reste couplée à la norme initiale.
- Les méthodes adaptatives oublient : Adam, AdamW et Muon effacent largement la dépendance à l'échelle d'initialisation. Dans les mêmes conditions, leur dispersion de précision de test est minimale (par exemple, ~4,0 points de pourcentage pour Muon). Ils convergent vers une échelle de norme finale commune quelle que soit l'échelle initiale.
Dépendance aux hyperparamètres :
- Le temps d'entraînement est insuffisant : Prolonger le SGD à faible taux d'apprentissage jusqu'à 5 000 époques ne réduit pas significativement la dispersion d'initialisation ; la mémoire persiste.
- Régularisation et taux d'apprentissage : Le SGD peut être amené à oublier l'initialisation si la recette d'entraînement inclut des taux d'apprentissage plus élevés ou une régularisation L2 explicite (décroissance de poids). Par exemple, l'ajout d'une décroissance L2 avec $\eta=10^{-2}$ réduit la dispersion à près de zéro.
- Taille de lot : Des tailles de lot plus grandes ralentissent le processus d'oubli pour le SGD, augmentant la dispersion.
Profondeur et architecture :
- Dans les réseaux plus profonds (ResNet-56, ResNet-110), une mauvaise dynamique d'oubli se manifeste différemment : au lieu de simplement interpoler avec une mauvaise généralisation, les réseaux échouent souvent à bien s'entraîner (échec à interpoler) à de grandes échelles d'initialisation.
Échelles de temps d'oubli :
Les auteurs identifient que l'oubli est régi par des « horloges » cumulatives plutôt que par le nombre d'époques :
- $T_{SGD} = \frac{1}{b} \sum \eta_k^2$ : L'échelle de temps pour les effets stochastiques à pas fini (bruit des mini-lots). Le SGD à faible LR possède une $T_{SGD}$ minuscule, conduisant au maintien de la mémoire.
- $T_{L2} = \lambda \sum \eta_k$ : L'échelle de temps pour la décroissance de norme explicite.
- $T_{adapt} = \sum \eta_k$ : L'échelle de temps pour la préconditionnement adaptatif.
  Les méthodes adaptatives opèrent à l'échelle $T_{adapt}$ , qui est significativement plus grande (oubli plus rapide) que l'échelle $T_{SGD}$ du SGD à faible LR.

Signification et affirmations
L'article affirme que le « biais inductif pratique » d'un réseau entraîné n'est pas uniquement l'a priori architectural présent à l'initialisation, mais plutôt l'a priori architectural filtré par les dynamiques d'oubli du pipeline d'entraînement.

Résolution du paradoxe : Les auteurs résolvent la contradiction apparente entre les théories du biais de simplicité et la stabilité pratique de l'entraînement. Ils soutiennent que les mécanismes qui améliorent la généralisation (par exemple, la décroissance de poids, les optimiseurs adaptatifs, les taux d'apprentissage plus élevés) sont précisément ceux qui effacent la mémoire de l'initialisation.
Rôle de l'initialisation : Dans les pipelines d'entraînement modernes riches en régularisation, l'initialisation sert principalement d'outil d'entraînabilité (stabilisant l'optimisation, permettant la profondeur) plutôt que d'une source persistante de biais inductif. Le « rasoir d'Occam » qui compte en pratique est imposé par les régularisateurs accumulés le long de la trajectoire, et non par la carte des paramètres initiale.
Limites : Les auteurs reconnaissent que leurs résultats sont basés sur des ResNets avec BatchNorm sur CIFAR-10. Les expressions d'échelle de temps proposées sont des principes organisateurs dérivés d'arguments linéaires et invariants d'échelle, et non des théorèmes universels pour les réseaux non linéaires avec BatchNorm. Cependant, la hiérarchie empirique observée (SGD se souvient, les méthodes adaptatives oublient, la régularisation efface la mémoire) s'aligne sur ces horloges théoriques.

En résumé, l'article démontre que les réseaux profonds n'oublient pas automatiquement l'initialisation ; ils ne l'oublient que lorsque les dynamiques d'entraînement spécifiques (stochasticité, adaptativité ou régularisation explicite) fournissent un « temps d'oubli » suffisant pour écraser les biais géométriques initiaux.