Do Deep Networks Forget Initialization? A Forgetting-Time View of Practical Inductive Bias

Technische Samenvatting: "Vergeten diepe netwerken initialisatie? Een tijdsbeeld van vergeten voor praktische inductieve bias"

Probleemstelling
Moderne neurale netwerken zijn sterk overgeparameteriseerd, wat betekent dat hun capaciteit alleen generalisatie niet kan verklaren. Hoewel de trainingspiplijn (architectuur, optimizer, regularisatie, enz.) een specifieke functie selecteert uit de hypotheseklasse, blijft de rol van de initiële willekeurige gewichten bij het bepalen van de uiteindelijke predictor onduidelijk. Bestaande literatuur presenteert twee tegenstrijdige visies:

1. Initialisatie als bron van bias: Theoretisch werk suggereert dat willekeurige netwerken een inherente "simpliciteitsbias" bezitten (een prior over functies) die training kan overleven en generalisatie kan aandrijven.
2. Initialisatie als mechanisme voor trainbaarheid: Praktische training op grote schaal behandelt initialisatie vaak slechts als een hulpmiddel om signaalvoortplanting te stabiliseren en exploderende/vanishing gradients te voorkomen, ervan uitgaande dat de uiteindelijke predictor grotendeels onafhankelijk is van de initiële zaadwaarde zodra training convergeert.

Het artikel onderzoekt een precieze subvraag: In welke mate hangt de uiteindelijke predictor, geselecteerd door een moderne trainingspiplijn, af van de schaal van de willekeurige initialisatie? Specifiek: "vergeet" het trainingsproces de initiële conditie, of blijft de initiële bias bestaan in de uiteindelijke oplossing?

Methodologie
De auteurs voeren een gecontroleerde empirische studie uit met ResNets op het CIFAR-10-dataset. Zij introduceren een diagnostische maatstaf genaamd Initialisatiegeheugen, gedefinieerd als de afhankelijkheid van de door validatie geselecteerde predictor van de initialisatieschaal $\sigma_w$.

• Experimenteel ontwerp: Zij variëren de globale schaal $\sigma_w$ van willekeurige kernel-initialisatie, terwijl alle andere factoren (architectuur, dataverdeling, optimizer, batchgrootte, leerplanschema en trainingshorizon) constant worden gehouden.
• Maatstaven:
  • Verspreiding testnauwkeurigheid: Het verschil tussen de beste en slechtste testnauwkeurigheid over verschillende $\sigma_w$-waarden bij het checkpoint met de beste validatieverlies.
  • Interpolatie-epoch ($\tau_{interp}$): De epoch waarop de trainingsnauwkeurigheid 99,5% bereikt.
  • Frobenius-norm ($\|W\|_F$): Gebruikt om "radiaal geheugen" te meten (of de uiteindelijke gewichtsnorm gekoppeld blijft aan de initiële norm).
  • Reparatiekloof: De verandering in validatienauwkeurigheid tussen interpolatie en het uiteindelijke checkpoint.
• Variabelen: De studie varieert optimizers (SGD, SGD met momentum, Adam, AdamW, Muon), batchgroottes ($b \in \{16, 32, 64, 128, 256\}$), initialisatieschalen ($\sigma_w \in [0.1, 2.5]$), netwerkdieptes (ResNet-9, 56, 110) en expliciete regularisatie (L2-gewichtsdecay).
• Theoretisch kader: De auteurs maken gebruik van backward error analysis om discrete optimizers te interpreteren als gradiëntstromen op gewijzigde doelstellingen. Zij stellen "vergetensscales" voor op basis van de opgebouwde sterkte van regularisatiemechanismen, in plaats van eenvoudige epoch-aantallen.

Belangrijkste resultaten

1. Afhankelijkheid van de optimizer:

   • SGD onthoudt: Bij lage leersnelheden behoudt vanilla SGD sterk het initialisatiegeheugen. Op ResNet-9 met batchgrootte $b=128$ varieert de testnauwkeurigheid met 26,5 procentpunten over initialisatieschalen, ondanks het bereiken van $\ge 99,5\%$ trainingsnauwkeurigheid. De uiteindelijke gewichtsnorm blijft gekoppeld aan de initiële norm.
   • Adaptieve methoden vergeten: Adam, AdamW en Muon wissen de afhankelijkheid van de initialisatieschaal grotendeels uit. Onder dezelfde omstandigheden is hun verspreiding in testnauwkeurigheid minimaal (bijv. ~4,0 pp voor Muon). Zij convergeren naar een gemeenschappelijke uiteindelijke normschaal, ongeacht de initiële schaal.

2. Afhankelijkheid van hyperparameters:

   • Trainingsduur is onvoldoende: Het verlengen van SGD met lage leersnelheid tot 5.000 epochs reduceert de initialisatieverspreiding niet significant; het geheugen blijft bestaan.
   • Regularisatie en leersnelheid: SGD kan ertoe worden gebracht initialisatie te vergeten als het trainingsrecept grotere leersnelheden of expliciete L2-regularisatie (gewichtsdecay) bevat. Bijvoorbeeld, het toevoegen van L2-decay met $\eta=10^{-2}$ reduceert de verspreiding tot bijna nul.
   • Batchgrootte: Grotere batchgroottes vertragen het vergetingsproces voor SGD, waardoor de verspreiding toeneemt.

3. Diepte en architectuur:

   • In diepere netwerken (ResNet-56, ResNet-110) manifesteren slechte vergetingsdynamieken zich anders: in plaats van alleen te interpoleren met slechte generalisatie, falen de netwerken vaak om goed te trainen (falen om te interpoleren) bij grote initialisatieschalen.

4. Vergetensscales:
   De auteurs identificeren dat vergeten wordt beheerst door cumulatieve "klokken" in plaats van het aantal epochs:

   • $T_{SGD} = \frac{1}{b} \sum \eta_k^2$: De tijdschaal voor stochastische effecten met eindige stappen (minibatch-ruis). SGD met lage LR heeft een kleine $T_{SGD}$, wat leidt tot geheugenbehoud.
   • $T_{L2} = \lambda \sum \eta_k$: De tijdschaal voor expliciete normdecay.
   • $T_{adapt} = \sum \eta_k$: De tijdschaal voor adaptieve preconditionering.
     Adaptieve methoden werken op de $T_{adapt}$-schaal, die aanzienlijk groter is (sneller vergeten) dan de $T_{SGD}$-schaal van SGD met lage LR.

Betekenis en claims
Het artikel stelt dat de "praktische inductieve bias" van een getraind netwerk niet uitsluitend de architecturale prior is die bij initialisatie aanwezig is, maar eerder de architecturale prior gefilterd door de vergetingsdynamiek van de trainingspiplijn.

• Oplossing van het paradox: De auteurs lossen de schijnbare tegenstrijdigheid op tussen theorieën over simpliciteitsbias en praktische trainingsstabiliteit. Zij betogen dat de mechanismen die generalisatie verbeteren (bijv. gewichtsdecay, adaptieve optimizers, grotere leersnelheden) precies die zijn die het geheugen van initialisatie wissen.
• Rol van initialisatie: In regularisatie-rijke, moderne trainingspiplijnen dient initialisatie primair als een apparaat voor trainbaarheid (stabilisatie van optimalisatie, mogelijk maken van diepte) in plaats van een aanhoudende bron van inductieve bias. Het "Ockhams scheermes" dat in de praktijk telt, wordt opgelegd door de opgebouwde regularisatoren langs de trajecten, niet door de initiële parameterkaart.
• Beperkingen: De auteurs erkennen dat hun bevindingen gebaseerd zijn op BatchNorm ResNets op CIFAR-10. De voorgestelde uitdrukkingen voor tijdschalen zijn organiserende principes afgeleid van lineaire en schaal-invariante argumenten, geen universele theorema's voor niet-lineaire BatchNorm-netwerken. Echter, de empirische hiërarchie die wordt waargenomen (SGD onthoudt, adaptieve methoden vergeten, regularisatie wist geheugen) sluit aan bij deze theoretische klokken.

Kortom, het artikel toont aan dat diepe netwerken initialisatie niet automatisch vergeten; zij vergeten het alleen wanneer de specifieke trainingsdynamiek (stochasticiteit, adaptiviteit of expliciete regularisatie) voldoende "vergetentijd" biedt om de initiële geometrische biases te overschrijven.