Restoring Neural Network Plasticity for Faster Transfer Learning

Probleemstelling: Verlies van Neuronale Plastisiteit

Het paper adresseert een onderbelicht probleem binnen transfer learning: het verlies van neuronale plastisiteit. Hoewel het fijnafstemmen (fine-tuning) van modellen die vooraf getraind zijn op ImageNet een standaardpraktijk is in computer vision, kunnen de vooraf getrainde gewichten "verzadigd" raken.

• Oorzaak: Tijdens het vooraf trainen kunnen bepaalde gewichten zeer kleine magnitudes (nabij nul) aannemen. Tijdens backpropagation bij het fijnafstemmen op een nieuwe, vaak atypische taak, resulteren deze gewichten in verwaarloosbare gradiënten.
• Gevolg: Deze gewichten worden effectief inactief en het model kan zijn patronen niet meer aanpassen aan de nieuwe data-distributie. Dit leidt tot een verminderde aanpassingscapaciteit, langzamere convergentie en suboptimale prestaties, vooral wanneer het doeldataset sterk afwijkt van het ImageNet-dataset (bijv. medische beelden of texturen).

Methodologie: Geselecteerde Herinitialisatie van Gewichten

De auteurs stellen een methode voor om plastisiteit te herstellen voordat het fijnafstemmen begint, door een subset van de "inactieve" gewichten te herinitialiseren. De aanpak is gebaseerd op selectieve herinitialisatie en omvat de volgende componenten:

1. Utility Functie (Waardebepaling):

   • In plaats van gradiënten te gebruiken (die onbetrouwbaar zijn aan het begin van fine-tuning), wordt gebruik gemaakt van magnitude-gebaseerde utility. Gewichten met een lage absolute waarde (dicht bij nul) worden geïdentificeerd als minder nuttig of "stagnant".

2. Pruning Functie (Selectie):

   • Er wordt een proportionele pruning toegepast. De auteurs testen drie vaste verhoudingen van te herinitialiseren gewichten: 5%, 10% en 25% van het totale aantal gewichten.

3. Herinitialisatie Functies (Strategie):
   De paper test vier strategieën om de geselecteerde gewichten nieuwe waarden te geven:

   • M (Mean): Herinitialisatie naar het gemiddelde van de vooraf getrainde verdeling (in plaats van de oorspronkelijke initialisatie) om nuttige features te behouden.
   • MN (Mean + Noise): Dezelfde als M, maar met toegevoegde gecontroleerde ruis (normaal verdeeld, geschaald) om generalisatie te bevorderen.
   • NS (Normal Small): Herinitialisatie via een normale verdeling met $\mu=0$ en $\sigma=0.2$ (imitatie van de post-pretraining verdeling).
   • N (Normal Large): Herinitialisatie via een normale verdeling met $\mu=0$ en $\sigma=1$ (grote veranderingen).

Notatie: Experimenten worden aangeduid als $\langle P \rangle \langle RF \rangle$ (bijv. 10 M betekent 10% van de gewichten herinitialiseren met de Mean-strategie).

Experimenteel Setup

• Architecturen: Convolutional Neural Networks (CNNs) zoals SimpleNet en ResNet-50, en Vision Transformers (ViT-B16).
• Datasets: Drie datasets met verschillende domeinen om de impact van domeinverschil te testen:
  • DTD: Textuurbased (zeer verschillend van ImageNet).
  • Brain Tumor: Medische MRI-scans (atypisch, andere modality).
  • Fruit25: Fruitfoto's (semantisch en visueel dichter bij ImageNet).
• Validatie: Elke experiment werd 10 keer herhaald. Statistische significantie werd getoetst met de Mann-Whitney U-test.

Belangrijkste Resultaten

De resultaten tonen aan dat de methode zowel de nauwkeurigheid als de convergentiesnelheid verbetert, afhankelijk van het model en de dataset:

• Algemene Trend: De beste strategieën waren M (Mean) en MN (Mean + Noise). Strategieën met grote veranderingen (N, NS) presteerden vaak slechter.
• SimpleNet (Klein model):
  • Op de DTD-dataset behaalde de 10 M configuratie een significante nauwkeurigheidsstijging van ~2% (p < 0.05).
  • Op de Brain Tumor-dataset was de nauwkeurigheid iets lager dan de baseline, maar de convergentie was aanzienlijk sneller (100 vs 170 epochs).
• ResNet-50 (Dieper CNN):
  • Toonde consistente verbeteringen. Op Fruit25 was er een significante nauwkeurigheidsstijging van ~0,9% (p < 0.05).
  • Op DTD werd de trainingstijd bijna gehalveerd (van ~218 naar ~130 epochs) met minimale verlies aan nauwkeurigheid.
• ViT-B16 (Transformer):
  • Toonde kleine maar consistente verbeteringen in nauwkeurigheid over alle datasets.
  • Op Brain Tumor was er een stijging van ~0,4% in nauwkeurigheid.
• Conclusie Resultaten: Er was geen enkel geval waarin de baseline significant beter presteerde dan de beste plasticiteits-herstellende configuratie. De methode werkt het best op diepere modellen en datasets die sterk afwijken van ImageNet.

Bijdragen en Significatie

De paper levert de volgende bijdragen aan het veld van computer vision en transfer learning:

1. Koppeling Plastisiteit en Transfer Learning: Het paper vestigt de aandacht op het verlies van plastisiteit als een kritieke, maar vaak genegeerde, factor bij transfer learning, vergelijkbaar met problemen in continu leren (continual learning).
2. Efficiënte Methode: De voorgestelde aanpak introduceert verwaarloosbare rekenkundige overhead (geen extra parameters, geen architectuurwijzigingen) en is compatibel met bestaande pipelines.
3. Verbeterde Adaptatie: Door inactieve gewichten te resetten, wordt het model beter in staat om zich aan te passen aan atypische domeinen (zoals medische beelden of texturen) zonder de voordelen van pre-training volledig te verliezen.
4. Praktische Richtlijnen: De auteurs bevelen aan om standaard 10% van de gewichten te herinitialiseren met de Mean-strategie. Voor zeer atypische datasets wordt 5% aanbevolen.

Conclusie:
Deze studie toont aan dat het actief herstellen van neuronale plastisiteit door gerichte herinitialisatie van gewichten een krachtige, lichtgewicht techniek is om de efficiëntie en prestaties van transfer learning te verbeteren, vooral bij complexe modellen en domeinen die sterk afwijken van de brondata.