Technische Samenvatting: Random Label Prediction Heads voor het bestuderen van memorisatie in diepe neurale netwerken

Probleemstelling

Moderne deep learning-modellen worden gekenmerkt door extreme overparameterisatie, waardoor ze gevoelig zijn voor overfitting. Hoewel strategieën zoals data-augmentatie en expliciete regularisatie bestaan, richten deze zich vaak op praktische generalisatieproblemen zonder diep inzicht te bieden in de mechanismen van overfitting. Recente bevindingen (bijv. Zhang et al., 2021) tonen aan dat state-of-the-art modellen datasets met willekeurig toegewezen labels perfect kunnen fitten, wat wijst op een capaciteit om samplespecifieke, taakonrelevante informatie te memoriseren.

Er bestaat een kritische kloof in het begrip van hoe deze memorisatie interageert met real-world taken. De traditionele theorie koppelt overfitting vaak aan memorisatie, waarbij wordt aangenomen dat dit inherent schadelijk is. Echter, fenomenen zoals "double descent" en observaties met betrekking tot long-tailed distributies suggereren een meer genuanceerde relatie. Bovendien ontbreken bestaande methoden een mechanisme om memorisatie expliciet te meten en te moduleren tijdens standaard training zonder de prestaties van de primaire taak te veranderen.

Methodologie

De auteurs stellen een hybride aanpak voor waarbij Random Label Prediction Heads (RLP-heads) worden gebruikt om memorisatie te onderzoeken en te regulariseren.

1. Architectuur en Mechanisme

• RLP-Head: Een auxiliary (hulp-) voorspellingskop wordt parallel aan de standaard classificatiekop aan de feature extractor bevestigd (meestal na de voorlaatste laag, hoewel het op willekeurige dieptes geplaatst kan worden).
• Random Labels: Elk trainingsmonster krijgt aan het begin van de training een vast, willekeurig label toegewezen. Deze labels zijn onafhankelijk van de ware klassenlabels.
• Trainingsdynamiek:
  • De RLP-head wordt getraind om deze willekeurige labels te voorspellen met behulp van een standaard cross-entropy loss ($L_{rnd}$).
  • Alleen de RLP-head ontvangt gradiënten van $L_{rnd}$; de hoofdclassificatiekop blijft onveranderd door het willekeurige label-doel.
  • Interpretatie: De nauwkeurigheid van de RLP-head in het voorspellen van willekeurige labels dient als een empirische schatting van de Rademacher-complexiteit van het model. Een hoge nauwkeurigheid bij willekeurige labels geeft aan dat het netwerk voldoende capaciteit heeft om willekeurige patronen te memoriseren, wat een hoge modelcomplexiteit weerspiegelt.

2. Regularisatiestrategie

Om memorisatie actief te controleren, introduceren de auteurs een memorization regularizer ($L_{reg}$):

• Doel: In plaats van de fout op willekeurige labels te minimaliseren, straft de regularizer de RLP-head voor het correct voorspellen ervan.
• Formulering: $L_{reg} = \log(1 - \hat{p}_{\hat{y}})$, waarbij $\hat{p}_{\hat{y}}$ de voorspelde waarschijnlijkheid van het willekeurige label is. Dit keert de standaard cross-entropy logica om en versterkt de straffen voor zelfverzekerde voorspellingen van willekeurige labels.
• Gradiëntstroom: Gradiënten van $L_{reg}$ worden alleen teruggevoerd naar de feature extractor, niet naar de RLP-head zelf. Dit dwingt de feature extractor om representaties te leren die de RLP-head niet in staat stellen om individuele samples te onderscheiden via willekeurige labels, wat het leren van samplespecifieke features effectief onderdrukt.

Belangrijkste Bijdragen

1. RLP-Heads als Probing Tool: De introductie van RLP-heads als een methode om laag-specifieke memorisatie en modelcomplexiteit empirisch te meten zonder het volledige netwerk opnieuw te trainen op willekeurige labels.
2. Validatie van de Metriek: De demonstratie dat de nauwkeurigheid van willekeurige labels correleert met gevestigde complexiteitsregularisaties (Dropout, Weight Decay, Label Smoothing) en dient als een geldige proxy voor Rademacher-complexiteit.
3. Nieuwe Regularisatietechniek: Een methode om memorisatie expliciet te beperken door de prestaties van de RLP-head te bestraffen, waardoor de capaciteit van de feature extractor om samplespecifieke informatie te coderen wordt gemoduleerd.
4. Herwaardering van de Rol van Memorisatie: Empirisch bewijs dat de aanname dat memorisatie altijd schadelijk is uitdaagt, waarbij wordt aangetoond dat het de generalisatie ofwel kan hinderen of faciliteren, afhankelijk van de dataset-sampling.

Experimentele Resultaten

1. Memorisatie-dynamiek

• Laag-specifieke Analyse: In Vision Transformers (ViT) getraind op ImageNet neemt de nauwkeurigheid van willekeurige labels toe met de netwerkdiepte. Vroege lagen vertonen een bijna nul-nauwkeurigheid, terwijl diepere lagen ongeveer 70% bereiken, wat aangeeft dat memorisatie plaatsvindt in de geabstraheerde feature-representaties.
• Temporele Evolutie: De nauwkeurigheid van willekeurige labels stijgt licht voordat de divergentie tussen training- en test-nauwkeurigheid optreedt, wat suggereert dat memorisatie vroeg in het trainingsproces begint.

2. Impact van Regularisatie op Generalisatie

Het effect van het onderdrukken van memorisatie varieert aanzienlijk per dataset en model:

• ImageNet (ViT-B/32): RLP-regularisatie slaagt erin de nauwkeurigheid van willekeurige labels (memorisatie) te verminderen. Dit leidt tot een afname van de trainingsnauwkeurigheid, maar een significante toename van de testnauwkeurigheid (tot +1,5%), waardoor de kloof tussen training en test wordt verkleind. Dit komt overeen met de klassieke theorie waar memorisatie de generalisatie schaadt.
• CIFAR-100 (WideResNet-16-4): RLP-regularisatie vermindert de memorisatie, maar verslechtert de testnauwkeurigheid, zelfs bij kleine regularisatiefactoren. De trainingsnauwkeurigheid blijft stabiel. Dit spreekt de klassieke visie tegen dat minder memorisatie altijd leidt tot betere generalisatie.

3. De Rol van Dataset-sampling

De auteurs hypothetiseren dat de dubbelzinnige rol van memorisatie wordt gedreven door sampling-effecten:

• Voldoende Gesamplede Distributies (bijv. ImageNet): Het onderdrukken van memorisatie dwingt het model om gedeelde, klasse-niveau features te leren, wat de generalisatie verbetert.
• Ondergesamplede Distributies (bijv. CIFAR-100, Long-tail): In regio's met weinig samples is het memoriseren van specifieke instanties noodzakelijk om de ware datadistributie te vangen. Het onderdrukken hiervan dwingt het model om te vertrouwen op spookachtige gedeelde features of artefacten van onvoldoende sampling, wat de generalisatie schaadt.
• Bewijs:
  • Op ImageNet-subsets verbetert de regularizer de testnauwkeurigheid alleen wanneer grote fracties van de data beschikbaar zijn.
  • Op long-tailed datasets (ImageNet-LT) voorkomt het remmen van memorisatie de correcte voorspelling van zeldzame klassen.
  • Toevoegen van labelruis: In dit scenario is memorisatie puur nadelig. De regularizer verbetert consequent de testprestaties, wat bevestigt dat wanneer memorisatie geen distributioneel doel dient, het de generalisatie hindert.

4. Verschuiving van Memorisatie

Wanneer RLP-regularisatie alleen op de laatste laag wordt toegepast, wordt memorisatie niet geëlimineerd maar verschoven naar eerdere lagen. Het netwerk transformeert samplespecifieke features naar klasse-relevante informatie in eerdere lagen om de regularizer te omzeilen. Het toepassen van regularisatie over alle lagen onderdrukt deze verschuiving, maar leidt niet noodzakelijkerwijs tot verbeterde testnauwkeurigheid, wat suggereert dat een zekere mate van vroege-laag memorisatie gunstig kan zijn.

Betekenis en Claims

Het artikel beweert een gecontroleerd framework te bieden voor het bestuderen en moduleren van memorisatie in diepe neurale netwerken. Door de nauwkeurigheid van willekeurige labels te interpreteren als een empirische proxy voor de Rademacher-complexiteit, bieden de auteurs een directe maatstaf voor modelcapaciteit en sample-niveau memorisatie.

De primaire betekenis ligt in het uitdagen van de traditionele gelijkstelling van overfitting en memorisatie. De auteurs stellen dat memorisatie niet inherent nadelig is; in plaats daarvan hangt de impact ervan op generalisatie af van de vraag of de dataset voldoende gesampled is. In ondergesamplede regimes kan het memoriseren van specifieke voorbeelden de enige manier zijn om te generaliseren naar ongeziene data uit dezelfde distributie.

Het werk suggereert dat RLP-heads en de afgeleide regularizer effectieve instrumenten zijn voor:

• Het diagnosticeren waar en wanneer memorisatie plaatsvindt binnen een netwerk.
• Het expliciet verminderen van memorisatie om de generalisatie te verbeteren in goed gesamplede omgevingen.
• Het begrijpen van de trade-offs in scenario's waarin dataschaarste memorisatie een noodzakelijk onderdeel van het leren maakt.

De auteurs concluderen dat deze bevindingen nieuwe hypothesen vereisen om de schijnbaar tegenstrijdige resultaten van memorisatie in moderne deep learning te verzoenen, waarbij zij verder gaan dan de binaire visie van memorisatie als louter een bron van fouten.