Technische Samenvatting: Fisher Rank Inflatie: Een Spectrale Signatuur van Memorisatie onder Labelruis

Probleemstelling

Diepe neurale netwerken die getraind worden met labelruis vertonen een specifiek leerpad: ze leren eerst gestructureerde patronen die gedeeld worden door schone voorbeelden, en memoriseren vervolgens gecorrumpeerde labels die de onderliggende datadistributie tegenspreken. Terwijl bestaand onderzoek uitgebreid heeft gekarakteriseerd wanneer memorisatie optreedt met behulp van metrieken zoals trainings-/testverlies, voorspellingsdynamiek of representatiegeometrie, bestaat er een gat in het begrip van hoe gecorrumpeerde voorbeelden de spectrale structuur van trainingsgradiënten hervormen tijdens deze transitie. Specifiek blijft het globale geometrische perspectief op hoe de gradiëntcovariantie evolueert wanneer het netwerk verschuift van het leren van structuren naar memorisatie, onderbelicht.

Methodologie

De auteurs stellen een spectrale analyse voor van de gecentreerde Fisher-gradiënt spreidingsmatrix afgeleid van de last-layer gradiënten van per-voorbeeld trainingssamples.

Kerndefinities

• Gecentreerde Fisher-gradiënt spreiding ($S$): Laat $g_i$ de gevectoriseerde gradiënt van de laatste affine laag zijn voor voorbeeld $i$. De auteurs definiëren de gecentreerde gradiënt $\bar{g}_i = g_i - \mu$, waarbij $\mu$ de gemiddelde gradiënt is. De spreidingsmatrix is $S = \sum \bar{g}_i \bar{g}_i^\top$.
• Effectieve Rang: Het paper maakt gebruik van de entropische effectieve rang, gedefinieerd als $er(S) = \exp(H(S))$, waarbij $H(S)$ de spectrale entropie van de genormaliseerde eigenwaarden van $S$ is. Deze metriek kwantificeert het aantal effectieve richtingen waarin de gradiëntvariantie is verdeeld.
• Leave-One-Out (LOO) Attributie: Om te identificeren welke voorbeelden rangveranderingen drijven, definiëren de auteurs $\Delta_i = er(S) - er(S_{-i})$, waarbij $S_{-i}$ de spreidingsmatrix is die wordt berekend na het verwijderen van voorbeeld $i$ en het hercentreren. Een positieve $\Delta_i$ geeft aan dat het voorbeeld bijdraagt aan ranginflatie.

Theoretisch Kader

De auteurs ontwikkelen een spectrale theorie om drie empirische observaties te verklaren:

1. Ranginflatie: Labelcorruptie verhoogt de effectieve rang van de gradiëntcovariantie.
2. Gecorrumpeerde Verrijking: Gecorrumpeerde samples dragen meer bij aan ranginflatie dan schone samples.
3. Signaalverzwakking: Het attributiesignaal neemt af nadat de memorisatie voltooid is.

De theorie stelt dat gecorrumpeerde labels covariantie-massa injecteren in laag-energetische of voorheen ongebruikte eigenrichtingen van de Fisher-gradiënt spreiding. Dit verhoogt de spectrale entropie, waardoor de effectieve rang wordt opgeblazen. De auteurs leiden een first-order LOO-attributieformule af die laat zien dat voorbeelden met gradiënten die uitgelijnd zijn met "rangverhogende" eigenrichtingen (waar de spectrale sensitiviteitscoëfficiënt $\beta_k > 0$ is) het meest bijdragen aan inflatie. Ze bewijzen verder dat zodra het genormaliseerde gradiëntspectrum stabiliseert (post-memorizatie), individuele attributiesignalen verdwijnen.

Experimentele Opzet

Het fenomeen wordt geëvalueerd over:

• Datasets: CIFAR-10, CIFAR-100 (met synthetische symmetrische labelcorruptie), en CIFAR-10N (met natuurlijk voorkomende menselijke annotatiefouten).
• Architecturen: SmallCNN, ResNet18, en Vision Transformers (ViT).
• Protocol: Training wordt gemonitord om het "piek-rang epoch" te identificeren (waar de effectieve rang wordt gemaximaliseerd). Op dit controlepunt worden LOO-bijdragen berekend om de sample-niveau verrijking te analyseren.

Belangrijkste Bijdragen

1. Identificatie van Fisher Rang Inflatie: Het paper identificeert een transiënte expansie van de Fisher-gradiënt effectieve rang die specifiek optreedt tijdens de memorisatiefase van training onder labelruis, gevolgd door een collaps zodra gecorrumpeerde labels zijn gefit.
2. Verklaring van het Spectrale Mechanisme: De auteurs bieden een theoretische afleiding die laat zien dat gecorrumpeerde labels de effectieve rang opblazen door spectrale massa te verspreiden in zwakke of nieuwe eigenrichtingen, wat de spectrale entropie verhoogt.
3. Attributie op Sample-niveau: Een first-order LOO-attributiekader wordt afgeleid, wat de voorwaarden vaststelt waaronder gecorrumpeerde voorbeelden grotere rangbijdragen vertonen dan schone voorbeelden. De theorie verklaart dat dit signaal verzwakt post-memorizatie vanwege de stabilisatie van het genormaliseerde spectrum.
4. Empirische Validatie: Het fenomeen wordt gevalideerd over meerdere architecturen en datasets, inclusief natuurlijk voorkomende menselijke fouten, wat aantoont dat Fisher Rang Inflatie een robuuste spectrale signatuur is van memorisatie in plaats van een artefact van synthetische ruisgeneratie.

Experimentele Resultaten

• Inflatie-Collaps Traject: In alle settings vertoont de Fisher effectieve rang een consistente traject: het stijgt tijdens de vroege training, piekt tijdens de transitie naar memorisatie, en stort in naarmate de training voortduurt.
• Gecorrumpeerde Voorbeeld Verrijking: Op het piek-rang controlepunt zijn gecorrumpeerde voorbeelden onevenredig vertegenwoordigd onder de hoogste rang-bijdragende samples.
  • Synthetische Ruis: In de top-100 rang-bijdragers varieert het aandeel ruisige labels van 69,2% (ViT op CIFAR-10) tot 96,2% (SmallCNN op CIFAR-10).
  • Menselijke Ruis: Op CIFAR-10N (natuurlijke menselijke fouten) vormen gecorrumpeerde voorbeelden 94,4% van de top-100 bijdragers, ondanks dat ze slechts ~40% van de dataset beslaan.
• Afhankelijkheid van Ernst: De magnitude van de piek Fisher effectieve rang neemt monotoon toe met de ernst van de corruptie. Onder schone training is de piek rang ~28,9, stijgend naar 97,1 bij 60% corruptie.
• Timing: In verschillende settings gaat de aanloop naar Fisher Rang Inflatie vooraf aan observeerbare testdegradatie, wat suggereert dat het de aanvang van memorisatie vastlegt voordat generalisatiefalen duidelijk zichtbaar wordt.
• Verschillen in Architectuur: Hoewel het fenomeen universeel is, varieert de sterkte van het attributiesignaal. Convolutionele modellen (SmallCNN, ResNet) vertonen een sterke uitlijning tussen first-order spectrale attributie en exacte LOO-bijdragen (Spearman correlatie > 0,96), terwijl Vision Transformers een zwakker signaal laten zien, wat suggereert dat hogere-orde effecten prominenter kunnen zijn in transformers.

Betekenis en Claims

Het paper claimt Fisher Rang Inflatie te hebben gevestigd als een duidelijke spectrale signatuur van memorisatie onder labelruis. De betekenis ligt in:

• Verbinding van Dynamiek met Geometrie: Het koppelt de dynamiek van het last-layer Fisher-gradiënt spectrum aan het specifieke proces van het fitten van gecorrumpeerde labels, en biedt hiermee een geometrisch perspectief dat loss-gebaseerde analyses aanvult.
• Onderscheid tussen Moeilijkheidsgraad en Corruptie: Door middel van een "clean-difficulty control" experiment tonen de auteurs aan dat Fisher Rang Inflatie wordt gedreven door gememoriseerde labelcorruptie en niet simpelweg door "moeilijke" of zeldzame schone voorbeelden (die een verwaarloosbare rangbijdrage laten zien).
• Robuustheid tegen de Bron van Ruis: De persistentie van het fenomeen onder natuurlijk voorkomende menselijke annotatiefouten (CIFAR-10N) suggereert dat het mechanisme een fundamenteel aspect vangt van hoe diepe netwerken inconsistente supervisie verwerken, in plaats van een artefact te zijn van specifieke synthetische ruismodellen.
• Beperkingen: De auteurs merken bescheiden op dat Fisher Rang Inflatie een spectrale signatuur van memorisatie is, en niet noodzakelijkerwijs een universele online stopregel of een generieke noisy-label detector met perfecte globale scheidingsprestaties (AUROC-waarden zijn bescheiden, bijv. ~0,6–0,8). De theoretische resultaten zijn lokale spectrale verklaringen bij vaste controlepunten, en de first-order attributie-approximatie is minder nauwkeurig voor modellen met een hogere capaciteit zoals ViT en CIFAR-100.