Technische Samenvatting: Hoe Data Augmentatie Neuronale Representaties Vormgeeft

Probleemstelling

Hoewel data augmentatie (DA) een hoeksteen is voor het verbeteren van generalisatie in diepe neurale netwerken, blijven de specifieke mechanismen waarmee verschillende augmentatiestrategieën de geometrie van geleerde interne representaties veranderen, slecht begrepen. Huidige praktijken vertrouwen vaak op heuristieken of op prestaties gebaseerde zoekopdrachten om augmentatie-hyperparameters (zoals sterkte, waarschijnlijkheid, ruimtelijke uitgestrektheid) af te stemmen. Echter, kunnen verschillende combinaties van deze hyperparameters bijna identieke taaknauwkeurigheid opleveren, wat suggereert dat standaard prestatiemetrieken betekenisvolle verschillen in hoe modellen leren data te representeren, verdoezelen.

De auteurs stellen enkele kernvragen:

1. Verplaatsen DA-methoden representaties langs goed gedefinieerde trajecten naarmate hyperparameters variëren?
2. Vormen verschillende augmentatietypes (bijvoorbeeld rotatie versus bijsnijden) verborgen laagberekeningen op fundamenteel verschillende manieren, of zijn hun effecten redundant?
3. Kan de geometrische diversiteit van representaties de functionele winst voorspellen die wordt bereikt bij het ensemble van modellen die met verschillende augmentaties zijn getraind?
4. Hoe vergelijken door augmentatie veroorzaakte veranderingen qua omvang met variabiliteit die wordt geïntroduceerd door willekeurige gewichtsinitialisatie?

Methodologie

Het artikel stelt een geometrisch kader voor om neuronale representaties te analyseren door ze te embedden in een Riemanniaanse vormruimte. Deze benadering behandelt activatiepatronen van verborgen lagen als puntenwolken (landmerken) in een hoogdimensionale ruimte en analyseert hun geometrie onafhankelijk van willekeurige lineaire transformaties.

1. Riemanniaanse Vormafstand

Om representaties $X^A_\ell$ en $X^B_\ell$ van twee netwerken (getraind met verschillende DA-strategieën of hyperparameters) te vergelijken op een set van $M$ schone proefafbeeldingen, definiëren de auteurs een afstandsmetriek die invariant is voor translatie, schaling, rotatie en reflectie.

• Voorverwerking: Neuronale responsen worden gecentreerd en herschaald naar een eenheidsnorm om "voor-vormen" ($Z_i$) te vormen.
• Uitlijning: De afstand wordt berekend door de optimale orthogonale transformatie $O \in O(N)$ te vinden die de voor-vormen uitlijnt.
• Metriek: De Riemanniaanse vormafstand $\rho(X_i, X_j)$ wordt gedefinieerd als de geodetische afstand op de voor-vorm hypersfeer:
  $$\rho(X_i, X_j) = \arccos\left( \sup_{O \in O(N)} \text{Tr}[Z_j^\top Z_i O] \right)$$
  Deze metriek behandelt twee representaties als equivalent als hun puntenwolken kunnen worden samengevoegd via stijve transformaties en schaling, wat impliceert dat ze dezelfde lineair decodeerbare informatie dragen.

2. Trajectanalyse

Het kader conceptualiseert geleidelijke veranderingen in augmentatiesterkte als beweging langs gladde paden (geodeten) op het vormmanifold.

• Geodetische Hoeken: De hoek tussen twee trajecten die uitgaan van een referentievorm (geen augmentatie) wordt berekend met behulp van raakvector in het vormmanifold. Dit kwantificeert de directionele gelijkenis van hoe verschillende augmentaties representaties herschikken.
• Landmerkverplaatsing: De auteurs analyseren de specifieke verplaatsingsvectoren ($\Delta z_\mu$) van individuele proefafbeeldingen (landmerken) tussen uitgelijnde representaties. Dit onthult welke specifieke invoer het meest wordt vervormd door een gegeven augmentatie en hoe deze vervormingen variëren tussen netwerklagen.

3. Experimentele Opstelling

• Modellen: ResNet-18 en Vision Transformers (ViT).
• Dataset: CIFAR-10 (met ImageNet-finetuningvoorbeelden in de appendix).
• Augmentaties: Een spectrum van methoden, waaronder Gaussisch ruis, Patch Gaussian (CutOut-achtig), rotatie, schuiven, kleurjitter, grijstinten en willekeurig bijsnijden, toegepast met variërende magnitudes.
• Evaluatie: Representaties werden verzameld uit verborgen lagen (bijvoorbeeld laag 2, avgpool) voor 10.000 schone testafbeeldingen.

Belangrijkste Resultaten

1. Gestructureerde Trajecten in Vormruimte

De auteurs demonstreren dat het verhogen van de augmentatiesterkte representaties stuurt langs goed gedragende, gestructureerde trajecten in vormruimte, maar niet in naïeve Euclidische ruimte.

• Noodzaak van Uitlijning: Zonder orthogonale uitlijning tonen afstandsmatrices en MDS-PCA-visualisaties geen coherente organisatie ten opzichte van augmentatieparameters. Met uitlijning ontstaan duidelijke, gladde trajecten waarbij afstand correleert met augmentatiemagnitude.
• Voorspelbaarheid: Lineaire regressiemodellen kunnen augmentatie-hyperparameters (bijvoorbeeld ruisstandaardafwijking $\sigma$, patchgrootte $C$) nauwkeurig voorspellen vanuit de uitgelijnde vormrepresentaties van schone afbeeldingen, wat bevestigt dat representaties systematisch zijn georganiseerd met betrekking tot DA-parameters.

2. Omvang van Verandering: DA versus Willekeurige Zaad

De studie vergelijkt de schaal van door DA veroorzaakte representatieverandering met de variabiliteit veroorzaakt door verschillende willekeurige zaden.

• Natuurlijke Eenheden: Door $D_{aug}$ (afstand door DA) en $D_{seed}$ (afstand door zaad) te definiëren, identificeren de auteurs een overgangspunt. Voor kleine augmentatiesterktes geldt $D_{aug} \approx D_{seed}$. Naarmate de sterkte toeneemt (bijvoorbeeld ruisstandaardafwijking $s > 0.2$), divergeert $D_{aug}$ en overtreft het $D_{seed}$. Dit biedt een schaal van "natuurlijke eenheden" om te bepalen wanneer DA-effecten onderscheidbaar worden van initialisatieruis.

3. Geometrische Diversiteit Voorspelt Ensemblewinst

Verschillende augmentatietypes produceren onderscheiden trajecten in vormruimte.

• Onderscheiden Richtingen: Warmtekaarten van geodetische hoeken tussen trajecten van verschillende DA-types (bijvoorbeeld rotatie versus ruis) tonen aan dat ze representaties in niet-redundante richtingen verplaatsen.
• Ensemblecorrelatie: Er is een sterke positieve correlatie tussen de geodetische hoek tussen twee augmentatietrajecten en de nauwkeurigheidswinst die wordt bereikt door het ensemble van modellen die met die respectievelijke augmentaties zijn getraind. Modellen die met geometrisch diverse representaties zijn getraind (grote hoeken) leveren grotere ensembleverbeteringen op.

4. Laagafhankelijke Landmerkverplaatsingen

Analyse van landmerkverplaatsingen onthult dat DA-effecten niet uniform zijn over het netwerk.

• Lagspecificiteit: In vroege lagen (bijvoorbeeld laag 2 van ResNet-18) correleren maximaal verplaatste landmerken met laag-niveau afbeeldingskenmerken (bijvoorbeeld diagonale randen, heldere achtergronden). In diepere lagen (bijvoorbeeld avgpool) zijn deze patronen minder duidelijk en zijn verplaatsingen lager dimensionaal.
• Mechanisme: Dit suggereert dat DA representaties herschikt via laag-specifieke mechanismen, waarbij kenmerken van specifieke afbeeldings subsets worden gedempt of versterkt, afhankelijk van het augmentatietype en de netwerkdiepte.

Betekenis en Claims

Het artikel claimt een geprincipiseerd hulpmiddel te bieden voor het begrijpen en vergelijken van data-augmentatiemethoden door de lens van representatiegeometrie.

• Voorbij Nauwkeurigheid: De auteurs betogen dat prestat metrieken alleen onvoldoende zijn om te onderscheiden tussen trainingsprotocollen die vergelijkbare nauwkeurigheid opleveren maar verschillende interne representaties. Vormruimte-analyse onthult deze verborgen verschillen.
• Unificerend Kader: Het kader biedt een gemeenschappelijke taal om modellen te vergelijken die zijn getraind met verschillende hyperparameters, architecturen of initialisatiezaden, met behulp van tools uit de differentiaalmeetkunde.
• Praktische Nut: De bevindingen suggereren dat het analyseren van vormruimtetrajecten kan leiden tot:
  • Zoekopdracht naar Hyperparameters: Het identificeren van regimes waar DA-effecten significant zijn.
  • Ensembleconstructie: Het selecteren van augmentatiestrategieën die geometrische diversiteit maximaliseren om ensembleprestaties te verbeteren.
  • Interpreteerbaarheid: Het begrijpen hoe specifieke augmentaties representaties laag-voor-laag vervormen via analyse van landmerkverplaatsing.

De auteurs beperken hun scope expliciet tot beeldclassificatie, klassieke DA-methoden en post-hoc-analyse van vaste proefafbeeldingen, en merken op dat het uitbreiden hiervan naar geleerde augmentatiebeleid of trainingsdynamiek toekomstig werk is. Ze erkennen ook de rekenkundige kosten van Riemanniaanse vormafstand voor hoogdimensionale representaties, wat in de praktijk dimensiereductie noodzakelijk maakt.