How Far Can Sharpness and Complexity Jointly Explain Generalization?

Technische Samenvatting: Hoe ver kunnen scherpte en complexiteit gezamenlijk generalisatie verklaren?

Probleemstelling
Diepe neurale netwerken bereiken vaak een sterke voorspellende prestatie in sterk overgeparameteriseerde regimes, wat een kloof creëert tussen empirisch succes en theoretisch begrip. Klassieke capaciteitsgebaseerde grenzen slagen er niet in uit te leggen waarom deze netwerken goed generaliseren op gestructureerde data, terwijl ze gemakkelijk willekeurige labels kunnen fitten. Recente literatuur heeft geïdentificeerd dat scherpte (gevoeligheid voor perturbaties) en complexiteit (omvang of informatiegehalte van het model) twee centrale factoren zijn voor generalisatie, maar hun gezamenlijke verklarende kracht blijft grotendeels onverkend. Bestaande kwantitatieve evaluaties hebben generalisatiewaarden vaak behandeld als individuele scalaire voorspellers, waarbij scherpte en complexiteit vaak worden gecombineerd tot een enkele scalaire waarde via voorgeschreven functionele vormen. Deze aanpak laat de vraag open hoeveel van de generalisatie kan worden verklaard door het paar factoren $(S, C)$ zonder zich te committeren aan een specifieke combinatie, en of fouten in de voorspelling voortkomen uit het twee-factorenraamwerk zelf of uit inadequate definitie van de metrieken.

Methodologie
De auteurs maken gebruik van een empirische en conceptuele analyse om de verklarende reikwijdte van het scherpte-complexiteitsperspectief te onderzoeken over diverse architecturen en datasets heen.

1. Evaluatiekaders:

   • Lineaire Regressie: De auteurs passen een lineair model $Gap = \beta_0 + \beta_S S + \beta_C C + \epsilon$ toe om het voorspellende vermogen van metriekparen te evalueren. Ze rapporteren $R^2$ en de tekens van de coëfficiënten.
   • Pareto-analyse (Pareto Contradiction Rate - PCR): Om aannames over lineariteit te vermijden, introduceren de auteurs een niet-parametrische evaluatietool. Ze controleren of de ordening geïnduceerd door $(S, C)$-metrieken overeenkomt met de ordening van de generalisatiekloof (generalization gap). Een "kandidaat-paar" bestaat uit twee modellen waarbij het ene model zowel een lagere scherpte als een lagere complexiteit heeft. Een "tegenstrijdig paar" treedt op als het model met lagere $(S, C)$ een slechtere generalisatiekloof heeft. De PCR is de ratio van tegenstrijdige paren tot kandidaat-paren. Een lage PCR duidt op een sterke overeenkomst met de monotone relatie die door het twee-factorenperspectief wordt verwacht.

2. Definities van Metrieken:

   • Parameterspecifieke Baselines: De studie evalueert bestaande schaalinvariante metrieken, specifiek Adaptive SAM (adapS) voor scherpte en Path Norm voor complexiteit. Deze worden vergeleken met niet-invariante baselines zoals de Hessian-trace en de $\ell_2$-gewichtsnorm.
   • Functie-georiënteerde Metrieken: Om de ambiguïteit van parametrisatie aan te pakken (waarbij verschillende parameters dezelfde functie opleveren), stellen de auteurs metrieken voor die dichter bij de functieruimte zijn gedefinieerd:
     • Bayes Scherpte (bayesS): Gedefinieerd als de genormaliseerde posterieure gemiddelde toename van de loss. Het gebruikt een adaptieve posterieur $Q$ met een covariantie proportioneel aan de parameter-magnitudes om schaalinvariantie te garanderen, waarbij de werkelijke verandering in de loss wordt gemeten door gesamplede voorspellers in plaats van te vertrouwen op Hessian-benaderingen.
     • Functionele KL-divergentie (func norm): Een complexiteitsmetriek afgeleid van de PAC-Bayes theorie. Het berekent de KL-divergentie tussen de prior- en posterieurverdelingen nadat de parameter-samples naar hun geïnduceerde functie-outputs op een referentiedataset zijn gemapt. Dit meet de afwijking in voorspellend gedrag in plaats van ruwe parameterwaarden.

3. Experimentele Omvang:
   De evaluatie omvat normalisatie-uitgeruste architecturen (ResNet, VGG, WideResNet), normalisatie-uitgeschakelde varianten (no-BN) en Vision Transformers (ViT). Cruciaal is dat de studie "Mixed" instellingen bevat waarbij modellen van verschillende architecturen en datasets (CIFAR-10 en CIFAR-100) worden samengevoegd om de vergelijkbaarheid tussen architecturen en datasets te testen.

Belangrijkste Bijdragen

• Analyse van Gezamenlijke Verklarende Kracht: Het artikel biedt de eerste grootschalige kwantitatieve evaluatie van hoe goed scherpte en complexiteit gezamenlijk generalisatie verklaren, waarbij verder wordt gekeken dan enkelvoudige scalaire maten.
• Methodologische Innovatie: De introductie van Pareto-analyse (PCR) als een complementair instrument voor lineaire regressie maakt het mogelijk om het twee-factorenperspectief te beoordelen zonder een specifieke functionele vorm (lineair of anders) tussen $(S, C)$ en de generalisatiekloof aan te nemen.
• Functie-georiënteerde Metrieken: De voorstel van Bayes Scherpte en Functionele KL-divergentie biedt realisaties van scherpte en complexiteit die minder afhankelijk zijn van ruwe parameterrepresentaties. Dit adresseert het probleem van parametrisatie-ambiguïteit, met name in architecturen met skip-verbindingen of normalisatielagen.
• Diagnostische Inzichten: De studie maakt onderscheid tussen fouten veroorzaakt door inadequate metriekdefinities en potentiële intrinsieke beperkingen van het twee-factorenraamwerk.

Resultaten

• Beperkingen van Parameter-niveau Metrieken: Bestaande schaalinvariante baselines (bijv. adapS + path norm) presteren redelijk goed op normalisatie-uitgeruste netwerken (bijv. ResNet18, WideResNet), maar verliezen aanzienlijk aan verklarende kracht wanneer normalisatie wordt verwijderd (bijv. no-BN ResNet18) of wanneer modellen worden samengevoegd over verschillende architecturen. In deze gevallen daalt de regressie $R^2$, worden coëfficiënten negatief en stijgt de PCR (wat wijst op frequente tegenstrijdigheden).
• Succes van Functie-georiënteerde Metrieken: Het voorgestelde functie-georiënteerde paar $(bayesS, func norm)$ breidt de verklarende reikwijdte aanzienlijk uit.
  • Het herstelt een hoge $R^2$ en een lage PCR in settings zonder normalisatie waar parameter-niveau metrieken falen (bijv. no-BN ResNet18: $R^2$ verbetert van 0,07 naar 0,83; PCR daalt van 77,8% naar 1,2%).
  • Het behoudt het voorspellende vermogen in cross-architectuur en cross-dataset gemengde settings, wat suggereert dat deze metrieken een stabielere basis bieden voor vergelijking dan parameter-niveau metrieken.
• Blijvende Falingen: De functie-georiënteerde metrieken falen om een volledige verklaring te bieden voor Vision Transformers (ViT), met name in standaard settings waar de test-losses extreem hoog zijn. In deze regimes levert het twee-factorenperspectief een hoge PCR en negatieve coëfficiënten op. De auteurs suggereren dat dit kan komen door het feit dat de metrieken niet volledig op functieniveau zijn (Bayes scherpte vertrouwt nog steeds op perturbaties in de parameterrum) of omdat deze modellen opereren buiten het betekenisvolle generalisatieregime waar PAC-Bayes grenzen zwak zijn.
• Onvoldoende van Enkele Factor: Analyse van een enkele factor bevestigt dat noch scherpte, noch complexiteit alleen voldoende is om generalisatie te verklaren, wat het belang van het twee-factorenperspectief ondersteunt.

Betekenis en Claims
Het artikel beweert dat het scherpte-complexiteitperspectief een informatief venster is voor het begrijpen van generalisatie in diverse settings, maar claimt niet een volledige theorie te zijn.

• Verfijning van het Perspectief: De resultaten suggereren dat veel schijnbare mislukkingen van het twee-factorenperspectief te wijten zijn aan de beperkingen in metriekdefinities (specifiek de afhankelijkheid van parameter-niveau representaties) in plaats van aan intrinsieke gebreken in het raamwerk zelf. Door te bewegen naar functie-georiënteerde definities, kan de verklarende reikwijdte aanzienlijk worden uitgebreid.
• Open Vragen: De resterende mislukkingen (bijv. in ViT) geven aan dat de huidige realisaties nog niet compleet zijn. De auteurs postuleren twee mogelijkheden: ofwel er zijn betere, volledig functie-niveau definities van scherpte en complexiteit nodig om de reikwijdte verder uit te breiden, ofwel het twee-factorenraamwerk is intrinsiek incompleet en vereist aanvullende factoren naast $(S, C)$ om generalisatie volledig te verklaren.
• Praktisch Nut: Metrieken met een sterk verklarend vermogen kunnen dienen als diagnostische instrumenten voor modelvergelijking, hyperparameterselectie en het ontwerpen van regularisatie-straffen.

Kortom, het werk karakteriseert kwantitatief de grenzen van het scherpte-complexiteitsraamwerk, en toont aan dat hoewel het een krachtig verklarend instrument is, de effectiviteit ervan afhankelijk is van hoe deze factoren worden gerealiseerd en gemeten.