An Empirical Study of Data Scale, Model Complexity, and Input Modalities in Visual Generalization

Technische Samenvatting: Een Empirische Studie naar Dataschaal, Modelcomplexiteit en Inputmodaliteiten in Visuele Generalisatie

Probleemstelling
Moderne diepe neurale netwerken vertonen frequent overparameterisatie en behalen sterke prestaties in computer vision, maar de theoretische bronnen van hun generalisatievermogen blijven moeilijk te verklaren met behulp van de traditionele statistische leertheorie. Terwijl klassieke theorieën suggereren dat het vergroten van de modelcomplexiteit voorbij een bepaand punt de generalisatie verslechtert, laten empirische observaties zien dat overgeparameteriseerde modellen vaak hun testprestaties behouden of zelfs verbeteren. Deze studie adresseert het gebrek aan begrip over de specifieke rollen van drie fundamentele, controleerbare variabelen: trainingsdataschaal, modelcomplexiteit en inputmodaliteiten. Het onderzoek streeft ernaar te bepalen hoe deze factoren interageren om de generalisatieprestaties te beïnvloeden, met name in de context van de "black-box"-aard van deep learning.

Methodologie
De studie hanteert een tweefasige empirische aanpak, bewegend van een gecontroleerde laagdimensionale setting naar complexe beeldclassificatietaken.

1. Preliminair Experiment (Synthetische Data):

   • Doel: Het vaststellen van een gecontroleerde baseline voor het observeren van de interactie tussen dataschaal en modelcomplexiteit.
   • Opzet: Een eendimensionale nietlineaire functie $f(x) = \sin(2\pi x) + 0.5 \cos(5\pi x)$ werd geconstrueerd met toegevoegde Gaussische ruis.
   • Variabelen: Modelcomplexiteit werd geproxieerd door de graad van polynomiale fitting ($D \in [0, 100]$). De dataschaal werd gevarieerd tussen kleine ($N=50$) en grote ($N=150$) trainingssets.
   • Metrieken: Trainings-, validatie- en test Mean Squared Error (MSE) werden geanalyseerd om het fittinggedrag en de generalisatietrends te observeren, specifiek kijkend naar "double descent"-fenomenen.

2. Hoofdexperimenten (Beeldclassificatie):

   • Datasets: CIFAR-10 (10 klassen) en CIFAR-100 (100 klassen), beide bestaande uit $32 \times 32$ kleurbeelden.
   • Modellen: Een reeks architecturen werd getest, waaronder een Multi-Layer Perceptron (MLP), AlexNet en een serie ResNet-modellen (ResNet-18, 34, 50, 101, 152).
   • Gecontroleerde Variabelen:
     • Dataschaal: Trainingssets werden gesubsampleerd naar groottes van 5k, 10k, 20k, 30k en 50k met gebruik van een vaste random seed om geneste subsets te waarborgen.
     • Inputmodaliteiten: Experimenten vergeleken baseline RGB-inputs met:
       • Grijswaarden-inputs (kleurinformatie verwijderd).
       • Verbeterde inputs waarbij expliciete priors (gradiënten, randkaarten, wavelet-decompositie) werden geconcateneerd met de originele RGB-kanalen.
   • Restricties: Om de effecten van de doelvariabelen te isoleren, werden expliciete regularisatietechnieken (data-augmentatie, weight decay, Dropout) uitgesloten. Modellen werden getraind met de Adam-optimizer en cross-entropy loss.
   • Metrieken: De primaire metriek was Test Top-1 Accuracy; Test Loss werd gebruikt als een hulpmetriek om overfitting en voorspellingszekerheid te analyseren.

Belangrijkste Resultaten

• Dataschaal vs. Modelcomplexiteit:

  • Het vergroten van de trainingsdataschaal verbeterde consistent de generalisatieprestaties over alle modelarchitecturen en datasets heen.
  • Het vergroten van de modelcomplexiteit (aantal parameters) leverde geen stabiele winst op. In veel gevallen, met name bij kleinere dataschalen of moeilijkere taken (CIFAR-100), presteerden grotere modellen (bijv. ResNet-152) slechter dan hun kleinere tegenhangers (bijv. ResNet-18).
  • Zelfs eenvoudige MLP's bereikten bijna perfecte trainingsnauwkeurigheid, wat een hoge fitting-capaciteit demonstreert, maar hun testprestaties waren significant inferieur aan die van convolutionele netwerken, wat benadrukt dat fitting-vermogen niet gelijkstaat aan generalisatie.
  • In de CIFAR-100 experimenten vertoonden grotere modellen een neiging tot overfitting (toenemende test loss) wanneer data schaars was, terwijl ResNets met residual connections over het algemeen een betere stabiliteit behielden dan MLP's of AlexNet.

• Inputmodaliteiten:

  • Kleurinformatie: Het verwijderen van kleurinformatie (converteren naar grijswaarden) degradeerde de prestaties consistent over alle modellen heen, wat bevestigt dat kleur een kritieke feature is voor CIFAR-classificatie.
  • Expliciete Priors: De introductie van expliciete prior-features (gradiënten, randen, wavelets) leverde inconsistente resultaten op:
    • MLP: Toonde duidelijke verbeteringen met prior-features, wat suggereert dat volledig verbonden netwerken profiteren van aanvullende structurele informatie die ze niet alleen uit ruwe pixels kunnen leren.
    • Convolutionele Netwerken (ResNet): Toonden geen stabiele winst; in verschillende gevallen verslechterden de prestaties. Dit suggereert dat CNN's, vanwege hun inductieve biases (lokale connectiviteit, gewichtsdeling), deze features al kunnen extraheren uit ruwe data, en dat eenvoudige kanaal-concatenatie de nieuwe informatie kan verstoren of niet effectief kan integreren.

Belangrijkste Bijdragen

1. Empirische Isolatie van Factoren: De studie biedt een gecontroleerde empirische analyse die de effecten van dataschaal, modelcomplexiteit en inputmodaliteiten scheidt zonder de verwarrende variabelen van standaard regularisatietechnieken.
2. Validatie van Dataschaal-dominantie: Het versterkt de bevinding dat, in de afwezigheid van regularisatie, het vergroten van de dataschaal een betrouwbaardere methode is voor het verbeteren van generalisatie dan het vergroten van de modelcapaciteit.
3. Architectuur-afhankelijke Inputgevoeligheid: Het onderzoek demonstreert dat de bruikbaarheid van inputmodaliteiten sterk afhankelijk is van de modelarchitectuur. Hoewel expliciete priors modellen helpen die een gebrek aan inductieve bias hebben (MLP's), leveren ze niet noodzakelijkerwijs voordeel op voor modellen met sterke ingebouwde biases (CNN's) wanneer ze via eenvoudige concatenatie worden geïntroduceerd.
4. Observatie van Niet-monotoniciteit: Het preliminair experiment bevestigde dat de relatie tussen modelcomplexiteit en testfout niet-monotoon is (vergelijkbaar met double descent), en dat modellen met hoge complexiteit dichtere dataconstricties vereisen om oscillerend gedrag in de sample gaps te voorkomen.

Betekenis en Claims
Het paper claimt dat het verbeteren van de generalisatieprestaties niet louter een functie is van het opschalen van data, parameters of inputinformatie in isolatie. In plaats daarvan legt het de nadruk op de afstemming tussen modelarchitectuur en datakenmerken.

• Bescheiden Claims: De auteurs stellen expliciet dat hun preliminair experiment een fenomenologische referentie is in plaats van een direct bewijs voor double descent-mechanismen in diepe netwerken.
• Beperkingen: De studie erkent dat conclusies zijn getrokken uit datasets met een lage resolutie (CIFAR) en een enkele random seed, zonder gebruik te maken van standaard trainingsstrategieën zoals data-augmentatie.
• Kerninzicht: De primaire betekenis ligt in de observatie dat "overparameterisatie" niet automatisch betere generalisatie garandeert; in plaats daarvan hangt de effectiviteit van een model af van de vraag of de inductieve bias overeenkomt met de structuur van de data en de aard van de inputinformatie. Voor convolutionele netwerken is het simpelweg toevoegen van meer inputkanalen (priors) onvoldoende; de architectuur moet worden ontworpen om die informatie effectief te benutten.

De studie concludeert dat toekomstig werk zich moet richten op het ontwerpen van modelarchitecturen die beter aansluiten bij datastructuren en het verkennen van meer geavanceerde methoden voor het integreren van voorkennis (bijv. aandachtmechanismen) in plaats van eenvoudige concatenatie.