💻 computer science

CNN Regularization and Model Capacity: An Empirical Investigation of L1, L2, and Dropout in Hand Sign Image Classification

Deze empirische studie toont aan dat bij de classificatie van afbeeldingen van handgebaren het vergroten van de CNN-capaciteit geen betere prestaties garandeert en dat dropout-regularisatie, met name bij architectuurafhankelijke ratio's, aanzienlijk beter presteert dan L1- en L2-straffen, waarbij een middelgroot model de hoogste nauwkeurigheid van 96,66% bereikte.

Oorspronkelijke auteurs: Chaitanya Patil

Gepubliceerd 2026-08-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chaitanya Patil

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van computer vision leren machines te zien. Dit doen ze door digitale hersenen te gebruiken die convolutionele neurale netwerken worden genoemd, die zijn ontworpen om patronen in afbeeldingen te herkennen, net zoals menselijke ogen en hersenen dat doen. Deze systemen zijn ongelooflijk krachtig en in staat om alles te identificeren, van verkeersborden tot medische scans. Er zit echter een addertje onder het gras. Wanneer deze digitale hersenen te groot en complex worden, kunnen ze beginnen met het memoriseren van de specifieke voorbeelden die ze te zien krijgen, in plaats van de algemene regels te leren over hoe een object te herkennen. Dit staat bekend als overfitting. Stel je een student voor die de antwoorden op een specifieke oefentoets uit het hoofd leert, maar faalt voor het echte examen omdat hij niet in staat is wat hij heeft geleerd toe te passen op nieuwe vragen. Om dit te voorkomen, gebruiken wetenschappers technieken die regularisatie worden genoemd. Dit zijn methoden die het leerproces voorzichtig beperken, waardoor het systeem wordt gedwongen om simpelere, robuustere patronen te vinden die werken op data die het nog nooit eerder heeft gezien. De vraag die onderzoekers hebben gesteld, is of het groter maken van het digitale brein altijd helpt, of dat er een 'sweet spot' bestaat waar de grootte van het brein en de sterkte van de beperkingen het beste samenwerken.

Een onderzoeker aan het Indian Institute of Technology Kharagpur zette zich in om deze vraag te beantwoorden door een reeks digitale hersenen te bouwen om handgebaren te herkennen. De taak was om een computer te leren onderscheid te maken tussen zes verschillende handgebaren, die elk een getal van één tot zes vertegenwoordigen. De onderzoeker creëerde drie versies van hetzelfde computer vision-systeem, elk met een ander niveau van capaciteit. De eerste was een klein systeem, de tweede was middelgroot, en de derde was groot. Het enige verschil tussen hen was het aantal interne verbindingen dat ze bezaten; het grote systeem had veel meer paden waar informatie doorheen kon reizen dan het kleine systeem. Het doel was om te zien of het simpelweg toevoegen van meer verbindingen het systeem slimmer zou maken, of dat het alleen maar vatbaarder zou worden voor het memoriseren van de trainingsdata.

De experimenten begonnen met een verrassende ontdekking. Wanneer de systemen werden achtergelaten om te leren zonder enige beperkingen, presteerde het middelgrote systeem het best. Het identificeerde de handgebaren in de testafbeeldingen ongeveer 91,67 procent van de tijd correct. Het grote systeem, ondanks dat het de meeste capaciteit had om te leren, presteerde slechter en behaalde slechts ongeveer 83,33 procent nauwkeurigheid. Dit gebeurde omdat het grote systeem zo krachtig was dat het de specifie{ke} details van de trainingsafbeeldingen memoriseerde, inclusief willekeurige ruis, in plaats van de ware vorm van de handgebaren te leren. Het was als een student die de oefentoets zo hard bestudeerde dat hij de exacte volgorde van de vragen onthield, maar de onderliggende concepten niet begreep. Het middelgrote systeem, met minder verbindingen, werd gedwongen een evenwicht te vinden door de essentiële kenmerken te leren zonder afgeleid te worden door de ruis.

Om deze resultaten te verbeteren, paste de onderzoeker verschillende technieken toe om de systemen te stoppen met overfitten. Eén methode hield in dat er een straf werd toegevoegd voor het hebben van grote interne gewichten, wat vergelijkbaar is met het aanmoedigen van het systeem om zijn interne instellingen simpel te houden. Een andere methode hield in dat er tijdens de training willekeurig delen van het systeem werden uitgeschakeld, waardoor het gedwongen werd om op verschillende paden te vertrouwen om het probleem op te lossen. Deze techniek, bekend als dropout, bleek het meest effectieve hulpmiddel te zijn. Wanneer het werd toegepast op het middelgrote systeem, dreef het de nauwkeurigheid omhoog naar 96,66 procent, de hoogste score die in de hele studie werd behaald.

De studie onthulde ook dat de beste manier om deze hulpmiddelen te gebruiken afhangt van de grootte van het systeem. Voor het kleine systeem werkte een milde hoeveelheid willekeurig uitschakelen goed. Voor het middelgrote systeem was een matige hoeveelheid het beste. Maar voor het grote systeem, dat de meeste capaciteit had om te memoriseren, vonden de onderzoekers dat een sterkere dosis willekeurig uitschakelen nodig was om goede resultaten te behalen. Dit suggereert dat grotere systemen sterkere beperkingen nodig hebben om te voorkomen dat ze de trainingsdata memoriseren. De onderzoeker testte ook het combineren van verschillende methoden, maar stelde vast dat het simpelweg stapelen ervan het systeem niet automatisch beter maakte. Sterker nog, de beste resultaten kwamen voort uit het gebruik van één enkele, goed afgestelde methode in plaats van een complexe mix.

De bevindingen werden gecontroleerd op betrouwbaarheid door de experimenten meerdere keren uit te voeren met verschillende startcondities, en de belangrijkste resultaten hielden stand. De studie concludeert dat het bouwen van een groter computer vision-systeem geen betere prestaties garandeert. In plaats daarvan moet de grootte van het systeem worden afgestemd op de juiste hoeveelheid beperking. Een middelgroot systeem met de juiste balans aan beperkingen kan een veel groter systeem overtreffen. Dit werk biedt een duidelijke, praktische gids voor hoe je deze digitale hersenen kunt afstemmen, en laat zien dat in de zoektocht naar kunstmatige intelligentie soms minder meer is, en dat de sterkte van de regels net zo belangrijk is als de grootte van het brein.

Technische Samenvatting: CNN-regularisatie en Modelcapaciteit

Probleemstelling
Convolutionele Neurale Netwerken (CNN's) zijn krachtige instrumenten voor beeldclassificatie, maar worden geconfronteerd met aanzienlijke uitdagingen op het gebied van generalisatie wanneer de modelcapaciteit hoog is in verhouding tot de omvang van de trainingsdataset. Modellen met een hoge capaciteit neigen vaak naar het memoriseren van trainingsvoorbeelden in plaats van het leren van generaliseerbare patronen, wat leidt tot overfitting. Hoewel regularisatietechnieken zoals L1-penalisatie, L2-weight decay en dropout standaardmethoden zijn om overfitting te beperken, blijft de specifieke interactie tussen modelcapaciteit en de effectiviteit van deze strategieën een actief onderzoeksgebied. Het is onduidelijk of grotere modellen proportioneel sterkere regularisatie vereisen of dat kleinere modellen baat hebben bij zwakkere beperkingen om onderfitting te voorkomen.

Methodologie
Deze studie presenteert een systematische empirische onderzoek naar een zes-klasse handtekenen beeldclassificatietaak. Het onderzoek maakt gebruik van een gecontroleerd experimenteel kader met de volgende componenten:

Dataset: Een publiekelijk beschikbare dataset van 1.080 trainingsafbeeldingen en 120 testafbeeldingen (64×64×3 RGB) die handtekens 1 tot en met 6 vertegenwoordigen. Afbeeldingen werden genormaliseerd door pixelwaarden te delen door 255,0, en labels werden one-hot gecodeerd.
Architectuur: Drie CNN-architecturen werden ontworpen met een identieke diepte maar variërende breedte (capaciteit):
- Small (Klein): 16 → 32 → 64 filters/units.
- Medium (Middel): 32 → 64 → 128 filters/units.
- Large (Groot): 64 → 128 → 256 filters/units.
  Alle modellen maakten gebruik van twee convolutionele lagen (3×3 kernels, ReLU, 2×2 max pooling), een volledig verbonden laag (fully connected layer) en een outputlaag met softmax.
Trainingsconfiguratie: Modellen werden getraind met de Adam-optimizer (leersnelheid 0,001) voor 1.000 iteraties met He Normal initialisatie. De primaire verliesfunctie was cross-entropy.
Regularisatiestrategieën: De studie evalueerde:
- L1-regularisatie: Coëfficiënten ( $\lambda_1$ ) van 0,001, 0,01 en 0,05.
- L2-regularisatie: Coëfficiënten ( $\lambda_2$ ) van 0,1, 0,3, 0,6, 1,0 en 2,0.
- Dropout: Rates van 0,1, 0,3 en 0,5 toegepast op de eerste volledig verbonden laag.
- Gecombineerde L1+L2: Gelijktijdige toepassing met $\lambda_1=0,05$ en $\lambda_2=0,6$ .
Evaluatie: Primaire metrieken waren testnauwkeurigheid en trainingsnauwkeurigheid. Experimenten werden primair uitgevoerd met random seed 42, waarbij reproduceerbaarheidstoetsen werden uitgevoerd met seeds 1137 en 2024.

Belangrijkste Resultaten
De experimenten leverden verschillende duidelijke bevindingen op met betrekking tot de wisselwerking tussen capaciteit en regularisatie:

Capaciteit vs. Prestaties: Het vergroten van de modelcapaciteit leidde niet automatisch tot een verbeterde testnauwkeurigheid. Het ongeconditioneerde Medium model behaalde de hoogste baseline nauwkeurigheid (91,67%), waarmee het het Large model (83,33%) en het Small model (84,16%) versloeg. Het Large model behaalde 100% trainingsnauwkeurigheid maar slaagde er niet in te generaliseren, wat suggereert dat het ruis heeft gememoriseerd.
Effectiviteit van Dropout: Dropout produceerde de sterkste prestaties over alle configuraties heen. De optimale dropout rate verschoof naar sterkere regularisatie naarmate de modelcapaciteit toenam:
- Small Model: Beste prestaties bij 0,1 of 0,3 (90,83%).
- Medium Model: Beste prestaties bij 0,3, wat de piek nauwkeurigheid van de studie bereikte van 96,66%.
- Large Model: Beste prestaties bij 0,5 (95,00%).
L1- en L2-gevoeligheid:
- L2: Matige regularisatie ( $\lambda_2=0,1$ ) verbeterde het Medium model naar 95,00%, maar de prestaties verslechterden aanzienlijk bij hoge sterktes ( $\lambda_2=2,0$ ), wat wijst op over-regularisatie.
- L1: Toonde architectuurafhankelijke gevoeligheid. Voor het Small model verbeterde sterkere L1 ( $\lambda_1=0,05$ ) de nauwkeurigheid naar 91,66%, terwijl het Large model het best presteerde met de zwakste L1 ( $\lambda_1=0,001$ ).
Gecombineerde Regularisatie: De combinatie van L1 en L2 presteerde niet beter dan de sterkste individuele regularisaties, met een gemiddelde testnauwkeurigheid van 87,50% voor het Medium model.
Reproduceerbaarheid: Geselecteerde controles bevestigden de stabiliteit van de belangrijkste bevindingen, hoewel er enige variatie werd waargenomen (bijv. het Medium model met dropout 0,3 daalde van 96,66% naar 93,34% onder seed 1137).

Betekenis en Claims
Het artikel positioneert zichzelf als een verkennende empirische studie in plaats van een bron van universele theorie. De primaire bijdragen zijn:

Het bieden van een gecontroleerde vergelijking van regularisatiestrategieën over drie verschillende capaciteitsniveaus binnen één architectuurfamilie.
Het aantonen dat modelcapaciteit alleen geen voorspeller is voor generalisatieprestaties; een middelgroot model kan een groter model overtreffen als de laatste vatbaar is voor overfitting zonder passende beperkingen.
Het vaststellen van een empirische trend waarbij grotere modellen profiteren van sterkere dropout rates, wat aansluit bij de intuïtie dat een hogere capaciteit meer agressieve regularisatie vereist om co-adaptatie te voorkomen.
Het benadrukken dat regularisatiemethoden niet noodzakelijkerwijs lineair componeren, aangezien de gecombineerde L1+L2 aanpak de individuele methoden niet heeft overtroffen.

De auteur stelt expliciet dat deze conclusies beperkt zijn tot de specifieke architecturen, datasets, hyperparameters en condities die zijn onderzocht. Er wordt niet beweerd dat er een universele schaalwet voor regularisatie wordt geboden, maar er worden empirische observaties gedaan om toekomstig onderzoek naar de interacties tussen capaciteit en regularisatie te informeren.

Meer zoals dit