Improving neural networks by preventing co-adaptation of feature detectors

Het introduceren van 'dropout', een techniek waarbij willekeurig de helft van de neurale detectors tijdens het trainen wordt uitgeschakeld, voorkomt overfitting door complexe co-aanpassingen te onderdrukken en leidt tot aanzienlijke verbeteringen in spraak- en objectherkenning.

De kern

De Kunst van het Vergeten: Hoe je een slimme computer dwingt om slimmer te worden

Stel je voor dat je een groep studenten voorbereidt op een heel moeilijk examen. Je hebt een kleine klas (weinig trainingsdata) en je wilt dat ze het examen halen (goed presteren op nieuwe, onbekende vragen).

Als je deze studenten gewoon alles laat studeren, gebeuren er twee dingen:

1. Ze leren de antwoorden van de oefenexamens uit hun hoofd.
2. Ze beginnen te "knoopen" met elkaar. Student A zegt: "Ik weet het antwoord alleen als Student B ook zijn hand opsteekt." Student B zegt: "Ik weet het alleen als Student C een knipoog geeft."

Dit noemen we overfitting (of in het Nederlands: te specifiek leren). Ze zijn zo goed in het samenwerken op deze specifieke oefenexamens, dat ze faals op het echte examen waar die specifieke knipoogjes niet zijn. Ze hebben zich te veel op elkaar afgestemd (co-adaptatie).

De Oplossing: Het "Dropout"-Spel

De auteurs van dit paper (waaronder de legendarische Geoffrey Hinton) bedachten een slimme truc om dit te voorkomen. Ze noemen het Dropout.

Stel je voor dat je tijdens het studeren elke dag willekeurig de helft van de studenten uit de klas laat vertrekken.

• Soms is Student B weg. Dan moet Student A het antwoord toch vinden, zonder op B te kunnen rekenen.
• Soms is Student C weg. Dan moet Student B een andere manier vinden om het antwoord te vinden.

Door dit te doen, leren de studenten niet om op elkaar te vertrouwen, maar leren ze onafhankelijke, sterke vaardigheden. Ze leren een concept zo goed dat ze het kunnen uitleggen, zelfs als hun beste vrienden er niet zijn.

In het paper wordt dit toegepast op neuronale netwerken (computerhersenen). Tijdens het trainen worden willekeurig de helft van de "neuronen" (de kleine rekenunits) tijdelijk uitgeschakeld.

• Het resultaat: Het netwerk kan niet meer "knoopen" met specifieke groepjes neuronen. Elke neuron moet een nuttige eigenschap leren die in elke situatie werkt.
• De metafoor: Het is alsof je een orkest laat repeteren waarbij elke dag willekeurig de helft van de muzikanten weg is. De overgebleven musici moeten dan zo goed spelen dat ze het stuk toch perfect kunnen uitvoeren, zonder te wachten op de anderen.

Waarom werkt dit zo goed?

1. Het is een superkrachtige "Ensemble":
   Normaal gesproken zou je om een goede voorspelling te krijgen, honderden verschillende netwerken moeten trainen en hun antwoorden middelen. Dat is extreem duur en langzaam.
   Met Dropout train je in feite duizenden verschillende netwerken tegelijk, allemaal in één enkel netwerk. Omdat ze allemaal dezelfde gewichten delen, is het snel. Bij het testen (het examen) doe je alsof alle studenten weer terug zijn, maar je past hun "stemkracht" iets aan. Het is alsof je de gemiddelde mening van al die duizenden mogelijke netwerken neemt.

2. Het voorkomt "slapen" op je lauweren:
   Zonder Dropout zouden de neuronen kunnen "slapen" en wachten tot een ander neuron de zware klus doet. Met Dropout moeten ze allemaal hard werken.

De Bewijzen: Van cijfers tot spraak

De auteurs testten dit op verschillende beroemde puzzels:

• Handgeschreven cijfers (MNIST): Ze verbeterden de score aanzienlijk. Het netwerk werd beter in het herkennen van een "7" of een "3", zelfs als de schrijfstijl anders was.
• Spraakherkenning (TIMIT): Het systeem leerde beter spreken en verstaan, zelfs met een kleine woordenschat.
• Objectherkenning (CIFAR-10 en ImageNet): Dit is het moeilijkste deel. Het gaat om het herkennen van honden, auto's en vogels op foto's.
  • Op de ImageNet-wedstrijd (een soort Olympiade voor beeldherkenning) haalde hun systeem een recordprestatie. Ze konden duizenden objecten herkennen met een veel lagere foutenmarge dan ooit tevoren.

De "Gemiddelde Netwerk"-Truc

Hoe doe je dit op het examen? Je schakelt niemand meer uit. Maar omdat er nu alle neuronen aan staan (terwijl er tijdens het trainen maar de helft aan stond), zou het netwerk te "luid" worden.
De oplossing is simpel: Halveer de uitgangssignalen.
Stel je voor dat je een koor hebt. Tijdens de repetitie zong de helft van de zangers. Nu zingen ze allemaal. Om het volume hetzelfde te houden, zingen ze allemaal een beetje zachter. Dit heet het "gemiddelde netwerk" en het werkt bijna perfect.

Een grappige vergelijking met de natuur

Het paper maakt een mooie vergelijking met evolutie en seks.
Waarom hebben we seks? Volgens de theorie in het paper is het omdat seks genen "opbreekt". Als twee ouders hun genen mengen, worden sets van "samenwerkende genen" verbroken.
Dit zorgt ervoor dat een organisme niet afhankelijk wordt van één specifieke, fragiele combinatie van genen. Het zorgt voor robustheid. Als de omgeving verandert, kan het organisme overleven omdat het op verschillende manieren kan werken.
Dropout doet precies hetzelfde voor computers: het breekt de te sterke afhankelijkheden tussen neuronen, zodat het netwerk robuust wordt en niet faalt als de situatie iets verandert.

Conclusie

Kortom: Dropout is een manier om computers te dwingen om niet te "leren uit het hoofd" of te "knoopen" met specifieke vrienden, maar om echte, robuuste kennis te ontwikkelen. Door willekeurig delen van het brein uit te schakelen tijdens het leren, wordt het eindresultaat veel slimmer en betrouwbaarder. Het is een van de belangrijkste ontdekkingen geweest in de geschiedenis van kunstmatige intelligentie.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Improving neural networks by preventing co-adaptation of feature detectors" van Hinton et al., geschreven in het Nederlands.

Probleemstelling: Overfitting in Neuronale Netwerken

Het paper adresseert het fundamentele probleem van overfitting bij het trainen van grote, vooraanwaartse (feedforward) neurale netwerken op kleine datasets. Wanneer een netwerk met veel verborgen eenheden (hidden units) wordt getraind op een beperkt aantal gelabelde voorbeelden, leert het vaak complexe co-adaptaties tussen feature detectors. Dit betekent dat een specifieke neuron alleen nuttig is in de aanwezigheid van andere specifieke neuronen die samenwerken op de trainingsdata. Hierdoor presteert het netwerk slecht op onafhankelijke testdata, omdat deze specifieke combinaties in de testdata niet voorkomen.

Traditionele methoden om overfitting tegen te gaan, zoals het beperken van de grootte van de gewichten (L2-regularisatie) of het gebruik van generatieve pre-training, zijn vaak onvoldoende of computatief zwaar.

Methodologie: Dropout

De auteurs introduceren Dropout, een eenvoudige maar krachtige regularisatietechniek.

1. Het Mechanisme: Tijdens het trainen van elk voorbeeld wordt elke verborgen eenheid met een waarschijnlijkheid van 0,5 (50%) tijdelijk uit het netwerk verwijderd ("dropped"). Dit betekent dat het netwerk op elk moment een andere, "verdunde" architectuur heeft.
2. Voorkomen van Co-adaptatie: Omdat een neuron niet kan vertrouwen op de aanwezigheid van andere specifieke neuronen, wordt het gedwongen om robuuste features te leren die nuttig zijn in een breed scala aan interne contexten. Het voorkomt dat neuronen zich te sterk op elkaar afstemmen.
3. Model Averaging: Dropout kan worden gezien als een efficiënte manier om model averaging uit te voeren. In plaats van duizenden aparte netwerken te trainen en te middelen (wat computatief onhaalbaar is), traint dropout exponentieel veel verschillende netwerken binnen één enkele training, waarbij ze gewichten delen voor de actieve eenheden.
4. Inferentie (Testtijd): Tijdens het testen wordt het volledige netwerk gebruikt, maar worden de uitgaande gewichten van elke eenheid gehalveerd om te compenseren voor het feit dat er nu twee keer zoveel eenheden actief zijn als tijdens het trainen (waar gemiddeld 50% actief was). Dit "mean network" benadert de geometrische gemiddelde van de voorspellingen van alle mogelijke dropout-netwerken.
5. Training Details:
   • Gebruik van Stochastic Gradient Descent (SGD) op mini-batches.
   • In plaats van een strakke L2-penalty op het totale gewichtsvector, wordt een bovengrens op de L2-norm van de invoergewichten voor elke individuele eenheid gesteld. Als een update deze grens overschrijdt, worden de gewichten genormaliseerd.
   • Dit maakt het mogelijk om te starten met een zeer hoge leersnelheid (learning rate) die langzaam afneemt, wat een grondigere zoektocht in de gewichtsruimte mogelijk maakt.

Belangrijkste Bijdragen

• Concept van Dropout: De introductie van een nieuwe regularisatiemethode die specifiek gericht is op het breken van co-adaptaties in diepe netwerken.
• Efficiëntie: Het tonen aan dat het trainen van een enorm aantal verschillende netwerken (via dropout) computatief haalbaar is en superieur aan het trainen van aparte netwerken.
• Verband met Bagging en Bayesiaanse Methoden: Dropout wordt gepositioneerd als een extreme vorm van "bagging" (waarbij elk model op één voorbeeld wordt getraind) en als een snellere, deterministische benadering van Bayesiaanse model averaging.
• Biologische Analogie: De auteurs trekken een parallel met de evolutiebiologie: net als seksuele reproductie co-adaptatie van genen doorbreekt om robuustheid te creëren, breekt dropout co-adaptatie van neuronen om overfitting te voorkomen.

Resultaten op Benchmark Datasets

Het paper presenteert state-of-the-art resultaten op vier verschillende benchmarks:

1. MNIST (Handgeschreven cijfers):

   • Zonder pre-training of data-augmentatie verbeterde dropout de foutenrate van 160 naar 110 fouten.
   • In combinatie met generatieve pre-training (Deep Belief Nets) werd een record van 77 fouten bereikt (gemiddeld over meerdere runs), wat een verbetering was ten opzichte van de 118 fouten met standaard backpropagation.

2. TIMIT (Spraakherkenning):

   • Op de kern-testset van TIMIT verbeterde dropout de frame-classificatiefout aanzienlijk.
   • De spraakherkenningsfout (phoneme error rate) daalde van 22,7% naar 19,7%, een nieuw record voor methoden zonder gebruik van sprekeridentiteit.

3. CIFAR-10 (Objectherkenning):

   • Voor een dataset van 32x32 kleurafbeeldingen van 10 objectklassen.
   • De foutenrate werd verlaagd van het best gepubliceerde niveau van 18,5% naar 15,6% door dropout toe te passen op de laatste verborgen laag van een CNN-architectuur.

4. ImageNet (Grote Objectherkenning):

   • Een zeer uitdagende dataset met 1000 klassen.
   • Een enkel diep convolutioneel netwerk (CNN) met dropout bereikte een foutenrate van 42,4%, wat een record was op dat moment (ter vergelijking: de winnaar van de 2010 wedstrijd had 47,2%).
   • Dit toonde aan dat dropout zelfs werkt in zeer complexe, grote netwerken.

5. Reuters (Tekstclassificatie):

   • Op een dataset van nieuwsartikelen met 50 klassen verlaagde dropout de foutenrate van 31,05% naar 29,62%.

Significantie en Impact

Dit paper is een mijlpaal in de geschiedenis van het Deep Learning:

• Praktische Toepasbaarheid: Het maakt het trainen van zeer grote netwerken op beperkte data mogelijk zonder dat ze overfitten.
• Simpelheid: De implementatie is triviaal (gewoon een random boolean check toevoegen tijdens de forward pass), maar het effect is enorm.
• Fundamenteel Inzicht: Het verandert het paradigma van hoe we naar neurale netwerken kijken: van het vinden van één perfecte set gewichten naar het trainen van een ensemble van netwerken dat samenwerkt.
• Toekomst: De resultaten op ImageNet en TIMIT legden de basis voor de doorbraak van Deep Learning in de jaren erna. De techniek van dropout is sindsdien een standaardcomponent geworden in bijna alle moderne neurale netwerkarchitecturen.

Kortom, Hinton et al. tonen aan dat het bewust introduceren van "ruis" (door neuronen te verwijderen) tijdens het trainen leidt tot robuustere, generaliseerbaardere en nauwkeurigere modellen.