Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

Het paper introduceert Batch Normalization, een techniek die de training van diepe neurale netwerken versnelt en stabiliseert door de interne covariatieverschuiving te verminderen via normalisatie van de laag-invoeren, waardoor hogere leerpercentages mogelijk worden en de noodzaak voor Dropout afneemt.

De kern

Batch Normalization: De "Stabilisator" voor diepe neurale netwerken

Stel je voor dat je een heel diep, complex gebouw bouwt. Dit gebouw is een Neuraal Netwerk, een soort computerhersenen die leert om dingen te herkennen (zoals foto's van katten of auto's).

Het probleem bij het bouwen van zo'n diep gebouw is dit: elke verdieping (laag) in het gebouw krijgt input van de verdieping eronder. Maar terwijl je aan het bouwen bent (het trainen van het netwerk), veranderen de fundamenten van de onderste verdiepingen voortdurend. Hierdoor verandert ook de input voor de verdieping daarboven. En die daarboven weer, en zo verder.

Dit fenomeen noemen de auteurs Internal Covariate Shift. In gewoon Nederlands: de input voor elke verdieping blijft niet stabiel, maar verandert voortdurend terwijl het netwerk leert.

Het probleem: Een dans op een schommelend schip

Stel je voor dat je probeert te dansen op een schommelend schip. Als de vloer onder je voeten elke seconde verschuift, moet je constant je evenwicht zoeken in plaats van je danspasjes te oefenen.

• In het netwerk: Omdat de input voortdurend verandert, moet elke laag van het netwerk zich constant aanpassen aan een nieuwe situatie.
• Het gevolg: Het leren gaat erg traag. Je moet heel voorzichtig zijn met hoe snel je bouwt (een lage learning rate), en je moet heel precies beginnen met de bouwplannen (initiatie). Als je te snel bouwt, stort het hele gebouw in (het netwerk "explodeert" of stopt met leren).

De oplossing: Batch Normalization

De auteurs, Sergey Ioffe en Christian Szegedy, hebben een oplossing bedacht die ze Batch Normalization noemen.

Stel je voor dat je een stabilisator installeert in elk verdieping van je gebouw. Deze stabilisator zorgt ervoor dat, ongeacht hoe de fundamenten eronder bewegen, de vloer van de huidige verdieping altijd perfect vlak en op het juiste niveau blijft.

Hoe werkt dit in de praktijk?

1. Kijk naar een groepje (Batch): In plaats van één voorbeeld tegelijk te bekijken, kijkt het netwerk naar een klein groepje voorbeelden (een "mini-batch").
2. Meten en aanpassen: Voor dat groepje berekent het systeem: "Wat is het gemiddelde? Wat is de spreiding?"
3. Normaal maken: Het systeem schuift en schaalt de data zo, dat het gemiddelde altijd 0 is en de spreiding altijd 1.
4. Opnieuw kalibreren: Vervolgens mag het netwerk de data weer een beetje aanpassen (met parameters genaamd $\gamma$ en $\beta$) zodat het de juiste informatie behoudt.

Waarom is dit zo krachtig? (De voordelen)

1. Je kunt sneller bouwen (Hogere Learning Rates)
Omdat de vloer stabiel blijft, kun je veel sneller bouwen zonder dat het instort. In het verleden moesten bouwers heel voorzichtig zijn. Nu kunnen ze met een veel hogere snelheid werken.

• In de paper: Ze toonden aan dat ze hetzelfde resultaat bereikten in 14 keer minder tijd dan zonder deze techniek.

2. Geen paniek bij het begin (Minder gevoelig voor initialisatie)
Vroeger moest je de bouwplannen (de startwaarden) perfect afstemmen. Nu maakt het minder uit hoe je begint; de stabilisator corrigeert het vanzelf.

3. Het werkt als een "Bodyguard" (Regularisatie)
Normaal gesproken gebruiken ze een trucje genaamd Dropout (waarbij ze willekeurig sommige bouwvakkers tijdelijk wegsturen) om te voorkomen dat het netwerk te specifiek leert (overfitting).
Met Batch Normalization is het netwerk al zo stabiel en "gezond" dat ze vaak geen Dropout meer nodig hebben. Het netwerk leert beter en generaliseert makkelijker naar nieuwe situaties.

4. Het redt "verkeerde" materialen (Saturerende niet-lineariteiten)
Soms gebruiken ze materialen die gevoelig zijn (zoals de 'sigmoid' functie). Deze werken slecht als de input te groot wordt (ze "verzadigen"). Batch Normalization zorgt ervoor dat de input nooit te groot wordt, waardoor zelfs deze gevoelige materialen goed werken.

Het resultaat: Een wereldrecord

De auteurs hebben deze techniek toegepast op een zeer geavanceerd netwerk voor het herkennen van beelden (ImageNet).

• Resultaat: Ze haalden een nauwkeurigheid die beter was dan die van mensen.
• Efficiëntie: Ze bereikten de beste resultaten met slechts een fractie van de rekentijd die eerder nodig was.

Samenvattend in één zin

Batch Normalization is als het installeren van een automatische niveaubalans in een diep gebouw, waardoor je veel sneller kunt bouwen, minder bang hoeft te zijn voor fouten, en het eindresultaat van een hogere kwaliteit is.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift" van Ioffe en Szegedy, in het Nederlands.

Probleemstelling: Interne Covariatenverschuiving (Internal Covariate Shift)

Het trainen van diepe neurale netwerken wordt bemoeilijkt door het fenomeen dat de verdeling van de invoer van elke laag verandert tijdens het trainingsproces. Dit gebeurt omdat de parameters van de voorgaande lagen continu worden aangepast. De auteurs noemen dit Internal Covariate Shift.

Deze verschuiving heeft negatieve gevolgen:

• Vertraagde training: Het netwerk moet continu nieuwe verdelingen aanleren, wat zorgt voor een langzame convergentie.
• Strakke hyperparameters: Het vereist zeer lage leersnelheden (learning rates) en zorgvuldige initialisatie van parameters.
• Problemen met saturatie: Bij niet-lineariteiten zoals de sigmoid-functie kunnen kleine veranderingen in de parameters ertoe leiden dat invoeren in het verzadigde gebied (saturation regime) terechtkomen. Hier is de gradiënt bijna nul, wat leidt tot het "verdwijnen van gradiënten" (vanishing gradients) en een stilstaand trainingsproces.

Hoewel bestaande methoden zoals ReLU, zorgvuldige initialisatie en kleine leersnelheden helpen, blijven deze beperkingen bestaan.

Methodologie: Batch Normalization (BN)

De auteurs introduceren een nieuwe techniek, Batch Normalization, om de interne covariatenverschuiving te verminderen door de invoer van elke laag te normaliseren.

Kernprincipes:

1. Normalisatie per Mini-batch: In plaats van het hele trainingsdataset te gebruiken (wat onpraktisch is voor stochastische gradient descent), wordt de normalisatie uitgevoerd op basis van statistieken van een mini-batch. Voor een activatie $x$ in een mini-batch van grootte $m$ worden het gemiddelde ($\mu_B$) en de variantie ($\sigma^2_B$) berekend.
2. Normalisatiestap: De activaties worden genormaliseerd naar een gemiddelde van 0 en een variantie van 1:
   $$\hat{x}_i = \frac{x_i - \mu_B}{\sqrt{\sigma^2_B + \epsilon}}$$
   waarbij $\epsilon$ een kleine constante is voor numerieke stabiliteit.
3. Schalen en Verschuiven (Affine Transform): Om te voorkomen dat normalisatie de representatiekracht van het netwerk beperkt (bijvoorbeeld door een sigmoid-functie te forceren in het lineaire gebied), worden er twee leerbare parameters per activatie geïntroduceerd: $\gamma$ (schaling) en $\beta$ (verschuiving).
   $$y_i = \gamma \hat{x}_i + \beta$$
   Hierdoor kan het netwerk de oorspronkelijke verdeling herstellen als dat optimaal is, of een andere verdeling leren.

Implementatie in Netwerken:

• Volledig verbonden lagen: BN wordt toegepast op de invoer van de niet-lineariteit (dus na $Wu+b$, maar voor de activatie-functie). De bias-term $b$ kan worden weggelaten omdat deze effect wordt gecompenseerd door de normalisatie en de parameter $\beta$.
• Convolutionele lagen: Voor convolutielagen wordt de normalisatie "convolutioneel" toegepast. Dit betekent dat voor elk feature map, de statistieken worden berekend over alle ruimtelijke locaties en alle voorbeelden in de mini-batch. Er wordt één paar parameters $(\gamma, \beta)$ geleerd per feature map, niet per pixel.

Training vs. Inferentie:

• Training: Gebruikt de statistieken van de huidige mini-batch.
• Inferentie: Omdat de output deterministisch moet zijn en niet afhankelijk mag zijn van de samenstelling van een mini-batch, worden tijdens de inferentie de gemiddelde waarden en varianties gebruikt die zijn berekend over het hele trainingsdataset (vaak via een lopend gemiddelde tijdens het trainen). De normalisatie wordt dan een vaste lineaire transformatie.

Belangrijkste Bijdragen en Voordelen

1. Versnelling van Training: BN stelt het mogelijk om veel hogere leersnelheden te gebruiken zonder dat het model divergeert. De auteurs tonen aan dat netwerken met BN dezelfde nauwkeurigheid bereiken met 14 keer minder trainingsstappen dan de state-of-the-art modellen zonder BN.
2. Minder gevoelig voor Initialisatie: Het netwerk is minder afhankelijk van zorgvuldige initialisatie van de gewichten.
3. Regularisatie-effect: BN werkt als een regularisator. Omdat de normalisatie afhangt van de andere voorbeelden in de mini-batch, voegt het ruis toe aan het trainingsproces. Dit vermindert overfitting, waardoor in veel gevallen Dropout niet meer nodig is of minder sterk kan worden toegepast.
4. Stabilisatie van Gradiënten: BN maakt de gradiëntstroom onafhankelijk van de schaal van de parameters. Dit voorkomt dat kleine veranderingen in parameters leiden tot explosieve of verdwijnende gradiënten. Het helpt ook om het netwerk uit verzadigde gebieden van niet-lineariteiten te houden.
5. Mogelijkheid tot het gebruik van Saturerende Niet-lineariteiten: Dankzij BN kunnen zelfs moeilijk te trainen activeringsfuncties zoals sigmoid effectief worden gebruikt in diepe netwerken.

Resultaten

De auteurs testten hun methode op het ImageNet classificatieprobleem (ILSVRC) met een variant van het Inception-netwerk.

• Single Network: Een enkel BN-Inception-netwerk (BN-x30 variant) bereikte een top-5 validatiefout van 74.8% (dus 25.2% fout) in slechts 6 miljoen stappen. Het oorspronkelijke Inception-netwerk had 31 miljoen stappen nodig om een lagere nauwkeurigheid van 72.2% te bereiken.
• Ensemble: Door een ensemble van 6 BN-netwerken te combineren, werd een top-5 validatiefout van 4.9% en een testfout van 4.82% bereikt.
• Vergelijking met Mensen: Dit resultaat verbetert de best gepubliceerde resultaten op dat moment (o.a. Deep Image ensemble) en overschrijdt de geschatte nauwkeurigheid van menselijke beoordelaars (die rond de 5.1% ligt volgens Russakovsky et al., 2014).

Betekenis en Impact

Deze paper introduceert een fundamentele verbetering in de architectuur van diepe neurale netwerken. Door normalisatie als een integraal onderdeel van het model te maken (in plaats van een externe preprocessing-stap), wordt de training van zeer diepe netwerken aanzienlijk robuuster en sneller.

De impact is enorm:

• Het maakt het trainen van zeer diepe netwerken met hogere leersnelheden haalbaar.
• Het vermindert de noodzaak voor complexe regularisatietechnieken zoals Dropout.
• Het stelt onderzoekers in staat om sneller te experimenteren en betere modellen te bouwen.
• Het resultaat op ImageNet markeerde een mijlpaal waarbij machines voor het eerst systematisch menselijke prestaties in beeldherkenning overtroffen.

Batch Normalization is sindsdien een standaardcomponent geworden in bijna alle moderne deep learning architecturen (zoals ResNet, Transformers, etc.).