Activation-Adjacent Layer Normalization: Effects on Approximation Power

Moderne kunstmatige intelligentie steunt op enorme netwerken van eenvoudige wiskundige eenheden, die losjes zijn gemodelleerd naar neuronen, om patronen te herkennen, talen te vertalen en afbeeldingen te genereren. Deze netwerken functioneren door gegevens door lagen te sturen, waarbij elke laag de informatie licht transformeert voordat deze wordt doorgegeven aan de volgende. Een cruciaal onderdeel in dit proces is een mechanisme genaamd normalisatie, dat werkt als een volumeknop die de sterkte van de signalen die door het netwerk stromen aanpast om ze stabiel te houden en te voorkomen dat ze te chaotisch of te zwak worden. Zonder deze aanpassing zou het trainen van deze complexe systemen ongelooflijk moeilijk zijn. Echter, een subtiele vraag blijft in het vakgebied hangen: verandert deze volumeknop het fundamentele verhaal dat het netwerk probeert te vertellen? Specifiek: als u deze normalisatiestap in een netwerk invoegt, beperkt dit dan het vermogen van het netwerk om dezelfde functies te leren en te representeren die het zonder deze middelen had kunnen leren?

Een team onderzoekers van Beihang University in China is met een wiskundige precisie ingesteld om deze vraag te beantwoorden. Ze richtten zich op twee specifieke typen normalisatie die veel worden gebruikt in moderne AI: één die signalen schaalt op basis van hun wortelgemiddelde kwadratische gemiddelde (root mean square), en een andere die ze ook centreert door een gemiddelde waarde af te trekken. De onderzoekers wilden weten of een netwerk dat uitgerust is met deze hulpmiddelen nog steeds in staat is om elke functie te benaderen, of nauwkeurig te imiteren, die een standaard netwerk zonder deze middelen zou kunnen afhandelen. Hun onderzoek onthult dat het antwoord ja is, maar met een specifieke prijs. Om de volledige expressieve kracht van een standaard netwerk te behouden, moet de genormaliseerde versie iets breder zijn. Het is niet voldoende om simpelweg de componenten te vervangen; het netwerk moet een beetje extra ruimte krijgen om te ademen.

De onderzoekers benaderden dit door het netwerk te behandelen als een machine die inputs transformeert naar outputs. Ze stelden zich een standaard netwerk voor met een specifieke breedte, gedefinieerd door het aantal parallelle paden dat het gebruikt om informatie te verwerken. Vervolgens vroegen ze zich af: als we een normalisatiestap invoegen vóór of na de hoofdactivatiefunctie van het netwerk, hoe breder moet het netwerk dan worden om de oorspronkelijke functie perfect te herstellen? Hun bevindingen laten zien dat het antwoord afhangt van het type normalisatie en waar het geplaatst wordt. Voor de methode die alleen schaalt, is het toevoegen van slechts één extra pad genoeg om de oorspronkelijke functie met hoge precisie te herstellen, mits de activatiefunctie van het netwerk zeer grote getallen kan produceren. Als de activatiefunctie beperkter is, moet het netwerk een paar extra paden toevoegen, en de fout neemt af naarmate er meer paden worden toegevoegd.

De situatie wordt iets complexer wanneer de normalisatie de data ook centreert door een gemiddelde af te trekken. Deze extra stap introduceert een tweede type verstoring dat het netwerk moet corrigeren. In dit geval ontdekten de onderzoekers dat het netwerk twee paden breder moet zijn dan het origineel om hetzelfde niveau van precisie te bereiken. Deze extra breedte stelt het netwerk in staat om het effect van het centreren op te vangen zonder het vermogen te verliezen om de doelfunctie te representeren. De studie bewijst dat deze extra paden niet slechts een handige truc zijn, maar wiskundig noodzakelijk zijn in de slechtst denkbare scenario's. Als het netwerk minder breed is dan deze specifieke limieten, zijn er bepaalde functies die het simpelweg niet kan leren, ongeacht hoe het wordt getraind.

Om deze theoretische limieten te verifiëren, voerden de onderzoekers een reeks computerexperimenten uit. Ze namen standaard netwerken en construeerden genormaliseerde versies met behulp van de exacte wiskundige recepten afgeleid uit hun bewijzen, zonder ze op data te trainen. Vervolgens maten ze hoe nauw deze genormaliseerde netwerken het gedrag van de oorspronkelijke versies konden evenaren. De resultaten kwamen exact overeen met hun voorspellingen. Wanneer ze de breedte of de magnitude van de toegevoegde componenten vergrootten, daalde de fout precies met de snelheden die hun formules hadden voorspeld. Ze testten ook een specifiek scenario waarin de activatiefunctie van het netwerk werd verschoven, wat een situatie creëerde waarin een smal genormaliseerd netwerk volledig zou falen. De experimenten bevestigden dat zonder de extra breedte, de output van het netwerk vlak en nutteloos werd, maar zodra de breedte werd vergroot, herstelde het netwerk zijn vermogen om te leren.

Het werk biedt een duidelijke kaart voor het begrijpen van de afruil in het ontwerp van moderne neurale netwerken. Het demonstreert dat normalisatie het vermogen van een netwerk om complexe functies te leren niet vernietigt, maar dat het wel een kleine, voorspelbare toename in de grootte van het netwerk vereist om de veranderingen te compenseren die de normalisatie introduceert. Dit inzicht helpt verklaren waarom succesvolle modellen vaak net iets meer capaciteit hebben dan het strikt noodzakelijke voor hun taken. De onderzoekers toonden aan dat door slechts een paar extra dimensies toe te voegen, een netwerk zijn volledige kracht kan behouden, zelfs terwijl het de stabiliserende hulpmiddelen gebruikt die diep leren mogelijk maken. Hun bevindingen bevestigen dat de architectuur van deze netwerken robuust is, mits de ontwerpers rekening houden met de specifieke geometrische kosten van de gekozen normalisatiestappen.