Informative Fisher Modes in Neural Networks as a Result of Explicit Symmetry Breaking

In het uitgestrekte landschap van de moderne wetenschap bevindt de studie naar hoe machines leren zich op een kruispunt tussen wiskunde, statistiek en natuurkunde. In de kern ligt een eenvoudige maar diepgaande uitdaging: begrijpen hoe een computer, beginnend met willekeurige gissingen, geleidelijk de regels van een taak ontdekt. Stel je een student voor die probeert een complexe puzzel op te lossen; het pad dat zij afleggen is geen rechte lijn, maar een kronkelende reis door een ruig terrein van mogelijkheden, waarbij sommige paden leiden tot doodlopende wegen en andere naar de oplossing. Wetenschappers weten al lang dat dit terrein wordt gevormd door de structuur van de data en het ontwerp van de machine zelf. Een kernconcept in dit veld is symmetrie, wat in deze context verwijst naar de vele verschillende manieren waarop een machine intern kan worden geconfigureerd terwijl deze nog steeds exact dezelfde output produceert. Net zoals een kubus in de ruimte gedraaid kan worden zonder van vorm te veranderen, kan een neuraal netwerk vaak op talloze manieren worden geherconfigureerd zonder te veranderen wat het doet. Deze symmetrieën creëren "vlakke" richtingen in het leerlandschap, waar de machine kan bewegen zonder de prestaties te verbeteren of te verslechteren. Jarenlang hebben onderzoekers zich afgevraagd of deze symmetrieën de enige organiserende principes waren die in het spel waren, of dat er verborgen regels waren die de specifieke richtingen bepaalden waar echt leren plaatsvindt.

Een team van onderzoekers aan de Universiteit van Potsdam heeft nu een nieuwe laag van organisatie ontdekt die verklaart hoe machines specifieke kenmerken van een taak leren. Ze ontdekten dat leren niet alleen gaat over het interne ontwerp van de machine, maar over hoe de taak zelf de vrijheid van de machine beperkt. Wanneer een machine wordt gevraagd om een specifiek deel van een probleem te leren, verliest het het vermogen om bepaalde interne instellingen te veranderen zonder het resultaat te beïnvloeden. De onderzoekers ontdekten dat dit verlies van vrijheid de sleutel is tot het begrijpen van hoe leerrichtingen ontstaan. Ze toonden aan dat wanneer een machine gedwongen wordt om aan een specifieke vereiste te voldoen, een voorheen vlakke en onbelangrijke richting in zijn interne structuur plotseling "massaief" of stijf wordt. Deze stijfheid is een teken dat de machine dat specifieke kenmerk is gaan leren. Voordat deze beperking wordt toegepast, kon de machine die instelling vrij veranderen; daarna zou elke verandering de oplossing verruineren. Dit proces werkt als een filter, dat onthult welke delen van de interne structuur van de machine daadwerkelijk informatie over de taak dragen.

Om dit te bewijzen, bouwden de wetenschappers een eenvoudig, oplosbaar model van een lerende machine met slechts een paar aanpasbare knoppen. Ze begonnen met een taak die slechts gedeeltelijk gedefinieerd was, waardoor de machine veel manieren had om correct te zijn. In deze staat had de machine veel "contingente symmetrie", wat betekent dat hij zijn interne instellingen op veel manieren kon veranderen zonder de uitkomst van de gedeeltelijke taak te veranderen. De onderzoekers voegden vervolgens een tweede vereiste toe aan de taak. Zodra deze nieuwe vereiste werd opgelegd, werd de symmetrie gebroken. De machine kon zijn interne instellingen niet langer vrij veranderen; één specifieke richting werd rigide. Deze rigiditeit was niet willekeurig; het kwam exact overeen met het nieuwe stukje informatie dat de machine nu werd vereist te leren. De onderzoekers toonden aan dat dit breken van symmetrie een meetbaar signaal creëert: de interne kromming van de machine verandert, en de machine krijgt het vermogen om te onderscheiden tussen verschillende instellingen op basis van de data. Deze bevinding suggereert dat leren een stapsgewijs proces is waarbij elk nieuw stukje informatie een specifieke vrijheid wegneemt, waardoor een vlakke, oninformatieve richting wordt getransformeerd in een steile, informatieve richting.

Het team onderzocht ook hoe dit proces zich afspeelt in complexere, diepe netwerken en hoe het kan worden gedetecteerd in real-world scenario's. Ze ontdekten dat door een standaard controleparameter aan te passen die wordt gebruikt tijdens de training — in essentie een straf voor het hebben van grote interne waarden — ze de machine konden dwingen om kenmerken in een specifieke volgorde te leren. Naarmate ze deze straf versoepelden, leerde de machine eerst de sterkste kenmerken, daarna de volgende sterkste, enzovoort. Dit creëerde een cascade van transities, waarbij de machine bewoog van een staat waarin hij niets wist over de taak naar een staat waarin hij alles wist, waarbij hij door duidelijke fasen ging waarin hij slechts een deelverzameling van de kenmerken kende. Ze toonden ook aan dat het toevoegen van ruis aan de data, vergelijkbaar met statische ruis op een radio, dit leerproces kan vertragen. De machine leert een kenmerk pas zodra het signaal van dat kenmerk sterk genoeg is om boven de ruis uit te komen. Dit stelde hen in staat om een "fasediagram" van leren te maken, dat precies laat zien wanneer en hoe de machine verschillende stukjes kennis verwerft op basis van de sterkte van de data en de striktheid van de trainingsregels.

Wat deze ontdekking zo belangrijk maakt, is dat het een manier biedt om het leerproces te zien zonder de exacte wiskundige symmetrieën van de machine te hoeven kennen. De onderzoekers toonden aan dat deze veranderingen in leerrichtingen duidelijke handtekeningen achterlaten in het gedrag van de machine die direct gemeten kunnen worden. Ze hoeven de verborgen groep symmetrieën niet te kennen om te zien dat een kenmerk is geleerd; ze hoeven alleen te observeren hoe de interne structuur van de machine verstijft als reactie op de data. Deze aanpak biedt een nieuw instrument voor het bestuderen van hoe neurale netwerken leren, waarbij men verder kijkt dan het idee dat leren slechts een chaotische zoektocht door een hoog-dimensionale ruimte is. In plaats daarvan onthult het een gestructureerde hiërarchie waarbij de taak zelf bepaalt in welke volgorde de machine kennis verwerft. Het werk suggereert dat het pad naar leren wordt geplaveid door het breken van deze contingente symmetrieën, waarbij elk nieuw verband een vrije, onbelangrijke richting transformeert in een cruciale, informatie-dragende richting.

De onderzoekers verduidelijkten ook wat er niet gebeurt tijdens dit proces. Ze toonden aan dat niet alle veranderingen in de interne structuur van de machine te wijten zijn aan leren. Sommige richtingen worden stijf simpelweg door de trainingsregels, en niet omdat de machine iets nieuws over de data heeft geleerd. Dit zijn "gauge"-richtingen, die gerelateerd zijn aan de interne redundantie van de machine in plaats van aan de taak zelf. De studie maakte een zorgvuldig onderscheid tussen deze twee soorten stijfheid, om er zeker van te zijn dat de geobserveerde veranderingen werkelijk gekoppeld waren aan de geleerde informatie. Door de effecten van de taak te scheiden van de effecten van de trainingsmethode, gaven de onderzoekers een helderder beeld van wat er daadwerkelijk binnen de machine gebeurt. Ze vonden dat hoewel de machine op veel manieren kan worden geherconfigureerd zonder de output te veranderen, op het moment dat de machine een specifiek kenmerk leert, die vrijheid verloren gaat en de machine vergrendeld raakt in een specifieke configuratie voor dat kenmerk.

Dit begrip heeft implicaties voor hoe we denken over de generalisatie van leren. De studie suggereert dat het vermogen van een machine om te generaliseren naar nieuwe data verbonden is aan de specifieke manier waarop het zijn symmetrieën heeft gebroken om de taak te leren. De onderzoekers beweerden niet alle mysteries van deep learning te hebben opgelost, maar ze hebben wel een concreet mechanisme geleverd voor hoe leerrichtingen ontstaan. Ze toonden aan dat het proces geen enkele, plotselinge gebeurtenis is, maar een sequentie van transities, die elk overeenkomen met de verwerving van een nieuw kenmerk. Deze sequentie wordt beheerst door de wisselwerking tussen de taakeisen en de interne structuur van de machine. De bevindingen werden analytisch gedemonstreerd in eenvoudige modellen en numeriek in diepere netwerken, wat aantoont dat het principe standhoudt over verschillende niveaus van complexiteit.

Het werk benadrukt ook de rol van ruis in het leerproces. De onderzoekers toonden aan dat ruis kan fungeren als een barrière, die de machine verhindert een kenmerk te leren totdat het signaal sterk genoeg is om de ruis te overwinnen. Dit is vergelijkbaar met hoe een radio een sterk signaal nodig heeft om de statische ruis te filteren, maar in dit geval is het "signaal" de informatie over de taak, en de "statische ruis" zijn de willekeurige fluctuaties in de data. De onderzoekers gebruikten dit inzicht om een kaart van het leren te maken, die laat zien hoe het leervermogen van de machine verandert naarmate de ruis en de trainingsstraf variëren. Deze kaart onthult regio's waar de machine niets leert, regio's waar hij alleen de sterkste kenmerken leert, en regio's waar hij alles leert. De grenzen tussen deze regio's zijn scherp en voorspelbaar, wat suggereert dat het leerproces ordelijker is dan voorheen gedacht.

Uiteindelijk biedt de studie een nieuw perspectief op de geometrie van leren. Het beweegt weg van het idee van een statisch landschap en naar een dynamisch proces waarbij het landschap zelf verandert terwijl de machine leert. Het breken van symmetrie is het mechanisme dat deze verandering aandrijft, waarbij vlakke richtingen worden getransformeerd in steile richtingen en het pad naar de oplossing wordt onthuld. De onderzoekers hebben aangetoond dat dit proces meetbaar en voorspelbaar is, wat een manier biedt om het leren van individuele kenmerken te volgen. Hoewel de studie zich richtte op lineaire netwerken en eenvoudige modellen, wordt verwacht dat de principes ook van toepassing zijn op complexere, niet-lineaire systemen. De belangrijkste conclusie is dat leren een proces van beperking is, waarbij de taak zelf de interne structuur van de machine vormgeeft, vrijheden wegneemt en de specifieke richtingen creëert die nodig zijn om het probleem op te lossen. Dit inzicht brengt ons dichter bij het begrijpen van hoe machines leren, niet slechts als een black box, maar als een systeem dat wordt beheerst door duidelijke, observeerbare principes.