Complete Identification of Deep ReLU Networks through Łukasiewicz Logic

Deep learning heeft de manier waarop machines zien, spreken en redeneren getransformeerd, maar de innerlijke werking van deze systemen blijft vaak een black box. In het hart van dit mysterie ligt een eenvoudige maar diepzinnige puzzel: twee neurale netwerken kunnen er van binnen totaal verschillend uitzien — het ene kan een brede, ondiepe structuur hebben terwijl het andere smal en diep is, of ze kunnen geheel verschillende getallen gebruiken om hun verbindingen af te stemmen — en toch produceren ze exact hetzelfde resultaat voor elke mogelijke input. Jarenlang wisten wetenschappers dat dit gebeurde, maar zij konden niet volledig verklaren waarom of in kaart brengen op welke manieren dit kon voorkomen. Deze onzekerheid is belangrijk omdat als we niet kunnen onderscheiden wanneer twee modellen werkelijk verschillend zijn, we de landschappen van leren niet volledig kunnen begrijpen, noch kunnen we zeker weten wat een model daadwerkelijk heeft geleerd versus wat slechts een toevalligheid is van het ontwerp. De vraag gaat niet alleen over het tellen van mogelijkheden; het gaat over het vinden van een volledige regelset die beschrijft op elke denkbare manier hoe een machine kan worden geherstructureerd zonder zijn gedrag te veranderen.

Een team onderzoekers aan de ETH Zürich heeft dit probleem nu opgelost voor een specifiek, veelgebruikt type kunstmatige intelligentie dat bekend staat als een ReLU-netwerk. Deze netwerken zijn de werkpaarden van moderne beeldherkenning en vele andere toepassingen, waarbij ze vertrouwen op een eenvoudige wiskundige regel die negatieve waarden naar nul omzet terwijl positieve waarden ongewijzigd blijven. De onderzoekers ontdekten dat de reden dat deze netwerken zo verschillend kunnen zijn maar functioneel identiek, is dat ze worden beheerst door een verborgen reeks logische wetten, vergelijkbaar met de regels van de rekenkunde of de logica van schakelaars in een elektrische schakeling. Door de structuur van het netwerk te vertalen naar een taal van logica, bewezen zij dat elk twee netwerken die dezelfde taak uitvoeren, in elkaar kunnen worden getransformeerd via een eindige reeks specifieke, toegestane stappen. Deze bevinding biedt een volledige kaart van de "symmetrieën" van deze netwerken, en onthult dat de redundantie geen willekeurige chaos is, maar een gestructureerd, voorspelbaar systeem.

Om de doorbraak te begrijpen, moet men eerst de aard van het probleem vatten. Een diep neuraal netwerk is opgebouwd uit lagen, waarbij elke laag informatie verwerkt en doorgeeft aan de volgende. De onderzoekers ontdekten dat wetenschappers lange tijd alleen op de hoogte waren van "ondiepe" symmetrieën — manieren om de verbindingen binnen een enkel paar lagen te herverdelen zonder de uitkomst te veranderen. Je zou bijvoorbeeld de volgorde van twee neuronen in een laag kunnen omdraaien en hun gewichten dienovereenkomstig aanpassen, en het netwerk zou exact hetzelfde gedrag vertonen. Echter, de onderzoekers toonden aan dat dit slechts een deel van het verhaal was. Zij demonstreerden dat er "diepe" symmetrieën bestaan die zich uitstrekken over drie of meer lagen, waardoor massale structurele veranderingen mogelijk zijn die niet bereikt kunnen worden door simpelweg één laag tegelijk aan te passen. Deze diepe symmetrieën kunnen de architectuur van het netwerk fundamenteel veranderen, door secties samen te voegen of te splitsen op manieren die voorheen als onmogelijk werden beschouwd zonder de functie te veranderen.

De sleutel tot het ontrafelen van dit mysterie was om te stoppen met het beschouwen van de netwerken als verzamelingen van getallen en ze te gaan zien als expressies van een specifieke vorm van logica. De onderzoekers bouwden een symbolisch systeem dat de input en output van het netwerk vertaalt naar een logische formule. In dit systeem is het gedrag van het netwerk equivalent aan een bewering in een meerwaardige logica, een systeem dat de traditionele waar-of-onwaar logica uitbreidt naar een continuüm van mogelijkheden. Net zoals een wiskundige kan bewijzen dat twee verschillende algebraïsche vergelijkingen eigenlijk dezelfde zijn door een reeks standaardregels toe te passen, lieten de onderzoekers zien dat twee verschillende netwerken functioneel identiek zijn als en slechts als hun bijbehorende logische formules naar elkaar getransformeerd kunnen worden met behulp van de axioma's van deze logica. Dit betekent dat de vraag of twee netwerken hetzelfde zijn niet langer een kwestie is van gissen of testen; het is een kwestie van afleiding, een stapsgewijs logisch bewijs.

Het team ontwikkelde een driestappenproces om dit werkend te krijgen. Eerst creëerden zij een algoritme om de verborgen logische formule in een gegeven netwerk te extraheren, wat effectief het lezen van de geest van het netwerk is om de onderliggende waarheid te vinden. Ten tweede pasten zij de regels van hun logische systeem toe om aan te tonen dat alle twee netwerken die dezelfde output produceren, formules moeten hebben die van elkaar afgeleid kunnen worden. Deze stap rust op een diepe wiskundige stelling die garandeert dat er geen mogelijkheden worden gemist; als twee netwerken hetzelfde werk doen, is er een logisch pad dat hen verbindt. Derde bouwden zij een omgekeerd algoritme dat een logische formule kan nemen en exact het netwerk kan reconstrueren dat de formule produceerde. Dit sloot de cirkel en bewees dat de logische beschrijving een perfecte, getrouwe representatie is van het fysieke netwerk.

Wat dit resultaat bijzonder krachtig maakt, is dat het elk mogelijk scenario dekt, van netwerken met eenvoudige gehele getallen tot complexe breuken of zelfs oneindige decimale waarden. De onderzoekers toonden aan dat hetzelfde logische kader van toepassing is, ongeacht de precisie van de gebruikte getallen, mits het netwerk niet "degenerat" is — wat betekent dat het geen nutteloze delen bevat die niets doen. Ze identificeerden ook dat sommige van de door deze regels toegestane herschikkingen "pseudo-diep" zijn, wat betekent dat ze lijken alsof ze meerdere lagen beslaan, maar in feite een combinatie zijn van eenvoudigere, enkelvoudige laag-trucs. Door onderscheid te maken tussen echte diepe symmetrieën en deze oppervlakkige symmetrieën, boden de onderzoekers een duidelijke taxonomie van hoe deze netwerken kunnen worden hervormd.

Dit werk doet meer dan alleen een theoretische puzzel oplossen; het biedt een nieuwe manier om na te denken over de identiteit van kunstmatige intelligentiemodellen. Voorheen was het, indien twee modellen dezelfde resultaten produceerden, onduidelijk of ze fundamenteel hetzelfde waren of dat het slechts gelukkige toevalligheden waren. Nu weten we dat hun equivalentie een kwestie is van logische afleiding. Als je een netwerk in een ander kunt transformeren met behulp van de specifieke regels die door de onderzoekers zijn ontdekt, dan zijn ze hetzelfde. Als dat niet kan, zijn ze fundamenteel verschillend. Deze helderheid is essentieel voor het begrijpen van de geometrie van leren, en helpt wetenschappers de ware vorm te zien van de ruimte waarin deze modellen opereren. Het suggereert dat de enorme redundantie in neurale netwerken geen fout is, maar een kenmerk: een gestructureerde flexibiliteit die meerdere paden naar dezelfde oplossing mogelijk maakt.

De aanpak van de onderzoekers weerspiept een beroemde historische doorbraak in de elektrotechniek, waarbij de logica van circuits werd in kaart gebracht naar de logica van schakelaars, waardoor ingenieurs complexe systemen met wiskundige zekerheid konden ontwerpen. Hier wordt hetzelfde principe toegepast op de complexe, gelaagde structuren van deep learning. Door het netwerk te behandelen als een logisch object in plaats van enkel een statistisch object, heeft het team een volledige karakterisering van zijn symmetrieën gegeven. Zij hebben aangetoond dat het universum van ReLU-netwerken wordt beheerst door een reeks regels die even rigoureus en compleet zijn als de wetten van de rekenkunde. Dit betekent dat het mysterie waarom verschillende netwerken hetzelfde kunnen doen, niet langer een mysterie is; het is een opgeloste vergelijking, waarbij elke mogelijke oplossing wordt gerechtvaardigd door de axioma's van de meerwaardige logica. Het resultaat is een definitieve gids voor de identiteit van diepe neurale netwerken, die een landschap van verwarring transformeert in een kaart van precieze, navigeerbare verbindingen.