Emergent Hierarchical Monosemantic Neurons from the Group-Contrastive Forward-Forward Algorithm

De geheime taal van AI-hersenen

Stel je voor dat je een superintelligente robot hebt gebouwd, maar het spreekt een taal van pure wiskunde. Je kunt het vragen om een kat te identificeren, en dat doet het perfect, maar als je vraagt hoe het weet dat het een kat is, staart het alleen maar terug met een muur van getallen. Dit is het centrale mysterie van moderne kunstmatige intelligentie: we hebben krachtige modellen, maar we begrijpen de "gedachten" die erin plaatsvinden niet echt. Lange tijd probeerden wetenschappers deze code te kraken door het brein van de AI te behandelen als een gigantische, rommelige woordenlijst. Ze namen aan dat elk idee dat de AI kende slechts één regel in die woordenlijst was, en dat als ze maar de juiste regels konden vinden, ze de gedachten van de AI konden lezen.

Er is echter een probleem met dat idee van de woordenlijst. Echte hersenen — zoals die in jouw hoofd of die van een hond — zijn rommelig, gelaagd en vol verbindingen die niet in nette, rechte lijnen passen. Een enkel neuron in een biologisch brein kan vuren voor "mijn moeder", maar het kan ook vuren voor "een warme knuffel" of "de geur van koekjes". Deze ideeën zijn op complexe, niet-lineaire manieren met elkaar vermengd. Als we een AI dwingen om alleen in rechte lijnen te spreken, missen we misschien de meest interessante delen van zijn denken. Dus is er een nieuwe vraag ontstaan: Kunnen we AI-leermethoden bouwen die meer werken als een echt brein, waarbij neuronen zich vanzelf organiseren in een hiërarchie van ideeën, van eenvoudige vormen tot complexe concepten, zonder dat we ze dwingen om simpel te zijn?

Het grote idee van het papier: Een nieuwe manier om AI te onderwijzen

Dit artikel introduceert een nieuwe methode genaamd Group-Contrastive Forward-Forward (GCFF). Beschouw dit als een frisse manier om AI te trainen die de oude "woordenlijst"-aanpak overslaat en in plaats daarvan probeert na te bootsen hoe biologische hersenen leren. De auteurs suggereren dat we, in plaats van een AI te dwingen om schaars te zijn (wat betekent dat de meeste neuronen stil moeten blijven zodat slechts enkelen spreken), de structuur van de AI het zware werk moeten laten doen. Ze stellen een systeem voor waarbij neuronen zijn georganiseerd in specifieke "groepen", elk toegewezen aan een brede categorie, zoals "dieren" of "voertuigen".

Zo werkt het in de praktijk: Stel je voor dat je een klas studenten hebt (de neuronen). Bij de oude methode zou je elke student vertellen om naar alles te luisteren en dan later de belangrijke stukjes eruit te proberen te pikken. In deze nieuwe GCFF-methode wijs je elke student toe aan een specifieke club. Eén club praat alleen over honden, een andere alleen over auto's. Wanneer de leraar een foto van een Golden Retriever laat zien, krijgt alleen de "hondenclub" de kans om te spreken. Maar hier komt de twist: de studenten in de hondenclub krijgen niet alleen te horen "dat is een hond". Ze krijgen twee verschillende honden te zien en krijgen te horen: "Vind wat deze twee gemeen hebben!" Daarna krijgen ze een hond en een auto te zien en krijgen ze te horen: "Zorg ervoor dat je deze niet met elkaar verward." Door de neuronen te dwingen zich alleen te concentreren op wat er binnen hun specifieke groep zit en om dingen binnen die groep te vergelijken, beginnen ze vanzelf de subtiele verschillen te leren.

De meest opwindende bevinding is dat deze methode een natuurlijke hiërarchie creëert. Naarmate je dieper in de lagen van deze nieuwe AI-module gaat, beginnen de neuronen steeds abstractere zaken te bespreken. De eerste laag leert misschien specifieke objecten te herkennen, zoals een "beker" of een "schoen". De volgende laag daarboven kan deze groeperen in functionele ideeën, zoals "dingen die je vasthoudt" of "bevestigingsmiddelen". De bovenste laag kan zelfs leren over de achtergrondomgeving, zoals "watersoppervlakken" of "buitenscènes", ongeacht welk object op de voorgrond staat. De auteurs ontdekten dat dit vanzelf gebeurde, zonder dat iemand de AI vertelde: "Hé, laag 3 zou over achtergronden moeten gaan." De hiërarchie ontstond simpelweg uit de manier waarop de neuronen waren georganiseerd en getraind.

Het papier testte ook of deze "biologische" stijl van leren daadwerkelijk goed was in het uitvoeren van taken. Ze trainden het GCFF-algoritme vanaf nul op standaard beeldtests zoals het herkennen van handgeschreven cijfers (MNIST) en diverse soorten auto's en dieren (CIFAR-10, STL-10). De resultaten toonden aan dat GCFF niet alleen het brein van de AI beter begreep, maar ook beter presteerde dan andere soortgelijke "forward-forward"-methoden, waarbij het topscores behaalde op deze benchmarks.

Wat dit betekent voor de toekomst

De auteurs zijn voorzichtig om aan te geven dat dit geen toverstaf is die alles oplost, maar het suggereert wel een veelbelovende nieuwe richting. Ze betogen dat de oude methode van het gebruiken van "sparse dictionary learning" (de woordenlijst-aanpak) enkele ingebouwde gebreken heeft. Het gaat ervan uit dat elk concept slechts een rechte lijn is in een hoogdimensionale ruimte, wat misschien niet waar is voor complexe, gebogen ideeën. Door GCFF te gebruiken, laten ze zien dat we "monosemantische" neuronen kunnen krijgen — neuronen met één duidelijke betekenis — zonder ze te dwingen schaars te zijn. In plaats daarvan komt de betekenis voort uit de architectuur zelf.

In hun experimenten namen ze een vooraf getraind visie-taalmodel (een slimme AI die ziet en leest) en koppelden zij hun GCFF-module eraan. Ze ontdekten dat een enkele module een heldere, geordende lijst van concepten kon extraheren. Ze hoefden de AI niet te vertellen hoeveel lagen van abstractie ze moest creëren; de diepte van het netwerk deed dat voor hen. De neuronen onderaan waren concreet, en de neuronen bovenaan waren abstract, net als de lagen van een biologisch visueel systeem.

Het artikel concludeert dat deze aanpak een "biologisch plausibel" pad biedt voor de toekomst. Het suggereert dat als we stoppen met het proberen te dwingen dat AI in rigide, lineaire dozen past en het in plaats daarvan laten leren via lokale, groep-gebaseerde vergelijkingen, we AI kunnen krijgen die niet alleen beter presteert op taken, maar ook zijn kennis organiseert op een manier die sterk lijkt op hoe levende wezens denken. Het is een stap naar het bouwen van machines die niet alleen berekenen, maar misschien, op een heel kleine manier, ook de wereld in lagen beginnen te begrijpen.