Columnar-Embedder: A Biologically Inspired Cortical Architecture for Binary Sparse Distributed Graph Representations

Om de uitdaging te begrijpen die dit onderzoek aanpakt, moet men eerst begrijpen hoe computers momenteel proberen zin te geven aan complexe netwerken. In de digitale wereld worden relaties vaak in kaart gebracht als grafen, waarbij punten genaamd knopen (nodes) verbonden zijn door lijnen genaamd randen (edges). Deze structuren vertegenwoordigen alles van sociale mediaconnecties en citatienetwerken tot de moleculaire bindingen in een nieuw medicijn. Het probleem is dat deze netwerken niet de rechte, rasterachtige regels volgen van de fysieke wereld waarin wij lopen; ze zijn gedraaid en onregelmatig, wat het voor standaard computeralgoritmen moeilijk maakt om patronen binnen hen te vinden. Om dit op te lossen, hebben wetenschappers methoden ontwikkeld om deze rommelige netwerken te vertalen naar nette lijsten met getallen, bekend als embeddings. Deze lijsten stellen computers in staat om verschillende delen van een netwerk te vergelijken, ontbrekende verbindingen te voorspellen of items in categorieën in te delen. De meest succesvolle methoden van vandaag vertrouwen echter op enorme, energieverslindende berekeningen die van de computer vereisen dat hij het hele netwerk in één keer ziet en zijn interne instellingen aanpast via een traag, herhalend proces van vallen en opstaan. Deze aanpak werkt goed, maar is duur en heeft moeite wanneer het netwerk verandert of wanneer nieuwe items worden toegevoegd zonder het hele systeem opnieuw te trainen.

Een team van onderzoekers aan de Portland State University heeft een ander pad voorgesteld, dat minder lijkt op een standaard computerprogramma en meer op de manier waarop het menselijk brein informatie verwerkt. Ze hebben een systeem gebouwd genaamd de Columnar-Embedder, dat de structuur van de mammale cortex nabootst, de buitenste laag van de hersenen die verantwoordelijk is voor het verwerken van sensorische input. In plaats van zware, globale berekeningen te gebruiken, leert hun systeem door stromen gegevens te observeren, net zoals een brein leert van een continue stroom van beelden en geluiden. De onderzoekers hebben deze architectuur ontworpen om een compacte, binaire code voor elke knoop in een netwerk te creëren. In deze code wordt informatie niet opgeslagen als een lange lijst met decimale getallen, maar als een ijle (sparse) patroon van actieve en inactieve schakelaars. Dit betekent dat voor elk gegeven stuk informatie slechts een fractie van de componenten van het systeem tegelijkertijd actief is, vergelijkbaar met hoe slechts een klein percentage neuronen vuurt wanneer je een gezicht herkent. Deze biologische inspiratie stelt het systeem in staat om continu te leren, zich aan te passen aan nieuwe gegevens zonder oude lessen te vergeten, en weerstand te bieden aan fouten die traditionele methoden zouden verwarren.

De kern van dit werk is een nieuwe manier om de computer te leren hoe hij een graaf moet begrijpen zonder dat er een leraar nodig is om zijn fouten te corrigeren. De onderzoekers voedden het systeem met willekeurige paden die door het netwerk werden afgelegd, een techniek die bekend staat als 'random walks', die fungeren als een verkenner die een stad verkent om te begrijpen welke buurten dicht bij elkaar liggen. Terwijl het systeem deze paden observeerde, gebruikte het een lokale leerregel die geïnspireerd is op hoe biologische neuronen hun verbindingen versterken wanneer ze samen vuren. Deze regel, bekend als de BCM-regel, stelde het systeem in staat om zijn interne gewichten aan te passen op basis van hoe vaak twee knopen samen voorkwamen in dezelfde context. Cruciaal was dat dit leren lokaal gebeurde, wat betekende dat elk deel van het systeem alleen zijn directe buren en de huidige gegevensstroom hoefde te kennen, in plaats van het gehele netwerk. Het systeem maakte ook gebruik van een mechanisme om ervoor te zorgen dat verschillende knopen, zelfs die die erg op elkaar leken, unieke codes ontwikkelden. Dit werd bereikt door een competitief proces waarbij neuronen binnen een kleine groep vochten om degene te zijn die een specifieke input vertegenwoordigt, wat ervoor zorgde dat de uiteindelijke code onderscheidend en nuttig bleef.

Toen de onderzoekers deze nieuwe architectuur testten, ontdekten ze dat deze complexe taken met verrassende efficiëntie kon uitvoeren. Ze pasten het systeem toe op verschillende standaard datasets, waaronder netwerken van wetenschappelijke citaties en productaanbevelingen, en vroegen het om twee moeilijke taken uit te voeren: het identificeren van de categorie van een knoop en het voorspellen of er een verbinding bestaat tussen twee knopen. In deze tests produceerde de Columnar-Embedder resultaten die concurrerend waren met de meest geavanceerde, energie-intensieve methoden die momenteel beschikbaar zijn. Het bereikte een hoge nauwkeurigheid in het classificeren van knopen en het voorspellen van links, waarbij het presteerde zoals systemen die rusten op enorme hoeveelheden data en complexe wiskundige optimalisatie. Wat het resultaat bijzonder opmerkelijk maakte, was dat het systeem dit bereikte zonder enige gelabelde data te gebruiken om het leren te sturen, zonder de hele graaf in één keer te hoeven zien, en zonder het trage, globale aanpassingsproces dat kenmerkend is voor moderne deep learning. Het systeem leerde puur van de structuur van het netwerk zelf, waardoor het een representatie creëerde die zowel robuust als draagbaar was.

De onderzoekers ontdekten ook dat hun biologisch geïnspireerde aanpak unieke voordelen bood in de manier waarop het met fouten en veranderingen omging. Wanneer ze de gegevens opzettelijk corrumpeerden door bits om te keren of ruis toe te voegen, degradeerde de prestatie van het systeem veel langzamer dan die van traditionele methoden. Deze veerkracht komt voort uit de aard van de ijle (sparse) code; omdat de informatie verspreid is over vele componenten, vernietigt het verlies van enkele stukjes niet de betekenis van het geheel. Bovendien toonde het systeem een vermogen om op te schalen naar veel grotere netwerken zonder dat er wijzigingen nodig waren in het ontwerp of de instellingen. Wanneer het werd getest op grafen met tienduizenden knopen, behield het systeem zijn hoge prestaties en zijn vermogen om onderscheid te maken tussen verschillende soorten knopen. Dit suggereert dat de interne mechanismen van het systeem, die de homeostatische balans van het brein nabootsen, het in staat stellen zich natuurlijk aan te passen aan de grootte en complexiteit van de gegevens die het tegenkomt. Het systeem leerde niet alleen patronen te herkennen; het leerde ze te organiseren op een manier die de onderliggende structuur van het netwerk behield, zelfs terwijl het netwerk groeide.

Een van de meest significante bevindingen van dit werk is dat de architectuur inductief is ontworpen, wat betekent dat het theoretisch in staat is om representaties te genereren voor nieuwe, ongeziene knopen zonder het hele model opnieuw te trainen. Hoewel het artikel bevestigt dat de architectuur een concurrerende en veerkrachtige representatie produceert die in staat is tot deze inductieve capaciteit, presenteert het geen expliciete zero-shot generalisatie-resultaten op live stromen van ongeziene knopen. In plaats daarvan hebben de onderzoekers aangetoond dat het systeem schaalt naar grotere grafen en verschillende typen gegevens zonder architecturale wijzigingen of hyperparameter-tuning, wat suggereert dat het onderliggende leermechanisme robuust genoeg is om nieuwe gegevens binnen zijn kader te verwerken. Deze capaciteit wijst naar een toekomst waarin graph learning-systemen in realtime kunnen opereren en zich aanpassen aan dynamische netwerken terwijl ze veranderen. De onderzoekers toonden aan dat hun aanpak verschillende soorten grafen kon afhandelen, van ijle citatienetwerken tot dichte productaanbevelingsgrafen, zonder de onderliggende regels aan te passen. Deze veelzijdigheid suggereert dat de principes die zij hebben ontdekt fundamenteel zijn voor hoe complexe relationele data begrepen kunnen worden, in plaats van een truc die specifiek is voor één type dataset. Het vermogen van het systeem om te leren zonder toezicht, zonder globale coördinatie en zonder het risico op het vergeten van lessen uit het verleden, biedt een overtuigend alternatief voor de huidige stand van de techniek.

De studie benadrukte ook de efficiëntie van de binaire, ijle (sparse) representatie. Door een code te gebruiken waarbij slechts een klein aantal bits tegelijkertijd actief is, heeft het systeem aanzienlijk minder geheugen en energie nodig om informatie op te slaan en te verwerken in vergelijking met de dichte, continue getallen die door andere methoden worden gebruikt. Deze efficiëntie is niet alleen een theoretisch voordeel; de onderzoekers toonden aan dat voor grote netwerken de geheugenbesparingen aanzienlijk kunnen zijn, waardoor het systeem in kleinere, snellere computercaches kan passen. Dit maakt de aanpak bijzonder aantrekkelijk voor toepassingen waar middelen beperkt zijn of waar snelheid cruciaal is. Het ontwerp van het systeem, dat steunt op lokale interacties en eenvoudige regels, maakt het ook zeer geschikt voor implementatie op gespecialiseerde hardware die het brein nabootst, wat potentieel tot nog grotere energiebesparingen in de toekomst kan leiden.

Uiteindelijk vormt het werk een bewijs van concept dat een biologisch geïnspireerde architectuur moeilijke graafproblemen kan oplossen met een prestatieniveau dat wedijvert met de meest geavanceerde wiskundige modellen. Het daagt de aanname uit dat complexe patroonherkenning massale, gecentraliseerde berekeningen vereist. In plaats daarvan laat het zien dat een systeem gebouwd op lokaal leren, competitie en ijle (sparse) codering een rijke, nauwkeurige verstandhouding van een netwerk kan opbouwen. De onderzoekers beweerden niet dat ze elk probleem in graph learning hadden opgelost, noch suggereerden ze dat hun systeem perfect is in elke scenario. Ze merkten op dat het systeem kwetsbaar zou kunnen zijn voor specifieke soorten gemanipuleerde aanvallen of in situaties waar de gegevens extreem ijl (sparse) zijn. Echter, de resultaten laten duidelijk zien dat een ander pad mogelijk is, een pad dat put uit de miljoenen jaren van evolutie die de mammale hersenen hebben gevormd. Door de principes van corticale architectuur te vertalen naar een machine learning-framework, hebben de onderzoekers een nieuwe weg geopend voor het creëren van systemen die niet alleen krachtig zijn, maar ook efficiënt, robuust en in staat om continu te leren in een veranderende wereld.