In het uitgestrekte landschap van moderne data bevinden veel van de belangrijkste relaties zich niet netjes in rijen en kolommen zoals een spreadsheet. In plaats daarvan bestaan ze als complexe webben: de vrienden die je deelt met een collega, de eiwitten die aan elkaar binden om een medicijn te vormen, of de citaties die één wetenschappelijk artikel met een ander verbinden. Dit zijn grafen, structuren waar de verbindingen tussen dingen even belangrijk zijn als de dingen zelf. Decennialang hebben wetenschappers geprobeerd computers te leren deze webben te begrijpen. Traditionele methoden dwingen deze complexe, onregelmatige vormen vaak in rigide, wiskundige dozen, wat enorme hoeveelheden rekenkracht en zorgvuldige menselijke supervisie vereist om te werken. Deze benaderingen kunnen broos zijn; als de data ruis bevat of als er een nieuwe knoop verschijnt die het systeem nog nooit heeft gezien, kan de hele structuur wankelen. De uitdaging is geweest om een manier te vinden om deze verstrengelde netwerken te vertalen naar een taal die computers gemakkelijk kunnen lezen, zonder de unieke vorm van de relaties te verliezen of de machine uit te putten in het proces.

Een team onderzoekers aan de Portland State University heeft een oplossing voorgesteld die minder lijkt op een standaard computeralgoritme en meer op de manier waarop het brein van een zoogdier leert. Ze ontwikkelden een nieuw systeem genaamd de Columnar-Embedder, die is ontworpen om de complexe structuur van een graaf te vertalen naar een compacte, binaire code. In plaats van te vertrouwen op de zware, energie-intensieve wiskundige optimalisatie die door de meeste moderne kunstmatige intelligentie wordt gebruikt, imiteert dit systeem de biologische architectuur van de cerebrale cortex. Het leert door patronen te observeren terwijl ze door het netwerk stromen, vergelijkbaar met hoe het brein een stroom van sensorische input verwerkt. De onderzoekers ontdekten dat hun systeem, door gebruik te maken van een reeks lokale leerregels geïnspireerd door de biologie, representaties van grafenknooppunten kon creëren die verrassend effectief zijn. Deze representaties zijn niet alleen accuraat; ze zijn ook ongelooflijk veerkrachtig tegen ruis en corruptie, en ze kunnen continu worden geleerd zonder de noodzaak van labels of een leraar om fouten te corrigeren.

De kern van dit werk ligt in de manier waarop het systeem informatie verwerkt. De meeste huidige methoden voor het begrijpen van grafen vertrouwen op 'random walks', waarbij een virtuele reiziger van de ene knoop naar de andere springt en het pad registreert. Deze paden worden vervolgens gevoed aan complexe neurale netwerken die proberen de betekenis van de verbindingen te raden. Dit proces is computationeel duur en vereist vaak dat de volledige dataset tegelijkertijd in het geheugen wordt geladen. De Columnar-Embedder neemt een ander pad. Het behandelt de graaf als een stroom van informatie, vergelijkbaar met hoe de visuele cortex een scène verwerkt. Het systeem is gebouwd met lagen kunstmatige neuronen georganiseerd in kleine kolommen, wat de mini-kolommen in het brein van een zoogdier weerspiegelt. Wanneer een 'random walk' door het netwerk passeert, activeert dit specifieke neuronen op een ijle, binaire wijze. Dit betekent dat voor elk gegeven stuk informatie slechts een fractie van de beschikbare neuronen — ongeveer één tot vier procent — op elk gegeven moment vuurt. Deze ijlheid (sparsity) is een cruciaal kenmerk van biologische hersenen, waardoor ze enorme hoeveelheden informatie efficiënt kunnen opslaan en kunnen herstellen van schade of ruis.

Om te leren wat deze patronen betekenen, gebruikt het systeem een reeks regels die strikt lokaal zijn. In veel systemen van kunstmatige intelligentie vereist leren een globaal signaal dat achterwaarts door het netwerk reist om elke verbinding aan te passen, een proces dat bekend staat als backpropagation. Dit paper wijst die benadering expliciet af. In plaats daarvan gebruikt de Columnar-Embedder een leerregel gebaseerd op het Bienenstock-Cooper-Munro principe, die de sterkte van de verbindingen tussen neuronen aanpast op basis van hun onmiddellijke activiteit en een statistisch signaal afgeleid van hoe vaak knopen samen voorkomen in de 'random walks'. Als twee knopen vaak bij elkaar in de buurt verschijnen in de graaf, versterkt het systeem de verbinding tussen de neuronen die hen vertegenwoordigen. Als ze zelden samen voorkomen, verzwakt de verbinding. Dit gebeurt zonder externe supervisie of labels die het systeem vertellen wat het juiste antwoord is. Het systeem observeert simpelweg de stroom van data en past zijn interne structuur aan om te passen aan de statistieken van de graaf.

De onderzoekers testten deze architectuur op verschillende standaard grafendatasets, waaronder netwerken van wetenschappelijke citaties en productaanbevelingen. Ze vergeleken de prestaties van het systeem met de meest geavanceerde methoden die dichte, continue getallen gebruiken om knopen te representeren. De resultaten toonden aan dat de Columnar-Embedder concurrerend was met deze complexe, zware methoden in taken zoals het classificeren van knopen en het voorspellen van ontbrekende links. Bijvoorbeeld, op een dataset van wetenschappelijke artikelen identificeerde het systeem de categorie van een artikel op basis van zijn buren met een nauwkeurigheid die overeenkwam met de beste bestaande instrumenten. Wat misschien nog wel indrukwekkender is, is het gedrag van het systeem onder druk. Wanneer de onderzoekers ruis in de data introduceerden — het omdraaien van bits in de code of het verwijderen van verbindingen — hield de Columnar-Embedder veel beter stand dan de traditionele methoden. Terwijl de dichte representaties snel degradeerden naarmate de data corrupt werd, behielden de ijle binaire codes hun vermogen om verschillende groepen knopen van elkaar te onderscheiden. Dit suggereert dat de structuur van het systeem een natuurlijke weerstand biedt tegen fouten, een eigenschap die algemeen voorkomt in biologische systemen maar zeldzaam is in de huidige kunstmatige intelligentie.

Nog een belangrijke bevinding is het vermogen van het systeem om te schalen. De onderzoekers pasten dezelfde architectuur toe op veel grotere grafen, inclusclusief een netwerk van fysica-co-auteurschap met bijna 35.000 knopen, zonder de onderliggende instellingen of parameters te wijzigen. Het systeem behield zijn hoge prestaties en zijn vermogen om tussen verschillende klassen van knopen te onderscheiden. Deze schaalbaarheid is cruciaal omdat veel real-world grafen, zoals sociale netwerken of het internet zelf, enorm groot zijn en constant veranderen. Het ontwerp van het systeem stelt het in staat om continu te leren van een stroom gegevens, waarbij het zich aanpast aan nieuwe knopen en verbindingen naarmate deze verschijnen, zonder dat er opnieuw getraind hoeft te worden vanaf nul. Deze capaciteit voor continu leren is een direct resultaat van de biologische inspiratie; net zoals het brein geen oude herinneringen vergeet wanneer het nieuwe leert, lijdt de Columnar-Embedder niet onder "catastrofale vergetelheid", een veelvoorkomend probleem waarbij nieuw leren oude kennis overschrijft in traditionele neurale netwerken.

De architectuur bereikt dit door de neuronen in een hiërarchie te organiseren. De eerste laag codeert de input, de tweede laag organiseert de informatie in kolommen die met elkaar concurreren om de data te representeren, en een derde laag breidt de representatie uit om ervoor te zorgen dat zelfs knopen die erg op elkaar lijken, unieke codes krijgen. Dit proces wordt gedreven door een mechanisme dat diversiteit binnen de kolommen stimuleert, om te voorkomen dat het systeem instort tot één enkel, repetitief patroon. Het resultaat is een representatie die zowel compact als zeer specifiek is. De onderzoekers ontdekten dat ze elke knoop konden representeren met een code van slechts 28 actieve bits uit een mogelijkheid van 1.800, een niveau van efficiëntie dat orden van grootte compacter is dan de dichte vectoren die door andere methoden worden gebruikt. Deze efficiëntie vertaalt zich direct in lagere geheugeneisen en snellere verwerkingssnelheden, wat het systeem een veelbelovende kandidaat maakt voor toepassingen waar middelen beperkt zijn of waar data in een continue stroom arriveert.

Uiteindelijk demonstreert dit werk dat de principes die biologisch leren beheersen, succesvol kunnen worden toegepast op het abstracte probleem van graafrepresentatie. Door af te stappen van de zware, globale optimalisatie van moderne deep learning en de lokale, ijle en continue aard van biologische systemen te omarmen, hebben de onderzoekers een instrument gecreëerd dat niet alleen effectief is, maar ook robuust en efficiënt. Het systeem vereist niet de enorme computationele middelen of de zorgvuldig gecureerde datasets die vaak nodig zijn voor andere technieken voor graaf-embedding. In plaats daarvan leert het van de ruwe structuur van de data zelf, waarbij het patronen en relaties vindt via een proces dat de manier weerspiegelt waarop het brein de wereld begrijpt. De bevindingen suggereren dat er een levensvatbaar pad vooruit is voor het creëren van kunstmatige intelligentie die meer aanpasbaar, meer energie-efficiënt en meer veerkrachtig is tegen de rommelige, onvoorspelbare aard van real-world data.