Continuous-Time Quantum Walks based Graph Neural Network

In de digitale wereld is veel van onze data niet gerangschikt in nette rijen en kolommen zoals een spreadsheet, maar eerder als complexe webben van verbindingen. Denk aan een sociaal netwerk waar mensen verbonden zijn door vriendschappen, een wegenkaart waar steden door straten worden verbonden, of een biologisch systeem waar eiwitten met elkaar interageren. Om deze complexe structuren te begrijpen, gebruiken wetenschappers een type kunstmatige intelligentie dat een Graph Neural Network wordt genoemd. Deze systemen zijn ontworpen om te leren van de vorm van de data zelf, waarbij ze begrijpen hoe één stuk informatie zijn buren beïnvloedt. Jarenlang zijn deze hulpmiddelen ongelooflijk succesvol geweest bij taken zoals het aanbevelen van producten of het voorspellen van verkeer, maar ze hebben twee zware lasten gedragen die hun potentieel beperken.

De eerste last is een vooroordeel ten gunste van gelijkenis. De meeste van deze netwerken werken op de aanname dat verbonden dingen op elkaar lijken, vergelijkbaar met hoe vrienden vaak vergelijkbare interesses delen. Dit werkt goed wanneer de verbindingen sterk en uniform zijn, maar het faalt jammerlijk wanneer de verbindingen zeer verschillende zaken koppelen. In veel real-world scenario's, zoals een chemische reactie waarbij verschillende atomen binden om iets nieuws te creëren, of een financieel netwerk waar verschillende entiteiten interageren, zijn de buren fundamenteel verschillend. De oude hulpmiddelen, die verschillen gladstrijken om gemeenschappelijke grond te vinden, hebben moeite om te leren van deze diverse relaties. De tweede last is een probleem van diepte. Om complexe patronen te leren, moeten deze netwerken diep zijn, waarbij ze vele lagen van verwerking op elkaar stapelen. Echter, naarmate ze dieper worden, hebben de unieke details van elk stuk informatie de neiging om weg te wassen, waardoor elke enkele node in het netwerk er exact hetzelfde uit gaat zien. Dit fenomeen, bekend als over-smoothing, dwingt deze systemen om ondiep te blijven en beperkt hun vermogen om moeilijke problemen op te lossen.

Een team onderzoekers aan de Renmin University of China heeft een nieuwe aanpak voorgesteld om deze twee knopen tegelijkertijd te ontwarren. In plaats van te proberen het smoothing-probleem en het gelijkenis-probleem afzonderlijk op te lossen, bouwden zij een nieuw soort netwerk geïnspireerd door de fysica van de kwantummechanica. Specifiek maakten zij gebruik van een concept genaamd een Continuous-Time Quantum Walk. In de klassieke wereld, als je een druppel inkt in een glas water zou laten vallen, zou het langzaam verspreiden en verdunnen totdat het water uniform gekleurd is. Dit is hoe traditionele netwerken informatie verplaatsen: het diffundeert en vervaagt. In de kwantumwereld echter, beweegt een deeltje niet diffuus; het reist als een golf. Deze golf kan met zichzelf interfereren, waardoor patronen van pieken en dalen ontstaan die de duidelijke identiteit van het deeltje behouden terwijl het beweegt. De onderzoekers realiseerden zich dat door deze golfachtige beweging te gebruiken om hun netwerk te sturen, ze konden voorkomen dat de informatie vervaagde en dat ze ook de verschillen tussen verbonden nodes konden vastleggen.

Het nieuwe systeem, dat de auteurs CTQW-GNN noemen, werkt door drie verschillende soorten informatieverzamelingsprocessen tegelijkertijd uit te voeren. Het eerste proces gebruikt de kwantum-geïnspireerde golfbeweging om informatie over het netwerk te verspreiden. Omdat deze beweging gebaseerd is op de wetten van de kwantumfysica, behoudt het de totale hoeveelheid informatie en laat het niet degraderen tot een waas. Dit stelt het netwerk in staat om hoogfrequente details en verschillen tussen nodes te zien die andere methoden missen. Het tweede proces gebruikt de patronen die door de kwantumwandeling zijn gecreëerd om verbindingen tussen nodes te vinden die ver uit elkaar liggen, zelfs als ze niet direct verbonden zijn. Dit helpt het netwerk om verre vrienden te vinden die vergelijkbare eigenschappen delen, een taak waar standaardmethoden vaak in falen. Het derde proces is een meer traditionele aanpak die zich richt op de directe buren, om ervoor te zorgen dat het systeem nog steeds goed werkt op grafen waar alles vergelijkbaar is. Door deze drie stromen van informatie te combineren, creëert het netwerk een rijk, gedetailleerd beeld van de data dat noch de oude methoden, noch de nieuwe kwantummethode alleen hadden kunnen bereiken.

De onderzoekers testten dit nieuwe systeem op veertien verschillende datasets, variërend van sociale netwerken tot chemische structuren. De resultaten waren opmerkelijk. Op elke enkele dataset presteerde het nieuwe systeem beter dan de beste bestaande methoden. Op grafen waar verbonden nodes zeer verschillend van elkaar waren, verbeterde het nieuwe systeem de nauwkeurigheid met een aanzienlijke marge, wat bewees dat het erin slaagde te leren van diverse relaties zonder de weg kwijt te raken. Op grafen waar nodes zeer vergelijkbaar waren, presteerde het net zo goed als de beste traditionele hulpmiddelen, wat aantoonde dat het zijn vermogen om uniforme data te verwerken niet opofferde. Misschien wel het belangrijkste is dat de onderzoekers observeerden dat naarmate ze het netwerk dieper en dieper maakten, de informatie niet inklapte tot een uniforme waas. De unieke kenmerken van elke node bleven onderscheidend, zelfs na het passeren van vele lagen van verwerking. Dit bevestigde dat de kwantum-geïnspireerde aanpak succesvol het over-smoothing probleem heeft opgelost dat het veld al jarenlang teistert.

Om te waarborgen dat dit niet slechts een gelukkige gok was, leverde het team een rigoureuze wiskundige verklaring voor waarom hun methode werkt. Ze toonden aan dat de kwantumwandeling fungeert als een perfecte spiegel voor informatie, die het reflecteert zonder de energie ervan te absorberen. Deze eigenschap garandeert dat het netwerk zo diep kan gaan als nodig is zonder de details te verliezen die elke node uniek maken. Ze stelden ook een regel vast voor hoe lang de kwantumwandeling moet draaien, om ervoor te zorgen dat het systeem de juiste hoeveelheid informatie verzamelt van zowel nabije als verre buren. De computationele kosten van deze nieuwe methode zijn verrassend laag en komen overeen met de snelheid van de meest efficiënte bestaande hulpmiddelen, wat betekent dat het gebruikt kan worden op massale datasets zonder vertraging op te lopen.

Dit werk vertegenwoordigt een belangrijke stap voorwaarts in het vakgebied van kunstmatige intelligentie. Door een principe uit de subatomaire wereld te lenen, hebben de onderzoekers een instrument gecreëerd dat robuuster, flexibeler en krachtiger is dan wat eraan voorafging. Het demonstreert dat de beperkingen van de huidige AI niet noodzakelijkerwijs permanente barrières zijn, maar kunnen worden overwonnen door het fundamentele denken over hoe informatie stroomt te heroverwegen. Het nieuwe systeem dicht niet alleen de gaten in de oude modellen; het bouwt een nieuw fundament dat machines in staat stelt om de complexe, diverse en diepe structuren van de echte wereld te begrijpen met een helderheid die voorheen onbereikbaar was.