A Fair Evaluation of Graph Foundation Models for Node Property Prediction
Dit artikel voert een eerlijke en rigoureuze herwaardering uit van negen recente Graph Foundation Models voor node-eigenschapspredictie, waarbij wordt onthuld dat alleen de meest recente op Prior-data Fitted Networks gebaseerde modellen de voorspellende prestaties van goed afgestelde Graph Neural Network-baselines overtreffen, zij het tegen hogere inferentiekosten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een computer probeert te leren de wereld van verbindingen te begrijpen—zoals sociale netwerken, wegenkaarten of winkelgewoonten. In deze wereld is data niet alleen een lijst met getallen; het is een gigantisch web waarin alles met alles verbonden is. Jarenlang was de standaardmanier om problemen in dit web op te lossen (zoals het opsporen van een fraudeur of het voorspellen van de volgende aankoop van een gebruiker) het gebruik van Graph Neural Networks (GNN's). Zie GNN's als zeer bekwame, gespecialiseerde leerlingen. Ze zijn goed, maar ze moeten voor elke nieuwe taak vanaf nul worden getraind, wat tijd kost en veel afstemming vereist om het goed te krijgen.
Onlangs is er een nieuwe golf van "supermodellen" genaamd Graph Foundation Models (GFM's) gearriveerd. Dit zijn de "alwetende orakels" van de AI-wereld. De belofte is dat ze al alles hebben geleerd uit een enorme bibliotheek aan data en direct nieuwe problemen kunnen oplossen zonder veel training nodig te hebben.
De auteurs van dit paper besloten deze "orakels" op de proef te stellen. Ze wilden zien of deze nieuwe GFM's daadwerkelijk beter waren dan de hardwerkende, goed afgestemde leerlingen (GNN's) bij een specifieke taak: het voorspellen van eigenschappen van knopen (het raden van het label van een specifieke persoon, plaats of ding in het netwerk).
Dit is wat zij vonden, eenvoudig uitgelegd:
1. Het "Appels en Oranjes"-probleem
De onderzoekers merkten op dat het veld een beetje chaotisch was. Sommige GFM's werden getest op kleine, gemakkelijke datasets, terwijl andere werden getest op enorme, rommelige datasets. Sommigen gebruikten zeer zwakke "leerlingen" (GNN's) als vergelijking, waardoor de GFM's van nature als genieën leken te verschijnen. Het was alsof je een Formule 1-auto vergeleek met een fiets en de auto tot winnaar uitriep zonder te controleren of de fiets wel goed was afgesteld.
Om dit op te lossen, organiseerden de auteurs een eerlijke race. Ze gebruikten 10 echte, industriële datasets (zoals echte sociale netwerken en wegenkaarten) en zetten 9 verschillende GFM's af tegen sterke, zwaar afgestemde GNN's. Ze gebruikten niet alleen de standaardinstellingen voor de GNN's; ze besteedden uren aan het afstemmen van deze modellen om ze zo snel en nauwkeurig mogelijk te maken.
2. De Twee Teams
De resultaten verdeelden de GFM's in twee zeer duidelijke teams:
- Team "Old School" (Niet-PFN Modellen): Deze modellen probeerden "one-size-fits-all" te zijn door grafiekdata in een vorm te dwingen die leek op een spreadsheet. Het resultaat? Ze presteerden slecht. Sterker nog, ze werden bijna altijd verslagen door de goed afgestemde GNN-leerlingen. Het is alsof je een moker probeert te gebruiken voor een operatie; het gereedschap is simpelweg niet de juiste match voor de klus.
- Team "New School" (PFN Modellen): Deze modellen maken gebruik van een slimme truc genaamd Prior-data Fitted Networks (PFN's). Stel je een chef-kok voor die duizenden verschillende recepten heeft geproefd en de principes van koken heeft geleerd. Wanneer je hem een nieuwe set ingrediënten geeft, hoeft hij geen kookboek te lezen; hij kijft gewoon naar de ingrediënten en weet direct hoe hij het gerecht moet bereiden. Deze modellen kunnen naar een nieuwe grafiek kijken en direct voorspellingen doen (een proces dat "in-context learning" wordt genoemd).
3. De Winnaar (Met een Kanttekening)
De "New School" PFN-modellen waren de duidelijke winnaars. Ze presteerden consequent beter dan de best afgestemde GNN's. Eén model in het bijzonder, genaamd GraphPFN, was de kampioen en won op bijna elke dataset.
Echter, er is een trade-off:
- De Leerlingen (GNN's): Ze hebben tijd nodig om te trainen (zoals studeren voor een eindexamen), maar zodra ze klaar zijn, zijn ze ongelooflijk snel in het doen van voorspellingen. Het duurt minder dan een seconde om een nieuw label te raden.
- De Orakels (PFN Modellen): Ze zijn "pre-trained" (ze hebben jarenlang gestudeerd voordat je hen ontmoette), dus ze hoeven niet te studeren voor jouw specifieke taak. Maar, wanneer ze daadwerkelijk een voorspelling doen, zijn ze traag. Afhankelijk van de grootte van de data kan het ze enkele seconden of zelfs minuten kosten om een antwoord te geven.
De Kernboodschap
Het paper concludeert dat als je een model nodig hebt dat zich direct kan aanpassen aan een nieuwe grafiek zonder training, de PFN-gebaseerde Graph Foundation Models de enige zijn die daadwerkelijk beter werken dan traditionele methoden.
Echter, als je in een real-world scenario zit waar je miljoenen voorspellingen per seconde moet doen (zoals een realtime fraude detector), zijn de traditionele GNN's (mits goed afgestemd) nog steeds de betere keuze omdat ze veel sneller zijn, ook al duurde het langer om ze in het begin klaar te zetten.
Kortom: de nieuwe "orakels" zijn slimmer en aanpasbaarder, maar ze zijn ook veel langzamer in het opnemen van de telefoon. De oude "leerlingen" zijn snel en betrouwbaar, maar ze hebben meer training nodig om hun volledige potentieel te bereiken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.