Evaluating Progress in Graph Foundation Models: A Comprehensive Benchmark and New Insights

Deze paper introduceert een nieuw benchmarkkader dat de prestaties van graf-foundationmodellen evalueert op zowel semantische als representatieve verschuivingen, waardoor een dieper inzicht wordt verkregen in hun generalisatievermogen over verschillende domeinen en formaten.

De kern

Stel je voor dat je een super-intelligente robot wilt bouwen die alles kan begrijpen over netwerken. Of het nu gaat over vrienden op sociale media, moleculen in een medicijn, of verkeersstromen in een stad. In de wereld van kunstmatige intelligentie noemen we deze robots Graph Foundation Models (GFM).

Deze robots worden eerst "opgeleid" op een enorme hoeveelheid verschillende netwerken, zodat ze later slimme antwoorden kunnen geven op nieuwe, onbekende situaties. Maar hier zit een addertje onder het gras, en precies daarover gaat dit paper.

Het Probleem: Twee soorten verwarring

De auteurs zeggen: "Tot nu toe keken we alleen naar wat de robot leert, maar niet naar hoe het eruitziet."

Stel je voor dat je een chef-kok wilt trainen die elke soort keuken kan bedienen.

1. Het Thema (Topic): De ingrediënten. Soms kookt hij Italiaans (citaten tussen wetenschappers), soms Aziatisch (sociale media), soms Mexicaans (chemische stoffen). Dit noemen ze Topic-domeinen.
2. Het Gereedschap (Format): De manier waarop de ingrediënten worden geserveerd. Soms staan ze in een grote kom (homogene grafieken), soms in een complex buffet met verschillende borden (heterogene grafieken), en soms moet je ze in de tijd volgen alsof het een film is (dynamische grafieken). Dit noemen ze Format-domeinen.

De meeste eerdere tests voor deze robots keken alleen of de chef kon overstappen van Italiaans naar Aziatisch. Maar ze vergeten te testen of de chef ook kan werken als je hem plotseling een compleet ander soort keukengerei geeft. De auteurs vinden dat je beide moet testen om te zien of de robot écht slim is.

De Oplossing: Een nieuwe "Keukentest"

De auteurs hebben een nieuwe, uitgebreide test ontwikkeld. Ze hebben 33 verschillende datasets (keukens) verzameld, variërend van sociale netwerken tot moleculen, en hebben 8 verschillende state-of-the-art robots (modellen) getest.

Ze hebben de robots in vier specifieke situaties geplaatst om te zien hoe ze presteren:

1. De "Alles-kunnen" Test: De robot leert op een mix van alle soorten gerechten en gereedschappen, en moet dan een nieuwe, nog nooit geziene taak uitvoeren.
   • Resultaat: De robots doen het vaak beter dan gewone modellen, maar niet overal even goed. Soms struikelen ze over een heel vreemd type keuken.
2. De "Oefening" Test: De robot leert op een mix van gerechten en moet dan een taak uitvoeren op een keuken die hij al heeft gezien tijdens het leren.
   • Resultaat: Hier doen ze het vaak goed, maar soms is een robot die specifiek voor die ene keuken is getraind, nog steeds slimmer dan de alles-kunnen robot.
3. De "Specialist" Test: De robot leert alleen op één type keuken (bijvoorbeeld alleen citaten) en moet dan naar een heel ander type (bijvoorbeeld chemie) overstappen.
   • Resultaat: Meer variatie in de leerfase helpt meestal, maar het is niet zo simpel als "hoe verder weg, hoe moeilijker". Soms helpt een heel ander onderwerp juist beter dan een beetje verwant onderwerp.
4. De "Basis" Test: De robot leert op de simpelste vorm van gereedschap (statisch, één soort) en moet dan werken met complexe, moderne keukens (dynamisch, meerdere soorten).
   • Resultaat: Dit is lastig. Als je een robot alleen leert op simpele schalen, faalt hij vaak als hij plotseling met complexe, bewegende data te maken krijgt.

De Belangrijkste Lessen (De "Aha!"-momenten)

De auteurs komen tot een paar belangrijke conclusies die de toekomst van deze robots bepalen:

• Variatie is goed, maar niet altijd: Het helpt om een robot op veel verschillende onderwerpen te trainen. Maar het is niet zo dat "hoe verder weg het onderwerp, hoe slechter het werkt". Soms helpt een heel ander onderwerp juist om de robot flexibeler te maken.
• Het gereedschap telt mee: Als je een robot alleen leert op simpele, statische netwerken, faalt hij vaak als hij moet werken met complexe, bewegende netwerken. Je moet de robot ook laten oefenen met de "moeilijke" vormen van data.
• Tekst is een tweesnijdend zwaard: Sommige robots gebruiken tekst (woorden) om netwerken te begrijpen. Als ze tijdens het leren geen tekst kregen, maar ze moeten er later wel mee werken, gaan ze faalangstig worden. Ze moeten dus óf met tekst worden getraind, óf een plan B hebben.

Conclusie

Dit paper is als een grote rapportage van een school. De auteurs zeggen: "We hebben de leerlingen (de AI-modellen) op een nieuwe manier getoetst. Ze zijn slim, maar ze zijn nog niet perfect. Ze kunnen goed overstappen van het ene onderwerp naar het andere, maar als we ze een compleet ander type gereedschap geven, raken ze in de war."

De boodschap voor de toekomst is duidelijk: Om echt universele AI te bouwen, moeten we niet alleen zorgen voor meer variatie in wat we leren, maar ook in hoe we het presenteren. De robot moet leren omgaan met zowel de ingrediënten als de manier waarop ze worden geserveerd.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Evaluating Progress in Graph Foundation Models: A Comprehensive Benchmark and New Insights" in het Nederlands.

1. Het Probleem

Graph Foundation Models (GFMs) zijn ontworpen om overdraagbare kennis te verwerven door vooraf te trainen op diverse grafen, waarna ze kunnen worden aangepast aan verschillende downstream-taken. Echter, het beoordelen van de prestaties van GFMs is complex omdat de "domeinverschuiving" (domain shift) in grafen inherent tweedimensionaal is:

1. Topic-domeinen (Semantiek): Wat de grafen beschrijven (bijv. citatienetwerken, sociale netwerken, moleculaire grafen, financiële netwerken). Deze verschillen in de betekenis van knopen en randen.
2. Format-domeinen (Representatie): Hoe de grafen zijn gestructureerd (bijv. homogeen vs. heterogeen, homofiel vs. heterofiel, statisch vs. dynamisch, tekst-geassocieerd).

Bestaande benchmarks voor GFMs zijn vaak eenzijdig: ze variëren alleen de topic-domeinen terwijl het graf-formaat constant wordt gehouden, of ze beperken zich tot een specifiek toepassingsgebied. Dit leidt tot een onvolledig en soms misleidend beeld van de werkelijke generalisatiekracht van GFMs, omdat het niet duidelijk is of prestaties voortkomen uit semantische generalisatie of robuustheid tegen representatieveranderingen. Daarnaast lopen bestaande benchmarks vaak achter bij de snel evoluerende literatuur.

2. Methodologie

De auteurs introduceren een nieuw, uitgebreid benchmarkkader dat de twee dimensies (topic en formaat) expliciet en gezamenlijk evalueert gedurende het volledige GFM-pipeline: van zelftoezichtende vooraftraining tot aanpassing met weinig labels (few-shot learning).

De Benchmark Opbouw:

• Datasets: Het kader omvat 33 datasets die zich uitstrekken over 7 topic-domeinen (citaties, sociaal/web, e-commerce, financiën, common sense, moleculen, eiwitten) en 6 formaat-domeinen (heterogeen, heterofiel, dynamisch, relationeel, tekst-geassocieerd, enz.).
• Modellen: Er worden 8 state-of-the-art GFMs geëvalueerd (o.a. GCOPE, MDGPT, SAMGPT, MDGFM, G2P2, GraphCLIP, GFT, UniGraph2), naast traditionele overwaakbare GNNs (GCN, GAT) als baselines.
• Vier Evaluatie-Settings: Om verschillende aspecten van generalisatie te isoleren, worden vier experimentele settings gebruikt:
  1. Setting I (Unseen): Vooraftrainen op diverse topics en formats, aanpassen aan ongezien downstream-datasets.
  2. Setting II (Seen): Vooraftrainen op diverse topics en formats, aanpassen aan geziene datasets (interpolatie).
  3. Setting III (Topic Shift): Vooraftrainen op één topic (citaatnetwerken), aanpassen aan andere topics. Dit isoleert semantische generalisatie.
  4. Setting IV (Format Shift): Vooraftrainen op een basisformaat (homogeen, statisch, tekstloos), aanpassen aan andere formats. Dit isoleert format-generalisatie.

Data Pre-processing:
Om eerlijke vergelijkingen mogelijk te maken, worden alle datasets gestandaardiseerd naar een uniforme interface. Dit omvat het behandelen van heterogene grafen (door type-informatie als attributen te coderen), dynamische grafen (snapshot-methode) en het behoud van tekstuele attributen voor modellen die deze ondersteunen.

3. Belangrijkste Bijdragen

1. Tweedimensionale Domeinvisie: De auteurs formaliseren een nieuw perspectief op graf-domeinen dat topic (semantiek) en formaat (structuur/representatie) expliciet onderscheidt.
2. Uitgebreid Benchmarkkader: Een uniek dataset- en protocolkader dat de volledige GFM-pipeline dekt, inclusief multi-domein vooraftraining en cross-domein aanpassing.
3. Gefinancierde Evaluatie-Settings: Vier specifieke settings die het mogelijk maken om semantische generalisatie te ontkoppelen van robuustheid tegen representatieverschuivingen, zowel voor geziene als ongezied data.
4. Empirische Inzichten: Een grondige analyse van acht GFMs die nieuwe inzichten oplevert over generalisatiegedrag, beperkingen en de effectiviteit van bestaande methoden.

4. Resultaten en Analyse

De resultaten tonen aan dat GFMs veelbelovend zijn, maar nog niet robuust genoeg voor alle scenario's:

• Generalisatie naar Ongezien Data (Setting I): GFMs presteren over het algemeen beter dan traditionele, enkel op de downstream-data getrainde GNNs, maar de verbetering is niet consistent. Geen enkel model domineert op alle datasets. Modellen die tekstlabels gebruiken (zoals G2P2, GraphCLIP) presteren goed waar tekst beschikbaar is, maar falen vaak zonder.
• Geziene Data vs. Multi-domein Training (Setting II): Op geziene datasets presteren GFMs vaak goed, maar soms presteren modellen die specifiek op de downstream-graf zijn getraind (zonder multi-domein vooraftraining) beter. Dit suggereert dat multi-domein kennis niet altijd effectief wordt geïntegreerd of dat de "negatieve transfer" (conflicterende kennis) een probleem is.
• Topic vs. Formaat Generalisatie:
  • Topic: Brede topic-domein dekking tijdens vooraftraining helpt over het algemeen, maar de "topic-proximaliteit" (hoe dicht twee topics bij elkaar liggen) is geen goede voorspeller voor succes. Dataset-niveau invarianties (zoals schaal en labelverdeling) zijn belangrijker dan de grove topic-categorie.
  • Formaat: Multi-format training helpt bij het aanpassen aan heterofiele, relationele en tekst-geassocieerde grafen. Echter, voor heterogene en dynamische grafen leidt naïeve mixen van formats vaak tot slechtere prestaties. Dit suggereert dat deze formats een te grote representatiegaps hebben en specifieke architecturale aanpassingen vereisen.
• Tekst-geassocieerde Grafen: GFMs met tekst-encoders presteren slecht als ze vooraf zijn getraind zonder tekst (Setting IV). De tekst-encoder krijgt dan geen zinvolle supervisie en de tekst fungeert later als ruis.

5. Betekenis en Toekomstige Richtingen

Dit paper is een mijlpaal voor het veld van Graph Foundation Models omdat het de huidige benchmarks uitdaagt die te simplistisch zijn. De belangrijkste conclusies voor toekomstig onderzoek zijn:

1. Integratie van Kennis: Er is een betere manier nodig om complementaire kennis uit verschillende domeinen te integreren tijdens vooraftraining, zonder dat dit leidt tot conflicterende signalen.
2. Dataset-Niveau Invarianties: Bij het samenstellen van trainingscorpora moet men kijken naar dataset-specifieke verschillen en gedeelde invarianties, in plaats van alleen te vertrouwen op ruwe topic-classificatie.
3. Format-Aware Ontwerp: Voor grote format-gaten (zoals heterogene of dynamische grafen) zijn waarschijnlijk specifieke architecturale modules of objectieven nodig, in plaats van één uniforme doelstelling.
4. Tekst als Optionele Versterking: Voor modellen die tekst gebruiken, is het cruciaal om een robuust pad zonder tekst te behouden, of ervoor te zorgen dat tekst expliciet aanwezig is tijdens de vooraftraining.

Kortom, de auteurs bieden een gestructureerde weg vooruit om GFMs te ontwikkelen die niet alleen op specifieke taken presteren, maar echt universeel bruikbaar zijn voor de diverse en complexe wereld van graf-gebaseerde data.