GraphKeeper: Graph Domain-Incremental Learning via Knowledge Disentanglement and Preservation

Het artikel introduceert GraphKeeper, een nieuwe methode voor graf-domein-incrementeel leren die catastrofale vergetelheid aanpakt door kennisontvlechting en -behoud te combineren, waardoor state-of-the-art resultaten worden behaald met minimale vergetelheid en naadloze integratie met graf-fondamentmodellen.

De kern

Stel je voor dat je een super-slimme bibliothecaris bent die zich specialiseert in het begrijpen van complexe netwerken, zoals sociale netwerken, wetenschappelijke artikelen of vliegverbindingen. Dit noemen we in de tech-wereld een "Grafische Neuraal Netwerk" (GNN).

Tot nu toe was het werk van deze bibliothecaris vrij simpel: hij leerde eerst over boeken over geschiedenis, en daarna over boeken over biologie. Omdat het allemaal binnen één grote bibliotheek (één domein) gebeurde, kon hij de kennis makkelijk combineren.

Maar wat als de bibliotheek uitbreidt met hele nieuwe afdelingen die totaal anders zijn? Denk aan een afdeling met alleen maar muziekalbums, een andere met alleen maar kookboeken, en weer een andere met alleen maar sportstatistieken. Elk van deze afdelingen heeft zijn eigen taal, eigen regels en eigen structuur.

Dit is het probleem dat het paper "GraphKeeper" oplost. Het is een nieuwe methode om deze slimme bibliothecaris te leren omgaan met deze nieuwe, verschillende afdelingen zonder dat hij zijn oude kennis vergeet.

Hier is hoe het werkt, vertaald naar alledaagse taal:

Het Grote Probleem: "De Vergeten Bibliotheek"

Wanneer je een slimme computer leert over een nieuw onderwerp (bijvoorbeeld muziek), heeft hij vaak de neiging om zijn oude kennis (geschiedenis) te "overschrijven". Hij probeert alles in één grote, rommelige map te stoppen.

• Het gevolg: Hij begint muzieknummers te verwarren met historische data. Hij vergeet hoe hij vroeger goed kon werken. In de tech-taal noemen ze dit catastrophic forgetting (catastrofaal vergeten).

De Oplossing: GraphKeeper

De auteurs van dit paper hebben een slimme strategie bedacht, die we kunnen vergelijken met het bouwen van een modulair kantoor in plaats van één grote, chaotische ruimte.

1. Speciale Brillen voor elke Afdeling (Domain-Specific PEFT)

Stel je voor dat de bibliothecaris een paar gewone brillen heeft. Als hij naar muziek kijkt, ziet hij alles wazig.
GraphKeeper geeft hem specifieke brillen voor elke afdeling.

• Voor de geschiedenis-afdeling krijgt hij bril A.
• Voor de muziek-afdeling krijgt hij bril B.
• Voor de sport-afdeling krijgt hij bril C.

Wanneer hij naar muziek kijkt, doet hij bril A uit en bril B op. Hij past de bril B aan, maar verandert niets aan bril A. Hierdoor blijft zijn kennis over geschiedenis perfect intact, zelfs terwijl hij leert over muziek. Dit heet in het paper parameter-efficient fine-tuning.

2. Het "Niet-Verwarren" Spel (Disentanglement)

Zelfs met de juiste brillen kan het zijn dat de bibliothecaris per ongeluk een muziekalbum in de geschiedenisrekken zet.
GraphKeeper zorgt ervoor dat de bibliothecaris een streng sorteer-systeem gebruikt:

• Binnen één afdeling: Hij zorgt dat alle boeken over rockmuziek dicht bij elkaar liggen, en alle boeken over jazz ook, maar ver weg van elkaar.
• Tussen de afdelingen: Hij zorgt dat de hele muziek-afdeling ver weg ligt van de geschiedenis-afdeling. Hij bouwt een grote muur tussen de verschillende talen. Zo kan hij nooit per ongeluk een kookboek verwarren met een sportartikel.

3. Een Vaste Regelsysteem (Deviation-Free Knowledge Preservation)

Vaak verandert een slimme computer ook zijn regels (zijn "beslissingslijn") als hij iets nieuws leert. Hij denkt: "Oh, ik heb nu muziek geleerd, dus misschien moet ik mijn regels voor geschiedenis ook aanpassen." Dat is gevaarlijk!
GraphKeeper scheidt de kennis (de bril) van de regels (de beslissing).

• De regels worden niet meer "geleerd" door te gokken en te proberen. Ze worden berekend met een wiskundige formule (Ridge Regression).
• Het is alsof je een vaste, onveranderlijke wetboek hebt. Als er nieuwe kennis bij komt, pas je de wetten niet aan; je voegt gewoon een nieuwe pagina toe zonder de oude pagina's te herschrijven. Zo blijft de beslissing over oude data altijd stabiel.

4. De Gids voor Onbekende Gebieden (Domain-Aware Discrimination)

Soms komt er een nieuw boekje binnen, maar je weet niet of het over muziek, sport of geschiedenis gaat.
GraphKeeper heeft een gids die direct kijkt: "Hé, dit boekje lijkt het meest op de boeken in de muziek-afdeling." Hij stuurt het boekje dan direct naar de bibliothecaris met de muziek-bril. Zo wordt er geen fout gemaakt bij het kiezen van de juiste kennis.

Waarom is dit zo belangrijk?

In de echte wereld komen er steeds meer soorten data bij (nieuwe sociale media, nieuwe wetenschappelijke velden, nieuwe sensoren).

• Oude methoden probeerden alles in één grote bak te gooien, wat leidde tot chaos en vergeten kennis.
• GraphKeeper bouwt een modulair systeem waar elke nieuwe wereld zijn eigen ruimte krijgt, maar toch samenwerkt met de oude wereld.

Het Resultaat

In hun experimenten bleek dat GraphKeeper veel beter presteert dan de beste bestaande methoden (met een verbetering van 6% tot 16%).

• Hij vergeet bijna niets (verwaarloosbaar vergeten).
• Hij werkt zelfs als je hem koppelt aan de allermodernste, super-grote grafische modellen (de "foundation models").

Kortom: GraphKeeper is de slimme bibliothecaris die nooit meer vergeten raakt, omdat hij voor elk nieuw onderwerp zijn eigen gereedschapskist heeft, zijn eigen regels behoudt en precies weet waar hij moet zoeken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "GraphKeeper: Graph Domain-Incremental Learning via Knowledge Disentanglement and Preservation" in het Nederlands.

Probleemstelling: Catastrophic Forgetting in Domain-IL

Het paper adresseert een kritiek gat in het veld van Graph Incremental Learning (GIL). Bestaande methoden richten zich voornamelijk op Task-Incremental Learning (Task-IL) en Class-Incremental Learning (Class-IL), waarbij nieuwe taken of klassen binnen één enkel domein worden geleerd. Echter, met de opkomst van Graph Foundation Models (GFMs), wordt het steeds belangrijker om modellen te updaten over meerdere verschillende graf-domeinen heen (bijv. van sociale netwerken naar chemische netwerken).

Dit scenario, genaamd Domain-Incremental Learning (Domain-IL), wordt geconfronteerd met het probleem van catastrophic forgetting (catastrofaal vergeten). Wanneer een model een nieuw graf-domein leert, verandert dit de modelparameters zodanig dat:

1. Embedding-shiften optreden: De representaties (embeddings) van eerder geleerde grafen verschuiven in de vectorruimte, wat leidt tot semantische verwarring tussen domeinen.
2. Afwijkingen in de beslissingsgrens ontstaan: De classifier (decoder) past zich aan het nieuwe domein aan, waardoor de grens voor eerder geleerde domeinen verandert en kennis verloren gaat.

Bestaande GIL-methoden falen in dit scenario omdat ze niet kunnen omgaan met de aanzienlijke structurele en semantische verschillen tussen domeinen.

Methodologie: GraphKeeper

De auteurs stellen GraphKeeper voor, een nieuw framework dat catastrophic forgetting aanpakt door de twee bovenstaande oorzaken (embedding-shiften en beslissingsgrens-afwijkingen) te ontwarren. Het framework bestaat uit drie kerncomponenten:

1. Multi-domain Graph Disentanglement (Ontwarren van domeinen)

Om te voorkomen dat embeddings van verschillende domeinen in de war raken, introduceert GraphKeeper:

• Domeinspecifieke Parameter-Efficient Fine-Tuning (PEFT): Gebaseerd op een voorgeöefende GNN (Graph Neural Network), wordt voor elk nieuw domein een apart LoRA (Low-Rank Adaptation) module toegevoegd. Wanneer een nieuw domein wordt geleerd, worden de LoRA-parameters van de vorige domeinen bevroren. Dit zorgt ervoor dat de embeddings van oude domeinen stabiel blijven en niet verschuiven.
• Intra- en Inter-domein Disentanglement:
  • Intra-domein: Een contrastieve leerdoelstelling zorgt ervoor dat knopen van dezelfde klasse binnen een domein dicht bij elkaar liggen en knopen van verschillende klassen ver uit elkaar.
  • Inter-domein: Een doelstelling gebaseerd op "scattering" duwt de embeddings van het huidige domein weg van de embeddings-prototypen (gemiddelde representaties) van alle eerder geleerde domeinen. Dit voorkomt onbedoelde overlap tussen domeinen.

2. Deviation-Free Knowledge Preservation (Afwijkingsvrije kennisbehoud)

Om de beslissingsgrens stabiel te houden zonder historische data te hoeven opslaan (replay):

• Scheiding van Embedding en Classifier: In plaats van een end-to-end training waarbij de classifier meeverandert, wordt de classifier gescheiden van het embedding-model.
• Ridge Regression met Recursieve Update: De classifier wordt getraind via Ridge Regression. Omdat historische data niet beschikbaar is in GIL, gebruiken de auteurs een recursieve update-formule (gebaseerd op de Woodbury-matrixidentiteit) om de Ridge-regressie-parameters te updaten met alleen de data van het huidige domein, terwijl de kennis van alle vorige domeinen wiskundig behouden blijft. Dit garandeert een stabiele beslissingsgrens zonder catastrofale vergetelheid.

3. Domein-bewuste Distributie Discriminatie

Voor testdata waarvan het domein onbekend is (niet-observable):

• Het systeem gebruikt een hoog-dimensionale willekeurige mapping (via een bevroren GNN) om de kenmerken van verschillende domeinen lineair scheidbaar te maken.
• Vervolgens wordt het testgraf toegewezen aan het dichtstbijzijnde domein-prototype. Dit zorgt ervoor dat het juiste domeinspecifieke PEFT-module wordt gebruikt voor de inferentie.

Belangrijkste Bijdragen

1. Eerste exploratie van Domain-IL: Het paper is, voor zover bekend, het eerste werk dat zich specifiek richt op Graph Domain-Incremental Learning, een cruciaal maar tot nu toe onontgonnen gebied in de context van Graph Foundation Models.
2. Nieuw Framework (GraphKeeper): Een innovatieve architectuur die parameter-efficiënte fine-tuning (PEFT) combineert met een analytische oplossing voor classifier-updates om zowel embedding-stabiliteit als beslissingsgrens-consistentie te garanderen.
3. Seamless Integratie: Het framework kan naadloos worden geïntegreerd met bestaande representatieve GFMs (zoals GCOPE en MDGPT), waardoor deze modellen de capaciteit krijgen om continu bij te leren zonder verlies van prestaties.

Resultaten

De auteurs hebben GraphKeeper getest op 15 real-world datasets in verschillende domein-groepen. De resultaten tonen aan dat:

• State-of-the-art prestaties: GraphKeeper presteert significant beter dan de beste bestaande methoden (zoals SSM, DeLoMe, PDGNNs) en traditionele IL-methoden (EWC, GEM).
• Verbetering: Er is een verbetering van 6,5% tot 16,6% in gemiddelde nauwkeurigheid (Average Accuracy) ten opzichte van de runner-up.
• Vergeten vermijden: Het model vertoont verwaarloosbaar vergeten (Average Forgetting dicht bij 0), terwijl andere methoden vaak een sterke daling in prestaties op oude domeinen laten zien.
• Superioriteit boven "Joint Training": GraphKeeper presteert zelfs beter dan een "Joint" baseline (waarbij alle data tegelijk wordt gebruikt), wat aantoont dat het isoleren van domein-specifieke parameters effectiever is dan het proberen om één enkel model te trainen op alle data.
• Integratie met GFMs: Wanneer GraphKeeper wordt gekoppeld aan GFMs, verbetert dit de prestaties in few-shot Domain-IL scenario's drastisch, terwijl het de zero-shot capaciteiten van de GFMs behoudt.

Betekenis en Impact

GraphKeeper lost een fundamenteel probleem op in de evolutie van grafische AI. Het maakt het mogelijk om Graph Foundation Models continu bij te werken met nieuwe data uit diverse domeinen zonder dat ze hun eerdere kennis verliezen. Dit is essentieel voor praktische toepassingen waar data continu stroomt en uit verschillende bronnen (domeinen) komt. De methode biedt een schaalbare oplossing die geen enorme geheugenvoorraad vereist (geen memory replay) en werkt efficiënt door het gebruik van parameter-efficiënte technieken. Het paper markeert een belangrijke stap richting echt "levend" leren voor grafische netwerken.