Handling Feature Heterogeneity with Learnable Graph Patches

Technische Samenvatting: Het afhandelen van feature-heterogeniteit met leerbare graafpatches

Probleemstelling
De snelle ontwikkeling van Graph Foundation Models (GFMs) streeft naar het construeren van universele pre-trained modellen die in staat zijn om kennis te transfereren naar diverse graafdatasets. Echter, een aanzienlijke barrière voor dit doel is feature-heterogeniteit. In tegen tegenstelling tot afbeeldingen of tekst, waarbij features vaak een gemeenschappelijke semantische ruimte delen, vertonen graafdata enorme verschillen in de bronnen en semantische betekenissen van node-features over verschillende domeinen heen. Zo kunnen moleculaire grafen expert-geannoteerde chemische eigenschappen gebruiken, terwijl financiële netwerken vertrouwen op tabelgegevens afgeleid van transactielogs. Deze features bevinden zich vaak in geheel verschillende semantische ruimtes. Bestaande oplossingen, zoals het mappen van features naar tekst via Large Language Models (LLMs), worden beperkt door de schaarste aan tekstuele node-informatie en privacyzorgen. Andere methoden, zoals Singular Value Decomposition (SVD), standaardiseren de lengte van features, maar slagen er niet in om de gezamenlijke distributie van node-features en graafstructuren uit te lijnen. Bijgevolg hebben huidige modellen moeite met het extraheren van overdraagbare informatie uit heterogene graafdata zonder zijdelingse informatie (side information).

Methodologie: PatchNet
Om deze uitdagingen aan te pakken, stellen de auteurs PatchNet voor, een framework gebouwd op het concept van leerbare graafpatches. De kernhypothese is dat een graaf kan worden gedecomponeerd in kleinere, overdraagbare semantische eenheden (patches) die de correlaties tussen features en structuur behouden, ongeacht het oorspronkelijke domein.

De methodologie bestaat uit drie hoofdfasen:

1. Het bouwen van structuurbewuste graafpatches:

   • Unfolding Node Tokens: In plaats van node-features te behandelen als een monolithische vector, "ontvouwt" de methode genormaliseerde node-attributen naar meerdere node tokens. Dit wordt bereikt via een tensor unfold-operatie met een sliding window, wat $K$ kanalen van tokens voor elke node creëert. Dit proces breidt features uit naar kleinere informatie-eenheden terwijl overlap tussen aangrenzende tokens behouden blijft om continuïteit te waarborgen.
   • Leren van Patch-structuren: Voor elk tokenkanaal leert een graph learner-module (geïmplementeerd via een aandachtmechanisme) een nieuwe specifieke adjacency matrix ($\tilde{A}$) voor dat kanaal. Deze module construeert dynamisch graafpatches ($P = \{T, \tilde{A}\}$) door relaties tussen node tokens te identificeren, waardoor de structuur wordt geleerd die de specifieke feature-subset het beste representeert. Een residual connection mengt deze geleerde structuur met de originele graafstructuur om het trainen te stabiliseren.

2. Patch Encoding (Patch Encoder):

   • Het framework maakt gebruik van een dual-branch attention mechanisme om elke patch te encoderen.
   • Eén tak gebruikt een Graph Neural Network (GNN) met gedeelde parameters om de geleerde graafpatch-structuur te encoderen.
   • De tweede tak encodeert de combinatie van de originele graafstructuur en de node tokens.
   • De outputs van beide takken worden gecombineerd via een Multi-Layer Perceptron (MLP) en Softmax om belangsscores te genereren, die worden gebruikt om de embeddings te fuseren tot één enkele representatie voor elke patch.

3. Patch Aggregation (Patch Aggregator):

   • In tegenstelling tot image of text transformers, die vertrouwen op positionele embeddings, ontbreken bij graafdata inherente positionele betekenissen voor feature-dimensies. Daarom aggregeert PatchNet direct de patch-embeddings.
   • Een Transformer block (Multi-Head Attention en Feed-Forward Network) wordt gebruikt om informatie over de $K$ patch-kanalen voor elke node te aggregeren. Dit stelt het model in staat om contextuele informatie over de gehele feature-ruimte te vangen zonder een vaste volgorde aan te nemen.
   • Het proces is modulair en stapelbaar; meerdere lagen van PatchNet kunnen worden gestapeld, waarbij de output van één laag dient als de input-features voor de patch-constructie van de volgende laag.

Belangrijkste Bijdragen

• Leerbare Graafpatches: Het artikel introduceert het concept van het decomponeren van grafen in leerbare patches als de kleinste semantische eenheden. Deze aanpak maakt het mogelijk om multi-domein kennis te behouden zonder tekst of zijdelingse informatie te vereisen, wat de feature-heterogeniteit direct aanpakt.
• PatchNet Framework: De auteurs stellen een schaalbare architectuur voor bestaande uit een patch encoder en een patch aggregator. Het model is ontworpen om domein-agnostisch te zijn, in staat om te pre-trainen op data uit uiteenlopende domeinen en te finetunen op downstream-taken in verschillende domeinen.
• Theoretische en Empirische Analyse: Het artikel analyseert de verbinding tussen PatchNet en bestaande Message Passing Neural Networks (MPNNs), waarbij PatchNet wordt geframed als een gedecoupleerde versie waarbij de aggregatie tussen patches wordt afgehandeld door een Transformer. Verder analyseren de auteurs de kwaliteit van de gegenereerde embeddings met behulp van Singular Value Entropy (SVE) en Largest Singular Value Ratio (LSVR), wat aantoont dat het model de overdraagbaarheid en onderscheidbaarheid van representaties tijdens het trainen verbetert.

Experimentele Resultaten
De auteurs evalueren PatchNet op het gebied van cross-domain transfer learning, data scaling en diverse downstream-taken:

• Cross-Domain Transfer: In experimenten waarbij gepre-trained werd op moleculaire (ZINC) en citatie (Ogbn-Arxiv) datasets en gefine-tuned werd op moleculaire (Sider, HIV, Bace) en sociale/citatie (Flickr, DBLP) taken, toonde PatchNet significante prestatieverbeteringen aan ten opzien van niet-gepre-trained baselines (bijv. GIN). De resultaten lieten statistisch significante winsten zien (lage p-waarden), zelfs wanneer de pre-training en downstream-data uit volkomen verschillende domeinen kwamen.
• Data Scaling: Het model vertoonde consistente prestatieverbeteringen naarmale de hoeveelheid pre-training data toenam, wat wijst op het potentieel om te schalen met grootschalige datasets.
• Downstream Taken: PatchNet presteerde beter dan diverse state-of-the-art backbones (inclusief GIN, Graphormer en GraphGPS) en pre-training strategieën (zoals Attribute Masking en Context Prediction) op zowel graafclassificatie (8 MoleculeNet datasets) als node classificatie (Coauthor-CS/Physics) taken.
• Ablatie Studies: De studie bevestigde dat de Transformer-gebaseerde aggregatiemodule superieur is aan eenvoudige pooling en dat overlappende token splitting betere resultaten oplevert dan non-overlapping splits.

Betekenis en Claims
Het artikel positioneert PatchNet als een veelbelovende stap naar het realiseren van een echte Graph Foundation Model. De primaire betekenis ligt in het vermogen om feature-heterogeniteit te behandelen zonder tekstuele zijdelingse informatie, een kritieke beperking in huidige graaf pre-training. Door feature-structuur correlaties te behandelen als leerbare eenheden, overbrugt het model de kloof tussen diverse graafdomeinen. De auteurs beweren dat PatchNet niet alleen superieure prestaties behaalt over meerdere datasets en taken, maar ook een positieve correlatie vertoont tussen de hoeveelheid pre-training data en de downstream prestaties. Het werk suggereert dat de overdraagbare informatie is ingekapseld binnen de geëxtraheerde graafpatches, waardoor het model effectief kan generaliseren, zelfs wanneer de downstream-data de specifieke semantische features mist die aanwezig waren in de pre-training set.