Freeze, Prompt, and Adapt: A Framework for Source-free Unsupervised GNN Prompting

Technische Samenvatting: Freeze, Prompt, en Adapt (UGPrompt)

Probleemformulering: Unsupervised Graph Prompting Problem (UGPP)
Het artikel identificeert een kritieke kloof in de huidige aanpassing van Graph Neural Networks (GNN): bestaande prompting-methoden leunen zwaar op gelabelde data en vereisen vaak het finetunen van taakspecifieke voorspellingskoppen (lightweight fine-tuning). Dit ondermijnt het doel van parameter-efficiënte adaptatie, met name in scenario's waar brongegevens ontoegankelijk zijn (bijv. vanwege privacy) en doel-labels niet beschikbaar zijn.

Om dit aan te pakken, stellen de auteurs het Unsupervised Graph Prompting Problem (UGPP) voor. Dit is een rigoureuze probleemstelling die wordt gedefinieerd door vier strikte condities:

1. Frozen Source Model: Het voorgetrainde GNN (inclusief zowel de encoder als de voorspellingskop) blijft volledig bevroren; geen parameters van het op de bron getrainde model worden bijgewerkt.
2. Geen Doel-labels: Adaptatie vindt plaats zonder gelabelde data uit het doeldomein.
3. Bron-ontoegankelijkheid: De oorspronkelijke bron-dataset die werd gebruikt voor de voortraining is niet beschikbaar.
4. Covariate Shift: De distributie van de doeldata vertoont een verschuiving ten opzichte van de bron-distributie ($P_s^X \neq P_t^X$), terwijl de conditionele labelverdeling invariant blijft ($P_t^{Y|X} = P_s^{Y|X}$).

Deze setting onderscheidt UGPP van Unsupervised Source-Free Domain Adaptation (SFDA), dat doorgaans het finetunen van de modelparameters toestaat. UGPP isoleert de effectiviteit van de prompting-functie zelf als het enige mechanisme voor adaptatie.

Methodologie: UGPrompt
De auteurs introduceren UGPrompt, het eerste volledig unsupervised GNN-prompting framework dat is ontworend om UGPP op te lossen. Het framework traint een leerbare prompting-functie $f(\cdot; \theta_f)$ om een bevroren GNN aan te passen aan de doelverdeling. De methodologie bestaat uit drie kerncomponenten:

1. Consistentie-gebaseerde Prompting:

   • Augmentatie: Voor elke input-graaf $G$ genereert de methode een zwakke augmentatie $G_w$ (via willekeurige feature masking) en een sterke augmentatie $G_s$.
   • Prompting: De sterke augmentatie $G_s$ wordt verwerkt door de leerbare prompting-functie $f$ om een geprompte graaf $G_p$ te produceren. De functie $f$ verrijkt de node feature vectoren met behulp van een prefix-module aanpak.
   • Doelstelling: Het model minimaliseert de discrepantie tussen de voorspellingsscores van de GNN voor $G_w$ en $G_p$. Cruciaal is dat pseudo-labels alleen worden gegenereerd van $G_w$ als de betrouwbaarheid van de GNN een drempelwaarde $\tau$ overschrijdt. Dit zorgt ervoor dat de optimalisatie vertrouwt op hoog-betrouwbare voorspellingen van het bevroren model, waardoor bronkennis effectief wordt gebruikt om de entropie op het doeldomein te verminderen.

2. Diversiteit Regularisatie ($L_{div}$):

   • Om te voorkomen dat het model convergeert naar een triviale oplossing (bijv. het voorspellen van een enkele klasse voor alle samples door klasse-imbalans), maximaliseert het framework de entropie van de verwachte voorspellingsscores over een batch. Dit stimuleert diverse voorspellingen over de doeldataset.

3. Domein Regularisatie ($L_{adv}$):

   • Om te voorkomen dat de prompting-functie out-of-distribution (OOD) grafen genereert, wordt een adversariële discriminator getraind om onderscheid te maken tussen de niet-geprompte zwakke augmentatie ($G_w$) en de geprompte graaf ($G_p$).
   • De prompting-functie wordt geregulariseerd om de discriminator te misleiden, waardoor wordt gewaarborgd dat de latente representaties van geprompte grafen dicht bij de distributie van de niet-geprompte augmentaties blijven (en daarmee de in het bevroren model behouden bron-distributie).

De uiteindelijke doelfunctie combineert deze termen: $L = L_c + \lambda_1 L_{div} + \lambda_2 L_{adv}$.

Belangrijkste Bijdragen

• Probleemdefinitie: De formalisering van UGPP, een nieuwe setting die de werkelijke effectiviteit van prompting isoleert door updates aan de op de bron getrainde GNN-parameters te verbieden en nul gelabelde data te vereisen.
• Nieuwe Methodologie: De voorstel van UGPrompt, die consistentie-regularisatie, betrouwbare pseudo-labeling en duale regularisatie (diversiteit en domein) gebruikt om bevroren GNN's unsupervised aan te passen.
• Empirische Validatie: Uitgebreide experimenten die aantonen dat UGPrompt de state-of-the-art (SOTA) gesuperviseerde prompting-methoden (die toegang hebben tot gelabelde data) overtreft op zowel graaf- als node-classificatietaken onder covariate shift.

Experimentele Resultaten
De auteurs evalueerden UGPrompt op zes standaard datasets voor graafclassificatie (ENZYMES, PROTEINS, DHFR, BBBP, BACE) en node-classificatie (Cora, CiteSeer, PubMed, Flickr, Cornell, Texas, Wisconsin).

• Prestaties vs. Gesuperviseerde Baselines: Ondanks het gebruik van 0% gelabelde data, presteerde UGPrompt consequent beter dan SOTA gesuperviseerde prompting-methoden (bijv. GraphPrompt, GPF-Plus, All-In-One) die getraind waren met 25% gelabelde data.
• Robuustheid tegen Shift: De methode behield positieve transfer zelfs onder zware covariate shifts (bijv. variërende homofilie-ratio's en PageRank-gebaseerde populariteitsverschuivingen), terwijl veel baselines leden onder negatieve transfer.
• Few-Shot Vermogen: Wanneer beperkte gelabelde data (5-25%) werd geïntroduceerd, verbeterde UGPrompt verder, wat aantoont dat het effectief labels kan benutten wanneer deze beschikbaar zijn, terwijl het superieur blijft in de volledig unsupervised setting.
• Stress Tests: In categorie-disjuncte stress-tests (waarbij de doelklassen semantisch verschillend waren van de bronklassen maar de kop bevroren bleef), herstelde UGPrompt significante prestaties, terwijl baselines vaak instortten.

Betekenis en Claims
Het artikel claimt dat UGPrompt de levensvatbaarheid van unsupervised prompting demonstreert als een praktisch adaptatieparadigma voor GNN's. Door te bewijzen dat een bevroren GNN effectief kan worden aangepast aan nieuwe, verschoven distributies zonder gelabelde data of bron-toegang, daagt dit werk de noodzaak uit om voorspellingskoppen voor elke nieuwe taak te finetunen. De auteurs positioneren dit als een stap richting "graph foundation models" die kunnen generaliseren over diverse, ongelabelde datasets.

De auteurs erkennen bescheiden de beperkingen: UGPP gaat ervan uit dat de bron- en doeldomeinen dezelfde labelruimte delen. De methode is niet ontworpen voor open-vocabulary scenario's met nieuwe doelklassen, aangezien de bevroren voorspellingskop geen nieuwe labels kan accommoderen zonder hertraining. Toekomstig werk wordt gesuggereerd om universele grafen-vocabulaire en hoogwaardige pseudo-label selectie onder zware shifts aan te pakken.