Freeze, Prompt, and Adapt: A Framework for Source-free Unsupervised GNN Prompting

Technisches Resümee: Freeze, Prompt und Adapt (UGPrompt)

Problemformulierung: Unüberwachtes Graph-Prompting-Problem (UGPP)
Das Paper identifiziert eine kritische Lücke in der aktuellen Anpassung von Graph Neural Networks (GNNs): Bestehende Prompting-Methoden verlassen sich stark auf gelabelte Daten und erfordern oft das Fine-Tuning aufgabenspezifischer Vorhersageköpfe (leichtgewichtiges Fine-Tuning). Dies untergräbt das Ziel einer parametereffizienten Anpassung, insbesondere in Szenarien, in denen Quelldaten unzugänglich sind (z. B. aufgrund von Datenschutz) und keine Ziel-Labels verfügbar sind.

Um dies zu adressieren, schlagen die Autoren das Unüberwachte Graph-Prompting-Problem (UGPP) vor. Dies ist ein streng definiertes Problemsetting, das durch vier strikte Bedingungen gekennzeichnet ist:

1. Gefrorenes Quellmodell: Das vortrainierte GNN (einschließlich sowohl des Encoders als auch des Vorhersagekopfs) bleibt vollständig eingefroren; es werden keine Parameter des quellbasierten Modells aktualisiert.
2. Keine Ziel-Labels: Die Anpassung erfolgt ohne jegliche gelabelten Daten aus der Zieldomäne.
3. Unzugänglichkeit der Quelle: Der ursprüngliche Quelldatensatz, der für das Pre-Training verwendet wurde, ist nicht verfügbar.
4. Kovariatenverschiebung (Covariate Shift): Die Verteilung der Ziel-Daten weist eine Verschiebung gegenüber der Quellverteilung auf ($P_s^X \neq P_t^X$), während die bedingte Label-Verteilung invariant bleibt ($P_t^{Y|X} = P_s^{Y|X}$).

Dieses Setting unterscheidet UGPP von der unüberwachten, quellenfreien Domänenanpassung (Unsupervised Source-Free Domain Adaptation, SFDA), die typischerweise eine Feinabstimmung der Modellparameter zulässt. UGPP isoliert die Effektivität der Prompting-Funktion selbst als den einzigen Mechanismus für die Anpassung.

Methodik: UGPrompt
Die Autoren führen UGPrompt ein, das erste vollkommen unüberwachte GNN-Prompting-Framework, das zur Lösung von UGPP entwickelt wurde. Das Framework trainiert eine lernbare Prompting-Funktion $f(\cdot; \theta_f)$, um ein gefrorenes GNN an die Zielverteilung anzupassen. Die Methodik besteht aus drei Kernkomponenten:

1. Konsistenzbasiertes Prompting:

   • Augmentierung: Für jeden Eingangs-Graphen $G$ generiert die Methode eine schwache Augmentierung $G_w$ (via zufälliger Feature-Maskierung) und eine starke Augmentierung $G_s$.
   • Prompting: Die starke Augmentierung $G_s$ wird durch die lernbare Prompting-Funktion $f$ verarbeitet, um einen geprompteten Graphen $G_p$ zu erzeugen. Die Funktion $f$ bereichert die Knoten-Feature-Vektoren mittels eines Prefix-Modul-Ansatzes.
   • Zielsetzung: Das Modell minimiert die Diskrepanz zwischen den Vorhersage-Scores des GNN für $G_w$ und $G_p$. Entscheidend ist, dass Pseudo-Labels nur aus $G_w$ generiert werden, wenn das Vertrauen des GNN einen Schwellenwert $\tau$ überschreitet. Dies stellt sicher, dass die Optimierung auf hochkonfidenten Vorhersagen des gefrorenen Modells basiert, wodurch das Quellwissen effektiv genutzt wird, um die Entropie auf der Zieldomäne zu reduzieren.

2. Diversitäts-Regularisierung ($L_{div}$):

   • Um zu verhindern, dass das Modell zu einer trivialen Lösung kollabiert (z. B. die Vorhersage einer einzigen Klasse für alle Samples aufgrund von Klassen-Imbalance), maximiert das Framework die Entropie der erwarteten Vorhersage-Scores über ein Batch hinweg. Dies fördert diverse Vorhersagen über den Zieldatensatz.

3. Domänen-Regularisierung ($L_{adv}$):

   • Um zu verhindern, dass die Prompting-Funktion Out-of-Distribution (OOD) Graphen generiert, wird ein adversarieller Diskriminator trainiert, um zwischen der nicht-geprompteten schwachen Augmentierung ($G_w$) und dem geprompteten Graphen ($G_p$) zu unterscheiden.
   • Die Prompting-Funktion wird so regularisiert, dass sie diesen Diskriminator täuscht, wodurch sichergestellt wird, dass die latenten Repräsentationen der geprompteten Graphen der Verteilung der nicht-geprompteten Augmentierungen (und damit der im gefrorenen Modell erhaltenen Quellverteilung) nahe bleiben.

Die finale Zielfunktion kombiniert diese Terme: $L = L_c + \lambda_1 L_{div} + \lambda_2 L_{adv}$.

Wesentliche Beiträge

• Problemdefinition: Die Formalisierung von UGPP, ein neuartiges Setting, das die wahre Effektivität von Prompting isoliert, indem es Updates der quellbasierten GNN-Parameter verbietet und null gelabelte Daten erfordert.
• Neuartige Methodik: Der Vorschlag von UGPrompt, welches Konsistenz-Regularisierung, konfidentes Pseudo-Labeling und duale Regularisierung (Diversität und Domäne) nutzt, um gefrorene GNNs unüberwacht anzupassen.
• Empirische Validierung: Umfangreiche Experimente zeigen, dass UGPrompt sowohl bei Graph- als auch bei Knotenklassifikationsaufgaben unter Kovariatenverschiebung die State-of-the-Art (SOTA) überwachten Prompting-Methoden (die Zugriff auf gelabelte Daten haben) übertrifft.

Experimentelle Ergebnisse
Die Autoren evaluierten UGPrompt auf sechs Standard-Datensätzen für Graph-Klassifikation (ENZYMES, PROTEINS, DHFR, BBBP, BACE) und Knoten-Klassifikation (Cora, CiteSeer, PubMed, Flickr, Cornell, Texas, Wisconsin).

• Performance vs. überwachte Baselines: Trotz der Verwendung von 0 % gelabelten Daten übertraf UGPrompt konsistent SOTA überwachte Prompting-Methoden (z. B. GraphPrompt, GPF-Plus, All-In-One), die mit 25 % gelabelten Daten trainiert wurden.
• Robustheit gegenüber Verschiebungen: Die Methode bewahrte einen positiven Transfer selbst unter schweren Kovariatenverschiebungen (z. B. variierende Homophilie-Raten und PageRank-basierte Popularitätsverschiebungen), während viele Baselines unter negativen Transfer litten.
• Few-Shot-Fähigkeit: Als begrenzte gelabelte Daten (5–25 %) hinzugefügt wurden, verbesserte sich UGPrompt weiter, was zeigt, dass es Labels effektiv nutzen kann, wenn sie verfügbar sind, während es im vollkommen unüberwachten Setting überlegen bleibt.
• Stresstests: In kategorien-disjunkten Stresstests (in denen die Zielklassen semantisch unterschiedlich zu den Quellklassen waren, aber der Kopf eingefroren blieb) konnte UGPrompt eine signifikante Performance wiederherstellen, während Baselines oft kollabierten.

Bedeutung und Behauptungen
Das Paper behauptet, dass UGPrompt die Durchführbarkeit von unüberwachtem Prompting als praktisches Anpassungsparadigma für GNNs demonstriert. Durch den Beweis, dass ein gefrorenes GNN effektiv an neue, verschobene Verteilungen ohne gelabelte Daten oder Zugriff auf die Quelle angepasst werden kann, stellt die Arbeit die Notwendigkeit infrage, Vorhersageköpfe für jede neue Aufgabe feinabzustimmen. Die Autoren positionieren dies als einen Schritt hin zu „Graph Foundation Models“, die über diverse, ungelabelte Datensätze hinweg generalisieren können.

Die Autoren räumen bescheiden Einschränkungen ein: UGPP setzt voraus, dass die Quell- und Zieldomänen denselben Labelraum teilen. Die Methode ist nicht für Open-Vocabulary-Szenarien mit neuen Zielklassen konzipiert, da der gefrorene Vorhersagekopf ohne Retraining keine neuen Labels aufnehmen kann. Zukünftige Arbeiten werden vorgeschlagen, um universelle Graph-Vokabularien und die Auswahl qualitativ hochwertiger Pseudo-Labels unter schweren Verschiebungen zu adressieren.