How to Make LMs Strong Node Classifiers?

Technische Zusammenfassung: AUGLM – Augmented Graph Language Model für die Knotenklassifizierung

Problemstellung
Obwohl Sprachmodelle (LMs) vielversprechende Ergebnisse bei Graphlernaufgaben gezeigt haben, stehen bestehende Ansätze für die Knotenklassifizierung auf textbasierten Graphen (Text-Attributed Graphs, TAGs) vor einem grundlegenden Kompromiss zwischen Leistung und architektonischer Flexibilität. State-of-the-Art (SOTA)-Methoden wie InstructGLM und LLaGA erzielen starke Ergebnisse durch die Modifikation der LM-Architektur – insbesondere durch die Erweiterung des Vokabulars um eindeutige Token für jeden Knoten oder durch das Injizieren topologiebewusster Embeddings in den Token-Raum. Während diese Modifikationen effektiv sind, beeinträchtigen sie die Allgemeingültigkeit des Backbone-LMs, verhindern ein nahtloses Multi-Task-Learning über verschiedene Datensätze hinweg und schränken die Verwendung proprietärer oder geschlossener Modelle ein, bei denen der Zugriff auf die Architektur nicht möglich ist. Die zentrale Frage, die mit dieser Arbeit adressiert wird, lautet: Wie können fertige (off-the-shelf), auf Text-zu-Text-Instruktionen optimierte LMs eine wettbewerbsfähige Leistung bei der Knotenklassifizierung erzielen, ohne jegliche architektonische Modifikationen vorzunehmen?

Methodik: AUGLM
Die Autoren schlagen AUGLM (Augmented Graph Language Model) vor, ein Framework, das Standard-LMs durch Datenaugmentationsstrategien anstatt durch architektonische Änderungen verbessert. AUGLM formuliert die Knotenklassifizierung als Text-zu-Text-Aufgabe um und bewahrt dabei die ursprüngliche Struktur des LMs, während es den Eingabekontext bereichert. Das Framework stützt sich auf drei Kernkomponenten:

1. Retrieval-basierte Aggregation:
   Anstatt sich auf eine einfache Multi-Hop-Nachbarschaftsaggregation zu verlassen (die Rauschen einführen oder zu einer „Nachbarschaftsexplosion“ führen kann), verwendet AUGLM zwei komplementäre Retrieval-Strategien, um reichhaltige kontextuelle Informationen bereitzustellen:

   • Topologische Retrieval: Nutzt Personalized PageRank (PPR), um die relevantesten Nachbarn für einen Zielknoten basierend auf der Graphstruktur zu identifizieren, anstatt fester Hop-Distanzen. Die textuellen Merkmale dieser Top-K PPR-Nachbarn werden konkateniert, um einen strukturellen Kontext zu bilden.
   • Prototypische semantische Retrieval: Inspiriert von Retrieval-Augmented Generation (RAG) und Graph-Transformern, behandelt dieses Modul die textuellen Merkmale aller Nicht-Zielknoten als ein externes Korpus. Es ruft „Prototypen“ – repräsentative Beispiele für jede Klasse – ab, indem zunächst ein leichtgewichtiges GNN trainiert wird, um Knotenvorhersagen zu generieren. Die am konsequentesten vorhergesagten Beispiele für jede Klasse werden als Prototypen ausgewählt. Das System ruft dann den semantisch ähnlichsten Prototyp (und dessen assoziierte PPR-Nachbarn) zum Text des Zielknotens ab.

2. Classifier Guidance (Candidate Pruning):
   Um das begrenzte inhärente Verständnis des LMs für die Graph-Topologie zu adressieren, integriert AUGLM eine Anleitung durch ein Spezialistenmodell. Ein vortrainiertes, leichtgewichtiges GNN sagt eine Menge von Top-$I$ Kandidaten-Labels für jeden Knoten voraus. Diese Kandidaten werden in Text umgewandelt und in den Prompt aufgenommen. Diese Strategie verengt effektiv den Suchraum, sodass sich das LM auf das Differenzieren zwischen hochrelevanten, topologieinformierten Kandidaten konzentrieren kann, anstatt den gesamten Label-Raum zu durchsuchen.

3. Training und Optimierung:
   Das Framework umfasst drei parametrisierte Module: ein leichtgewichtiges GNN ($\psi$) zur Generierung von Prototypen und Kandidaten, einen semantischen Retriever ($\phi$) und das Backbone-LM ($\theta$).

   • Das GNN wird unabhängig vortrainiert.
   • Der semantische Retriever wird mittels eines Distribution-Matching-Loss (KL-Divergenz) trainiert, um die Retrieval-Wahrscheinlichkeiten mit der Likelihood des LMs abzugleichen, das korrekte Ground-Truth-Label zu generieren.
   • Das Backbone-LM wird unter Verwendung des Standard-Token-weisen Negative Log-Likelihood (NLL) Loss auf den augmentierten Input-Prompts feinjustiert.
   • Entscheidend ist, dass die Computational Graphs für den Retriever und das LM während spezifischer Trainingsphasen über Stop-Gradient-Operatoren entkoppelt werden, was ein effizientes Backpropagation gewährleistet.

Wesentliche Beiträge

• Architektonische Bewahrung: Im Gegensatz zu früheren SOTA-Methoden erfordert AUGLM keine Modifikationen an der LM-Architektur oder dem Vokabular, was die Verwendung jedes fertigen Text-zu-Text-LMs ermöglicht.
• Dual-Strategie-Augmentation: Die Einführung eines hybriden Retrieval-Mechanismus, der topologische (PPR) und semantische (prototypenbasierte) Informationen kombiniert, um die Einschränkungen einfacher Nachbarschaftsaggregation zu überwinden.
• Leichtgewichtige Anleitung: Eine neuartige Methode, um den topologischen induktiven Bias eines GNN via Kandidaten-Label-Pruning auf ein LM zu übertragen und so die Leistung zu steigen, ohne die internen Parameter des LMs zu verändern.
• Multi-Task-Flexibilität: Das Framework unterstützt das gemeinsame Training auf mehreren diversen Datensätzen, ohne dass datenspezifische Token-Erweiterungen erforderlich sind – eine Fähigkeit, die bei architekturmodifizierenden Ansätzen oft verloren geht.

Experimentelle Ergebnisse
Die Autoren evaluierten AUGLM auf vier realen TAG-Datensätzen: Cora, Pubmed, ogbn-arxiv und ogbn-products.

• Leistung: Ausgestattet mit Flan-T5-Backbones, übertraf AUGLM konsistent SOTA Text-Output-Knotenklassifikatoren (einschließlich InstructGLM und LLaGA).
• Vergleich mit Vector-Output-Modellen: AUGLM erreichte eine vergleichbare Leistung mit – und in einigen Fällen (z. B. bei ogbn-products) sogar eine überlegene Leistung gegenüber – den besten Vector-Output-Modellen (wie TAPE und GLEM+RevGAT), obwohl es rein im Textbereich operiert.
• Ablationsstudien: Experimente bestätigten, dass alle drei Komponenten (topologische Retrieval, semantische Retrieval und Label-Pruning) positiv zur Leistung beitragen, wobei ihre relative Bedeutung je nach Datensatz variiert.
• Gemeinsames Training (Joint Training): Ein Modell, das gemeinsam auf allen vier Datensätzen trainiert wurde, erreichte eine Leistung, die mit Modellen vergleichbar ist, die separat auf jedem Datensatz trainiert wurden, was die Fähigkeit des Frameworks demonstriert, über diverse Graphstrukturen hinweg zu generalisieren, ohne Leistungsverlust.

Bedeutung und Ansprüche
Das Paper positioniert AUGLM als einen entscheidenden Schritt zur Überbrückung der Lücke zwischen spezialisierten, aufgabenspezifischen Knotenklassifikatoren und universellen Foundation Models. Durch den Nachweis, dass hochperformantes Graph-Learning durch Input-Augmentation statt durch architektonische Modifikation erreicht werden kann, weist die Arbeit den Weg zu vielseitigeren und breiter anwendbaren Graph-Learning-Modellen. Die Autoren behaupten, dass dieser Ansatz die Vorteile des Instruction Tunings bewahrt – insbesondere die Fähigkeit, gemeinsam auf diversen Datensätzen zu trainieren – während er gleichzeitig die Inflexibilität früherer Graph-LM-Integrationsmethoden überwindet. Die Arbeit kommt zu dem Schluss, dass die inhärenten Einschränkungen aktueller LMs beim Verständnis von Graphstrukturen durch strategische Datenaugmentation effektiv gemildert werden können, was den Weg für vereinheitlichte Modelle ebnet, die in multiplen Graph-Learning-Aufgaben exzellieren.