How to Make LMs Strong Node Classifiers?

Technische Samenvatting: AUGLM – Augmented Graph Language Model voor Node Classificatie

Probleemstelling
Hoewel taalmodellen (LMs) veelbelovend zijn gebleken voor grafenleer-taken, kampen bestaande benaderingen voor node classificatie op tekst-geattributueerde grafen (TAGs) met een fundamentele afruil tussen prestaties en architecturale flexibiliteit. State-of-the-art (SOTA) methoden zoals InstructGLM en LLaGA behalen sterke resultaten door de architectuur van het LM te wijzigen—specifiek door de vocabulaire uit te breiden met unieke tokens voor elke node of door topologie-bewuste embeddings in de tokenruimte te injecteren. Hoewel effectief, compromitteren deze wijzigingen de algemeenheid van het backbone-LM, wat naadloos multi-task leren over diverse datasets verhindert en het gebruik van propriëtaire of gesloten modellen beperkt waarbij toegang tot de architectuur niet beschikbaar is. De centrale vraag die dit werk adresseert is: Hoe kunnen off-the-shelf, op tekst-naar-tekst instructie-afgestemde LMs competitieve node classificatie prestaties bereiken zonder enige architecturale wijzigingen?

Methodologie: AUGLM
De auteurs stellen AUGLM (Augmented Graph Language Model) voor, een framework dat standaard LMs versterkt via data-augmentatiestrategieën in plaats van architecturale wijzigingen. AUGLM herformuleert node classificatie als een tekst-naar-tekst taak, waarbij de oorspronkelijke structuur van het LM behouden blijft terwijl de inputcontext wordt verrijkt. Het framework steunt op drie kerncomponenten:

1. Retrieval-gebaseerde Aggregatie:
   In plaats van te vertrouwen op eenvoudige multi-hop buur-aggregatie (wat ruis kan introduceren of "buur-explosie" kan veroorzaken), gebruikt AUGLM twee complementaire retrieval-strategieën om rijke contextuele informatie te bieden:

   • Topologische Retrieval: Maakt gebruik van Personalized PageRank (PPR) om de meest relevante buren voor een doel-node te identificeren op basis van de grafenstructuur, in plaats van vaste hop-afstanden. De tekstuele kenmerken van deze top-K PPR-buren worden geconcateneerd om een structurele context te vormen.
   • Prototypische Semantische Retrieval: Geïnspireerd door Retrieval-Augmented Generation (RAG) en Graph Transformers, behandelt deze module de tekstuele kenmerken van alle niet-doel-nodes als een externe corpus. Het extraheert "prototypes"—representatieve voorbeelden voor elke klasse—door eerst een lichtgewicht GNN te trainen om node-voorspellingen te generen. De meest zelfverzekerde voorbeelden voor elke klasse worden als prototypes geselecteerd. Het systeem extraheert vervolgens de meest semantisch gelijkaardige prototype (en de bijbehorende PPR-buren) aan de tekst van de doel-node.

2. Classifier Guidance (Candidate Pruning):
   Om het beperkte inherente begrip van de LM voor grafentopologie aan te pakken, incorporeert AUGLM begeleiding van een specialistisch model. Een vooraf getrainde lichtgewicht GNN voorspelt een set van top-$I$ kandidaat-labels voor elke node. Deze kandidaten worden omgezet in tekst en opgenomen in de prompt. Deze strategie verkleint effectief de zoekruimte, waardoor de LM zich kan concentreren op het redeneren over het onderscheiden van hoogst relevante, topologie-geïnformeerde kandidaten in plaats van de gehele labelruimte.

3. Training en Optimalisatie:
   Het framework omvat drie geparametriseerde modules: een lichtgewicht GNN ($\psi$) voor het genereren van prototypes en kandidaten, een semantische retriever ($\phi$), en het backbone-LM ($\theta$).

   • De GNN wordt onafhankelijk voorgetraind.
   • De semantische retriever wordt getraind met een distributie-matching loss (KL-divergentie) om retrieval-waarschijnlijkheden af te stemmen op de waarschijnlijkheid van de LM om het correcte grondwaarheid-label te genereren.
   • Het backbone-LM wordt gefinetuned met een standaard token-wise negative log-likelihood (NLL) loss op de geaugmenteerde input-prompts.
   • Cruciaal is dat de computationele grafen van de retriever en de LM ontkoppeld worden via stop-gradient operatoren tijdens specifieke trainingsfasen, wat efficiënte backpropagation garandeert.

Belangrijkste Bijdragen

• Architecturale Preservatie: In tegen tegenstelling tot eerdere SOTA-methoden vereist AUGLM geen wijzigingen aan de architectuur of vocabulaire van de LM, wat het gebruik van elk off-the-shelf tekst-naar-tekst LM mogelijk maakt.
• Dual-Strategy Augmentatie: De introductie van een hybride retrieval-mechanisme dat topologische (PPR) en semantische (prototype-gebaseerde) informatie combineert om de beperkingen van eenvoudige buur-aggregatie te overwinnen.
• Lichtgewicht Guidance: Een nieuwe methode om topologische inductieve bias van een GNN naar een LM over te dragen via kandidaat-label pruning, wat de prestaties verbetert zonder de interne parameters van de LM te wijzigen.
• Multi-Task Flexibiliteit: Het framework ondersteunt gezamenlijke training op meerdere diverse datasets zonder de noodzaak voor dataset-specifieke vocabulaire-expansies, een capaciteit die vaak verloren gaat bij benaderingen die de architectuur wijzigen.

Experimentele Resultaten
De auteurs evalueerden AUGLM op vier real-world TAG-datasets: Cora, Pubmed, ogbn-arxiv, en ogbn-products.

• Prestaties: Uitgerust met Flan-T5 backbones, presteerde AUGLM consistent beter dan SOTA tekst-output node-classifiers (inclusclusief InstructGLM en LLaGA).
• Vergelijking met Vector-Output Modellen: AUGLM behaalde prestaties die vergelijkbaar zijn met, en in sommige gevallen superieur aan (bijv. op ogbn-products), de beste vector-output modellen (zoals TAPE en GLEM+RevGAT), ondanks het feit dat het puur in het tekstdomein opereert.
• Ablatie-studies: Experimenten bevestigden dat alle drie de componenten (topologische retrieval, semantische retrieval en label pruning) positief bijdragen aan de prestaties, hoewel hun relatieve belang per dataset varieert.
• Gezamenlijke Training: Een model dat gezamenlijk op alle vier de datasets is getraind, behaalde prestaties die vergelijkbaar zijn met modellen die afzonderlijk op elke dataset zijn getraind, wat de capaciteit van het framework demonstreert om te generaliseren over diverse grafenstructuren zonder prestatieverlies.

Significantie en Claims
Het artikel positioneert AUGLM als een cruciale stap naar het overbruggen van de kloof tussen gespecialiseerde, taakspecifieke node-classifiers en algemene purpose foundation models. Door aan te tonen dat hoogwaardige grafenleer kan worden bereikt door input-augmentatie in plaats van architecturale wijziging, suggereert het werk een pad naar meer veelzijdige en breed toepasbare grafenleer-modellen. De auteurs beweren dat deze benadering de voordelen van instructie-tuning behoudt—met name het vermogen om gezamenlijk te trainen op diverse datasets—terwijl de inflexibiliteit van eerdere grafen-LM integratiemethoden wordt overwonnen. Het werk concludeert dat hoewel huidige LMs inherente beperkingen hebben in het begrijpen van grafenstructuren, deze effectief kunnen worden gemitigeerd door strategische data-augmentatie, wat de weg vrijmaakt voor verenigde modellen die excelleren in meerdere grafenleer-taken.