How to Make LMs Strong Node Classifiers?

Sintesi Tecnica: AUGLM – Augmented Graph Language Model per la Classificazione dei Nodi

Problema
Sebbene i Modelli di Linguaggio (LM) abbiano mostrato potenziale nei compiti di apprendimento su grafi, gli approcci esistenti per la classificazione dei nodi su Grafi con Attributi Testuali (TAG) affrontano un compromesso fondamentale tra prestazioni e flessibilità architettonica. I metodi allo stato dell'arte (SOTA) come InstructGLM e LLaGA ottengono risultati solidi modificando l'architettura dell'LM — specificamente espandendo il vocabolario con token unici per ogni nodo o iniettando embedding sensibili alla topologia nello spazio dei token. Sebbene efficaci, queste modifiche compromettono la generalità del modello di base (backbone), impedendo un apprendimento multi-task fluido tra diversi dataset e limitando l'uso di modelli proprietari o a codice chiuso dove l'accesso all'architettura non è disponibile. La domanda centrale affrontata da questo lavoro è: Come possono gli LM off-the-shelf, ottimizzati per istruzioni text-to-text, raggiungere prestazioni competitive nella classificazione dei nodi senza alcuna modifica architettonica?

Metodologia: AUGLM
Gli autori propongono AUGLM (Augmented Graph Language Model), un framework che potenzia gli standard LM attraverso strategie di aumento dei dati piuttosto che modifiche architettoniche. AUGLM riformula la classificazione dei nodi come un compito text-to-text, preservando la struttura originale dell'LM pur arricchendo il contesto di input. Il framework si basa su tre componenti principali:

1. Aggregazione basata sul Recupero (Retrieval-Based Aggregation):
   Invece di fare affidamento su una semplice aggregazione di vicini multi-hop (che può introdurre rumore o causare l'"esplosione dei vicini"), AUGLM impiega due strategie di recupero complementari per fornire un contesto ricco:

   • Recupero Topologico: Utilizza il Personalized PageRank (PPR) per identificare i vicini più rilevanti per un nodo target in base alla struttura del grafo, anziché su distanze fisse di hop. Le caratteristiche testuali di questi vicini PPR top-K vengono concatenate per formare un contesto strutturale.
   • Recupero Semantico Prototipico: Ispirato alla Generazione Aumentata dal Recupero (RAG) e ai Graph Transformer, questo modulo tratta le caratteristiche testuali di tutti i nodi non target come un corpus esterno. Recupera i "prototipi" — esempi rappresentativi per ogni classe — utilizzando prima un GNN leggero per generare le predizioni dei nodi. Gli esempi con la massima confidenza per ogni classe vengono selezionati come prototipi. Il sistema recupera quindi il prototipo semanticamente più simile (e i relativi vicini PPR) al testo del nodo target.

2. Guida del Classificatore (Pruning dei Candidati):
   Per affrontare la limitata comprensione intrinseca della topologia del grafo da parte dell'LM, AUGLM incorpora la guida di un modello specialista. Un GNN leggero pre-addestrato predice un insieme di $I$ etichette candidate per ogni nodo. Questi candidati vengono convertiti in testo e inclusi nel prompt. Questa strategia permette di ridurre efficacementmente lo spazio di ricerca, consentendo all'LM di concentrare il proprio ragionamento sulla distinzione tra candidati altamente rilevanti e informati dalla topologia, piuttosto che sull'intero spazio delle etichette.

3. Addestramento e Ottimizzazione:
   Il framework coinvolge tre moduli parametrizzati: un GNN leggero ($\psi$) per generare prototipi e candidati, un recuperatore semantico ($\phi$) e l'LM di base ($\theta$).

   • Il GNN è pre-addestrato indipendentemente.
   • Il recuperatore semantico è addestrato utilizzando una perdita di matching della distribuzione (divergenza KL) per allineare le probabilità di recupero con la probabilità dell'LM di generare l'etichetta corretta (ground-truth).
   • L'LM di base è sottoposto a fine-tuning utilizzando la standard perdita di log-likelihood negativa (NLL) per token sugli input prompt aumentati.
   • Fondamentalmente, i grafi computazionali del recuperatore e dell'LM sono disaccoppiati tramite operatori stop-gradient durante specifiche fasi di addestramento, garantendo una backpropagation efficiente.

Contributi Chiave

• Preservazione Architetturale: A differenza dei precedenti metodi SOTA, AUGLM non richiede modifiche all'architettura o al vocabolario dell'LM, consentendo l'uso di qualsiasi LM text-to-text off-the-shelf.
• Aumento a Doppia Strategia: L'introduzione di un meccanismo di recupero ibrido che combina informazioni topologiche (PPR) e semantiche (basate su prototipi) per superare i limiti della semplice aggregazione dei vicini.
• Guida Leggera: Un metodo innovativo per trasferire il bias induttivo topologico da un GNN a un LM tramite il pruning delle etichette candidate, migliorando le prestazioni senza alterare i parametri interni dell'LM.
• Flessibilità Multi-Task: Il framework supporta l'addestramento congiunto su molteplici e diversi dataset senza la necessità di espansioni del vocabolario specifiche per il dataset, una capacità spesso persa negli approcci che modificano l'architettura.

Risultati Sperimentali
Gli autori hanno valutato AUGLM su quattro dataset TAG del mondo reale: Cora, Pubmed, ogbn-arxiv e ogbn-products.

• Prestazioni: Equipaggiato con backbone Flan-T5, AUGLM ha costantemente superato i classificatori di nodi text-output SOTA (inclusi InstructGLM e LLaGA).
• Confronto con Modelli a Output Vettoriale: AUGLM ha ottenuto prestazioni comparabili, e in alcuni casi superiori (ad esempio, su ogbn-products), ai migliori modelli a output vettoriale (come TAPE e GLEM+RevGAT), nonostante operi puramente nel dominio testuale.
• Studi di Ablazione: Gli esperimenti hanno confermato che tutti e tre i componenti (recupero topologico, recupero semantico e pruning delle etichette) contribuiscono positivamente alle prestazioni, sebbene la loro importanza relativa vari a seconda del dataset.
• Addestramento Congiunto: Un modello addestrato congiuntamente su tutti e quattro i dataset ha raggiunto prestazioni comparabili ai modelli addestrati separatamente su ciascun dataset, dimostrando la capacità del framework di generalizzare su diverse strutture di grafi senza degradazione delle prestazioni.

Significatività e Rivendicazioni
Il paper posiziona AUGLM come un passo cruciale verso il colmamento del divario tra classificatori di nodi specializzati e specifici per il compito e i modelli fondazionali general-purpose. Dimostrando che un apprendimento sui grafi ad alte prestazioni può essere ottenuto attraverso l'aumento dell'input piuttosto che la modifica dell'architettura, il lavoro suggerisce una strada verso modelli di apprendimento sui grafi più versatili e ampiamente applicabili. Gli autori sostengono che questo approccio mantiene i benefici dell'instruction tuning — specificamente la capacità di addestrare congiuntamente su diversi dataset — superando al contempo l'inflessibilità dei precedenti metodi di integrazione tra grafi e LM. Il lavoro conclude che, sebbene gli attuali LM abbiano limitazioni intrinseche nella comprensione delle strutture dei grafi, queste possono essere efficacemente mitigate attraverso un aumento strategico dei dati, aprendo la strada a modelli unificati che eccellono in molteplici compiti di apprendimento sui grafi.