Sintesi Tecnica: Le Caratteristiche degli LLM Possono Danneggiare i GNN

Definizione del Problema

Mentre la letteratura recente riporta ampiamente che l'integrazione di caratteristiche dei nodi generate da Large Language Models (LLM) nei Graph Neural Networks (GNN) migliori l'accuratezza su benchmark standard (es. TAPE, GLEM), questo articolo identifica un modo di fallimento contrastante. Nello specifico, quando le caratteristiche LLM vengono introdotte tramite pura concatenazione di input — senza addestramento congiunto, distillazione o condizionamento del prompt — esse possono sistematicamente degradare le prestazioni su benchmark omofili dove le pipeline end-to-end di LLM solitamente hanno successo.

Gli autori isolano il sottostadio della "pura concatenazione" per dimostrare che, in condizioni specifiche (in particolare setting ad alto numero di dimensioni e piccoli campioni), l'aggiunta di caratteristiche LLM agisce come una fonte di interferenza piuttosto che di segnale, portando a cali significativi di accuratezza.

Metodologia

Lo studio impiega un design sperimentale rigoroso su nove dataset di classificazione dei nodi (che spaziano in livelli di omofilia $h \in [0.05, 0.81]$) per isolare gli effetti delle caratteristiche LLM.

• Setup Sperimentale:

  • Caratteristiche: Le caratteristiche originali ($F_{orig}$, es. BoW, Word2Vec) sono concatenate con le caratteristiche generate da LLM ($F_{LLM}$, spiegazioni TAPE codificate con SBERT da GPT-4o-mini).
  • Backbone: Gli esperimenti utilizzano un backbone MLP (primario) e backbone GCN/GCNII/GAT (secondari) per testare la dipendenza architettonica.
  • Split: I risultati primari utilizzano lo standard split pubblico di Planetoid (regime a basso numero di etichette: 60–140 etichette di training), mentre split casuali sono usati per verificare la dipendenza dal regime.
  • Metriche: La metrica centrale è $\Delta_{concat}$, la differenza di accuratezza del test tra $F_{orig} \parallel F_{LLM}$ e $F_{orig}$ da sola.

• Framework Analitici:

  • Contrasto Diretto: Confronto di coalizioni specifiche (es. $\{F_{orig}, F_{LLM}\}$ vs. $\{F_{orig}\}$) per evitare di diluire gli effetti di interferenza.
  • Decomposizione di Shapley: Una decomposizione a 4 fattori (Struttura, $F_{orig}$, $F_{LLM}$, Profondità) su 12 coalizioni efficaci per attribuire i contributi marginali, riconoscendo che la media può mascherare specifici modi di fallimento.
  • Studi di Ablazione: Esperimenti controllati che sostituiscono $F_{LLM}$ con zeri, proiezioni PCA di $F_{orig}$ o rumore Gaussiano per distinguere tra penalità di dimensionalità, artefatti di weight decay o effetti di contenuto informativo.
  • Analisi di Scaling: Fitting di un profilo di legge di potenza alla relazione tra costo di concatenazione e il rapporto tra dimensione delle caratteristiche e campioni di training ($\sqrt{d_l/n}$).

Contributi Chiave e Risultati

F1: Il Regime di Interferenza

Nel regime a basse etichette e alta dimensionalità (specificamente lo split pubblico di Planetoid), la pura concatenazione delle caratteristiche LLM degrada le prestazioni.

• Osservazione: Su PubMed, l'aggiunta di caratteristiche LLM riduce l'accuratezza dell'MLP di $-17.0 \pm 0.3$ punti percentuali (pp). Cora scende di $-4.3 \pm 0.6$ pp. CiteSeer mostra un calo trascurabile entro il rumore.
• Meccanismo: Non si tratta di una generica "maledizione della dimensionalità". L'ablazione mostra che, mentre la purazza del rumore Gaussiano causa un calo di $-37.3$ pp, le reali caratteristiche LLM causano un calo di $-17.0$ pp. Le caratteristiche LLM forniscono un "salvataggio del contenuto" di circa $20$ pp rispetto al puro rumore, ma il risultato netto rimane una penalità significativa a causa dell'overfitting nel regime a piccoli campioni.
• Dipendenza dal Regime: Quando si utilizzano split casuali più grandi (50/25/25), l'entità del calo si comprime a $\le 1.2$ pp, confermando che il problema è guidato dall'overfitting dovuto ai piccoli campioni piuttosto che da difetti intrinseci del contenuto.

F2: Soglia Predittiva tramite Discriminabilità Solo-LLM

Il paper propone $\Delta_{sig}$ (il gap di accuratezza di un MLP addestrato solo su $F_{LLM}$ rispetto al rumore casuale) come predittore del successo della concatenazione.

• Regola della Soglia: Un punto di cambiamento derivato dal bootstrap $\tau = 13.8$ pp separa i regimi.
  • Se $\Delta_{sig} \le \tau$: Il costo di concatenazione è non positivo (probabile che danneggi).
  • Se $\Delta_{sig} > \tau$: Il costo di concatenazione è positivo (probabile che aiuti).
• Prestazioni: Questa regola classifica correttamente 7/9 dataset.
• Confronto con l'Omofilia: L'omofilia ($h$) è un debole predittore ($r^2 = 0.06$), mentre $\Delta_{sig}$ correla significativamente meglio ($r^2 = 0.38$).

F3: Isolamento del Meccanismo

Attraverso ablazioni su PubMed, gli autori escludono ipotesi alternative:

• Dimensionalità: Sostituire le caratteristiche LLM con zeri della stessa dimensione non causa degradazione ($+0.1$ pp), escludendo un semplice mismatch dimensionale.
• Auto-Informazione: Sostituire con la PCA delle caratteristiche originali causa solo una lieve interferenza ($-2.3$ pp).
• Regolarizzazione: Dimezzare il weight decay non cambia il calo, escludendo artefatti del weight decay.
• Conclusione: Il calo di $-17$ pp è specifico dell'interazione tra il contenuto informativo delle caratteristiche LLM e il vincolo dei campioni finiti.

F4: Contesto della Decomposizione di Shapley

Sebbene la concatenazione diretta mostri effetti negativi, una decomposizione di Shapley a 4 fattori mostra che $F_{LLM}$ ha un contributo positivo (ma piccolo) su dataset eterofili. Ciò evidenzia che il "successo" aggregato riportato in benchmark precedenti spesso si basa su addestramento congiunto o moduli di selezione che mitigano il costo della concatenazione grezza.

F5: Legge di Scaling

Il costo di concatenazione segue una legge di potenza rispetto al rapporto tra dimensione delle caratteristiche e etichette di training:
$$|\Delta_{concat}| \propto \left(\sqrt{\frac{d_l}{n}}\right)^{1.31}$$
Questo profilo ($r^2 = 0.97$) spiega il calo di $-17$ pp a $n=60$ e predice l'attenuazione del costo all'aumentare di $n$ (es. scendendo a $<1$ pp a $n \approx 10^4$).

Strategie di Rimedio

Il paper valuta "correzioni economiche" per il regime a basso $\Delta_{sig}$:

1. Eliminare $F_{LLM}$: La soluzione più efficace. Rimuovere l'intero canale LLM ripristina l'accuratezza di base ($72.1\%$), dominando strettamente tutte le correzioni apprese.
2. Gate Scalare Imparabile: Un valore scalare $g$ imparabile applicato a $F_{LLM}$ (inizializzato a 0) recupera l'89% del gap. Tuttavia, è ancora inferiore al baseline "elimina" di circa $1.8$ pp ($p \approx 0.008$).
   • Raccomandazione: Usare il gate solo quando le pipeline a valle richiedono strutturalmente la presenza del canale LLM (es. input multi-task condivisi). Altrimenti, eliminare il canale è superiore.

Significato e Rivendicazioni

Il paper non afferma che le caratteristiche LLM siano universalmente dannose. Inveve, caratterizza un regime specifico dove il metodo di integrazione più semplice (pura concatenazione) produce l'effetto opposto.

• Riconciliazione con il Lavoro Precedente: I risultati non contraddicono i benchmark aggregati (es. Wu et al. [5]) che riportano guadagni. Tali guadagni sono attribuiti ad addestramento congiunto, EM variazionale o moduli di fusione a gate (come visto in TAPE, GLEM) che forniscono il bias induttivo necessario per prevenire l'interferenza osservata nella pura concatenazione.
• Guida Pratica:
  • I professionisti dovrebbero testare A/B tra $F_{orig}$-solo vs. $F_{orig} \parallel F_{LLM}$ prima dell'adozione.
  • $\Delta_{sig}$ serve come lente interpretativa per il regime (aiuto vs. danno) piuttosto che come filtro A/B preciso, poiché misurarlo richiede una computazione simile al test A/B stesso.
  • Nei regimi a basso $\Delta_{sig}$ e basso numero di etichette, la "correzione banale" di eliminare le caratteristiche LLM è spesso la strategia ottimale.

Il paper conclude che il "cambio di segno" da utile a dannoso è guidato dalla scelta di design specifica della pura concatenazione in contesti a piccoli campioni, e che il successo aggregato dei GNN potenziati da LLM dipende da scaffold di integrazione più sofisticati che mitigano questa specifica interferenza.