Technische Samenvatting: LLM-kenmerken kunnen GNN's schaden

Probleemstelling

Terwijl recente literatuur breed rapporteert dat het integreren van door Large Language Models (LLM's) gegenereerde knoopkenmerken de nauwkeurigheid op standaard benchmarks (bijv. TAPE, GLEM) verbetert, identificeert dit artikel een contrasterende faalmodus. Specifiek, wanneer LLM-kenmerken worden geïntroduceerd via pure concatenatie (samenvoeging)—zonder gezamenlijke training, distillatie of prompt-conditionering—kunnen ze de prestaties op homofiele benchmarks systematisch verslechteren, ook al slagen end-to-end LLM-pipelines daar doorgaans wel in.

De auteurs isoleren de "pure concatenatie"-substap om aan te tonen dat, onder specifieke omstandigheden (met name kleine steekproeven met een hoge dimensionaliteit), het toevoegen van LLM-kenmerken fungeert als een bron van interferentie in plaats van signaal, wat leidt tot significante dalingen in nauwkeurigheid.

Methodologie

De studie maakt gebruik van een rigoureus experimenteel ontwerp over negen node-classificatie datasets (variërend in homofilie-niveaus $h \in [0.05, 0.81]$) om de effecten van LLM-kenmerken te isoleren.

• Experimentele Opzet:

  • Kenmerken: Originele kenmerken ($F_{orig}$, bijv. BoW, Word2Vec) worden geconcateneerd met door LLM gegenereerde kenmerken ($F_{LLM}$, SBERT-gecodeerde GPT-4o-mini TAPE-verklaringen).
  • Backbones: Experimenten maken gebruik van een MLP-backbone (primair) en GCN/GCNII/GAT-backbones (secundair) om architecturale afhankelijkheid te testen.
  • Splits: De primaire resultaten gebruiken de standaard Planetoid publieke split (low-label regime: 60–140 trainingslabels), waarbij willekeurige splits worden gebruikt om regime-afhankelijkheid te verifiëren.
  • Metrieken: De kernmetriek is $\Delta_{concat}$, het verschil in testnauwkeurigheid tussen $F_{orig} \parallel F_{LLM}$ en enkel $F_{orig}$.

• Analytische Kaders:

  • Direct Contrast: Het vergelijken van specifieke coalities (bijv. $\{F_{orig}, F_{LLM}\}$ versus $\{F_{orig}\}$) om de interferentie-effecten niet te verwateren.
  • Shapley Decompositie: Een 4-factor decompositie (Structuur, $F_{orig}$, $F_{LLM}$, Diepte) over 12 effectieve coalities om marginale bijdragen toe te schrijven, in de wetenschap dat middeling specifieke faalmodi kan maskeren.
  • Ablatie-studies: Gecontroleerde experimenten waarbij $F_{LLM}$ wordt vervangen door nullen, PCA-projecties van $F_{orig}$, of Gaussische ruis om te onderscheiden tussen dimensionaliteitsstraffen, weight decay-artefacten of effecten van informatieve inhoud.
  • Scaling Analyse: Het fitten van een power-law profiel aan de relatie tussen de concatenatiekosten en de ratio van de feature-dimensie tot het aantal samples ($\sqrt{d_l/n}$).

Belangrijkste Bijdragen & Bevindingen

F1: Het Regime van Interferentie

In het low-label, high-dimensional regime (specifiek de Planetoid publieke split), verslechtert de pure concatenatie van LLM-kenmerken de prestaties.

• Observatie: Op PubMed verlaagt het toevoegen van LLM-kenmerken de MLP-nauwkeurigheid met $-17,0 \pm 0,3$ procentpunten (pp). Cora daalt met $-4,3 \pm 0,6$ pp. CiteSeer vertoont een verwaarloosbare daling binnen de ruis.
• Mechanisme: Dit is geen generieke "vloek van dimensionaliteit". Ablatie laat zien dat hoewel pure Gaussische ruis een daling van $-37,3$ pp veroorzaakt, echte LLM-kenmerken een "content rescue" van $\sim 20$ pp bieden ten opzichte van pure ruis, maar het nettoresultaat blijft een significante straf vanwege overfitting in het kleine steekproefregime.
• Regime-afhankelijkheid: Wanneer grotere willekeurige splits worden gebruikt (50/25/25), wordt de magnitude van de daling beperkt tot $\le 1,2$ pp, wat bevestigt dat het probleem wordt gedreven door overfitting bij kleine steekproeven in plaats van inherente gebreken in de inhoud.

F2: Voorspellende Drempel via LLM-alleen Discriminabiliteit

Het artikel stelt $\Delta_{sig}$ voor (het nauwkeurigheidsverschil van een MLP die alleen getraind is op $F_{LLM}$ versus willekeurige ruis) als de voorspeller voor concatenatiesucces.

• Drempelregel: Een via bootstrapping afgeleide veranderingspunt $\tau = 13,8$ pp scheidt de regimes.
  • Als $\Delta_{sig} \le \tau$: De concatenatiekosten zijn niet-positief (waarschijnlijk schadelijk).
  • Als $\Delta_{sig} > \tau$: De concatenatiekosten zijn positief (waarschijnlijk gunstig).
• Prestaties: Deze regel classificeert correct 7/9 datasets.
• Vergelijking met Homofilie: Homofilie ($h$) is een slechte voorspeller ($r^2 = 0,06$), terwijl $\Delta_{sig}$ significant beter correleert ($r^2 = 0,38$).

F3: Isolatie van het Mechanisme

Door middel van ablaties op PubMed sluiten de auteurs alternatieve hypothesen uit:

• Dimensionaliteit: Het vervangen van LLM-kenmerken door even dimensie grote nullen veroorzaakt geen degradatie ($+0,1$ pp), wat een eenvoudige mismatch in dimensie uitsluit.
• Zelfinformatie: Het vervangen door PCA van de originele kenmerken veroorzaakt slechts milde interferentie ($-2,3$ pp).
• Regularisatie: Het halveren van weight decay verandert de daling niet, wat een weight decay-artefact uitsluit.
• Conclusie: De $-17$ pp daling is specifiek voor de informatieve inhoud van de LLM-kenmerken in interactie met de eindige steekproefrestrictie.

F4: Context van de Shapley Decompositie

Hoewel directe concatenatie negatieve effecten laat zien, toont een 4-factor Shapley decompositie aan dat $F_{LLM}$ een positieve (maar kleine) geaggregeerde bijdrage heeft op heterofiele datasets. Dit benadrukt dat het geaggregeerde "succes" gerapporteerd in eerdere benchmarks vaak rust op gezamenlijke training of selector-modules die de rauwe concatenatiekosten mitigeren.

F5: Scaling Law

De concatenatiekosten volgen een power-law schaling met betrekking tot de ratio van de feature-dimensie tot het aantal trainingslabels:
$$|\Delta_{concat}| \propto \left(\sqrt{\frac{d_l}{n}}\right)^{1.31}$$
Dit profiel ($r^2 = 0,97$) verklaart de $-17$ pp daling bij $n=60$ en voorspelt de afname van de kosten naarmate $n$ toeneemt (bijv. dalend naar $<1$ pp bij $n \approx 10^4$).

Remediatie Strategieën

Het artikel evalueert "goedkope oplossingen" voor het low-$\Delta_{sig}$ regime:

1. Verwijder $F_{LLM}$: De meest effectieve oplossing. Het volledig verwijderen van het LLM-kanaal herstelt de baseline-nauwkeurigheid ($72,1\%$), wat strikt superieur is aan alle geleerde oplossingen.
2. Leerbare Scalaire Gate: Een leerbare scalaire $g$ toegepast op $F_{LLM}$ (geïnitialiseerd op 0) herstelt 89% van de kloof. Het presteert echter nog steeds minder dan de "verwijder"-baseline met $\sim 1,8$ pp ($p \approx 0,008$).
   • Aanbeveling: Gebruik de gate alleen wanneer downstream-pipelines structureel de aanwezigheid van het LLM-kanaal vereisen (bijv. gedeelde multi-task inputs). Anders is het simpelweg verwijderen van het kanaal superieur.

Betekenis en Claims

Het artikel beweert niet dat LLM-kenmerken universeel schadelijk zijn. In plaats daarvan karakteriseert het een specifiek regime waarin de eenvoudigste integratiemethode (pure concatenatie) averechts werkt.

• Reconciliatie met Voorgaand Werk: De bevindingen spreken de geaggregeerde benchmarks (bijv. Wu et al. [5]) niet tegen die winst rapporteren. Die winsten worden toegeschreven aan gezamenlijke training, variationele EM, of gated-fusion modules (zoals gezien in TAPE, GLEM), die de noodzakelijke inductieve bias bieden om de geobserveerde interferentie bij pure concatenatie te voorkomen.
• Praktische Richtlijnen:
  • Praktiseerders moeten $F_{orig}$-alleen versus $F_{orig} \parallel F_{LLM}$ A/B-testen voordat ze tot adoptie overgaan.
  • $\Delta_{sig}$ dient als een interpretatief venster voor het regime (helpend versus schadelijk) in plaats van een precieze pre-A/B filter, aangezien het meten ervan vergelijkbare rekenkracht vereist als de A/B-test zelf.
  • In low-$\Delta_{sig}$, low-label regimes is de "triviale fix" van het verwijderen van LLM-kenmerken vaak de optimale strategie.

Het artikel concludeert dat de "sign flip" van gunstig naar schadelijk wordt gedreven door de specifieke ontwerpkeuze van pure concatenatie in kleine steekproefsettings, en dat het geaggregeerde succes van LLM-verbeterde GNN's rust op meer geavanceerde integratie-scaffolding die deze specifieke interferentie mitigeert.