🤖 machine learning

LLM Features Can Hurt GNNs: Concatenation Interference on Homophilous Graph Benchmarks

Diese Arbeit zeigt auf, dass die bloße Konkatenierung von durch LLMs generierten Knotenmerkmalen zu GNN-Inputs die Leistung bei homophilen Benchmarks systematisch verschlechtern kann, ein Phänomen, das durch die eigenständige Diskriminierbarkeit des LLMs anstatt durch Graph-Homophilie getrieben wird, und schlägt einen Diskriminierbarkeitsschwellenwert vor, um vorherzusagen, wann eine solche Konkatenierung schädlich sein wird.

Ursprüngliche Autoren: Zhongyuan Wang, Pratyusha Vemuri

Veröffentlicht 2026-06-17

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhongyuan Wang, Pratyusha Vemuri

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Wenn „zusätzliche Hilfe“ tatsächlich schadet

Stellen Sie sich vor, Sie versuchen, ein schwieriges Rätsel zu lösen (die Klassifizierung von Knoten in einem Graphen) und haben nur sehr wenige Hinweise (nur eine geringe Anzahl an beschrifteten Beispielen). Sie haben einen smarten Assistenten (ein Graph Neural Network, oder GNF), der ziemlich gut darin ist, das Rätsel mit den Hinweisen zu lösen, die Sie ihm gegeben haben (die ursprünglichen Merkmale).

Vor Kurzem haben viele Menschen angefangen, einen „superintelligenten“ Berater (ein LLM, wie GPT-4) zum Team hinzuzufügen. Die Idee war: „Wenn wir die Notizen des Beraters einfach direkt neben unsere ursprünglichen Hinweise kopieren, wird das Team sogar noch besser.“

Diese Arbeit sagt: Manchmal stimmt das. Aber oft ist es eine Katastrophe.

Die Autoren fanden heraus, dass das Team tatsächlich schlechter darin wird, das Rätsel zu lösen, wenn man einfach die Notizen des LLMs neben die ursprünglichen Hinweise kopiert, ohne dem Team beizubringen, wie es die schlechten Teile ignorieren kann. In einigen Fällen sinkt die Genauigkeit so stark, dass es wirkt, als würde der Berater lautstark Unsinn über die ursprünglichen Hinweise schreien und alle verwirren.

Die Analogie: Das überfüllte Klassenzimmer

Stellen Sie sich das Graph Neural Network als einen Schüler vor, der eine Prüfung schreibt.

Die ursprünglichen Merkmale (Forig): Das sind die Lehrbuchnotizen, die der Schüler gelernt hat. Sie sind klar und hilfreich.
Die LLM-Merkmale (FLLM): Das ist ein 384-seitiger Stapel neuer Notizen, die von einer KI generiert wurden.
Das Problem: Der Schüler hat nur Zeit, sich auf eine kurze Prüfung vorzubereiten (einen kleinen Datensatz mit wenigen Labels).

Wenn Sie dem Schüler sein Lehrbuch plus diesen massiven 384-seitigen Stapel an KI-Notizen in die Hand drücken und sagen: „Lies einfach alles und beantworte die Fragen“, wird der Schüler überfordert sein. Er verbringt so viel Zeit damit, das zusätzliche Rauschen zu verarbeiten, dass er das Lehrbuch vergisst. Seine Testergebnisse stürzen ab.

Die Arbeit fand heraus, dass bei berühmten, „homophilen“ Datensätzen (wo ähnliche Dinge zusammen gruppiert sind, wie in einer Bibliothek, in der alle Biologiebücher in einem Regal stehen), das Hinzufügen dieser KI-Notizen die Testergebnisse auf dem PubMed-Datensatz um 17 Punkte gesenkt hat. Das ist ein gewaltiges Scheitern.

Warum passiert das? (Die „Rauschen vs. Signal“-Regel)

Die Autoren entdeckten eine einfache Regel, um vorherzusagen, wann die KI-Notizen helfen und wann sie schaden. Sie nennen dies $\Delta_{sig}$ (LLM-alleinige Diskriminierbarkeit).

Die Regel: Wenn die KI-Notizen für sich allein genommen klar und deutlich sind (Hohes Signal), hilft das Hinzufügen.
Die Regel: Wenn die KI-Notiken für sich allein genommen vage oder verschwommen sind (Niedriges Signal), schadet das Hinzufügen.

Die Metapher:

Hohes Signal (Hilfreich): Stellen Sie sich vor, die KI-Notizen sind eine klare, markierte Karte. Das Hinzufügen zu Ihrem Lehrbuch hilft Ihnen, die Antwort schneller zu finden.
Niedriges Signal (Schädlich): Stellen Sie sich vor, die KI-Notizen sind ein verschwommenes, gekritzeltes Chaos, das aussieht, als könnte es eine Karte sein, aber größtenteils nur aus zufälligen Linien besteht. Wenn Sie den Schüler zwingen, dieses verschwommene Chaos anzusehen, während er versucht, das Lehrbuch zu lesen, wird er verwirrt und macht Fehler.

Die Arbeit fand heraus, dass die KI-Notizen auf Datensätzen wie PubMed und Cora „verschwommen“ (niedriges Signal) waren. Beim Einfügen verwirrten sie das Modell. Aber auf Datensätzen wie WikiCS waren die Notizen „klar“ (hohes Signal), und das Modell wurde intelligenter.

Was ist mit dem „Fluch der Dimensionalität“?

Sie denken vielleicht: „Vielleicht wurde das Modell nur verwirrt, weil es zu viele Zahlen (Dimensionen) zu verarbeiten hatte?“

Die Autoren haben dies getestet. Sie ersetzten die KI-Notizen durch:

Reines Zufallsrauschen: (Wie das Rauschen im Radio).
Gleiche Quelle/Redundanz: (Einfach die Lehrbuchnotizen noch einmal zu kopieren).

Das Ergebnis:

Reines Zufallsrauschen schadete dem Modell doppelt so stark wie die KI-Notizen.
Dies beweist, dass die KI-Notizen doch einige nützliche Informationen enthielten (sie waren besser als reines Rauschen).
Dennoch reichten diese nützlichen Informationen nicht aus, um die Verwirrung zu überwinden, die durch die Menge an zusätzlichen Zahlen verursacht wurde, die mit so wenig Trainingsdaten zu verarbeiten sind. Die „Kosten“ des zusätzlichen Rauschens waren immer noch höher als der „Nutzen“ der zusätzlichen Information.

Die Lösung: Der „Lautstärkeregler“

Wenn Sie die KI-Notizen unbedingt verwenden müssen (vielleicht verlangt es Ihr Chef), wie lösen Sie das Problem?

Die Autoren testeten mehrere „billige Fixes“:

Layer Normalization: Versuchte, die Notizen zu glätten. Ergebnis: Machte es schlimmer.
Dimensionen entfernen: Die Hälfte der Notizen wegwerfen. Ergebnis: Half ein wenig, aber nicht genug.
Der Skalar-Gate (Der Lautstärkeregler): Dies ist ein einfacher Schalter, der lernt, wie sehr das Modell den KI-Notizen zuhören soll.

Der Gewinner: Der „Lautstärkeregler“ funktionierte am besten. Er lernte, die Lautstärke der KI-Notizen auf fast Null zu drehen (etwa 10 % Lautstärke), wenn die Notizen verschwommen waren.

Dies stellte 89 % der verlorenen Genauigkeit wieder her.
Aber hier ist der entscheidende Punkt: Die absolut beste Lösung war, die KI-Notizen einfach komplett zu löschen und beim ursprünglichen Lehrbuch zu bleiben. Der „Lautstärkeregler“ ist nur dann nützlich, wenn Sie gezwungen sind, die KI-Notizen aus irgendeinem anderen Grund im System zu behalten.

Zusammenfassung der Ergebnisse

Nicht einfach reinkopieren: Das einfache Einfügen von LLM-Features neben Graph-Features senkt oft die Leistung bei kleinen Datensätzen.
Prüfen Sie zuerst das Signal: Wenn die LLM-Features für sich allein genommen nicht sehr informativ sind, fügen Sie sie nicht hinzu.
Die „Small Data“-Falle: Dieses Problem ist am schlimmsten, wenn Sie sehr wenige beschriftete Beispiele haben (wie die Standard-Benchmarks in der Forschung). Wenn Sie eine riesige Menge an Daten haben, verschwindet das Problem.
Der Fix: Wenn Sie sie verwenden müssen, nutzen Sie ein „Gate“, um sie stummzuschalten, wenn sie schlecht sind. Aber ehrlich gesagt, ist es oft besser, sie einfach wegzulassen.

**Das Fazum: Die Arbeit sagt nicht, dass LLMs schlecht für Graphen sind. Sie sagt: Es darauf an, WIE man sie hinzufügt. Die „Brute-Force“-Methode, sie einfach nur zu verketten (konkatenieren), ist oft ein Fehler, der das Modell verwirrt, besonders wenn die Daten knapp sind. Man braucht intelligentere Wege, sie zu integrieren (wie die Methoden des gemeinsamen Trainings, die in anderen erfolgreichen Arbeiten verwendet werden), sonst riskiert man, seine KI dümmer zu machen.

Technisches Resümee: LLM-Merkmale können GNNs schaden

Problemstellung

Während die jüngere Literatur weitgehend berichtet, dass die Integration von durch Large Language Models (LLMs) generierten Knotenmerkmalen die Genauigkeit auf Standard-Benchmarks (z. B. TAPE, GLEM) verbessert, identifiziert dieses Paper einen gegenteiligen Ausfallmodus. Speziell wenn LLM-Merkmale mittels reiner Konkatenierung eingeführt werden – ohne gemeinsames Training (Joint Training), Destillation oder Prompt-Conditioning – können sie die Leistung auf homophilen Benchmarks, bei denen End-to-End-LLM-Pipelines typischerweise erfolgreich sind, systematisch verschlechtern.

Die Autoren isolieren den Teilschritt der „reinen Konkatenierung“, um zu zeigen, dass unter spezifischen Bedingungen (insbesondere in Settings mit geringer Stichprobengröße und hoher Dimensionalität) das Hinzufügen von LLM-Merkmalen eher als Quelle der Interferenz denn als Signal wirkt, was zu signifikanten Genauigkeitsverlusten führt.

Methodik

Die Studie verwendet ein rigoroses experimentelles Design über neun Knotenklassifikations-Datensätze (mit Homophiliegraden $h \in [0,05, 0,81]$ ), um die Effekte von LLM-Merkmalen zu isolieren.

Experimentelles Setup:
- Merkmale: Die Originalmerkmale ( $F_{orig}$ , z. B. BoW, Word2Vec) werden mit LLM-generierten Merkmalen ( $F_{LLM}$ , SBERT-kodierte GPT-4o-mini TAPE-Erklärungen) konkateniert.
- Backbones: Die Experimente nutzen primär ein MLP-Backbone und sekundär GCN/GCNII/GAT-Backbones, um die architektonische Abhängigkeit zu testen.
- Splits: Die Primärergebnisse verwenden den Standard-Planetoid-Public-Split (Low-Label-Regime: 60–140 Trainingslabels); zufällige Splits wurden zur Verifizierung der Regimes-Abhängigkeit verwendet.
- Metriken: Die Kernmetrik ist $\Delta_{concat}$ , die Differenz der Testgenauigkeit zwischen $F_{orig} \parallel F_{LLM}$ und nur $F_{orig}$ .
Analytische Frameworks:
- Direkter Kontrast: Vergleich spezifischer Koalitionen (z. B. $\{F_{orig}, F_{LLM}\}$ vs. $\{F_{orig}\}$ ), um Interferenzeffekte nicht zu verwässern.
- Shapley-Dekomposition: Eine 4-Faktor-Dekomposition (Struktur, $F_{orig}$ , $F_{LLM}$ , Tiefe) über 12 effektive Koalitionen, um marginale Beiträge zuzurechnen, wobei berücksichtigt wird, dass Mittelwertbildung spezifische Ausfallmodi maskieren kann.
- Ablationsstudien: Kontrollierte Experimente, bei denen $F_{LLM}$ durch Nullwerte, PCA-Projektionen von $F_{orig}$ oder Gaußsches Rauschen ersetzt wurde, um zwischen Dimensionalitätsstrafen, Weight-Decay-Artefakten und Informationgehalts-Effekten zu unterscheiden.
- Skalierungsanalyse: Anpassung eines Potenzgesetz-Profils an die Beziehung zwischen Konkatenierungskosten und dem Verhältnis der Feature-Dimension zur Anzahl der Stichproben ( $\sqrt{d_l/n}$ ).

Zentrale Beiträge & Erkenntnisse

F1: Das Interferenz-Regime

Im Low-Label, High-Dimension-Regime (speziell beim Planetoid Public Split) verschlechtert die reine Konkatenierung von LLM-Merkmalen die Performance.

Beobachtung: Auf PubMed senkt das Hinzufügen von LLM-Merkmalen die MLP-Genauigkeit um $-17,0 \pm 0,3$ Prozentpunkte (pp). Cora sinkt um $-4,3 \pm 0,6$ pp. CiteSeer zeigt einen vernachlässigbaren Abfall innerhalb des Rauschens.
Mechanismus: Dies ist kein generischer „Fluch der Dimensionalität“. Die Ablation zeigt, dass während reines Gaußsches Rauschen einen Abfall von $-37,3$ pp verursacht, echte LLM-Merkmale einen „Content Rescue“ von $\sim 20$ pp gegenüber reinem Rauschen bieten, das Nettoergebnis jedoch aufgrund von Overfitting im Small-Sample-Regime dennoch eine signifikante Strafe bleibt.
Regime-Abhängigkeit: Bei Verwendung größerer zufälliger Splits (50/25/25) komprimiert sich das Ausmaß des Abfalls auf $\le 1,2$ pp, was bestätigt, dass das Problem durch Small-Sample-Overfitting und nicht durch inhärente Inhaltsfehler getrieben wird.

F2: Prädiktiver Schwellenwert via LLM-only Diskriminierbarkeit

Das Paper schlägt $\Delta_{sig}$ (die Genauigkeitslücke eines MLPs, das nur auf $F_{LLM}$ trainiert wurde vs. Zufallsrauschen) als Prädiktor für den Erfolg der Konkatenierung vor.

Schwellenwert-Regel: Ein per Bootstrap abgeleiteter Change-Point $\tau = 13,8$ $τ = 13, 8$ pp trennt die Regime.
- Wenn $\Delta_{sig} \le \tau$ : Die Konkatenierungskosten sind nicht-positiv (wahrscheinlich schädlich).
- Wenn $\Delta_{sig} > \tau$ : Die Konkatenierungskosten sind positiv (wahrscheinlich hilfreich).
Performance: Diese Regel klassifiziert 7/9 Datensätze korrekt.
Vergleich zu Homophilie: Homophilie ( $h$ ) ist ein schlechter Prädiktor ( $r^2 = 0,06$ ), während $\Delta_{sig}$ signifikant besser korreliert ( $r^2 = 0,38$ ).

F3: Isolation des Mechanismus

Durch Ablationen auf PubMed widerlegen die Autoren alternative Hypothesen:

Dimensionalität: Der Ersatz von LLM-Merkmalen durch gleichdimensionale Nullwerte verursacht keine Degradierung ( $+0,1$ pp), was einen einfachen Dimensions-Mismatch ausschließt.
Selbstinformation: Der Ersatz durch die PCA der Originalmerkmale verursacht nur eine milde Interferenz ($-2,3$ pp).
Regularisierung: Die Halbierung des Weight Decays ändert den Abfall nicht, was Weight-Decay-Artefakte ausschließt.
Fazit: Der $-17$ pp Abfall ist spezifisch für den Informationsgehalt der LLM-Merkmale in Interaktion mit der endlichen Stichprobenbeschränkung.

F4: Kontext der Shapley-Dekomposition

Obwohl die direkte Konkatenierung negative Effekte zeigt, zeigt eine 4-Faktor-Shapley-Dekomposition, dass $F_{LLM}$ auf heterophilen Datensätzen einen positiven (aber kleinen) aggregierten Beitrag leistet. Dies verdeutlicht, dass der aggregierte „Erfolg“, der in früheren Benchmarks berichtet wird, oft auf gemeinsamem Training oder Selektormodulen beruht, die die rohe Konkatenierungskosten abmildern.

F5: Skalierungsgesetz

Die Konkatenierungskosten folgen einem Potenzgesetz-Scaling bezüglich des Verhältnisses von Feature-Dimension zu Trainingslabels:
$|\Delta_{concat}| \propto \left(\sqrt{\frac{d_l}{n}}\right)^{1,31}$
Dieses Profil ( $r^2 = 0,97$ ) erklärt den $-17$ pp Abfall bei $n=60$ und sagt die Abschwächung der Kosten mit zunehmendem $n$ voraus (z. B. Sinken auf $< 1$ pp bei $n \approx 10^4$ ).

Sanierungsstrategien

Das Paper evaluiert „billige Fixes“ für das Low- $\Delta_{sig}$ Regime:

Entfernen von $F_{LLM}$ : Die effektivste Lösung. Das vollständige Entfernen des LLM-Kanals stellt die Baseline-Genauigkeit ( $72,1\%$ ) wieder her und dominiert strikt alle gelernten Fixes.
Lernbares Skalar-Gate: Ein lernbares Skalar $g$ $g$ , das auf $F_{LLM}$ $F_{LL M}$ angewendet wird (initialisiert bei 0), stellt 89 % der Lücke wieder her. Es unterperformt jedoch den „Drop“-Baseline immer noch um $\sim 1,8$ $\sim 1, 8$ pp ( $p \approx 0,008$ $p \approx 0, 008$ ).
- Empfehlung: Verwenden Sie das Gate nur, wenn Downstream-Pipelines strukturell die Anwesenheit des LLM-Kanals erfordern (z. B. Shared Multi-Task Inputs). Andernfalls ist das Weglassen des Kanals überlegen.

Bedeutung und Ansprüche

Das Paper behauptet nicht, dass LLM-Merkmale universell schädlich sind. Stattdessen charakterisiert es ein spezifisches Regime, in dem die einfachste Integrationsmethode (reine Konkatenierung) nach hinten losgeht.

Versöhnung mit Vorarbeiten: Die Ergebnisse widersprechen nicht den aggregierten Benchmarks (z. B. Wu et al. [5]), die Gewinne melden. Diese Gewinne werden dem gemeinsamen Training, variativen EM oder Gated-Fusion-Modulen (wie in TAPE, GLEM) zugeschrieben, die den notwendigen induktiven Bias liefern, um die in der reinen Konkatenierung beobachtete Interferenz zu verhindern.
Praktische Leitlinien:
- Praktiker sollten ein A/B-Testing von $F_{orig}$ -only vs. $F_{orig} \parallel F_{LLM}$ durchführen, bevor sie die Adoption vollziehen.
- $\Delta_{sig}$ dient als interpretative Linse für das Regime (hilfreich vs. schädlich), anstatt als präziser Pre-A/B-Filter zu fungieren, da die Messung von $\Delta_{sig}$ einen ähnlichen Rechenaufwand wie der A/B-Test selbst erfordert.
- In Low- $\Delta_{sig}$ , Low-Label-Regimen ist der „triviale Fix“, das Weglassen der LLM-Merkmale, oft die optimale Strategie.

Das Paper kommt zu dem Schluss, dass der „Vorzeichenwechsel“ von hilfreich zu schädlich durch die spezifische Designentscheidung der reinen Konkatenierung in Small-Sample-Settings getrieben wird, und dass der aggregierte Erfolg von LLM-gestützten GNNs auf komplexeren Integrationsgerüsten beruht, die diese spezifische Interferenz abmildern.