Technische Zusammenfassung: Query-bewusste lernbare Graph-Pooling-Tokens als Prompt für Large Language Models

1. Problemstellung

Die Arbeit adressiert die Herausforderung, graphenstrukturierte Daten mit Large Language Models (LLMs) für Text-zugewiesene Graph-Fragebeantwortungsaufgaben (Graph QA) zu integrieren. Obwohl LLMs über starke Schlussfolgerungsfähigkeiten verfügen, bleibt die effektive Einbindung komplexer Graphstrukturen schwierig. Bestehende Ansätze lassen sich im Allgemeinen in zwei Kategorien einteilen, die beide erheblichen Einschränkungen unterliegen:

• Node-Level-Projektion: Diese Methode übergibt alle von einem Graph Neural Network (GNN) erzeugten Node-Embeddings als einzelne Tokens an das LLM. Zwar wird dabei feingranulare strukturelle Information bewahrt, doch leidet sie unter gravierenden Skalierbarkeitsproblemen. Da Graphen exponentiell an Größe zunehmen, überschreitet die Prompt-Länge die Kontextfenstergrenzen von LLMs, oder die Rechenkosten werden prohibitiv.
• Graph-Level-Projektion: Diese Methode komprimiert alle Node-Informationen vor der Übergabe an das LLM in einen einzigen Vektor (z. B. mittels Mean Pooling). Zwar löst dies das Skalierbarkeitsproblem, führt jedoch unvermeidlich zu Informationsverlust, da komplexe relationale Kontexte in eine einzige Repräsentation verdichtet werden, was es dem LLM erschwert, auf spezifische Details zuzugreifen.

Darüber hinaus setzen bestehende Methoden häufig eine späte Query-Fusion ein, bei der Query und Graph unabhängig voneinander kodiert und erst nach vollständiger Konstruktion der Graphrepräsentation kombiniert werden. Dieser Ansatz kann es versäumen, query-spezifischen Kontext während der kritischen Graphkodierungsphase effektiv zu nutzen.

2. Methodik

Die Autoren schlagen ein neues Framework namens Learnable Graph Pooling Token (LGPT) vor, das mit einer frühen Query-Fusion-Strategie integriert ist. Die Methode arbeitet ohne Feinabstimmung des LLM selbst, sondern konzentriert sich auf die Optimierung des Graph-Encoders und der Prompt-Generierung.

2.1 Frühe Query-Fusion

Anstatt Graph und Query separat zu kodieren, integriert die vorgeschlagene Methode den Query-Kontext vor der Konstruktion der Graphrepräsentation.

• Die Query $q$ wird mittels eines Text-Encoders als virtueller Query-Node ($n_q$) in den Graph-Embedding-Raum eingebettet.
• Dieser virtuelle Node verbindet sich mit allen Nodes im Graph, was einen Nachrichtenfluss über ein GNN ($GNN_{query}$) ermöglicht, um query-bewusste Node-Embeddings zu erzeugen.
• Ein nachfolgendes GNN ($GNN_{graph}$) kodiert die relationalen Informationen dieser modifizierten Graphstruktur. Dies stellt sicher, dass die Graphrepräsentation inhärent query-spezifischen Kontext wahrnimmt, anstatt lediglich eine statische Struktur zu sein.

2.2 Lernbare Graph-Pooling-Tokens (LGPT)

Um die Lücke zwischen Node-Level- und Graph-Level-Projektionen zu überbrücken, führen die Autoren $n$ lernbare Parameter (Tokens) ein, die als Brücke zwischen Graph und LLM fungieren.

• Mechanismus: Der Graph wird durch ein Pooling-GNN ($GNN_{pool}$) verarbeitet, bei dem alle ursprünglichen Nodes vollständig mit $n$ lernbaren Tokens verbunden sind. Durch Nachrichtenfluss aggregieren diese Tokens Informationen aus dem Graph.
• Ausgabe: Anstatt eines einzelnen Vektors oder $k$ Node-Vektoren (wobei $k$ die Anzahl der Nodes ist), gibt die Methode $n$ Tokens aus ($\{g'_1, \dots, g'_n\}$).
• Projektion: Diese Tokens werden durch eine Projektionsschicht (MLP) geleitet, um der Embedding-Dimension des LLM zu entsprechen, und werden mit dem textuellen Graph-Prompt und dem Query-Embedding konkateniert.
• Konzeptionelle Basis: Der Ansatz kombiniert konzeptionell softes Clustering (bei dem Nodes zu mehreren Clustern gehören können, ähnlich wie beim hierarchischen Pooling) und Self-Attention-Mechanismen (ähnlich wie bei Graph-Transformern). Durch die Verwendung mehrerer Tokens anstelle eines einzelnen Vektors wird Informationsverlust gemildert, während eine feste, handhabbare Prompt-Länge beibehalten wird.

2.3 Trainingsziel

Das LLM und die Text-Embedding-Schicht bleiben eingefroren. Das Trainingsziel besteht darin, die lernbaren Parameter $\psi$ der Graph-Encoder-Komponenten ($GNN_{query}$, $GNN_{graph}$, $GNN_{pool}$, LGPT und die Projektionsschicht) zu optimieren, um den Cross-Entropy-Verlust zwischen der vorhergesagten Antwort und dem Ground Truth zu minimieren.

3. Hauptbeiträge

Die Arbeit skizziert zwei primäre Beiträge:

1. Learnable Graph Pooling Token (LGPT): Ein neuartiger Pooling-Mechanismus, der Graphinformationen mittels einer festen Anzahl lernbarer Tokens repräsentiert. Dies balanciert den Kompromiss zwischen der Skalierbarkeit der Graph-Level-Projektion und der Informationsfülle der Node-Level-Projektion.
2. Frühe Query-Fusion: Ein Ansatz, der den Query-Kontext vor der Graphkodierung in den Graph-Embedding-Prozess integriert. Die Autoren argumentieren, dass dies effektiver ist als späte Fusionsmethoden, bei denen Query und Graph erst nach der Kodierung kombiniert werden.

4. Experimentelle Ergebnisse

Die Methode wurde am GraphQA-Benchmark evaluiert, der drei Datensätze umfasst: ExplaGraphs (gesunder Menschenverstand-basiertes Schlussfolgern), SceneGraphs (räumliches Verständnis) und WebQSP (Wissensgraph-QA).

• Leistung ohne LLM-Training: Die vorgeschlagene Methode erzielte über alle Datensätze hinweg eine durchschnittliche Leistungsverbesserung von 4,13 % gegenüber der starken Baseline G-Retriever (die Graph-Level-Projektion mit 1 Token verwendet). Konkret verbesserte sie sich um 5,77 % bei ExplaGraphs, 3,92 % bei SceneGraphs und 2,38 % bei WebQSP.
• Ablationsstudien:
  • Frühe Query-Fusion: Trug eine durchschnittliche Verbesserung von 2,88 % gegenüber der Baseline bei.
  • LGPT: Trug eine durchschnittliche Verbesserung von 3,87 % gegenüber der Baseline bei.
  • Kombination: Die gleichzeitige Verwendung beider Techniken erzielte die höchsten Gewinne und bestätigte ihren komplementären Charakter.
• Vergleich mit später Fusion: Experimente, die Frühe Fusion mit später Fusion (unter Verwendung von Cross-Modality-Pooling) verglichen, zeigten, dass Frühe Fusion die späte Fusion konsistent überragte. In einigen Fällen verschlechterte späte Fusion die Leistung sogar im Vergleich zu keiner Fusion, was darauf hindeutet, dass die Kombination vollständig verarbeiteter Embeddings Rauschen einführen kann.
• Token-Anzahl-Analyse: Die Autoren stellten fest, dass die Verwendung von 8 LGPTs optimale Leistung erbrachte. Eine Erhöhung der Anzahl auf 32 verbesserte die Ergebnisse nicht und führte in einigen Fällen zu Leistungsabfällen aufgrund von Overfitting oder Informationsredundanz.
• LLM-Training (LoRA): Auch wenn das LLM zusätzlich mittels Low-Rank Adaptation (LoRA) trainiert wurde, übertraf die vorgeschlagene Methode die Baselines weiterhin und erzielte eine zusätzliche Verbesserung von 11,48 % gegenüber dem mit LoRA trainierten G-Retriever.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass der vorgeschlagene Ansatz den „Informationsengpass" in graphenaugmentierten LLMs effektiv adressiert. Durch die Einführung lernbarer Tokens vermeidet die Methode die rechnerischen Prohibitivkosten der Verarbeitung jedes einzelnen Nodes, verhindert gleichzeitig aber den Informationsverlust, der mit der Komprimierung eines Graphen in einen einzigen Vektor verbunden ist.

Die Autoren betonen, dass ihre Methode insbesondere deshalb bedeutsam ist, weil sie diese Gewinne ohne das Training des Large Language Model selbst erzielt, was sie zu einer skalierbaren und effizienten Lösung für die Verarbeitung komplexer text-zugewiesener Graphdaten macht. Die frühe Integration des Query-Kontexts in die Pipeline wird als entscheidender Faktor für die Generierung effektiverer Graph-Embeddings präsentiert, die auf die spezifisch gestellte Frage zugeschnitten sind.