💬 NLP

LLMs Underperform Graph-Based Parsers on Supervised Relation Extraction for Complex Graphs

Die Studie zeigt, dass graphbasierte Parser bei der extrahierung von Relationen in komplexen linguistischen Graphen deutlich besser abschneiden als große Sprachmodelle (LLMs), insbesondere mit zunehmender Anzahl der Relationen in den Eingabedokumenten.

Ursprüngliche Autoren: Paolo Gajo, Domenic Rosati, Hassan Sajjad, Alberto Barrón-Cedeño

Veröffentlicht 2026-04-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Paolo Gajo, Domenic Rosati, Hassan Sajjad, Alberto Barrón-Cedeño

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Entdeckung: Der kleine Handwerker schlägt den riesigen Supercomputer

Stell dir vor, du hast zwei verschiedene Arten von Detektiven, die eine sehr spezielle Aufgabe haben: Sie sollen aus einem Text alle versteckten Beziehungen zwischen Dingen herausfiltern. Zum Beispiel: „Wer arbeitet für wen?" oder „Welches Medikament verursacht welche Krankheit?".

Die beiden Detektive:

Der riesige Super-LLM (Large Language Model):
Stell dir diesen als einen extrem gebildeten, aber sehr großen und schweren Professor vor. Er hat Millionen von Büchern gelesen (seine Daten) und kann fast alles verstehen. Er ist wie ein riesiger Riese, der versucht, ein komplexes Puzzle zu lösen, indem er jedes Teil einzeln betrachtet und versucht, den ganzen Zusammenhang im Kopf zu behalten. Er ist sehr stark, aber er ist auch langsam und braucht viel Platz.
Der kleine Graph-Parser:
Dieser ist wie ein schlauer, kleiner Handwerker mit einem sehr präzisen Werkzeugkasten. Er ist nicht so gebildet wie der Professor, aber er ist darauf spezialisiert, genau diese Art von Puzzle zu bauen. Er sieht das Bild nicht als Text, sondern als eine Landkarte mit Knoten und Verbindungen. Er ist leicht, schnell und effizient.

Das Experiment: Je komplexer das Bild, desto besser der Handwerker

Die Forscher haben diese beiden Detektive auf sechs verschiedene Fälle getestet. Manche Fälle waren einfach (wie ein kurzer Satz mit nur zwei Beziehungen), andere waren extrem komplex (wie ein langer Kochrezept-Text mit über 100 verschiedenen Schritten und Zutaten, die alle miteinander verbunden sind).

Das Ergebnis war überraschend:

Bei einfachen Fällen: Der riesige Professor (der LLM) machte eine gute Arbeit. Er war sogar manchmal besser als der kleine Handwerker. Wenn es nur um ein paar einfache Fakten ging, konnte er das gut aus dem Gedächtnis abrufen.
Bei komplexen Fällen: Sobald das Bild kompliziert wurde (viele Beziehungen, lange Texte), begann der Professor zu stolpern. Er wurde verwirrt, vergaß Zusammenhänge oder verlor den Faden.
Der kleine Handwerker: Der Graph-Parser hingegen blieb ruhig. Je komplexer das Puzzle wurde, desto besser machte er seine Arbeit. Er konnte die Landkarte auch dann noch perfekt lesen, wenn der Professor völlig überfordert war.

Warum passiert das? (Die Analogie)

Stell dir vor, du musst eine lange Liste von Anweisungen auswendig lernen, um ein Haus zu bauen.

Der Professor (LLM) versucht, die ganze Liste als einen langen Text zu lesen. Wenn die Liste 100 Zeilen lang ist, muss er den Anfang im Kopf behalten, während er das Ende liest. Dabei verliert er oft den Bezug: „Ah, ich habe vergessen, dass ich bei Schritt 10 das Zementgemisch vorbereitet habe, das ich jetzt brauche." Das Textformat selbst stört ihn.
Der Handwerker (Graph-Parser) sieht die Liste nicht als Text, sondern als Bauplan. Er sieht sofort: „Schritt 10 hängt direkt mit Schritt 1 zusammen." Er ignoriert den unnötigen Text und konzentriert sich nur auf die Verbindungen. Da er speziell für diese Art von Struktur gebaut wurde, wird er mit zunehmender Komplexität sogar noch präziser.

Was bedeutet das für uns?

Die Studie sagt uns etwas Wichtiges über die Grenzen von Künstlicher Intelligenz:

Größe ist nicht alles: Nur weil ein KI-Modell riesig ist und Milliarden von Parametern hat, heißt das nicht, dass es bei jeder Aufgabe besser ist.
Spezialisten gewinnen: Für Aufgaben, bei es um das Verstehen von Strukturen und Verbindungen geht (wie das Erstellen von Wissensgraphen), sind spezialisierte, kleinere Modelle oft überlegen. Sie sind effizienter, schneller und machen weniger Fehler, wenn die Dinge kompliziert werden.
Die Zukunft: Die Forscher hoffen, dass man in Zukunft die KI-Modelle so trainieren kann, dass sie die Struktur besser verstehen, oder dass man sie mit den kleinen Handwerks-Tools kombiniert, um das Beste aus beiden Welten zu haben.

Kurz gesagt: Wenn du ein einfaches Rätsel hast, frag den großen Professor. Aber wenn du ein riesiges, verwickeltes Netzwerk aus Beziehungen entwirfst, lass den kleinen, spezialisierten Handwerker an die Arbeit – er wird es besser machen.

1. Problemstellung

Die Extraktion von Relationen (Relation Extraction, RE) ist eine fundamentale Aufgabe im Natural Language Processing (NLP), bei der RDF-Tripel [Kopf, Relation, Abhängigkeit] aus Texten extrahiert werden, um Wissensgraphen zu erstellen. Während Large Language Models (LLMs) in den letzten Jahren als vielversprechende Werkzeuge für RE sowohl im In-Context-Learning (ICL) als auch im überwachten Lernen (Supervised Learning) etabliert wurden, fehlt es an direkten Vergleichen zwischen LLMs und spezialisierten, graphenbasierten Parsern in überwachten Szenarien.

Das zentrale Problem, das in dieser Arbeit untersucht wird, ist die Leistungsfähigkeit von LLMs im Vergleich zu kleineren, spezialisierten Architekturen, wenn die zugrunde liegenden linguistischen Graphen (d.h. die Struktur der Beziehungen im Text) komplex werden. Die Autoren hinterfragen, ob die enorme Größe und Kapazität von LLMs (bis zu 70 Milliarden Parameter) einen Vorteil gegenüber effizienteren, graphenbasierten Modellen bietet, insbesondere bei Texten mit einer hohen Anzahl von Relationen.

2. Methodik

Die Studie vergleicht vier verschiedene LLM-Architekturen mit einem spezialisierten, graphenbasierten Parser über sechs verschiedene Datensätze hinweg.

Modelle:
- LLMs: Mistral-7B-Instruct-v0.3, Qwen3-14B-Base, Qwen3-32B und Llama-3.3-70B-Instruct (Größenbereich: 7B bis 70B Parameter). Die LLMs wurden mittels LoRA (Low-Rank Adaptation) feinabgestimmt, wobei nur die Attention-Schichten (Key, Query, Value) trainiert wurden.
- Graph-basierter Parser: Eine Erweiterung der Architektur von Bhatt et al. (2024), die auf dem Biaffine-Attention-Parser von Dozat und Manning (2017) basiert. Dieses Modell ist deutlich kleiner (ca. 124M Parameter, davon 14M trainierbar).
Datensätze: Es wurden sechs Datensätze mit unterschiedlicher Komplexität verwendet:
- Einfache Graphen: CoNLL04, ADE, SciERC (meistens $\le$ 5 Relationen pro Dokument).
- Komplexe Graphen: enEWT, SciDTB, ERFGC (durchschnittlich 18 bis über 49 Relationen, ERFGC bis zu 167).
Experimentelles Setup:
- Die Modelle wurden überwacht trainiert.
- Verschiedene Prompt-Strategien wurden getestet: Mit/ohne Beschreibungen der Klassen, mit/ohne ICL-Beispiele (In-Context Learning) und sogar ein adversarieller Prompt (der das Modell auffordert, die Aufgabe nicht zu erledigen), um den Einfluss von Prompting vs. Feinabstimmung zu testen.
- Die Evaluation erfolgte mittels Micro-F1-Score unter strikter Übereinstimmung (Exact Evaluation) von Entitäten und Relationen.

3. Wichtige Beiträge

Erster direkter Vergleich: Die Arbeit liefert den ersten direkten Vergleich zwischen LLMs und graphenbasierten Parsern im überwachten Setting für die Relationsextraktion.
Identifikation einer Leistungsschwelle: Die Studie zeigt, dass LLMs zwar bei einfachen Graphen wettbewerbsfähig sind, aber bei zunehmender Komplexität (Anzahl der Relationen) signifikant schlechter abschneiden als spezialisierte Parser.
Analyse der Skalierung: Es wird demonstriert, dass die Leistungslücke zwischen LLMs und graphenbasierten Parsern mit der Komplexität des Graphen wächst, obwohl die LLMs um Größenordnungen mehr Parameter besitzen.
Prompt-Ineffizienz: Die Ergebnisse zeigen, dass bei feinabgestimmten LLMs die Art des Prompts (Beschreibungen, ICL-Beispiele) kaum noch einen Einfluss auf die Leistung hat, da das Modell die Aufgabe durch das Fine-Tuning internalisiert hat.

4. Ergebnisse

Die experimentellen Ergebnisse führen zu folgenden Schlussfolgerungen:

Leistung bei einfachen Graphen: Bei Datensätzen mit wenigen Relationen (z. B. ADE, SciERC) können die LLMs (insbesondere Qwen3-14B-Base) die graphenbasierten Parser übertreffen oder gleichziehen.
Leistung bei komplexen Graphen: Sobald die durchschnittliche Anzahl der Relationen pro Dokument ca. 18 überschreitet (z. B. enEWT, SciDTB, ERFGC), schneiden die graphenbasierten Parser deutlich besser ab.
- Auf dem komplexesten Datensatz (ERFGC) beträgt der F1-Score-Vorsprung des graphenbasierten Parsers gegenüber dem besten LLM (Qwen3-32B) 13,2 Punkte.
- Der graphenbasierte Parser erreicht auf ERFGC einen F1-Score von 0,713, während das 32B-Modell nur 0,581 erreicht.
Korrelation mit Komplexität: Es besteht eine starke negative Korrelation zwischen der Anzahl der Relationen ( $k$ ) und der Leistung der LLMs. Je komplexer der Graph, desto stärker fällt die Leistung der LLMs ab. Im Gegensatz dazu bleibt die Leistung des graphenbasierten Parsers über alle Komplexitätsstufen hinweg stabil.
Effizienz: Der graphenbasierte Parser ist nicht nur genauer bei komplexen Graphen, sondern auch deutlich effizienter. Während ein LLM tausende Vorwärtsdurchläufe benötigt, um einen großen Graphen zu extrahieren, benötigt der Parser nur einen Durchlauf.

5. Signifikanz und Schlussfolgerung

Die Arbeit widerlegt die Annahme, dass größere LLMs automatisch für alle NLP-Aufgaben überlegen sind. Sie zeigt, dass für strukturierte Aufgaben wie die Relationsextraktion in komplexen Texten spezialisierte, graphenbasierte Architekturen überlegen sind.

Ursache für das Versagen der LLMs: Die Autoren hypothesieren, dass die Notwendigkeit, Textformate (JSON, Listen) für die Extraktion zu generieren, Rauschen in die kausale Aufmerksamkeit (Causal Attention) der LLMs injiziert. Dies erhöht die Distanz zwischen relevanten Token und erschwert die Modellierung von Abhängigkeiten in großen Graphen.
Praktische Implikation: Für Anwendungen, die komplexe Wissensgraphen aus Texten extrahieren müssen, ist der Einsatz von ressourcenintensiven LLMs oft ineffizient und weniger genau. Stattdessen sollten leichtere, graphenbasierte Parser bevorzugt werden.
Zukunftsausblick: Die Autoren schlagen vor, die Aufmerksamkeitsebene von LLMs weiter zu untersuchen und Techniken wie Prompt-Kompression zu erforschen, um die Leistung von LLMs bei komplexen Graphen zu verbessern.

Zusammenfassend stellt das Paper fest, dass „Lightweight"-Architekturen in domänenspezifischen, strukturierten Aufgaben (wie RE in komplexen Graphen) derzeit die „Heavyweight"-LLMs schlagen, insbesondere wenn die Skalierung der Datenkomplexität die Grenzen der sequenziellen Textgenerierung von LLMs aufzeigt.