🤖 machine learning

GLiNER-Relex: A Unified Framework for Joint Named Entity Recognition and Relation Extraction

GLiNER-Relex ist ein einheitliches, quelloffenes Framework, das die GLiNER-Architektur erweitert, um in einem einzigen Modell eine gemeinsame Named-Entity-Erkennung und Relationsextraktion durchzuführen, wodurch eine effiziente Zero-Shot-Inferenz beliebiger Entitäts- und Relationstypen mit wettbewerbsfähiger Leistung über mehrere Benchmarks hinweg ermöglicht wird.

Ursprüngliche Autoren: Ihor Stepanov, Oleksandr Lukashov, Mykhailo Shtopko, Vivek Kalyanarangan

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ihor Stepanov, Oleksandr Lukashov, Mykhailo Shtopko, Vivek Kalyanarangan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Bibliothekar, der versucht, eine riesige, chaotische Bibliothek zu organisieren, in der die Bücher in einer Sprache geschrieben sind, die Sie nicht vollständig verstehen, und die Regale mit unsortierten Notizen gefüllt sind. Ihr Ziel ist es, eine „Wissenskarte" der Bibliothek zu erstellen: Sie müssen spezifische Personen und Orte (Named Entities) finden und dann herausfinden, wie sie miteinander verbunden sind (Relations).

Lange Zeit nutzten Bibliothekare eine zweistufige Fließbandarbeit:

Schritt 1: Ein Mitarbeiter scannt den Text, um alle Namen und Orte zu finden.
Schritt 2: Ein zweiter Mitarbeiter nimmt diese Liste und versucht, die Beziehungen zwischen ihnen zu erraten.

Das Problem? Wenn der erste Mitarbeiter einen Fehler macht (z. B. einen Namen falsch identifiziert), ist der zweite Mitarbeiter zum Scheitern verurteilt. Dies wird als „Fehlerfortpflanzung" bezeichnet.

Enter GLiNER-Relex: Der „Super-Leser"

Die Autoren dieses Papiers stellen GLiNER-Relex vor, ein neues Werkzeug, das wie ein einzelner, superkluger Bibliothekar funktioniert, der beide Aufgaben gleichzeitig erledigt. Anstelle einer Fließbandarbeit ist es ein einheitliches Team aus einer Person.

So funktioniert es, mit einfachen Analogien:

1. Der „Universalübersetzer" (Zero-Shot Learning)

Die meisten alten Werkzeuge sind wie Wörterbücher, die nur einen festen Satz von Wörtern kennen. Wenn Sie sie bitten, einen „berühmten Bäcker" zu finden, wissen sie möglicherweise nicht, was das ist, es sei denn, sie wurden speziell auf Bäcker trainiert.

GLiNER-Relex ist anders. Es ist wie ein Bibliothekar, der jede Sprache spricht und jedes Konzept sofort versteht. Sie können ihm sagen: „Finde mir alle ‚berühmten Bäcker' und ‚Sauerteig-Experten' in diesem Text", und es wird diese spezifischen Anweisungen sofort verstehen, selbst wenn es diese exakten Wörter noch nie gesehen hat. Es muss nicht neu trainiert werden; es braucht nur eine natürliche Sprachbeschreibung dessen, wonach Sie suchen.

2. Das „gemeinsame Gehirn" (Unified Architecture)

Anstatt zwei separate Gehirne zu haben (eines für Namen, eines für Beziehungen), hat dieses Modell ein gemeinsames Gehirn. Es liest den Text, die Liste der Namen, die Sie wollen, und die Liste der Beziehungen, die Sie wollen, alles gleichzeitig.

Die Analogie: Stellen Sie sich einen Detektiv vor, der nicht nur auf das Foto eines Verdächtigen (den Namen) schaut und dann separat auf eine Karte seiner Verbindungen. Stattdessen betrachtet der Detektiv das Foto, die Karte und den Tatort gleichzeitig und versteht, wie alles auf einen Blick zusammenpasst. Dies verhindert die „Fehlerkaskade", bei der eine falsche Vermutung im ersten Schritt den zweiten Schritt ruiniert.

3. Der „Matchmaker" (Relation Scoring)

Sobald das Modell die Personen und Orte gefunden hat, muss es entscheiden, wer mit wem verbunden ist.

Die Analogie: Stellen Sie sich vor, Sie haben einen Haufen Puzzleteile (die gefundenen Personen) und eine Schachtel mit Puzzleteilen (die Beziehungen). Das Modell versucht, die Teile zusammenzufügen. Es fragt: „Passt das Teil ‚befindet sich in' zwischen ‚Paris' und ‚Eiffelturm'?" Es bewertet jede mögliche Verbindung. Wenn die Passform stark ist, behält es die Verbindung; wenn sie schwach ist, verwirft sie sie.

4. Der „Speed-Demon" (Efficiency)

Das Papier vergleicht dieses Werkzeug mit massiven, leistungsstarken KI-Modellen (wie GPT-5-mini), die wie Super-Genie-Berater sind. Während die Berater sehr klug sind, sind sie langsam und teuer zu engagieren.

Die Analogie: GLiNER-Relex ist wie ein hochtrainierter, spezialisierter Roboter. Er ist nicht so „tief kreativ" wie der Super-Genie-Berater, aber er ist 70-mal schneller und läuft auf einem Standardcomputer (einer einzelnen GPU), anstatt einen massiven Cloud-Server zu benötigen.
Das Ergebnis: In Tests war der Roboter fast so genau wie der Genie-Berater, schloss die Arbeit jedoch in weniger als einer Sekunde ab, während der Berater über eine Minute brauchte.

Was haben sie getestet?

Die Autoren testeten diesen „Super-Leser" an vier verschiedenen Arten schwieriger Leseherausforderungen:

Nachrichtenartikel: Einfache Verbindungen in kurzen Geschichten finden.
Lange Dokumente: Verbindungen über ganze Wikipedia-artige Artikel hinweg finden (wobei die Antwort im Absatz 1 und die Person im Absatz 10 stehen könnte).
Seltene Themen: Verbindungen für sehr spezifische, ungewöhnliche Themen finden, die das Modell noch nie gesehen hat.
Gemischte Domänen: Wechseln zwischen verschiedenen Themen wie Musik, Politik und Wissenschaft, ohne verwirrt zu werden.

Das Urteil:
GLiNER-Relex erwies sich als das beste „All-in-One"-Werkzeug für diese Aufgaben. Es schlug andere spezialisierte Werkzeuge und übertraf sogar den massiven KI-Berater bei langen Dokumenten und gemischten Themen, während es gleichzeitig unglaublich schnell und kostengünstig im Betrieb war.

Das Fazit

Das Papier behauptet, dass GLiNER-Relex ein kostenloses, quelloffenes Werkzeug ist, das jedem ermöglicht, eine Wissenskarte aus chaotischem Text zu erstellen. Sie sagen ihm einfach in einfachem Englisch, wonach Sie suchen, und es findet sofort die Namen und verbindet die Punkte, indem es die Arbeit eines langsamen, teuren KI-Teams in einem Bruchteil der Zeit erledigt.

Technische Zusammenfassung: GLiNER-Relex

Problemstellung

Die Informationsentnahme (IE) aus unstrukturiertem Text ist entscheidend für den Aufbau von Wissensgraphen und die Ermöglichung nachgelagerter Anwendungen wie Fragenbeantwortung und retrieval-augmentierte Generierung (RAG). Traditionell werden Named Entity Recognition (NER) und Relation Extraction (RE) als separate Aufgaben behandelt, die häufig über Pipeline-Ansätze implementiert werden. Obwohl modular, leiden Pipelines unter der Fehlerfortpflanzung, bei der Fehler bei der Identifizierung von Entitäten in die Klassifizierung von Relationen weitergeleitet werden.

Neuere Zero-Shot-Ansätze, wie das GLiNER-Framework, haben erfolgreich Text- und Entitätstyp-Labels innerhalb eines gemeinsamen Encoders vereinigt, um beliebige Entitätstypen ohne Nachtraining zu erkennen. Das GLiNER-Ökosystem fehlte jedoch bisher ein wirklich einheitliches Modell, das sowohl die Entitätserkennung als auch die Relationsextraktion in einem einzigen Vorwärtsdurchlauf mit gemeinsamen Repräsentationen durchführt. Bestehende Lösungen verlassen sich entweder auf separate Modelle (z. B. GLiREL, das vorab identifizierte Entitäten erfordert) oder kodieren Relationen implizit durch das Verkettens von Labels, wodurch die RE auf ein Span-Extraktionsproblem ohne explizite Modellierung von Entitätenpaaren reduziert wird.

Methodik

GLiNER-Relex ist eine einheitliche Architektur, die das GLiNER-Framework erweitert, um eine gemeinsame NER und RE durchzuführen. Das Modell arbeitet in einem Zero-Shot-Setting und akzeptiert benutzerspezifische natürliche Sprach-Labels sowohl für Entitäts- als auch für Relationstypen zum Zeitpunkt der Inferenz.

Architektur

Das Framework besteht aus fünf Hauptkomponenten:

Einheitliche Eingabedarstellung: Die Eingabesequenz verkettet drei Segmente: Entitätstyp-Labels (mit dem Präfix [ENT]), Relationstyp-Labels (mit dem Präfix [REL]) und den Eingabetext. Dieses Layout ermöglicht eine Cross-Aufmerksamkeit zwischen Text, Entitätstypen und Relationstypen innerhalb eines gemeinsamen bidirektionalen Transformer-Encoders (in der Implementierung DeBERTa-v3-large).
Gemeinsamer Encoder: Der Encoder verarbeitet die einheitliche Sequenz, um kontextualisierte versteckte Zustände zu erzeugen. Diese werden in Wort-Embeddings, Entitätstyp-Embeddings (von [ENT]-Tokens) und Relationstyp-Embeddings (von [REL]-Tokens) unterteilt.
Entitätsextraktion: Nach dem Standard-GliNER-Ansatz auf Span-Basis konstruiert das Modell Repräsentationen für alle Kandidaten-Spans bis zu einer maximalen Breite ( $W=12$ ). Entitätswerte werden über die Dot-Produkt-Ähnlichkeit zwischen Span-Repräsentationen und projizierten Entitätstyp-Embeddings berechnet.
Konstruktion von Entitätenpaaren: Das Modell identifiziert, welche erkannten Entitätenpaare auf Relationen hin bewertet werden sollen. Der veröffentlichte Checkpoint nutzt eine All-Pairs-Enumeration-Strategie, die alle geordneten Paare erkannter Entitäten generiert. Das Framework unterstützt auch ein optionales Nachbarschaftsgeleitetes Auswahlsmodul (unter Verwendung von Decodern wie Dot-Product, Bilinear, MLP, Attention, GCN oder GAT), um unwahrscheinliche Paare zu beschneiden, obwohl dies im veröffentlichten Modell nicht aktiviert war.
Relationsscore: Für ausgewählte Entitätenpaare bewertet das Modell diese gegen Relationstyp-Embeddings. Das veröffentlichte Modell verwendet eine Pair Representation Layer, bei der Kopf- und Schwanz-Entitätsrepräsentationen verkettet und über ein MLP projiziert werden, um eine einheitliche Paarrepräsentation zu bilden. Dies wird über das Dot-Produkt gegen Relationstyp-Embeddings bewertet. Das Framework unterstützt auch von Wissensgraphen inspirierte Triple-Bewertungsfunktionen (z. B. TransE, DistMult-Varianten) als Alternativen.

Trainingsziel

Das Modell wird mit einem Multi-Task-Ziel trainiert, das den Entitätsextraktionsverlust ( $L_{ent}$ ) und den Relationsklassifikationsverlust ( $L_{rel}$ ) kombiniert, wobei beide den Focal Loss zur Behandlung von Klassenungleichgewicht nutzen. Der veröffentlichte Checkpoint lässt den Nachbarschaftsverlust aus ( $\lambda_A = 0$ ) und konzentriert sich auf $L = \lambda_E L_{ent} + \lambda_R L_{rel}$ .

Datenstrategie

Das Training folgt einer zweistufigen Pipeline unter Verwendung synthetischer Daten, die aus dem FineWeb-Korpus über Large Language Models (LLMs) generiert wurden:

Stufe 1 (Pre-Training): Ca. 1 Million Sätze und 50.000 vollständige Dokumente, annotiert durch Qwen3-32B.
Stufe 2 (Fine-Tuning): Ein hochwertiger Datensatz von ca. 3.000 Beispielen, der über eine mehrstufige Pipeline unter Verwendung von Gemini kuratiert wurde, einschließlich Extraktions- und Korrekturdurchläufen zur Sicherstellung der Konsistenz.

Hauptbeiträge

Einheitliche Architektur: Ein einzelner Encoder-basierter Modell, der gleichzeitig Entitätserkennung und Relationsextraktion durchführt und so die Fehlerfortpflanzung zwischen den Stufen eliminiert.
Zero-Shot-Fähigkeit: Das Modell unterstützt beliebige Entitäts- und Relationstypen, die über natürliche Sprach-Labels zum Zeitpunkt der Inferenz spezifiziert werden, ohne Nachtraining zu erfordern.
Relationsscore-Mechanismus: Einführung eines dedizierten Relationsscore-Moduls (insbesondere der Pair Representation Layer), das eine Zero-Shot-Verallgemeinerung auf nicht gesehene Relationstypen ermöglicht.
Umfassende Evaluation: Benchmarking auf vier Standarddatensätzen (CoNLL04, DocRED, FewRel, CrossRE) im Vergleich zu spezialisierten Modellen (GLiREL, GLiNER2) und Large Language Models (GPT-5-mini).
Open-Source-Veröffentlichung: Verfügbarkeit als Python-Package mit einer einfachen API für die gemeinsame Extraktion.

Experimentelle Ergebnisse

Das Modell wurde in einem Zero-Shot-Setting über vier Benchmarks hinweg evaluiert:

CoNLL04: GLiNER-Relex erreichte 40,4% Micro-F1 und näherte sich GPT-5-mini (42,4%) eng an, während es GLiNER2 (32,9%) erheblich übertraf.
DocRED: Das Modell erreichte 31,3% Micro-F1 und übertraf GPT-5-mini (18,6%) und GLiNER2 (11,7%) mit signifikanten Margen, was eine starke Fähigkeit in der Dokumenten-Ebene-Reasoning demonstriert.
FewRel: GLiNER-Relex erzielte 12,5% und blieb hinter GPT-5-mini (15,0%) und GLiNER2 (20,8%) zurück. Die Autoren stellen fest, dass dies teilweise auf das Design des Benchmarks zurückzuführen ist, das Modelle mit vorab identifizierten Entitäten begünstigt (eine Bedingung, die von GLiREL erfüllt wurde, das mit Gold-Entitäten 24,0% erreichte), sowie auf die Herausforderung feinabgestimmter Wikidata-Typen.
CrossRE: Das Modell erzielte die beste Leistung mit 18,1% und übertraf GPT-5-mini (12,4%) und GLiNER2 (6,0%), was eine starke domänenübergreifende Übertragbarkeit unterstreicht.

Effizienz: In einem Durchsatzvergleich auf einem zurückgehaltenen Datensatz erreichte GLiNER-Relex einen Durchsatz von 1,11 docs/sec auf einer einzelnen NVIDIA L4 GPU, verglichen mit 0,016 docs/sec für GPT-5-mini über die API, was einen ~70-fachen Geschwindigkeitsvorteil darstellt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass GLiNER-Relex die Lücke zwischen effizienten Encoder-basierten Modellen und dem Bedarf an einheitlicher, Zero-Shot-Informationsentnahme schließt. Ihre Bedeutung liegt in:

Eliminierung der Fehlerfortpflanzung: Durch die gemeinsame Modellierung von NER und RE innerhalb eines einzigen Encoders vermeidet das Modell die kaskadierenden Fehler, die für Pipeline-Ansätze typisch sind.
Skalierbarkeit und Kosten: Die Encoder-basierte Architektur bietet Geschwindigkeitsverbesserungen um Größenordnungen und geringere Rechenkosten im Vergleich zu autoregressiven LLMs, was sie für Hochvolumen-Pipelines wie den Aufbau von Wissensgraphen geeignet macht.
Flexibilität: Die Zero-Shot-Formulierung ermöglicht die Anpassung an neue Domänen und Schemata einfach durch Änderung der natürlichen Sprach-Labels, ohne Nachtraining.
Leistung: Das Modell zeigt eine wettbewerbsfähige und oft überlegene Leistung im Vergleich zu sowohl spezialisierten Relationsklassifikatoren als auch Large Language Models, insbesondere in Szenarien auf Dokumenten-Ebene und domänenübergreifend.

Die Autoren positionieren GLiNER-Relex als praktische, effiziente Rückgratstruktur für GraphRAG-Systeme und andere Anwendungen, die strukturierte Wissensentnahme aus unstrukturiertem Text über diverse Domänen hinweg erfordern.