💻 computer science

Lightweight Semantic Embeddings Enable Redundancy-Sensitive Knowledge Graph Construction for LLM-Based Document Processing

Dieses Paper stellt AMODD vor, eine durch ML augmentierte Pipeline, die leichtgewichtige semantische Embeddings nutzt, um redundante Dokumentensektionen zu deduplizieren und Graph-Entitäten zu clustern, wodurch der Token-Verbrauch sowie die Latenz für LLMs bei der Konstruktion von Wissensgraphen signifikant reduziert werden, während gleichzeitig eine hohe Retrieval-Qualität beibehalten wird.

Ursprüngliche Autoren: Sedar Olmez, Maxim Smilovitskiy, Koichi Yokota

Veröffentlicht 2026-09-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sedar Olmez, Maxim Smilovitskiy, Koichi Yokota

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der Welt der künstlichen Intelligenz gibt es eine wachsende Spannung zwischen dem Wunsch, riesige Mengen an Informationen zu verstehen, und den praktischen Grenzen der Rechenleistung. Große Sprachmodelle, die hochentwickelte Software, die menschliche Sprache lesen und schreiben kann, werden häufig eingesetzt, um ungeordnete, unstrukturierte Dokumente in organisierte Wissensgraphen zu verwandeln. Stellen Sie sich einen Wissensgraphen als eine strukturierte Landkarte von Fakten vor, bei der spezifische Informationseinheiten miteinander verknüpft sind, um ihre Beziehungen aufzuzeigen. Dies ist für Branchen wie das Energiewesen oder das Rechtswesen unglaublich nützlich, in denen Vorschriften und technische Standards hunderte von Seiten umfassen können. Ein erhebliches Problem entsteht jedoch, wenn diese Dokumente Redundanzen enthalten. Technische Handbücher und Gesetzestexte wiederholen oft dieselben Regeln oder Definitionen in leicht abgewandelter Wortwahl über mehrere Abschnitte hinweg. Wenn ein Computer versucht, ein solches Dokument zu verarbeiten, behandelt er oft jeden einzelnen Abschnitt als ein einzigartiges Puzzle und bittet die teure KI, dieselbe Kernidee immer und immer wieder zu analysieren. Dieser Ansatz ist nicht nur langsam, sondern auch finanziell belastend, da die Kosten für die Nutzung dieser KI-Systeme direkt an das Volumen des von ihnen verarbeiteten Textes gekoppelt sind.

Forscher bei Fujitsu Research of Europe setzten sich zum Ziel, diese Ineffizienz zu lösen, indem sie einen intelligenteren Weg entwickelten, um diese Wissenskarten zu erstellen. Sie entwickelten ein System namens AMODD, was für „Automated Mapping of Data Definitions“ steht, und fügten ihm eine neue Ebene der Intelligenz hinzu. Anstatt blind jeden Seiteninhalt eines Dokuments zu verarbeiten, nutzt dieses verbesserte System zuerst ein leichtgewichtiges Werkzeug, um den Text zu lesen und seine Bedeutung zu verstehen. Dieses Werkzeug fungiert wie ein schneller Scanner, der erkennen kann, wenn zwei verschiedene Abschnitte eines Dokuments tatsächlich dasselbe aussagen, selbst wenn sie unterschiedliche Wörter verwenden. Indem dieses System die nahezu identischen Inhalte bereits identifiziert, bevor die eigentliche KI sie überhaupt sieht, kann es die redundante Arbeit vollständig überspringen. Es verarbeitet daraufhin nur die einzigartigen Abschnitte, extrahiert die Fakten und gruppiert zusammengehörige Fakten, die möglicherweise unterschiedlich formuliert wurden. Wenn ein Mensch schließlich eine Frage zum Dokument stellt, sucht das System nach Antworten basierend auf der Bedeutung der Wörter und nicht bloß durch das Abgleichen exakter Schlüsselwörter.

Um zu testen, ob dieser Ansatz tatsächlich funktionierte, erstellte das Team eine Reihe synthetischer Dokumente im Zusammenhang mit Wasserstoffenergieregulierungen. Sie entwarfen drei Versionen dieser Dokumente: ein kurzes Dokument mit fast keiner Redundanz, ein mittellanges mit einigen wiederholten Abschnitten und ein langes, das vollgestopft mit massiven Redundanzen war. Sie ließen dieselben Dokumente anschließend durch zwei verschiedene Pipelines laufen. Der erste Weg war die Standardmethode, die jeden Abschnitt unabhängig voneleinander verarbeitete. Der zweite war ihr neuer, verbesserter Weg, der mit der Bedeutung-scannenden Ebene ausgestattet war. Die Ergebnisse zeigten ein klares Muster, das ausschließlich davon abhing, wie viel Redundanz in dem jeweiligen Dokument vorhanden war. Bei dem kurzen, nicht-repetitiven Dokument war das neue System etwas langsamer, da es den zusätzlichen Schritt des Scannens nach Duplikaten durchführen musste, die gar nicht existierten. Doch sobald die Dokumente repetitiver wurden, begann das neue System zu glänzen. Beim mittellangen Dokument mit moderater Redundanz reduzierte die neue Methode die Anzahl der KI-Aufrufe um fast 58 Prozent und senkte das insgesamt von der KI verarbeitete Textvolumen um 56,7 Prozent. Bei dem hochgradig redundanten, langen Dokument waren die Einsparungen sogar noch dramatischer: Die KI-Aufrufe wurden um 85,4 Prozent reduziert und das verarbeitete Textvolumen um 84,9 Prozent.

Über die reine Zeit- und Kostenersparnis hinaus achteten die Forscher sorgfältig darauf, dass diese Effizienz nicht zu Lasten wichtiger Informationen ging. Sie maßen die endgültige Anzahl der Fakten, oder „Triples“, die im Wissensgraphen landeten. Sie fanden heraus, dass das neue System zwar einen kleineren Graphen auf den repetitiven Dokumenten erzeugte, dies aber nicht darauf zurückzuführen war, dass es einzigartige Fakten wegwarf. Stattdessen war die kleinere Größe ein direktes Resultat des Entfernens der Duplikate derselben Fakten, die das alte System beibehalten hätte. Das neue System konnte das Kernwissen erfolgreich bewahren und gleichzeitig das „Rauschen“ eliminieren. Darüber hinaus zeigten die Tests zur Beantwortung von Fragen, dass die neue Methode überlegen war. Wenn eine breite Frage gestellt wurde, wie etwa „Worum geht es in diesem Dokument?“, war das neue System dank seines Verständnisses für Bedeutungen in der Lage, relevante Fakten wesentlich effektiver abzurufen als das alte System, das Schwierigkeiten hatte, wenn die Frage nicht exakt dieselben Wörter wie der Text verwendete.

Die Studie kommt zu dem Schluss, dass diese leichte Erweiterung die Art und Weise verändert, wie diese Systeme mit Dokumenten umgehen. Anstatt dass die Kosten und die Zeit linear mit der Gesamtlänge eines Dokuments steigen, skaliert der neue Ansatz mit der Menge der darin enthaltenen einzigartigen Informationen. Wenn ein Dokument voller wiederholter Klauseln ist, erkennt das System dies und verschwendet keine Ressourcen mehr an diese. Die Forscher merkten an, dass diese Methode keine Wunderheilung für jede Situation ist; sie bietet keinen Nutzen für kurze, einzigartige Dokumente, bei denen es nichts zu überspringen gibt. Doch für die langen, repetitiven technischen und regulatorischen Texte, wie sie in vielen Branchen üblich sind, bietet dieser Ansatz einen praktischen Weg, künstliche Intelligenz effizienter und erschwinglicher zu machen, ohne die Qualität der finalen Wissenskarte zu opfern.

Technisches Resümee: Leichtgewichtige semantische Embeddings für die redundanzsensitive Konstruktion von Wissensgraphen

Problemstellung
Die Konstruktion von Wissensgraphen (Knowledge Graphs, KGs) aus langen, heterogenen und teilweise redundanten technischen Dokumenten unter Verwendung von Large Language Models (LLMs) stellt eine erhebliche Herausforderung hinsichtlich der Betriebskosten dar. Konventionelle Pipelines, wie etwa das Automated Mapping of Data Definitions (AMODD), verarbeiten Dokumentensektionen typischerweise unabhängig voneinander. Dieses Design führt dazu, dass die Rechenkosten (Token-Verbrauch, Anzahl der LLM-Aufrufe und Latenz) linear mit der Dokumentenlänge skalieren, anstatt mit dem Volumen des einzigartigen semantischen Inhalts. In Domänen wie der regulatorischen Compliance und der technischen Standardisierung, in denen Klauseln und Anforderungen häufig wiederholt oder paraphrasiert werden, führt dieser Ansatz zu einer redundanten Extraktion identischer Fakten, was unnötige finanzielle und rechnerische Kosten verursacht, ohne die Qualität des resultierenden Graphen zu verbessern.

Methodik
Das Paper schlägt eine ML-augmentierte Erweiterung der AMODD-Pipeline vor, die eine leichtgewichtige semantische Embedding-Schicht integriert, um die KG-Konstruktion „redundanzsensitiv“ statt „dokumentenlängensensitiv“ zu gestalten. Diese Schicht nutzt ein lokal bereitgestelltes, kompaktes Sentence-Transformer-Modell (all-MiniLM-L6-v2), um Text in einen gemeinsamen dichten Vektorraum abzubilden. Die Methodik operiert durch drei distinkte Mechanismen:

Pre-LLM Sektions-Deduplizierung: Vor jedem LLM-Aufruf berechnet das System einen Batch an Embeddings für alle Dokumentensektionen und berechnet eine $n \times n$ Kosinus-Ähnlichkeitsmatrix. Ein gieriger (greedy) Durchlauf in Dokumentenreihenfolge identifiziert nahezu identische Sektionen basierend auf einem Schwellenwert ( $\tau_{sec}$ ). Redundante Sektionen werden vollständig übersprungen; ihre Themen und Tripel werden vom gematchten kanonischen Abschnitt übernommen, wobei die Seiten-Provenienz aktualisiert wird, um den ursprünglichen Ort widerzuspiegeln. Dies unterdrückt sowohl die LLM-Aufrufe zur Themenidentifikation als auch zur Tripel-Extraktion für redundante Inhalte.
Post-LLM Tripel-Clustering: Nach der Extraktion bettet die Pipeline die textuellen Komponenten der extrahierten Tripel (Subjekt, Relation, Objekt) ein. Semantisch äquivalente Entitäten und Relationen werden zusammengeführt, wenn deren Vektorähnlichkeit einen Schwellenwert ( $\tau_{triple}$ ) überschreitet. Eine kanonische Repräsentanz (die kürzeste Oberflächenform) wird für jedes Cluster ausgewählt, was die Proliferation von Synonymen reduziert, die durch rein lexikalisches String-Matching oft unentdeckt bleibt.
Semantische RAG-Retrieval: Für das nachgelagerte Retrieval-Augmented Generation (RAG) ersetzt das System das Keyword-Overlap-Scoring durch ein Kosinus-Ähnlichkeits-Ranking über einen vorab erstellten Index von Tripel-Embeddings. Dies ermöglicht den Abruf semantisch relevanter Tripel, selbst wenn das Suchvokabular vom extrahierten Text divergiert, wobei ein additives Boost basierend auf dem Wichtigkeitslabel des Tripels angewendet wird.

Zentrale Beiträge
Der primäre Beitrag ist ein Design auf Pipeline-Ebene, das leichtgewichtige Embeddings als operative Kontrollschicht um LLM-Aufrufe herum nutzt, anstatt sie ausschließlich als Retrieval-Mechanismus einzusetzen. Die Studie zeigt, dass:

Embeddings als Kostenkontrollmechanismus dienen können, indem sie redundante LLM-Aufrufe verhindern.
en
Dieselbe Embedding-Schicht gleichzeitig die Graphstruktur verfeinern (via Clustering) und die Retrieval-Fidelität (via semantischem Matching) verbessern kann.
Der Ansatz das Skalierungsverhalten der KG-Konstruktion von der Abhängigkeit von der Gesamtzahl der Sektionen hin zur Abhängigkeit von der Anzahl der semantisch distinkten Sektionen verschiebt.

Experimentelle Ergebnisse
Die Autoren führten ein kontrolliertes A/B-Experiment mit synthetischen Dokumenten aus dem Wasserstoffsektor mit drei Redundanzstufen durch: gering (D1), moderat (D2) und hoch (D3).

Effizienz (RQ1):
- Nicht-redundant (D1): Die Embedding-Schicht führte zu einem Overhead von 6–10 % bei Token, Aufrufen und Latenz, was bestätigt, dass sie keinen Nutzen bietet, wenn keine Redundanz vorhanden ist.
- Moderat redundant (D2): Die ML-augmentierte Pipeline reduzierte den Token-Verbrauch um 56,7 %, die LLM-Aufrufe um 57,7 % und die Wandzeit-Latenz (wall-clock latency) um 29,9 %.
- Hochgradig redundant (D3): Die Reduktionen waren noch ausgeprägter: 84,9 % weniger Token, 85,4 % weniger Aufrufe und eine um 58,1 % geringere Latenz.
- Skalierung: Während die Baseline-LLM-Aufrufzahl von ~69 (D2) auf ~205 (D3) anstieg, blieb die ML-augmentierte Pipeline mit ~29 Aufrufen nahezu konstant, was die Unabhängigkeit von der Gesamtdokumentenlänge demonstriert.
Qualität und Retention (RQ2):
- Graphgröße: Die finale Tripel-Anzahl unter der ML-Bedingung blieb für alle Dokumente über einer redundanzbereinigten unteren Schranke (Baseline Triple Count $\times$ (1 - Skip Rate)). Für D3 behielt die ML-Pipeline 46,8 Tripel bei, was mehr als das Doppelte der theoretischen unteren Schranke von 21,8 ist, was zeigt, dass der einzigartige semantische Inhalt trotz aggressiver Deduplizierung bewahrt wurde.
- Retrieval-Abdeckung: Das semantische Retrieval übertraf das Keyword-Overlap-Retrieval bei breiten Anfragen (z. B. „Worum geht es in diesem Dokument?“) signifikant. Die Verbesserungen der Abdeckung reichten von +0,481 (D1) bis +0,553 (D3), was zeigt, dass semantisches Matching effektiv die reduzierte Graphgröße kompensiert, indem es relevante Tripel abruft, die keinen exakten lexikalischen Überlapp aufweisen.

Bedeutung und Ansprüche
Das Paper behauptet, dass leichtgewichtige semantische Embeddings die LLM-basierte Wissensgraph-Konstruktion redundanzsensitiv machen können. Die Bedeutung liegt in der Verschiebs des Kostenmodells: Anstatt für jede Sektion eines Dokuments zu bezahlen, zahlt das System primär für den einzigartigen semantischen Inhalt. Die Autoren betonen, dass dies kein neues Embedding-Modell oder ein Ersatz für die LLM-Extraktion ist, sondern ein praktisches Design auf Pipeline-Ebene, das die Konstruktionskosten senkt und gleichzeitig die Retrieval-Abdeckung aufrechterhält oder verbessert. Die Studie kommt zu dem Schluss, dass dieser Ansatz besonders vorteilhaft für lange oder repetitive Dokumentensammlungen ist und erhebliche Kosteneinsparungen (z. B. ~$4.780 pro 1.000 D3-ähnliche Dokumente) ermöglicht, ohne unverhältnismäßigen Verlust an einzigartigem Wissen.

Mehr davon