💬 NLP

FactNet: A Billion-Scale Knowledge Graph for Multilingual Factual Grounding

Die Arbeit stellt FactNet vor, einen multilingualen Wissensgraphen im Milliardenmaßstab, der 1,7 Milliarden Wikidata-Aussagen mit byte-genauer Präzision an über 3 Milliarden in der jeweiligen Landessprache verfasste Wikipedia-Evidenzverweise anbindet, sowie die Evaluierungssuite FactNet-Bench, die zur Bewertung und Verbesserung der faktischen Verankerung und des Wissenstransfers über Sprachgrenzen hinweg konzipiert wurde.

Ursprüngliche Autoren: Yingli Shen, Wen Lai, Jie Zhou, Xueren Zhang, Yudong Wang, Kangyang Luo, Shuo Wang, Ge Gao, Alexander Fraser, Maosong Sun

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yingli Shen, Wen Lai, Jie Zhou, Xueren Zhang, Yudong Wang, Kangyang Luo, Shuo Wang, Ge Gao, Alexander Fraser, Maosong Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber manchmal übermäßig selbstbewussten Roboter beizubringen, die Wahrheit zu sagen. Der Roboter (ein Large Language Model) kann schöne Geschichten schreiben und Fragen fließend beantworten, halluziniert jedoch häufig – er erfindet Fakten oder vermischt Details, insbesondere wenn er über Dinge in Sprachen spricht, die nicht Englisch sind.

Das Problem besteht darin, dass wir zwar massive Bibliotheken strukturierter Fakten (wie eine riesige Kalkulationstabelle mit Daten) und massive Bibliotheken von Texten (wie Millionen von Wikipedia-Artikeln) haben, diese jedoch nicht gut miteinander kommunizieren. Die Tabelle weiß, was passiert ist, aber nicht, wo der Beweis im Text zu finden ist. Der Text enthält den Beweis, aber es ist schwierig, ihn mit der spezifischen Tatsache zu verknüpfen.

FactNet ist ein neues, massives Projekt, das dieses Problem lösen soll, indem es eine riesige, zweisprachige (tatsächlich 316-sprachige) Brücke zwischen den beiden baut.

So funktioniert es, unter Verwendung einiger einfacher Analogien:

1. Die „FactNet"-Bibliothek

Stellen Sie sich FactNet als eine massive, ultra-organisierte Bibliothek mit 1,7 Milliarden Faktenkarten vor.

Die Faktenkarte (FactStatement): Dies ist der Kernfakt, wie „Neil Armstrong landete auf dem Mond". Er ist neutral und strukturiert geschrieben, ohne Rücksicht auf die Sprache.
Die Beweisseite (FactSense): An jede Karte ist eine spezifische „Beweisseite" angehängt, die aus einem Wikipedia-Artikel in einer der 316 Sprachen ausgeschnitten wurde. Entscheidend ist, dass dies keine vage Referenz ist, sondern ein Laserpointer. Er zeigt auf den exakten Satz, Tabellenzelle oder Kasten im ursprünglichen Artikel, in dem dieser Fakt geschrieben steht.
Die Verbindung (FactSynset): Wenn Sie die Faktenkarte in Englisch, Französisch und Chinesisch haben, verknüpft FactNet sie alle zu einer einzigen „Familie" (einem Synset). Dies ermöglicht es dem Roboter zu lernen, dass „Neil Armstrong" auf Englisch dieselbe Person ist wie „Neil Armstrong" auf Französisch, selbst wenn der Text anders aussieht.

Das Ausmaß: Es ist riesig. Es umfasst 316 Sprachen und verknüpft 1,7 Milliarden Fakten mit über 3 Milliarden Beweisstücken. Es ist das erste Mal, dass eine Ressource dieser Größe mit diesem Maß an Präzision aufgebaut wurde.

2. Wie sie es gebaut haben: Die „deterministische" Fabrik

Normalerweise verwenden Menschen beim Aufbau solcher Datensätze KI, um Dinge zu erraten oder zu übersetzen, was Fehler oder „Geister"-Fakten einführen kann, die im Quelltext tatsächlich nicht existieren.

FactNet verwendet eine deterministische Konstruktionspipeline. Stellen Sie sich ein Fließband in einer Fabrik vor, bei dem jeder Schritt eine starre, unveränderliche Regel ist.

Kein Raten: Das System „halluziniert" keine Verbindungen. Es verknüpft einen Fakt nur dann mit einem Text, wenn der Text den Fakt auf eine spezifische, überprüfbare Weise explizit enthält.
Rückverfolgbarkeit: Jeder einzelne Link hat einen „Beleg". Wenn Sie den Beweis überprüfen möchten, können Sie zu dem ursprünglichen Wikipedia-Snapshot eines bestimmten Datums zurückkehren und den exakten, zeichenweisen Ort des Beweises finden. Es ist wie ein GPS-Koordinatensystem für jeden Fakt.

3. Der „FactNet-Bench"-Test

Um zu beweisen, dass diese Bibliothek nützlich ist, haben die Autoren einen Testverbund namens FactNet-Bench erstellt. Stellen Sie sich dies als eine standardisierte Prüfung für Roboter vor.

Der Test: Sie bitten den Roboter, einen Fakt zu vervollständigen, eine Frage zu beantworten oder zu prüfen, ob eine Behauptung wahr ist.
Der Haken: Der Test ist so konstruiert, dass Betrug verhindert wird. Der Roboter kann die Antworten nicht einfach auswendig lernen; er muss die spezifische „Beweisseite" (den FactSense) finden, um den Punkt richtig zu erhalten.
Die Ergebnisse: Die Tests zeigten, dass Roboter, die diese strukturierte Bibliothek nutzen können, deutlich besser abschneiden als solche, die nur raten. Es zeigte auch, dass selbst die intelligentesten Roboter noch ziemlich häufig Fakten erfinden (halluzinieren), insbesondere in Sprachen, die nicht Englisch sind.

4. Warum dies wichtig ist (laut dem Papier)

Das Papier behauptet, dass FactNet einen spezifischen „Drei-Wege-Trade-off" löst, den frühere Tools nicht bewältigen konnten:

Skalierbarkeit: Es ist groß genug, um moderne KI zu trainieren (Milliarden von Fakten).
Verankerung: Es verknüpft Fakten mit realen, von Menschen geschriebenen Texten mit Punktgenauigkeit (Byte-Level-Präzision).
Mehrsprachigkeit: Es funktioniert in 316 Sprachen, nicht nur in Englisch.

Was das Papier NICHT behauptet:

Es behauptet nicht, KI-Halluzinationen für immer „behoben" zu haben. Es liefert die Werkzeuge (die Bibliothek und den Test), um Forschern zu helfen, bessere Systeme zu entwickeln.
Es behauptet nicht, eine medizinische oder rechtliche Autorität zu sein. Es ist ein Forschungsdatensatz zum Trainieren und Testen von KI.
Es behauptet nicht, perfekt zu sein. Die Autoren geben zu, dass das System für einige seltene Sprachen oder komplexe Fakten einige Verbindungen verpasst (es priorisiert es, zu 100 % sicher zu sein, gegenüber dem Finden jedes einzelnen möglichen Faktums).

Zusammenfassung:
FactNet ist wie der Bau einer riesigen, mehrsprachigen „Faktencheck-Karte". Es nimmt die strukturierten Fakten, von denen wir wissen, dass sie wahr sind, und zieht eine direkte, unzerreißbare Linie zu dem genauen Absatz in einem Wikipedia-Artikel, der dies beweist. Dies hilft, KI beizubringen, aufzuhören, Dinge zu erfinden, und stattdessen auf die Beweise hinzuweisen, unabhängig davon, welche Sprache der Benutzer spricht.

Technischer Überblick: FactNet

Problemstellung

Large Language Models (LLMs) halluzinieren häufig faktische Behauptungen und haben Schwierigkeiten, ihre Ausgaben auf überprüfbare Belege zu stützen; eine Einschränkung, die in nicht-englischen Sprachen noch verschärft wird. Obwohl Retrieval-Augmented Generation (RAG) und wissensbasierte Systeme einen Weg nach vorne bieten, erfordern sie Trainingsdaten, die strukturiertes Wissen gleichzeitig mit nativen Textbelegen koppeln. Bestehende Ressourcen erzwingen einen kritischen Zielkonflikt:

Strukturierte Wissensbasen (z. B. Wikidata): Bieten Skalierbarkeit und abfragbare Strukturen, fehlen jedoch an textueller Verankerung, sodass RAG-Systeme keine Supervisionssignale für die Fakten-zu-Text-Retrieval erhalten.
Verankerte Datensätze (z. B. FEVER, AveriTeC): Liefern hochwertige Belege, sind jedoch in ihrer Skalierbarkeit begrenzt (Tausende von Instanzen) und aufgrund der Abhängigkeit von manueller Kuratierung weitgehend monolingual.
Alignments-Ressourcen (z. B. T-REx, KELM): Überbrücken Graphen und Text, fehlen jedoch oft an Byte-Level-Präzision, decken nur Englisch ab oder verlassen sich auf synthetische Generierung, die Verbindungen zu von Menschen verfassten Dokumenten unterbricht.
Synthetische Erweiterung: Maschinelle Übersetzung oder LLM-Generierung erhöht die mehrsprachige Abdeckung, führt jedoch zu Übersetzungsartefakten und zirkulären Abhängigkeiten, bei denen Verifizierer Muster des Generators lernen, statt sich in der Realität zu verankern.

Es fehlt eine Ressource, die eine Abdeckung im Milliardenmaßstab, breite mehrsprachige Unterstützung sowie native, auf Spannebene verankerte Belege mit deterministischer Herkunftsbeweisführung bietet.

Methodik

Die Autoren stellen FactNet vor, eine offene Ressource im Milliardenmaßstab, die 1,7 Milliarden Wikidata-Assertionen mit 3,01 Milliarden Beweisverweisen aus 316 nativen Wikipedia-Ausgaben koppelt. Der Aufbau basiert auf einer deterministischen Pipeline, die stochastische Inferenz oder synthetische Generierung vermeidet und sicherstellt, dass jede Beweiseinheit mit Byte-Level-Präzision bis zu ihrer Quelle zurückverfolgbar ist.

Datenmodell und Architektur

FactNet ist in drei gekoppelte Schichten organisiert:

FactStatement: Eine atomare, sprachneutrale Einheit, die eine Wikidata-Aussage (Subjekt, Eigenschaft, Wert) einschließlich Qualifikatoren und Referenzen repräsentiert.
FactSense: Eine verankerte Realisierung innerhalb einer spezifischen Wikipedia-Ausgabe. Sie verknüpft einen FactStatement mit konkreten Textbelegen (Satz, Infobox-Feld oder Tabellenzelle) mit Byte-Level-Offsets (Unicode-Codepoint-Indizes) relativ zu normalisierten Beweisstrings.
FactSynset: Eine Äquivalenzklasse, die FactStatements gruppiert, die denselben zugrunde liegenden Fakt in verschiedenen Sprachen und Oberflächenformen ausdrücken.

Aufbau-Pipeline

Die Pipeline verarbeitet Wikimedia-Dumps (Wikidata-JSON, Wikipedia-XML, SQL-Link-Tabellen) durch drei deterministische Stufen:

Ansichtsgenerierung: Extrahiert drei herkunftsstabile Ansichten aus rohem Wikitext: Sentence View (durch Template-Stripping), Template View (AST-basierte Extraktion von Infobox-Parametern) und Table View (strukturelle Parsing). Eine vollständige Template-Erweiterung wird vermieden, um Rauschen und Offset-Instabilität zu verhindern.
Normalisierung & Kanonisierung: Aussagen werden unter Verwendung eines policy-gesteuerten kanonischen Schlüssels ( $S \parallel P \parallel \text{NormValue} \parallel \text{NormQuals}$ ) zu FactSynsets aggregiert. Strikte Äquivalenz ist der Standard; semantische Lockerungen (z. B. Zeitpräzisions-Trunkierung, Umrechnung von Einheiten) werden nur über eine explizite Policy $\pi$ angewendet und mit maschinenlesbaren merge_reasons protokolliert.
Matching & Herkunftsnachverfolgung: Verwendet geordnete, datentypbewusste Matcher, um Aussagen mit Belegen abzugleichen:
- Strukturbasiert: Matcht Infobox-/Tabellenparameter.
- Linkbasiert: Gleicht entitätsbewertete Aussagen über Wikilinks zu QIDs ab.
- Lexikalisch: Matcht Literalwerte (Zeit, Menge) innerhalb von Texten.
- Beweisverweise: Jeder FactSense enthält einen Verweis $(page\_id, revision\_id, view\_type, unit\_locator)$ und Zeichenoffsets, die eine exakte Wiederlokalisation aus den Quelldumps ermöglichen.

FactNet-Bench

Zur Evaluierung der Ressource stellten die Autoren FactNet-Bench zusammen, eine Suite für Knowledge Graph Completion (KGC), mehrsprachiges KG-Frage-Antwort (MKQA) und mehrsprachige Faktenprüfung (MFC). Wichtige Designmerkmale umfassen:

Leckage-Kontrollen: Aufteilungen werden durch stabiles Hashing von synset_ids generiert. Belege, die mit Dev/Test-Synsets abgeglichen sind, sind strikt von Trainingspools ausgeschlossen.
Prädikat-Maskierung: Für textbewusstes KGC maskieren Abfragezeit-Beschreibungen Werte, die mit dem abgefragten Prädikat verbunden sind, um triviale Extraktion zu verhindern.
Deterministische Reproduzierbarkeit: Alle Aufteilungen, Baselines und Evaluierungsartefakte werden aus einem eingefrorenen Snapshot abgeleitet.

Hauptbeiträge

FactNet: Die erste Ressource im Milliardenmaßstab, die strukturiertes Wissen mit nativen mehrsprachigen Textbelegen über 316 Sprachen hinweg koppelt. Sie fasst 1,7 Mrd. FactStatements und 3,01 Mrd. FactSenses zu 1,55 Mrd. FactSynsets zusammen.
Deterministischer Aufbau: Eine Pipeline, die einen beispiellosen Maßstab ohne synthetische Artefakte erreicht und sicherstellt, dass jeder Beweisverweis aus Rohdatendumps mit Byte-Level-Präzision reproduzierbar ist.
FactNet-Bench: Eine Benchmark-Suite mit systematischen Leckage-Kontrollen zur Evaluierung verankerten faktischen Schlussfolgerns, die zwischen strukturellen, textbewussten und LLM-integrierten Methoden unterscheidet.

Ergebnisse und Evaluierung

Experimente auf FactNet-Bench zeigen Folgendes:

Differenzierung von Methoden: Die Benchmark differenziert effektiv zwischen strukturellen Methoden (TransE, RotatE), textbewussten Methoden (SimKGC, KG-S2S) und LLM-integrierten Ansätzen (GLTW). LLM-integrierte Methoden erzielen die höchste Leistung (z. B. GLTW: 0,386 MRR in KGC), doch textbewusste Methoden zeigen signifikante Gewinne gegenüber strukturellen Baselines.
Leckage-Empfindlichkeit: Ohne Prädikat-Maskierung zeigen textbewusste Modelle anomale Leistungsgewinne (z. B. springt KG-S2S MRR von 0,298 auf 0,351), was bestätigt, dass Leckage-Kontrolle notwendig ist, um zu verhindern, dass Aufgaben zu Informationsentnahme degenerieren.
Sprachübergreifender Transfer: Die gemeinsame FactSynset-Struktur ermöglicht Wissensübertragung. Das Training auf nur englischen Entitätsbeschreibungen behält 78 % der Leistung bei Tier-2-Sprachen und 64 % bei Tier-3-Sprachen bei, was zeigt, dass strukturelle Ausrichtung Textspärlichkeit mildert.
Belegqualität: Dichte Retrieval (E5-large) übertrifft BM25 bei der Faktenprüfung signifikant (0,701 vs. 0,654 Genauigkeit). Die Einbeziehung von Infobox- und Tabellenbelegen ist kritisch; deren Entfernung reduziert die MFC-Beleg-Recall@5 um 14,5 %.
LLM-Halluzination: Das Abfragen von FactNet-Fakten mit GPT-4o und Qwen-2.5-72B zeigt hohe Halluzinationsraten, insbesondere in ressourcenarmen Sprachen (Tier-3: ~~44–48 %) und bei temporalen Fakten (~~34 %). Dies stellt die Annahme in Frage, dass LLMs zuverlässiges faktisches Wissen aus ihren Trainingsdaten kodieren.
Externe Validierung: FactNet-erweiterte RAG-Systeme übertreffen Wikipedia-Dump-Baselines bei TriviaQA (+3,4 EM) und FEVER (+2,2 Genauigkeit, +4,5 Beweis-F1), mit noch größeren Gewinnen in sprachübergreifenden Szenarien.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass FactNet den „Drei-Wege-Zielkonflikt" zwischen Skalierbarkeit, Verankerungstreue und sprachlicher Abdeckung adressiert, der frühere Ressourcen begrenzt hat. Indem FactNet Wikipedia als strukturierten XML-Baum zum Indexieren und nicht als Korpus zum Scraping behandelt, erreicht es das Ausmaß von Wissensgraphen, während es die Verankerungsgenauigkeit von Verifizierungsdatensätzen bewahrt.

Die Autoren betonen, dass FactNet zuverlässige Supervision für RAG-Systeme, Faktenprüfung und mehrsprachiges Schlussfolgern bietet, ohne auf synthetische Generierung zurückzugreifen. Die Ressource ist herkunftsorientiert gestaltet und ermöglicht Forschern, die Verbindung zwischen Fakten und Belegen zu prüfen. Die Autoren stellen fest, dass FactNet zwar Verzerrungen aus seiner Quelle (Wikidata/Wikipedia) erbt und eine Long-Tail-Verteilung aufweist, die ressourcenstarke Sprachen begünstigt, aber seine deterministische Konstruktion und die explizite Behandlung von „Beleglücken" (z. B. durch ungrounded_reason-Codes) eine transparente Grundlage für zukünftige Forschung in vertrauenswürdiger KI bieten. Die Arbeit schließt, dass sprachübergreifende FactSynset-Strukturen einen sinnvollen Wissenstransfer zwischen Sprachtierstufen ermöglichen und einen Weg bieten, die faktische Verankerung in ressourcenarmen Sprachen zu verbessern.