💬 NLP

FactNet: A Billion-Scale Knowledge Graph for Multilingual Factual Grounding

Het artikel introduceert FactNet, een meertalige kennisgrafiek op biljoenschaal die 1,7 miljard Wikidata-asserties koppelt aan meer dan 3 miljard bewijsverwijzingen in de native taal van Wikipedia met precisie op byte-niveau, samen met de FactNet-Bench-evaluatiesuite die is ontworpen om feitelijke onderbouwing en kennisoverdracht over talen heen te beoordelen en te verbeteren.

Oorspronkelijke auteurs: Yingli Shen, Wen Lai, Jie Zhou, Xueren Zhang, Yudong Wang, Kangyang Luo, Shuo Wang, Ge Gao, Alexander Fraser, Maosong Sun

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yingli Shen, Wen Lai, Jie Zhou, Xueren Zhang, Yudong Wang, Kangyang Luo, Shuo Wang, Ge Gao, Alexander Fraser, Maosong Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een zeer slimme, maar soms te zelfverzekerde robot te leren de waarheid te spreken. De robot (een Large Language Model) kan prachtige verhalen schrijven en vlot vragen beantwoorden, maar het "hallucineert" vaak – het verzonnen feiten of verwart details, vooral wanneer het over zaken spreekt in talen anders dan het Engels.

Het probleem is dat we, hoewel we enorme bibliotheken met gestructureerde feiten hebben (zoals een gigantische spreadsheet met data) en enorme bibliotheken met tekst (zoals miljoenen Wikipedia-artikelen), deze niet goed met elkaar communiceren. De spreadsheet weet wat er gebeurd is, maar niet waar het bewijs in de tekst te vinden is. De tekst bevat het bewijs, maar het is moeilijk om dit terug te koppelen aan het specifieke feit.

FactNet is een nieuw, massaal project dat dit oplost door een gigantische, tweetalige (eigenlijk 316-talige) brug tussen de twee te bouwen.

Hier is hoe het werkt, met behulp van enkele eenvoudige analogieën:

1. De "FactNet"-bibliotheek

Stel je FactNet voor als een enorme, ultra-georganiseerde bibliotheek met 1,7 miljard feitenkaarten.

De Feitenkaart (FactStatement): Dit is het kernfeit, zoals "Neil Armstrong landde op de maan". Het is op een neutrale, gestructureerde manier geschreven die geen rekening houdt met de taal.
De Bewijspagina (FactSense): Bij elke kaart is een specifieke "bewijspagina" bevestigd, uitgesneden uit een Wikipedia-artikel in een van de 316 talen. Cruciaal is dat dit niet zomaar een vaag verwijzing is; het is een laserpointer. Het wijst naar de exacte zin, tabelcel of box in het originele artikel waar dat feit staat geschreven.
De Connectie (FactSynset): Als je de feitenkaart hebt in het Engels, Frans en Chinees, verbindt FactNet ze allemaal tot één "familie" (een Synset). Dit stelt de robot in staat te leren dat "Neil Armstrong" in het Engels dezelfde persoon is als "Neil Armstrong" in het Frans, zelfs als de tekst er anders uitziet.

De Schaal: Het is enorm. Het beslaat 316 talen en koppelt 1,7 miljard feiten aan meer dan 3 miljard stukken bewijs. Het is de eerste keer dat een bron van deze omvang met dit niveau van precisie is gebouwd.

2. Hoe ze het bouwden: De "Deterministische" Fabriek

Meestal gebruiken mensen bij het bouwen van deze datasets AI om dingen te raden of te vertalen, wat fouten of "geest"-feiten kan introduceren die eigenlijk niet bestaan in de brontekst.

FactNet gebruikt een deterministische constructiepijplijn. Stel je een fabrieksassemblagelijn voor waar elke stap een starre, onveranderlijke regel is.

Geen Gissen: Het systeem "hallucineert" geen connecties. Het koppelt een feit alleen aan een tekst als de tekst het feit expliciet bevat op een specifieke, verifieerbare manier.
Traceerbaarheid: Elke enkele link heeft een "bon". Als je het bewijs wilt controleren, kun je teruggaan naar de specifieke Wikipedia-snapshot van een bepaalde datum en de exacte locatie van het bewijs, teken voor teken, vinden. Het is alsof je voor elk feit een GPS-coördinaat hebt.

3. De "FactNet-Bench"-test

Om te bewijzen dat deze bibliotheek nuttig is, hebben de auteurs een testset ontwikkeld genaamd FactNet-Bench. Denk hierbij aan een gestandaardiseerd examen voor robots.

De Test: Ze vragen de robot om een feit aan te vullen, een vraag te beantwoorden of te controleren of een bewering waar is.
De Haken: De test is zo ingericht dat bedrog wordt voorkomen. De robot kan de antwoorden niet zomaar uit het hoofd leren; het moet de specifieke "bewijspagina" (de FactSense) vinden om het punt correct te krijgen.
De Resultaten: De tests toonden aan dat robots die deze gestructureerde bibliotheek kunnen gebruiken, veel beter presteren dan diegene die alleen maar gissen. Het onthulde ook dat zelfs de slimste robots nogal vaak feiten verzinnen (hallucineren), vooral in talen anders dan het Engels.

4. Waarom dit belangrijk is (volgens het paper)

Het paper beweert dat FactNet een specifieke "drie-wegs afweging" oplost die eerdere hulpmiddelen niet konden:

Schaal: Het is groot genoeg om moderne AI te trainen (miljarden feiten).
Verankering: Het koppelt feiten aan echt, door mensen geschreven tekst met pinpoint-nauwkeurigheid (precisie op byte-niveau).
Meertaligheid: Het werkt in 316 talen, niet alleen in het Engels.

Wat het paper NIET beweert:

Het beweert niet dat het AI-hallucinaties voor altijd heeft "opgelost". Het biedt de tools (de bibliotheek en de test) om onderzoekers te helpen betere systemen te bouwen.
Het beweert niet dat het een medische of juridische autoriteit is. Het is een onderzoeksdataset voor het trainen en testen van AI.
Het beweert niet dat het perfect is. De auteurs geven toe dat het systeem voor sommige zeldzame talen of complexe feiten sommige connecties mist (het geeft prioriteit aan 100% zekerheid boven het vinden van elk mogelijk feit).

Samenvattend:
FactNet is als het bouwen van een enorme, meertalige "Feitencontrole-kaart". Het neemt de gestructureerde feiten die we weten dat waar zijn en trekt een directe, onbreekbare lijn naar het exacte alinea in een Wikipedia-artikel dat het bewijst. Dit helpt AI te leren om niet meer dingen te verzinnen, maar te beginnen met verwijzen naar het bewijs, ongeacht de taal die de gebruiker spreekt.

Technische Samenvatting: FactNet

Probleemstelling

Grote Taalmodellen (LLM's) hallucineren vaak feitelijke beweringen en hebben moeite om hun output te verankeren in terugvindbare bewijzen, een beperking die wordt verergerd in niet-Engelse talen. Hoewel Retrieval-Augmented Generation (RAG) en op kennis gebaseerde systemen een weg vooruit bieden, vereisen ze trainingsdata die gestructureerde kennis tegelijkertijd koppelt aan native tekstuele bewijzen. Bestaande bronnen leggen een kritische afweging op:

Gestructureerde Kennisbanken (bijv. Wikidata): Bieden schaal en querybare structuur maar missen tekstuele verankering, waardoor RAG-systemen geen supervisiessignalen hebben voor feiten-naar-tekst-retrieval.
Geverifieerde Datasets (bijv. FEVER, AveriTeC): Bieden hoogwaardige bewijzen maar zijn beperkt in schaal (duizenden instanties) en grotendeels monolinguaal vanwege de afhankelijkheid van handmatige curatie.
Alignatiemiddelen (bijv. T-REx, KELM): Bruggen tussen grafieken en tekst maar missen vaak precisie op byte-niveau, dekken alleen het Engels, of vertrouwen op synthetische generatie die verbindingen met door mensen geschreven documenten doorbreekt.
Synthetische Uitbreiding: Machinevertaling of LLM-generatie vergroot de meertalige dekking maar introduceert vertaalartefacten en circulaire afhankelijkheden waarbij verifiers patronen van de generator leren in plaats van verankering in de werkelijkheid.

Er ontbreekt een bron die dekking op biljoen-schaal biedt, brede meertalige ondersteuning, en native, op spannen gebaseerde bewijsverankering met deterministische herkomst.

Methodologie

De auteurs introduceren FactNet, een open bron op biljoen-schaal die 1,7 miljard Wikidata-beweringen koppelt aan 3,01 miljard bewijspijlers afkomstig uit 316 native Wikipedia-edities. De constructie vertrouwt op een deterministische pijplijn die stochastische inferentie of synthetische generatie vermijdt, zodat elke bewijseenheid tot op byte-niveau traceerbaar is naar zijn bron.

Data-model en Architectuur

FactNet is georganiseerd in drie gekoppelde lagen:

FactStatement: Een atomaire, taal-neutrale eenheid die een Wikidata-bewering vertegenwoordigt (Onderwerp, Eigenschap, Waarde), inclusief kwalificatoren en referenties.
FactSense: Een verankerde realisatie binnen een specifieke Wikipedia-editie. Het koppelt een FactStatement aan concreet tekstueel bewijs (zin, infobox-veld of tabelcel) met byte-offsets (Unicode-codepoint-indexen) ten opzichte van genormaliseerde bewijsstrings.
FactSynset: Een equivalentieklassengroepering van FactStatements die hetzelfde onderliggende feit uitdrukken over verschillende talen en oppervlaktevormen heen.

Constructiepijplijn

De pijplijn verwerkt Wikimedia-dumps (Wikidata JSON, Wikipedia XML, SQL-linktabellen) via drie deterministische fasen:

View-Generatie: Haalt drie herkomst-stabiele views uit ruwe wikitext: Sentence View (via template-stripping), Template View (AST-gebaseerde extractie van infobox-parameters) en Table View (structurele parsing). Volledige template-uitbreiding wordt vermeden om ruis en offset-instabiliteit te voorkomen.
Normalisatie & Canonicalisatie: Beweringen worden geaggregeerd tot FactSynsets met behulp van een beleidsgestuurde canonieke sleutel ( $S \parallel P \parallel \text{NormValue} \parallel \text{NormQuals}$ ). Strikte equivalentie is de standaard; semantische versoepelingen (bijv. tijdsprecisie-truncatie, eenheidsconversie) worden alleen toegepast via een expliciet beleid $\pi$ en vastgelegd met machine-leesbare merge_reasons.
Matching & Herkomst-tracking: Gebruikt geordende, datatype-bewuste matchers om beweringen af te stemmen op bewijzen:
- Op structuur gebaseerd: Koppelt infobox/tabel-parameters.
- Op links gebaseerd: Stemt entiteit-gevalideerde beweringen af via Wikilinks naar QID's.
- Lexicaal: Koppelt letterlijke waarden (tijd, hoeveelheid) binnen tekst.
- Bewijspijlers: Elke FactSense bevat een pijler $(page\_id, revision\_id, view\_type, unit\_locator)$ en teken-offsets, waardoor exacte herlokalisatie vanuit bron-dumps mogelijk is.

FactNet-Bench

Om de bron te evalueren, construeerden de auteurs FactNet-Bench, een suite voor Knowledge Graph Completion (KGC), Multilingual KG Question Answering (MKQA) en Multilingual Fact Checking (MFC). Belangrijke ontwerpelementen zijn:

Leakage-beheersing: Splits worden gegenereerd via stabiele hashing van synset_ids. Bewijzen die zijn afgestemd op Dev/Test-synsets worden strikt uitgesloten van trainingspools.
Predicaatmaskering: Voor tekstbewuste KGC maskeren query-tijd beschrijvingen waarden die geassocieerd zijn met het opgevraagde predicaat om triviale extractie te voorkomen.
Deterministische Reproduceerbaarheid: Alle splits, baselines en evaluatie-artefacten zijn afgeleid van een bevroren snapshot.

Belangrijkste Bijdragen

FactNet: De eerste bron op biljoen-schaal die gestructureerde kennis koppelt aan native meertalige tekstuele bewijzen over 316 talen. Het aggregeert 1,7 miljard FactStatements en 3,01 miljard FactSenses tot 1,55 miljard FactSynsets.
Deterministische Constructie: Een pijplijn die een ongekende schaal bereikt zonder synthetische artefacten, zodat elke bewijspijler reproduceerbaar is vanuit ruwe data-dumps met precisie op byte-niveau.
FactNet-Bench: Een benchmark-suite met systematische leakage-beheersing voor het evalueren van verankerd feitelijk redeneren, met onderscheid tussen structurele, tekstbewuste en LLM-geïntegreerde methoden.

Resultaten en Evaluatie

Experimenten op FactNet-Bench tonen het volgende aan:

Differentiatie van Methoden: De benchmark differentieert effectief structurele methoden (TransE, RotatE), tekstbewuste methoden (SimKGC, KG-S2S) en LLM-geïntegreerde benaderingen (GLTW). LLM-geïntegreerde methoden behalen de hoogste prestaties (bijv. GLTW: 0,386 MRR in KGC), maar tekstbewuste methoden tonen aanzienlijke winst ten opzichte van structurele baselines.
Leakage-gevoeligheid: Zonder predicaatmaskering vertonen tekstbewuste modellen abnormale prestatiewinsten (bijv. KG-S2S MRR stijgt van 0,298 naar 0,351), wat bevestigt dat leakage-beheersing noodzakelijk is om taken te voorkomen dat ze degenereren tot informatiewinning.
Cross-linguale Transfer: De gedeelde FactSynset-structuur maakt kennisoverdracht mogelijk. Training op alleen Engelse entiteitsbeschrijvingen behoudt 78% van de prestaties op Tier-2-talen en 64% op Tier-3, wat aantoont dat structurele alignatie tekst-schaarste mitigeert.
Bewijskwaliteit: Dichte retrieval (E5-large) presteert aanzienlijk beter dan BM25 in Fact Checking (0,701 vs. 0,654 nauwkeurigheid). Het opnemen van infobox- en tabelbewijzen is cruciaal; het verwijderen ervan vermindert de MFC-bewijs Recall@5 met 14,5%.
LLM Hallucinatie: Het onderzoeken van GPT-4o en Qwen-2.5-72B op FactNet-feiten onthult hoge hallucinatierates, vooral in talen met weinig bronnen (Tier-3: ~~44-48%) en voor temporele feiten (~~34%). Dit daagt de aanname uit dat LLM's betrouwbare feitelijke kennis coderen uit hun trainingsdata.
Externe Validatie: FactNet-verrijkte RAG-systemen presteren beter dan Wikipedia-dump-baselines op TriviaQA (+3,4 EM) en FEVER (+2,2 nauwkeurigheid, +4,5 bewijs F1), met nog grotere winsten in cross-linguale scenario's.

Betekenis en Claims

Het artikel beweert dat FactNet de "drie-weg afweging" tussen schaal, verankeringsnauwkeurigheid en linguïstische dekking aanpakt, die eerdere bronnen heeft beperkt. Door Wikipedia te behandelen als een gestructureerde XML-boom voor indexering in plaats van als een corpus voor scraping, bereikt FactNet de omvang van kennisgrafieken terwijl het de verankeringsgranulariteit van verificatiedatasets behoudt.

De auteurs benadrukken dat FactNet betrouwbare supervisie biedt voor RAG-systemen, feitenverificatie en meertalig redeneren zonder afhankelijkheid van synthetische generatie. De bron is ontworpen om herkomst-eerst te zijn, waardoor onderzoekers de connectie tussen feiten en bewijzen kunnen auditeren. De auteurs merken op dat FactNet, hoewel het biases erfelijk heeft van zijn bron (Wikidata/Wikipedia) en een long-tail-verdeling vertoont die gunstig is voor talen met veel bronnen, door zijn deterministische constructie en expliciete behandeling van "beweislussen" (bijv. via ungrounded_reason-codes) een transparante basis biedt voor toekomstig onderzoek in betrouwbare AI. Het artikel concludeert dat cross-linguale FactSynset-structuren zinvolle kennisoverdracht over taalniveaus heen faciliteren, en een weg bieden om feitelijke verankering in talen met weinig bronnen te verbeteren.