💬 NLP

Cross-lingual Biography Enrichment via Claim Extraction and Alignment

Dit artikel introduceert de CLAW-4L benchmark en een op claims gebaseerd framework om Engelstalige Wikipedia-biografieën van vrouwen te verrijken met lokaal gewortelde feiten uit niet-Engelstalige edities (Frans, Chinees en Azerbeidzjaans, waarmee wordt aangetoond dat kruislingse afstemming de dekking kan verbeteren ondanks uitdagingen in omgevingen met minder middelen.

Oorspronkelijke auteurs: Yifei Song, Ziyang Chen, Emil Sayilov, Claire Gardent

Gepubliceerd 2026-08-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yifei Song, Ziyang Chen, Emil Sayilov, Claire Gardent

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Wikipedia is de meest populaire encyclopedie ter wereld, een enorme bibliotheek die door vrijwilligers is opgebouwd in bijna elke taal. Toch is deze bibliotheek niet perfect in balans. Terwijl Engelstaligen toegang hebben tot miljoenen gedetailleerde artikelen, worden veel mensen met een niet-Engelstalige achtergrond met veel minder detail beschreven in het Engels, ook al zijn ze in hun lokale talen wel goed gedocumenteerd. Deze kloof creëert een blinde vlek voor kunstmatige intelligentie. Moderne computerprogramma's die tekst lezen en schrijven, zijn zwaar getraind op Engelse data, wat betekent dat ze vaak minder weten over de rijke levens van mensen die voornamelijk in het Frans, Chinees of Azerbeidzjaans zijn gedocumenteerd. Wanneer deze programma's proberen een biografie voor zo iemand te schrijven, eindigen ze vaak met een dun, incompleet verhaal, waarbij de zeer details die dat leven uniek en belangrijk maken, ontbreken.

Een team onderzoekers zette zich in om deze onbalans te herstellen door computers te leren hoe ze de beste onderdelen van een biografie uit de ene taal kunnen lenen en deze in een andere kunnen verweven. Ze richtten zich specifiek op vrouwen, een groep die historisch gezien ondervertegenwoordigd is in encyclopedieën, om te zien of ze de gedetailleerde informatie die te vinden is in Franse, Chinese of Azerbeidzjaanse Wikipedia-artikelen konden gebruiken om de overeenkomstige Engelse versies aan te vullen. De uitdaging was niet alleen om de ontbrekende woorden te vertalen, maar om te begrijpen welke feiten nieuw waren, welke al bekend waren, en hoe ze deze konden combineren zonder valse details te verzinnen. De onderzoekers ontwikkelden een nieuwe methode die werkt als een zorgvuldige redacteur: eerst de vreemde tekst afbreken in kleine, verifieerbare feiten, deze vergelijken met wat al bekend is, en vervolgens alleen de nieuwe, bevestigde informatie gebruiken om het Engelse verhaal uit te breiden.

Om hun idee te testen, creëerde het team een gespecialiseerde dataset genaamd CLAW-4L, die 300 Engelse biografieën van vrouwen koppelt aan hun tegenhangers in het Frans, Chinees of Azerbeidzjaans. Ze ontdekten dat de niet-Engelse versies vaak veel rijker waren, met duizenden woorden meer en honderden meer specifieke feiten over de levens, carrières en prestaties van de onderwerpen. De onderzoekers bouwden een systeem om deze feiten te extraheren. In plaats van de hele vreemde biografie in een computerprogramma te voeren om te laten lezen en herschrijven, wat de machine met te veel informatie zou kunnen verwarren, braken ze de vreemde tekst eerst af in individuele beweringen. Bijvoorbeeld, in plaats van een lange paragraaf over de carrière van een wetenschapper, identificeerde het systeem specifieke uitspraken zoals "Zij leidde het Radiuminstituut in Parijs" of "Zij ontving in 1911 de Nobelprijs voor Scheikunde."

Zodra de feiten waren geïsoleerd, vergeleek het systeem ze met de bestaande Engelse biografie. Het fungeerde als een strikte poortwachter, waarbij het elk feit dat al aanwezig was in de Engelse versie verwierp, maar elk feit dat ermee in strijd was behield voor mogelijke reconciliatie. Het doel was om alleen de "verrijkingsclaims" te vinden — de stukjes informatie die in de vreemde taal aanwezig waren maar ontbraken in de Engelse versie. Dit proces was cruciaal omdat het voorkwam dat de computer simpelweg herhaalde wat hij al wist of verdwaalde in de ruis van een lange, ongestructureerde tekst. De onderzoekers testten drie verschillende manieren om dit te doen: het direct aan de computer voeren van de ruwe vreemde tekst, het eerst vertalen van de vreemde tekst naar het Engels en het daarna invoeren, en hun nieuwe methode waarbij ze alleen de geselecteerde, geverifieerde feiten invoerden.

De resultaten toonden aan dat de nieuwe methode het meest effectief was. Wanneer de computer probeerde de ruwe vreemde tekst te lezen of een directe vertaling, voegde hij vaak nieuwe informatie toe, maar bedacht hij ook feiten die niet waar waren, een probleem dat bekend staat als hallucinatie. Daarentegen liet de methode die de geselecteerde, geverifieerde feiten gebruikte, de computer toe om aanzienlijk meer accurate details toe te voegen terwijl hij veel minder fouten maakte. In hun tests slaagde het systeem erin om nieuwe, ondersteunde feiten aan de Engelse biografieën toe te voegen, terwijl de snelheid van verzonnen informatie zeer laag hield. Dit suggereert dat het afbreken van een complexe tekst in kleine, beheersbare feiten en het controleren ervan voordat ze worden gebruikt, een veel veiligere en betrouwbaardere manier is om computergegenereerde teksten te verbeteren dan simpelweg een heel document te vertalen.

De studie benadrukte ook dat deze aanpak het beste werkt wanneer de brontaal rijk aan middelen is, zoals Frans of Chinees, maar blijft uitdagend voor talen met minder digitale middelen, zoals Azerbeidzjaans. In die gevallen mistte het systeem soms nuttige informatie omdat de initiële stap van het extraheren van feiten minder accuraat was. Ondanks deze beperkingen toont het onderzoek echter een duidelijke weg vooruit. Door biografieën niet te behandelen als blokken tekst die vertaald moeten worden, maar als collecties feiten die geverifieerd en afgestemd moeten worden, kunnen computers leren om completere en accuratere verhalen te vertellen over mensen over de hele wereld. Dit werk suggereert dat de toekomst van digitale encyclopedieën niet alleen ligt in het vertalen van meer woorden, maar in het intelligent verbinden van de specifieke, geverifieerde details die in elke taal bestaan om een vollediger beeld van de menselijke geschiedenis te creëren.

Technische Samenvatting: Kruislingse Biografie-verrijking via Claimextractie en Uitlijning

Probleemstelling
Hoewel de Engelse Wikipedia vaak wordt beschouwd als de standaard encyclopedische bron in Natural Language Processing (NLP), is de dekking ervan ongelijkmatig. Niet-Engelse Wikipedia-edities bevatten vaak rijkere, lokaal gewortelde informatie voor "long-tail" entiteiten, met name voor vrouwen uit niet-Engelstalige contexten. Bestaande benaderingen voor biografie-generatie richten zich doorgaans op het creëren van korte samenvattingen vanuit gestructureerde gegevens (bijv. Wikidata) of het genereren van volledige biografieën vanaf nul met behulp van webretrieval. Er is echter een gebrek aan onderzoek naar het verrijken van bestaande Engelse biografieën met gecureerde, niet-Engelse Wikipedia-bewijslast. De uitdaging ligt in het effectief identificeren, uitlijnen en integreren van ontbrekende feitelijke informatie uit een niet-Engelse bron in een Engels artikel zonder hallucinaties te introduceren of een model te vereisen dat impliciet complexe kruislingse uitlijning en long-context verwerking moet afhandelen.

Methodologie
De auteurs stellen een framework voor Kruislingse Biografie-verrijking voor, waarbij een bestaande Engelse biografie ( $B_{en}$ ) wordt herschreven om extra feiten te incorporeren die worden ondersteund door een niet-Engelse biografie ( $B_X$ ) van dezelfde persoon. De aanpak is gestructureerd rond drie kernelementen:

Benchmark Constructie (CLAW-4L):
De auteurs introduceren CLAW-4L (Cross-Lingual Alignment on Women biographies in 4 Languages), een benchmark die bestaat uit 300 gekoppelde biografieën die Engelse artikelen verbinden met hun Franse, Chinese of Azerbeidzjaanse tegenhangers. De dataset is geconstrueerd om paren te bevoordelen waarbij de niet-Engelse biografie rijker is, waarbij een taal-gekalibreerde tokenratio wordt gebruikt om te normaliseren voor tokenizer-biases. De benchmark bevat drie subtaken:
- CLAW-4L-CX: 600 zinnen die handmatig zijn geannoteerd met Engelse claims om kruislingse claimextractie te evalueren.
- CLAW-4L-RC: 600 claimparen die zijn geannoteerd met fijnmazige relatielabels (Exacte Uitlijning, Eenzijdige Verrijking, Wederzijdse Verrijking, Tegenstrijdigheid, Niet Relevant) om claimuitlijning te evalueren.
Claim-gebaseerd Verrijkingsframework:
De voorgestelde pijplijn deelt de verrijkingsopdracht op in expliciete stappen om de belasting voor het generatieve model te verminderen:
- Claimextractie: Zowel de Engelse als de niet-Engelse biografieën worden verwerkt om atomaire, verifieerbare feitelijke claims te extraheren. Deze worden genormaliseerd naar een gedeelde Engelse ruimte. De auteurs evalueren verschillende extractie-frameworks (FactScore, FactCheck-GPT, DnDScore, VeriScore, Claimify) en stellen vast dat X-Claimify (geadapteerd van Claimify) het beste presteert, met name in het behoud van de exacte claimformulering.
- Claimuitlijning: Geëxtraheerde claims van de niet-Engelse zijde worden uitgelijnd tegen Engelse claims met behulp van een classifier (Qwen3.5-9B). De classifier bepaalt of een niet-Engelse claim al gedekt is, in strijd is, of nieuwe informatie biedt (verrijking).
- Selectie van Bewijslast: Het systeem selecteert "verrijkingsclaims" ( $C_{add}$ ), wat niet-Engelse claims zijn die niet volledig worden gedekt door de Engelse biografie (inclusclusief additieve details, wederzijdse verrijkingen en onopgeloste conflicten).
- Gecontroleerd Herschrijven: De uiteindelijke Engelse biografie wordt gegenereerd door een LLM die wordt geconditioneerd op de originele Engelse tekst en de geselecteerde verrijkingsclaims ( $C_{add}$ ), in plaats van op de ruwe niet-Engelse tekst.
Vergelijkende Evaluatie:
Het framework wordt geëvalueerd tegen twee baselines:
- Raw Cross-lingual Generation: De generator ontvangt de originele Engelse tekst en de ruwe niet-Engelse tekst.
- Translation-based Generation: De niet-Engelse tekst wordt eerst vertaald naar het Engels en vervolgens gebruikt als bewijslast voor het herschrijven.

Belangrijkste Resultaten
Experimenten uitgevoerd op CLAW-4L met drie open-weight meertalige generatoren (Qwen3.6-27B, Gemma-4-31B-it, Mistral-3.2-24B-it) leveren de volgende bevindingen op:

Afweging tussen Ondersteuning en Hallucinatie: De Claim-gebaseerde setting bereikt de beste balans. Deze produceert het hoogste aantal ondersteunde toevoegingen (gemiddeld #Valid van 20.47) terwijl het hallucinatiepercentage (23.54%) aanzienlijk wordt verminderd ten opzichte van de Raw (29.49%) en Translation (29.59%) settings.
Effectiviteit van Expliciete Selectie: Door informatie die al aanwezig is in de Engelse biografie te filteren en de bewijslast te normaliseren naar Engelse claims, vermindert de claim-gebaseerde aanpak de long-context belasting en de vereisten voor impliciete uitlijning, wat leidt tot een betrouwbaardere generatie.
Taal- en Middelenverschillen: De prestaties zijn over het algemeen sterker voor Frans en Chinees dan voor Azerbeidzjaans. De auteurs merken op dat in situaties met minder middelen (specifiek Azerbeidzjaans met het Mistral-model) vertaal-gebaseerde methoden incidenteel beter presteren dan claim-gebaseerde methoden. Dit wordt toegeschreven aan mogelijke foutpropagatie in de upstream claimextractie-pijplijn voor minderheidstalen, waarbij nuttige bewijslast gemist kan worden vóór de generatiestap.
Menselijke Evaluatie: Een menselijke evaluatie van de schrijfkwaliteit (leesbaarheid, coherentie en Wikipedia-stijl) geeft aan dat het gebruik van geselecteerde claims als gestructureerde bewijslast geen penalty oplevert voor de schrijfkwaliteit vergeleken met ruwe of vertaal-gebaseerde pijlijnen.

Betekenis en Bijdragen
Het artikel claimt drie primaire bijdragen:

Taakdefinitie: Het definieert en bestudeert formeel de taak van kruislingse biografie-verrijking, waarbij de focus verschuift van generatie vanaf nul naar de verfijning van bestaande artikelen met behulp van gecureerde niet-Engelse bewijslast.
Benchmarking: Het biedt de CLAW-4L suite van benchmarks, die essentieel zijn voor het evalueren van kruislingse verrijking, claimextractie en fijnmazige claim-paar relatieclassificatie.
Methodologisch Framework: Het demonstreert dat een claim-gebaseerd framework, dat expliciet verrijkingsbewijs selecteert en normaliseert vóór de generatie, een superieur evenwicht biedt tussen feitelijke ondersteuning en reductie van hallucinaties vergeleken met ruwe kruislingse of vertaal-gebaseerde benaderingen.

De auteurs concluderen dat hoewel niet-Engelse Wikipedia-biografieën waardevolle bewijslast bieden voor het verbeteren van de Engelse dekking, de betrouwbaarheid van deze verrijking sterk afhangt van robuuste claimextractie en uitlijning, met name voor talen met minder middelen. Zij suggereren dat toekomstig werk de bidirectionele verrijking en de integratie van post-generatie verificatielussen moet verkennen om de feitelijke betrouwbaarheid verder te vergroten.

Technische Samenvatting: Kruislingse Biografie-verrijking via Claimextractie en Uitlijning

Meer zoals dit