Align and Shine: Building High-Quality Sentence-Aligned Corpora for Multilingual Text Simplification

Technische Samenvatting: Align and Shine: Het Bouwen van Hoogwaardige Zin-gealigneerde Corpora voor Meertalige Tekstvereenvoudiging

Probleemstelling
Automatische tekstvereenvoudiging (ATS) is cruciaal voor het verbeteren van de toegankelijkheid van informatie voor taalleerders en lezers met beperkte geletterdheid. De ontwikkeling van ATS-modellen wordt echter gehinderd door een schaarste aan grote, hoogwaardige, zin-gealigneerde datasets voor talen buiten het Engels. Waar het Engels profiteert van bronnen zoals ASSET en ParallelSEW, ontbreken vergelijkbare corpora voor andere talen. Bestaande meertalige bronnen lijden vaak aan ruis, inconsistente annotatie en domeinmismatches wanneer ze zijn afgeleid van uiteenlopende webbronnen. Bovendien hebben standaardmethoden voor zin-uitlijning, die vaak zijn ontworpen voor machinevertaling, moeite met de specifieke linguïstische operaties van vereenvoudiging (zoals zinsplitsing, samenvatting en verwijdering), die de aannames van lengtecorrelatie en lexicaal overlap doorbreken.

Methodologie
De auteurs stellen een tweefasige methodologie voor om een zin-gealigneerde corpus te construeren uit vergelijkbare documentparen (Wikipedia-artikelen en hun vereenvoudigde tegenhangers op Vikidia) in vijf talen: Catalaans, Engels, Frans, Italiaans en Spaans.

1. Data Bron: Het onderzoek maakt gebruik van paren van Wikipedia- en Vikidia-artikelen. Vikidia is een wiki die specifiek is ontworpen voor kinderen en een natuurlijke bron van vereenvoudigde tekst biedt. Documentparen werden gematcht op onderwerp en identieke koppen.
2. Uitlijningskader: Het onderzoek hanteert SentAlign, een hybride algoritme dat heuristische preselectie combineert met neurale semantische ankerpunten. De pijplijn omvat:
   • Heuristische Preselectie: Gebruikt het Gale en Church-algoritme om kandidaat-uitlijningen te genereren op basis van verhoudingen van tekenlengte.
   • Semantische Ankerpunten: Valideert kandidaten met behulp van semantische embedding om "ankers" (hoge betrouwbaarheid overeenkomsten) vast te stellen.
   • Globale Optimalisatie: Gebruikt het Dijkstra-kortste pad-algoritme om segmenten tussen ankers uit te lijnen, geconfigureerd voor een asymmetrisch zoeken (N-naar-M-mapping) om vereenvoudigingsoperaties zoals splitsing of samenvatting te vangen.
3. Semantische Representaties: Het onderzoek evalueert drie meertalige embedding-modellen tijdens de anker- en optimalisatiefasen:
   • LaBSE: Een vertaling-geoptimaliseerd model.
   • BGE-M3: Een model ontworpen voor Retrieval-Augmented Generation (RAG) en semantische zoekopdrachten.
   • SONAR: Een massief meertalig model van het NLLB-project.
4. Evaluatie en Filtering:
   • Er werd een Gouden Standaard gecreëerd via handmatige annotatie van 15 documentparen per taal, waarbij geldige vereenvoudigingsoperaties werden gedefinieerd (lexicale/syntactische vereenvoudiging, splitsing, samenvatting, verwijdering).
   • De prestaties werden gemeten met behulp van Precisie, Recall en F1-score onder twee instellingen: Strict (exacte groepsovereenkomst) en Lax (gedeeltelijke semantische overlap).
   • Er werd een dubbele-drempel filtermechanisme toegepast: een ondergrensdrempel ($\tau$) per taal/model afgestemd om F1 te maximaliseren, en een bovengrensdrempel (0,95) om letterlijke kopieën uit te sluiten die geen vereenvoudigingssignaal bieden.

Belangrijkste Resultaten

• Falen van Baselines: Traditionele oppervlakkige baselines (Gale-Church en Hunalign) faalden om bruikbare uitlijningen te produceren (F1 $\approx$ 0,00), wat bevestigt dat lengte en lexicaal overlap onvoldoende zijn voor uitlijning bij tekstvereenvoudiging.
• Modelprestaties:
  • LaBSE toonde consistente superioriteit in Romaanse talen (Catalaans, Spaans, Frans, Italiaans) en behaalde de hoogste Strict F1-scores (bijvoorbeeld 0,645 voor Catalaans, 0,554 voor Italiaans). Zijn vertaal-rangschikking-objctief bleek effectief voor het detecteren van monolinguale parafrases.
  • BGE-M3 excelleerde in het Engels (Strict F1: 0,525) en presteerde beter dan LaBSE, waarschijnlijk vanwege zijn op het Engels gerichte zoekoptimalisatie. De prestaties degradeerden echter aanzienlijk in Romaanse talen (bijvoorbeeld Frans Strict F1: 0,253).
  • SONAR presteerde onder alle talen (max Strict F1: 0,306 in het Engels), wat wijst op een mismatch tussen zijn cross-linguale trainingsdoel en de eisen van fijnmazige monolinguale vereenvoudigingsuitlijning.
• Gevoeligheid voor Drempels: Het onderzoek benadrukte het kritieke effect van drempelafstemming. Zonder filtering vertoonden modellen een hoge recall maar een lage precisie. Optimale drempels varieerden per model en taal (bijvoorbeeld LaBSE $\tau \approx$ 0,60–0,67; BGE $\tau \approx$ 0,70–0,78).
• Corpus Kwaliteit: Het uiteindelijke uitgelijnde corpus (Tabel 3) behield ongeveer 5% van de originele zinnen, waardoor een ruisvrije dataset werd gewaarborgd. Linguïstische analyse bevestigde een hoge behoud van betekenis (BERTScore > 0,90) en een succesvolle structurele vereenvoudiging (verminderde boomdiepte, toegenomen dichtheid van naamwoordgroepen).

Betekenis en Bijdragen
Het artikel claimt het eerste grote open-source corpus voor tekstvereenvoudiging in het Catalaans en Spaans te bieden, en de eerste systematische vergelijking van semantische embedding-ruimten voor zin-niveau uitlijning in meertalige tekstvereenvoudiging.

De auteurs benadrukken dat hun werk de kloof in niet-Engelse ATS-bronnen aanpakt door een principiële, reproduceerbare methode te bieden voor het extraheren van parallelle data met hoge precisie uit vergelijkbare bronnen zonder kostbare handmatige annotatie. Het resulterende dataset is publiek beschikbaar en is ontworpen om de training en evaluatie van tekstvereenvoudigingssystemen te ondersteunen, met name voor talen met beperkte bronnen en toegankelijkheidstools. Het onderzoek concludeert dat hoewel specifieke modellen (zoals BGE voor het Engels) veelbelovend zijn, LaBSE momenteel de meest robuuste overdraagbaarheid biedt voor Romaanse talen in dit specifieke domein.