OasisSimp: An Open-source Asian-English Sentence Simplification Dataset

Probleemstelling

Zinsvereenvoudiging (Sentence Simplification) is de taak om complexe tekst toegankelijker te maken door de linguïstische complexiteit te verminderen, terwijl de oorspronkelijke betekenis behouden blijft. Hoewel er aanzienlijke vooruitgang is geboekt voor hoog-resourcetalen zoals het Engels (bijv. via datasets als Newsela en WikiLarge), blijft de voortgang beperkt voor mid- en laag-resourcetalen. Dit komt door een ernstig gebrek aan hoogwaardige, parallelle datasets (complexe vs. vereenvoudigde zinnen) voor deze talen. Bestaande meertalige benchmarks richten zich vaak op hoog-resourcetalen of zijn domeinspecifiek (bijv. medisch), waardoor er een grote kloof bestaat voor talen zoals Sinhala, Tamil, Thai en Pashto, waarvoor nauwelijks of geen data beschikbaar is.

Methodologie

1. Dataverzameling en Selectie (OasisSimp Dataset)
De auteurs introduceerden OasisSimp, een open-source dataset voor zinsvereenvoudiging die vijf talen bestrijkt: Engels, Sinhala, Tamil, Thai en Pashto. De keuze voor deze talen is gebaseerd op linguïstische diversiteit (verschillende taalfamilies, scripts en typologische kenmerken) en het gebrek aan bestaande datasets (voor Thai, Pashto en Tamil bestaan er geen, en voor Sinhala slechts een kleine).

• Bronnen: De complexe zinnen zijn afkomstig uit diverse openbare bronnen, afhankelijk van de taal:
  • Engels: Krantenartikelen (o.a. The Globe and Mail).
  • Sinhala & Tamil: Officiële overheidsdocumenten (via het SiTa corpus), gekozen vanwege de formele register en complexe terminologie.
  • Thai: Nieuwswebsites (via het ThaiSum corpus).
  • Pashto: Wikipedia-artikelen.
• Filtering: Er werd een zorgvuldig filteringsproces toegepast op basis van zinslengte, zeldzame woorden, en topic-diversiteit om een breed scala aan complexiteit te garanderen.
• Aantekening (Annotation):
  • 3-6 native sprekers per taal met een bachelor-opleiding of hoger werden ingehuurd.
  • Annotatoren volgden gedetailleerde richtlijnen om zinnen te vereenvoudigen door:
    • Vervanging van zeldzame/technische termen (Rewording).
    • Opsplitsen van lange zinnen (Sentence Splitting).
    • Verwijderen van overbodige details (Deletion).
    • Herstructurering voor duidelijkheid (Reordering).
  • Elke complexe zin werd door meerdere annotatoren herschreven om variatie te creëren.
• Statistieken: De dataset bevat in totaal 9.519 complexe zinnen. Voor de meeste talen is er een 1-op-3 of 1-op-5 verhouding tussen complexe en vereenvoudigde zinnen.

2. Evaluatie en Methodiek
De auteurs evalueerden acht open-weight meertalige Large Language Models (LLMs) op de OasisSimp dataset, zonder zelf een nieuw model te trainen, maar door bestaande modellen te testen in zero-shot en few-shot (1-shot en 5-shot) settings.

• Modellen: Aya, Cmd-R, DeepSeek, EuroLLM, Gemma, LLaMA, Mistral en Qwen.
• Prompting: De modellen kregen de instructie "Vereenvoudig de gegeven zin..." (in het Engels of de doeltaal).
• Metingen: De prestaties werden gemeten met twee standaardautomatische metrics:
  • SARI: Meet de kwaliteit van toegevoegde, behouden en verwijderde woorden ten opzichte van referenties.
  • BERTScore: Meet de semantische gelijkenis tussen de gegenereerde en referentiezinnen.

Belangrijkste Bijdragen

1. OasisSimp Dataset: De eerste open-source dataset voor zinsvereenvoudiging die specifiek gericht is op een breed scala aan Aziatische en Zuid-Aziatische talen (Sinhala, Tamil, Thai, Pashto) naast Engels.
2. Human-Annotated Data: Alle data is handmatig gegenereerd door native sprekers volgens strikte richtlijnen, wat een hoge kwaliteit garandeert in tegenstelling tot automatisch gegenereerde of vertaalde data.
3. Benchmark voor LLMs: Een uitgebreide evaluatie van de prestaties van moderne LLMs in zero- en few-shot settings voor lage-resourcetalen, wat inzicht geeft in de huidige beperkingen van deze modellen.
4. Open Access: De dataset en de code zijn publiek beschikbaar gesteld om onderzoek naar inclusieve NLP-systemen te stimuleren.

Resultaten

De evaluatie toont duidelijke verschillen in prestaties tussen hoog- en laag-resourcetalen:

• Zero-Shot Prestaties:

  • Engels: Alle modellen presteerden redelijk consistent, wat wijst op sterke basiskennis in de trainingsdata.
  • Laag-resourcetalen: Er was grote variatie. Modellen zoals Gemma presteerden verrassend goed in Sinhala, Tamil en Pashto, zelfs zonder expliciete training op deze specifieke datasets (hoge BERTScore). Andere modellen (zoals DeepSeek en LLaMA) hadden moeite met generatie in deze talen, soms zelfs met negatieve SARI-scores (wat betekent dat ze de zin verergerden in plaats van vereenvoudigden).
  • Componentanalyse (SARI): Modellen waren goed in het verwijderen (DEL) van overbodige informatie, maar worstelden met het toevoegen (ADD) van nieuwe, contextueel relevante simpele woorden. Het behouden (KEEP) van de kernbetekenis was vaak problematisch zonder voorbeelden.

• Few-Shot Prestaties:

  • Het gebruik van slechts één of vijf voorbeelden (1-shot/5-shot) leidde tot een significante verbetering in prestaties voor bijna alle modellen en talen.
  • Dit bevestigt dat contextuele voorbeelden essentieel zijn om modellen te helpen de structuur en stijl van vereenvoudiging te begrijpen, vooral voor talen die minder vertegenwoordigd zijn in de trainingsdata.
  • Gemma bleef over het algemeen de meest consistente performer over alle talen en settings heen.

Betekenis en Conclusie

Het paper onderstreept dat hoewel LLMs potentie hebben voor zinsvereenvoudiging, ze nog steeds grote uitdagingen kennen in lage-resourcetalen, vooral wat betreft het genereren van nieuwe, eenvoudige zinsconstructies (ADD-component). De introductie van OasisSimp is een cruciale stap om de NLP-gemeenschap te helpen deze kloof te overbruggen.

• Impact: De dataset biedt een solide basis voor het ontwikkelen van meer inclusieve systemen die informatie toegankelijk maken voor mensen met lees- of cognitieve beperkingen, taalleerders en sprekers van minder vertegenwoordigde talen.
• Toekomstig Onderzoek: De resultaten tonen aan dat few-shot learning een effectieve strategie is, maar dat er nog veel werk nodig is om modellen te trainen die specifiek goed presteren in morfologisch complexe en lage-resourcetalen zonder afhankelijk te zijn van grote hoeveelheden parallelle data.

Kortom, OasisSimp is een waardevol hulpmiddel dat de focus verlegt van enkel Engels naar een wereldwijde, meer linguïstisch diverse benadering van tekstvereenvoudiging.