Get away with less: Need of source side data curation to build parallel corpus for low resource Machine Translation

Titel: Minder doen met meer resultaat: De noodzaak van bronzijde data-curatie voor het bouwen van parallelle corpora voor machinevertaling met beperkte middelen

Auteurs: Saumitra Yadav en Manish Shrivastava (LTRC, IIIT Hyderabad)

---

1. Het Probleem

De ontwikkeling van robuuste Machine Translation (MT)-systemen heeft traditioneel afhankelijkheid van enorme hoeveelheden parallelle data, vaak gegenereerd door menselijke vertalingen. Dit vormt een fundamentele bottleneck voor low-resource talen (vooral uit de Global South), waar:

• Menselijke vertaling prohibitief duur en tijdrovend is.
• Beschikbare digitale bronnen vaak ruis bevatten, slecht uitgelijnd zijn of overwegend uit eenvoudige zinnen bestaan.
• De conventionele aanpak van "meer data verzamelen" (bijv. via web-mining zoals OSCAR of Samanantar) inefficiënt is, omdat deze systemen vaak worden getraind op redundante of linguïstisch simpele zinnen die weinig leerwaarde bieden voor complexe taakuitvoering.

De kernvraag is: Hoe kunnen we de kwaliteit van een MT-systeem maximaliseren met een minimale hoeveelheid hoogwaardige data, in plaats van blindelings de hoeveelheid te vergroten?

2. Methodologie: Het LALITA Framework

De auteurs introduceren LALITA (Lexical And Linguistically Informed Text Analysis), een raamwerk dat zich richt op de curatie van bron-zijde zinnen op basis van hun intrinsieke linguïstische complexiteit.

A. Data Voorbereiding en Filtering

• Dataset: Gebruik van het Samanantar Engels-Hindi corpus.
• Filtering: Rigoureuze filtering om ruis te verwijderen (bijv. dubbele vertalingen, zinnen met >35% Romeinse script in het Hindi, en extreme lengteverhoudingen). Dit resulteerde in een "Filtered Parallel Sentences" (FPS) dataset van 1,85 miljoen zinnen.

B. Feature Engineering

Om zinnen te analyseren, wordt een multidimensionale feature-vector per zin geconstrueerd met behulp van de Trankit NLP-toolkit. De features omvatten:

• Statistische features: Perplexiteit (via neurale en 5-gram taalmodellen).
• Lexicale features: Zinlengte (token-aantal).
• Linguïstische features:
  • Aantal Named Entities (Locatie, Persoon, Organisatie, etc.).
  • POS-tags (17 categorieën).
  • Dependency-relaties (68 unieke relaties, zoals acl, advcl, conj).
  • Universele morfologische features (156 features, o.a. animatie, geslacht, getal).

C. De LALITA Score (Complexiteitsmeting)

De hoge-dimensionaliteit van de feature-vectors wordt gereduceerd via Principal Component Analysis (PCA).

• De eerste hoofdcomponent (PCA1) bleek direct te correleren met de structurele complexiteit van een zin.
• Deze PCA1-waarde wordt gedefinieerd als de LALITA score. Een hogere score duidt op een complexere, syntactisch rijkere zin (meer werkwoorden, bijzinstructuren, afhankelijkheidsrelaties).

D. Clustering en Selectie

• Zinnen worden gegroepeerd in vier clusters (Cluster 0 t/m 3) op basis van hun LALITA score, gebruikmakend van het Fisher-Jenks algoritme.
  • Cluster 0: Eenvoudigste zinnen.
  • Cluster 3: Meest complexe zinnen.
• Selectiestrategie: In plaats van willekeurige steekproeven, worden zinnen strategisch geselecteerd uit deze clusters. Het paper test configuraties waarbij het trainingsdataset wordt samengesteld uit specifieke percentages van deze clusters (bijv. 100% uit Cluster 3).
• Data Augmentatie: Voor clusters die niet genoeg zinnen leveren (vooral Cluster 3), wordt synthetische data gegenereerd via back-translation (Hindi -> Engels -> Hindi). Deze synthetische data wordt gefilterd en geklaust op basis van dezelfde LALITA score om de complexiteitsprofiel te behouden.

3. Belangrijkste Bijdragen

1. LALITA Score: Een kwantificeerbare, linguïstisch onderbouwde metric voor zinscomplexiteit die verder gaat dan simpele lengte-metingen.
2. Strategische Data Curatie: Het bewijs dat het selecteren van complexe zinnen (Cluster 3) superieure resultaten oplevert dan het verzamelen van grote hoeveelheden willekeurige data.
3. Efficiëntie: Een framework dat de trainingsdata-behoeften met meer dan 50% kan reduceren terwijl de vertaalkwaliteit gelijk blijft of verbetert.
4. Generaliseerbaarheid: Het framework is getest op meerdere taalkoppels (Engels-Hindi, Engels-Odia, Engels-Nepali, Engels-Noors Nynorsk) en zelfs op een high-resource paar (Engels-Duits), wat de universaliteit van de aanpak aantoont.

4. Resultaten

De experimenten, uitgevoerd met Transformer-modellen en geëvalueerd op de FLORES-testset (met CHRF++ scores), tonen het volgende:

• Engels-Hindi (Low-Resource):

  • Een systeem getraind op 800.000 zinnen, geselecteerd uit Cluster 3 (de meest complexe), presteerde beter dan een systeem getraind op het volledige, ongefilterde corpus van 1,8 miljoen zinnen.
  • Dit betekent een reductie van 44% in data-aanbod met een CHRF++ score van 53,84 (tegenover 53,13 voor het volledige corpus).
  • Systemen die vooral uit Cluster 0 of 1 bestonden, presteerden aanzienlijk slechter, ongeacht de datasetgrootte.

• Andere Low-Resource Talen:

  • Engels-Odia: Reductie tot 14% van de originele data met verbeterde prestaties.
  • Engels-Nepali: Reductie van 50%.
  • Engels-Nynorsk: Reductie tot 64% van de originele data.

• High-Resource Scenarios (Engels-Duits):

  • Zelfs met een dataset van 20 miljoen zinnen (WMT24), presteerde een systeem getraind op 8 miljoen gecureerde zinnen (100% Cluster 3) beter dan het model getraind op de volledige 20 miljoen zinnen.
  • Dit toont aan dat "kwaliteit boven kwantiteit" ook geldt voor rijkere talen.

• Kwalitatieve Analyse:

  • Vertalingen van modellen getraind op complexe zinnen (Cluster 3) waren nauwkeuriger, vlotter en behielden subtiele nuances beter dan modellen getraind op simpele zinnen, die vaak grammaticale fouten en nonsens produceerden.

5. Betekenis en Conclusie

Het paper daagt de conventionele wijsheid uit dat "meer data altijd beter is" voor Machine Translation. De auteurs tonen aan dat voor low-resource scenario's (en zelfs high-resource) de kwaliteit en complexiteit van de trainingsdata cruciaal zijn.

• Economische Impact: Door de noodzakelijke hoeveelheid menselijke vertalingen en synthetische data te halveren, worden de kosten voor het ontwikkelen van MT-systemen drastisch verlaagd.
• Milieu-impact: Minder data betekent minder rekencapaciteit en energie voor training, wat de ecologische voetafdruk van AI verkleint.
• Toekomstperspectief: LALITA biedt een pad naar "curriculum learning" (stapsgewijs trainen van simpele naar complexe zinnen) en kan worden uitgebreid met discourse-informatie en sentence embeddings voor nog betere resultaten.

Kortom, LALITA bewijst dat door slimme, linguïstisch onderbouwde selectie van bron-zijde data, we "met minder wegkomen" zonder in te leveren op vertaalkwaliteit, wat essentieel is voor het democratiseren van MT voor talen die momenteel ondervertegenwoordigd zijn.