Enhancing Scientific Discourse: Machine Translation for the Scientific Domain

Technische Samenvatting: Verbetering van Wetenschappelijke Discours via Domeinspecifieke Machinevertaling

Probleemstelling
De exponentiële groei van wetenschappelijk onderzoek heeft een kritieke behoefte aan effectieve cross-linguale communicatie gecreëerd. Hoewel het Engels de wetenschappelijke publicatie domineert, wordt een aanzienlijk volume waardevol academisch werk (bijna 40% van de niet-anglofone inzendingen) geproduceerd in andere talen. Algemeen doelgerichte Neuronale Machinevertaling (NMT)-modellen, ondanks vooruitgang gedreven door Transformer-architecturen, worstelen met het wetenschappelijke domein. Deze modellen slagen er vaak niet in gespecialiseerde terminologie, complexe syntactische structuren en domeinspecifieke discourspatronen te vangen, wat leidt tot vertaalfouten of het verlies van wetenschappelijke nuance. Bovendien is er een schaarste aan hoogwaardige parallelle corpora die specifiek zijn toegesneden op wetenschappelijke subdomeinen voor Europese taalparen.

Methodologie
De auteurs presenteren een end-to-end pijplijn voor het creëren van domeinspecifieke corpora en het aanpassen van NMT-modellen voor vier specifieke onderzoeksgebieden: Kankeronderzoek, Energieonderzoek, Neurowetenschappen en Vervoersonderzoek. De studie richt zich op drie taalparen: Spaans–Engels (ES–EN), Frans–Engels (FR–EN) en Portugees–Engels (PT–EN).

1. Corpuscreatie:

   • Data Bron: Het team verwerkte ongeveer 9,3 miljoen records uit 62 academische repositories (inclusief bachelor-/mastertheses, doctoraatproefschriften en gepubliceerde artikelen).
   • Verwerkingspijplijn: Records werden gedownload als HTML, geparsed met behulp van aangepaste regex-configuraties en de Beautiful Soup-bibliotheek, en omgezet in gestructureerde JSON.
   • Classificatie: Een op trefwoorden gebaseerde methode categoriseerde records in de vier doel-domeinen of een categorie "Algemeen Academisch".
   • Uitlijning: Parallelle zinnen werden gemijnd uit titels en abstracts met behulp van LASER-embeddings met een op marge gebaseerde scoringsaanpak. Een drempelwaarde van 0,98 werd toegepast om semantische uitlijning te waarborgen terwijl op titels gebaseerde paren behouden bleven.
   • Filtering: De resulterende data onderging strenge filtering om identieke zinnen, lege velden, buitengewoon lange zinnen (>250 woorden), alleen cijfers bevattende strings, incorrecte taalparen en inhoud die gedomineerd werd door URL's/e-mails te verwijderen.
   • Output: Het proces leverde in totaal 11,7 miljoen parallelle zinnenparen en aanzienlijke monolinguale corpora voor de doeltalen op.

2. Modelaanpassing:

   • Basismodellen: De auteurs gebruikten voorgetrainde, open-source OPUS-MT-modellen (gebaseerd op de Transformer-architectuur) als baselines. Specifieke varianten omvatten transformer-big voor FR–EN en ES–EN, en transformer-align voor PT–EN.
   • Fine-tuning Strategie: De basismodellen werden gefine-tuned met behulp van het MarianMT-framework. Twee strategieën werden getest:
     • Fine-tuning met alleen In-Domein (IND) data.
     • Fine-tuning met In-Domein data gecombineerd met Algemeen Wetenschappelijke (GSC) data om bredere linguïstische context te bieden en overfitting op jargon te voorkomen.
   • Hyperparameters: Experimenten maakten gebruik van specifieke leerpercentages (7e-5 voor ES/FR, 5e-5 voor PT) en dropout-rates, met vroegtijdig stoppen gebaseerd op BLEU/chrF-scores.

3. Evaluatie:

   • Benchmarks: Ontwikkeldatasets en testsets werden geconstrueerd door unieke records te bemonsteren (1.000 paren per domeinspecifieke set, 3.000 voor de algemene set) met strikte semantische uitlijningsfilters (LASER > 1,08).
   • Maten: Prestaties werden gemeten met BLEU, chrF2++ en COMET (dat XLM-R Large gebruikt om semantische gelijkenis te schatten).
   • Vergelijkers: Resultaten werden vergeleken met de originele basis OPUS-MT-modellen en Google Translate.

Belangrijkste Bijdragen

• Dataset Release: De creatie en publieke beschikbaarheid van een grootschalige verzameling parallelle en monolinguale corpora specifiek voor wetenschappelijk onderzoek over ES–EN, FR–EN en PT–EN paren, die vier distincte subdomeinen bestrijken.
• Domeinaanpassingskader: Een gedemonstreerde methodologie voor het fine-tunen van algemeen doelgerichte NMT-modellen op wetenschappelijke data, waaruit blijkt dat het combineren van domeinspecifieke data met algemene wetenschappelijke tekst optimale resultaten oplevert.
• Empirisch Bewijs: Kwantitatief bewijs dat domeinaanpassing de vertaalkwaliteit voor gespecialiseerde wetenschappelijke teksten aanzienlijk verbetert ten opzichte van generieke baselines.

Resultaten
De gefine-tuned modellen presteerden consistent beter dan de baseline OPUS-MT-systemen over alle taalparen en maten heen.

• Prestatiewinst: Gemiddeld verbeterde fine-tuning met alleen in-domein data BLEU met +1,5 en COMET met +0,8. Het toevoegen van algemene wetenschappelijke tekst verbeterde deze scores verder, wat resulteerde in een gemiddelde winst van +2,4 BLEU en +0,9 COMET ten opzichte van de baseline.
• Specifieke Maten: De best presterende configuratie (IND + GSC) bereikte verbeteringen van tot +2,6 BLEU en +2,4 COMET voor het FR–EN paar.
• Competitieve Landschap: Hoewel de gefine-tuned modellen in de meeste gevallen de hoogste scores behaalden, bleef Google Translate zeer competitief, met name voor het FR–EN paar waar het in bijna alle maten alle andere systemen overtrof. Dit suggereert dat taalparen met hoge resources al profiteren van sterke algemene capaciteiten, zelfs in niche-domeinen.

Betekenis en Claims
Het paper claimt dat de primaire bijdrage ligt in het overbruggen van de taalkloof in wetenschappelijk onderzoek door het verstrekken van de nodige databronnen en het aantonen dat gespecialiseerde NMT-modellen effectief kunnen worden gecreëerd via fine-tuning. De auteurs stellen dat hun werk nauwkeurigere en vloeiendere vertaling van wetenschappelijke inhoud mogelijk maakt, wat cruciaal is voor internationale samenwerking. Ze merken bescheiden op dat hoewel hun modellen generieke baselines verbeteren, het veld nog verdere arbeid vereist. Toekomstige richtingen geïdentificeerd door de auteurs omvatten multi-domeinaanpassing, het gebruik van back-translation met domeinspecifieke tagging, en de toepassing van geavanceerde filteringstools zoals Bicleaner AI om de kwaliteit van trainingsdata verder te verfijnen. Het werk wordt gepresenteerd als een stap naar het faciliteren van naadloze communicatie binnen de wereldwijde wetenschappelijke gemeenschap.