ATD-Trans: A Geographically Grounded Japanese-English Travelogue Translation Dataset

Technische Samenvatting van ATD-Trans: Een geografisch onderbouwde dataset voor de vertaling van Japanse en Engelse reisverhalen

Probleemstelling
Geografische tekst, gekenmerkt door impliciete locatie-informatie die wordt overgebracht via vermeldingen van geografische entiteiten (bijvoorbeeld plaats- en faciliteitsnamen) in plaats van expliciete coördinaten, is een cruciale bron voor toepassingen zoals toerisme en rampenbeheer. Echter wordt eerlijke toegang tot deze informatie over talen heen belemmerd door variaties in de kwaliteit van Machinevertaling (MT). Bestaande MT-systemen vertonen vaak vertekeningen op basis van trainingsdata, wat leidt tot dispariteiten in hoe goed ze geografische entiteiten vertalen, afhankelijk van de taalfocus van het model en het beschreven geografische gebied. Hoewel entiteitsbewuste MT en documentniveau-MT apart zijn bestudeerd, blijven de specifieke uitdagingen bij het vertalen van geografische tekst – met name wat betreft het behoud van de nauwkeurigheid van geografische entiteiten over verschillende regio's (binnenland versus buitenland) en modelarchitecturen – onderbelicht.

Methodologie
Om deze hiaten aan te pakken, construeerden de auteurs ATD-Trans, een geografisch onderbouwde dataset voor de vertaling van Japanse en Engelse reisverhalen. De dataset is afgeleid van de NAIST Academic Travelogue Dataset (ATD) en omvat 90 vertaalde artikelen (42 binnenlandse en 48 buitenlandse) met bijbehorende bronteksten. Belangrijke kenmerken van de dataset zijn:

• Geografische annotaties: Zowel brontekst als doeltekst zijn geannoteerd met vermeldingen van geografische entiteiten en gekoppeld aan OpenStreetMap (OSM) ID's van entries, wat evaluatie mogelijk maakt op zowel document- als entiteitsniveau.
• Experimenteel ontwerp: De auteurs evalueerden acht bestaande Large Language Models (LLM's), gecategoriseerd op taalfocus (Engels-gecentreerd: Llama 3.1, Gemma 2; Japans-versterkt: Llama-3.1-Swallow, Gemma-2-Llama Swallow) en grootte (8B/9B versus 70B/27B).
• Evaluatievoorwaarden: Experimenten werden uitgevoerd onder variërende inferentie-instellingen:
  • Context: Paragraafniveau versus documentniveau.
  • Termenspecificatie: Basisprompts versus prompts die termenspecificaties incorporeren, afgeleid van OSM-entries (voorspeld of goud) en orakeltermen uit referentievertalingen.
• Metrieken: De vertaalkwaliteit werd beoordeeld met d-BLEU en COMET voor algehele prestaties, en Term Accuracy (vage matching met een drempel van 0,9) voor het behoud van geografische entiteiten. Aanvullende experimenten omvatten synthetische ID-vervangingstaken om de vertaalmoeilijkheid van entiteiten te isoleren, en geocoding- en vermeldingsherkenningsopdrachten.

Belangrijkste resultaten
De experimenten leverden enkele significante bevindingen op met betrekking tot modelprestaties en vertaalmoeilijkheid:

1. Taalfocus: Japans-versterkte modellen presteerden consequent beter dan hun Engels-gecentreerde tegenhangers, met name in Term Accuracy. Dit suggereert dat continue pre-training op Japanse data de kennis van de modellen over Japanse geografische entiteiten en hun Engelse equivalenten verbetert.
2. Geografisch gebied: De vertaalkwaliteit was aanzienlijk hoger voor buitenlandse reisblogs dan voor binnenlandse (Japanse) blogs. Binnenlandse teksten presenteerden grotere moeilijkheid, grotendeels toegeschreven aan de complexiteit van het vertalen van specifieke, lokaal georiënteerde geografische entiteiten. Synthetische experimenten waarbij geografische entiteiten werden vervangen door ID's bevestigden dat entiteitsvermeldingen een primaire bron van vertaalmoeilijkheid zijn, met name voor binnenlandse data.
3. Context en grootte: Documentniveau-context verbeterde over het algemeen de algehele vertaalkwaliteit (d-BLEU, COMET), hoewel het effect op Term Accuracy varieerde. Grotere modellen (70B/27B) presteerden consequent beter dan kleinere modellen (8B/9B).
4. Termenspecificatie:
   • Orakeltermen: Het verstrekken van correcte termen uit referentievertalingen verbeterde Term Accuracy aanzienlijk (tot ongeveer 100%) zonder de algehele kwaliteit te verslechteren.
   • KB-termen: Het gebruik van termen afgeleid van OpenStreetMap (KB-goud of KB-voorspeld) verslechterde vaak de algehele vertaalkwaliteit (d-BLEU, COMET). Dit werd toegeschreven aan mismatches tussen KB-termen en referentievertalingen, evenals negatieve interferentie bij vermeldingen waar geen KB-entry bestond.
   • Modelgevoeligheid: Grotere modellen (70B) werden negatiever beïnvloed door ruis in term-informatie dan kleinere modellen (8B), wat suggereert dat modellen met rijker interne kennis minder profiteren van externe termenspecificaties als die specificaties onvolmaakt zijn.

Betekenis en claims
Het artikel claimt dat ATD-Trans een noodzakelijke bron biedt voor de diepgaande analyse van MT voor geografische tekst, waardoor evaluatie mogelijk is op zowel document- als geografisch-entiteitsniveau. De studie benadrukt dat nauwkeurige vertaling van geografische tekst niet louter een algemene taaltask is, maar sterk afhankelijk is van de specifieke kennis van het model over het betreffende gebied en de betrokken entiteiten.

De auteurs benadrukken dat termenspecificatie weliswaar gunstig kan zijn wanneer het accurate kennis biedt die het model mist, maar risico's met zich meebrengt wanneer de verstrekte termen onvanstig of mismatchend zijn. Bijgevolg suggereert het artikel dat toekomstige systemen zorgvuldig de integratie van externe geografische kennisbanken met de interne kennis van het model moeten afwegen om verslechtering van de vertaalkwaliteit te voorkomen. Het werk dient als een casestudie die aantoont dat eerlijke toegang tot geografische informatie vereist dat specifieke vertekeningen in MT-systemen met betrekking tot taalfocus en geografische specificiteit worden aangepakt.