EPIC-EuroParl-UdS: Information-Theoretic Perspectives on Translation and Interpreting

Dit artikel introduceert de geüpdatete en gecombineerde EPIC-EuroParl-UdS-corpora voor Engels en Duits, die zijn aangepast met nieuwe annotaties en informatie-theoretische maatstaven om onderzoek te ondersteunen naar taalvariatie, vertaling en het voorspellen van vullende woorden in tolken.

De kern

Stel je voor dat taal een enorme, levende stad is. In deze stad zijn er twee hoofdstraten: de gesproken straat (waar mensen praten, stotteren, "uh" zeggen en hun gedachten vormen terwijl ze lopen) en de geschreven straat (waar mensen zorgvuldig zinnen op papier zetten, zonder haperingen, vaak in een kantoor).

De auteurs van dit paper, Maria en Christina, hebben een gigantische digitale schatkist gebouwd die beide straten in één map verzamelt. Ze noemen dit de EPIC-EuroParl-UdS.

Hier is wat ze precies hebben gedaan, vertaald naar alledaagse taal:

1. De Schatkist: Een perfecte verzameling

Vroeger hadden onderzoekers twee losse dozen met data: één met geschreven toespraken van het Europees Parlement en één met de vertalingen en tolkversies daarvan. Maar deze dozen waren rommelig:

• Sommige bestanden misten metadata (wie sprak er?).
• De schrijfwijze was niet consistent.
• Er zaten fouten in.

Maria en Christina hebben deze dozen leeggemaakt, alles grondig schoongemaakt, de losse onderdelen aan elkaar gelast en ze in één grote, georganiseerde kast geplaatst. Nu heb je een perfecte verzameling van Engels en Duits, zowel geschreven als gesproken, inclusief wat de tolk er van heeft gemaakt.

2. De Magische Bril: "Surprisal" (Verrassingswaarde)

Het echte nieuwe gereedschap in deze schatkist is een soort magische bril die ze op elk woord hebben geplaatst. Deze bril heet "Surprisal" (verrassingswaarde).

Stel je voor dat je een verhaal luistert. Als iemand zegt: "Ik ga vanavond een...", en dan stopt hij even. Je brein begint te gokken: "Eten? Slapen? Film?".

• Als de spreker nu zegt: "...pizza", is dat niet zo verrassend. Je brein had dat al verwacht. De "verrassingswaarde" is laag.
• Als de spreker zegt: "...vliegtuig", is dat heel verrassend. Je brein moet hard werken om dit te verwerken. De "verrassingswaarde" is hoog.

In dit paper hebben ze voor elk woord in de hele schatkist uitgerekend hoe verrassend het is, gebaseerd op slimme computermodellen (zoals GPT-2). Ze hebben zelfs twee soorten brillen:

1. De basisbril: Kijkt naar hoe woorden normaal worden gebruikt.
2. De gespecialiseerde bril: Is getraind op specifieke teksten (zoals politieke toespraken) en ziet dus nog meer details.

3. Waarom is dit zo cool? (De Analyses)

Met deze nieuwe bril kunnen onderzoekers dingen zien die voor het blote oog onzichtbaar zijn:

• Waarom stotteren tolken?
  De auteurs keken naar woorden als "uh" en "hm" (deze noemen ze vulwoorden). Ze ontdekten dat tolken vaak "uh" zeggen net voordat er een heel verrassend woord komt. Het is alsof hun brein zegt: "Oeps, dit woord is lastig om te vertalen, wacht even!"
  Ze ontdekten ook dat tolken soms "uh" zeggen als ze het begrip van de zin lastig vinden, of juist als het vertalen zelf lastig is.

• Gesproken vs. Geschreven:
  De bril laat zien dat gesproken taal veel "ruis" en verrassingen bevat (hoge surprisal) omdat mensen spontaan praten. Geschreven taal is strakker en voorspelbaarder. Maar als een tolk een geschreven tekst moet vertalen, of andersom, zie je precies waar de "knoop" in de hals zit.

• De Balans tussen trouw en vloeiheid:
  Soms moet een tolk kiezen: vertaal ik letterlijk (trouw aan de bron, maar klinkt het raar?) of maak ik het vloeiend (klinkt het goed, maar verlies ik de originele betekenis)? De data laat zien dat dit een moeilijke balans is, vooral bij moeilijke zinnen.

4. Het Resultaat voor de Wereld

Dit paper is niet zomaar een lijst met cijfers. Het is een openbaar park waar elke onderzoeker naartoe kan komen om te spelen en te ontdekken.

• Ze hebben de data zo opgezet dat je het makkelijk in programma's kunt laden (zoals R).
• Ze hebben fouten uit de oude versies verwijderd.
• Ze hebben de "vulwoorden" en "stotterpartijen" zorgvuldig gemarkeerd, zodat we kunnen zien hoe het menselijk brein werkt onder druk.

Kort samengevat:
De auteurs hebben een enorme, schone database van politieke toespraken en vertalingen gemaakt. Ze hebben er slimme computerbrillen op gezet die meten hoe "verrassend" elk woord is. Hiermee kunnen we nu beter begrijpen waarom mensen stotteren, waarom vertalingen soms lastig zijn, en hoe ons brein werkt als het moet schakelen tussen spreken, schrijven en vertalen. Het is een nieuwe manier om de "ruis" in onze communicatie te meten en te begrijpen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "EPIC-EuroParl-UdS: Information-Theoretic Perspectives on Translation and Interpreting" in het Nederlands.

Probleemstelling

Onderzoekers in vertaal- en tolkstudies die gebruikmaken van informatietheoretische benaderingen (zoals surprisal of verrassing) om verwerkingsinspanning en taalkundige variatie te analyseren, stuiten vaak op een gebrek aan direct bruikbare resources. Bestaande corpora missen vaak woordniveau-annotaties voor informatietheoretische indices. Onderzoekers zijn daarom gedwongen om ofwel te vertrouwen op onnauwkeurige unigram-frequenties (die context negeren) of zelf tijdrovende en rekenintensieve data te genereren. Daarnaast ontbreekt er vaak een geïntegreerde resource die zowel geschreven (vertaling) als gesproken (tolken) data uit dezelfde bron (het Europees Parlement) combineert, met consistente metadata en annotaties.

Methodologie

De auteurs introduceren EPIC-EuroParl-UdS, een geüpdatete en gecombineerde resource voor Engels-Duits (bidirectioneel) die bestaat uit twee subcorpora:

1. EuroParl-UdS: Geschreven vertalingen van toespraken.
2. EPIC-UdS: Gesproken transcripties van tolkzittingen.

Data Collectie en Preprocessing:

• Integriteit en Filtering: De auteurs hebben metadata en tekstfouten gecorrigeerd. Overlappende documenten tussen de gesproken en geschreven versies zijn verwijderd om bias te voorkomen. De data is strikt beperkt tot Engels-Duits (Spaanse data is verwijderd).
• Alignatie: Er is gebruikgemaakt van LF Aligner met domeinspecifieke glossaria (IATE) voor zinsalignatie. Voor woordalignatie wordt een BERT-gebaseerde aanpak gebruikt (inspiratie van AWESoME) met bidirectionele softmax-normalisatie.
• Standardisatie: Tekst is gepreprocessed (verwijdering van niet-printbare karakters, standaardisatie van leestekens, force-tokenisatie van koppelwoorden).
• Annotatielagen:
  • Stanza: Morfologische en syntactische annotatie (tokenisatie, POS, lemmatisatie, dependency parsing).
  • Surprisal: Woordniveau-surprisalwaarden berekend met behulp van:
    • Monolinguale GPT-2 modellen (base en fine-tuned).
    • Neuronale Machine Translation (MT) modellen (base en fine-tuned, specifiek voor vertaalinrichting).
  • Multiword Tokens: Een unieke aanpak waarbij oppervlaktevormen (bijv. "it's") worden gebruikt voor surprisal en alignatie, terwijl de uitgebreide morfologische structuur ("it is") behouden blijft voor syntactische bomen.
• Datasplits: De geschreven data is opgesplitst in train- en testsets. De gesproken data is volledig toegewezen aan de testset (out-of-domain voor de modellen).

Experimentele Opzet:
Een illustratieve studie werd uitgevoerd om de integriteit van de data te valideren en de nuttigheid van de nieuwe annotaties te testen. Het doel was het voorspellen van vulwoorden (filler particles - FPs) zoals "uh", "hum" in tolkzittingen. Er werden gemengde-effecten logistische regressiemodellen gebruikt met als afhankelijke variabele de aanwezigheid van een FP en als onafhankelijke variabelen:

• Source-surprisal (begripsschiering).
• Target-surprisal (formuleringsschiering).
• MT-surprisal (overdrachtsschiering).
• Vergelijking tussen base- en fine-tuned modellen.

Belangrijkste Bijdragen

1. Geïntegreerde Resource: EPIC-EuroParl-UdS is de eerste resource die geschreven en gesproken parallelle data combineert met consistente, woordniveau-informatietheoretische annotaties (surprisal) en woordalignatie.
2. Geavanceerde Annotatie: De resource bevat surprisalwaarden van zowel taalmodellen (GPT-2) als vertaalmodellen (MT), wat inzicht geeft in de balans tussen nauwkeurigheid en vloeiendheid.
3. Data Kwaliteit: Het corpus corrigeert eerdere fouten, voegt speaker-ID's toe (inclusief numerieke codes voor tolken) en biedt drie dataformaten (vertical, long, wide) voor verschillende analysebehoeften.
4. Open Access: Alle data en code zijn beschikbaar onder een Creative Commons-licentie via Zenodo en GitHub.

Resultaten

• Modelprestaties: In de FP-predictiestudie presteerden base modellen beter dan fine-tuned modellen (lagere AIC-waarden, hogere C-scores). Dit suggereert dat voor deze specifieke taak de generalisatiekracht van de base-modellen superieur is aan de domein-specifieke fine-tuning.
• Surprisal Dynamiek:
  • Formuleringsschiering (target surprisal) bleek de sterkste voorspeller voor het optreden van vulwoorden.
  • Er is een niet-lineair verband gevonden tussen MT-surprisal en GPT-2-surprisal. De verwachte negatieve correlatie (de trade-off tussen nauwkeurigheid en vloeiendheid) geldt alleen voor eenvoudige segmenten. Bij complexe segmenten (hoge schiering) stort deze trade-off in, wat wijst op inherente beperkingen in het productieproces.
  • Gesproken data vertoont systematisch hogere gemiddelde surprisalwaarden dan geschreven data, wat de hogere entropie en structurele onregelmatigheden van gesproken taal weerspiegelt.
• Alignatie: Gesproken data vertoont een hoger percentage niet-gealigneerde woorden (tot 35%) vergeleken met geschreven data, wat consistent is met de minder isomorfe aard van tolken.

Betekenis

Deze paper is van groot belang voor de vertaalwetenschap en de cognitieve linguïstiek omdat het:

• Een robuuste basis biedt voor onderzoek naar verwerkingsinspanning in zowel vertaling als tolken.
• Het mogelijk maakt om cross-modale vergelijkingen (geschreven vs. gesproken) uit te voeren zonder dat de onderzoekers zelf complexe annotaties hoeven te genereren.
• Inzicht geeft in de cognitieve last tijdens tolken, specifiek door de relatie tussen surprisal en disfluency (vulwoorden) te kwantificeren.
• Een nieuwe standaard zet voor het gebruik van Large Language Models (LLMs) en vertaalmodellen in corpuslinguïstisch onderzoek, waarbij de nuance tussen base- en fine-tuned prestaties wordt belicht.

Kortom, EPIC-EuroParl-UdS is een essentiële tool voor onderzoekers die willen begrijpen hoe taal wordt verwerkt, vertaald en getolkt onder druk, met een specifieke focus op de informatietheoretische aspecten van deze processen.