When Semantic Overlap Is Not Enough: Cross-Lingual Euphemism Transfer Between Turkish and English

Probleemstelling

Eufemismen zijn cultureel en pragmatisch geladen uitdrukkingen die gevoelige onderwerpen verzachten of herschikken (bijvoorbeeld "overleden" in plaats van "dood"). De computergestuurde detectie hiervan is complex, vooral in meertalige contexten. Bestaande modellen worstelen met de vraag of een model het concept van een eufemisme in één taal kan leren en toepassen op een andere taal, of dat detectie strikt gebonden is aan culturele bekendheid.

De kernvraag van deze studie is: Hoe beïnvloedt semantische overlap tussen talen de prestaties van cross-linguale transfer bij eufemismedetectie? Specifiek wordt onderzocht of het trainen op termen die in beide talen functioneel overeenkomen (Overlapping PETs), leidt tot betere resultaten dan het trainen op termen die dat niet doen (Non-Overlapping PETs), en of dit asymmetrisch is tussen een rijk (Engels) en een minder rijk (Turks) taalbron.

Methodologie

1. Dataset Uitbreiding en Categorieën
De auteurs hebben bestaande datasets voor eufemismen (Potentially Euphemistic Terms of PETs) in het Engels en Turks uitgebreid en gestandaardiseerd.

• Dataset: De Turkse dataset werd uitgebreid van 40 naar 70 PETs door voorbeelden te verzamelen uit het Turkish Web 2020 Corpus (trTenTen20).
• Categorisatie: PETs werden systematisch ingedeeld in twee subsets op basis van functionele en pragmatische alignering (niet alleen letterlijke vertaling):
  • OPETs (Overlapping PETs): Termen die in beide talen een functioneel equivalent hebben voor hetzelfde taboe-concept (bijv. pass away ≈ vefat etmek voor "sterven").
  • NOPETs (Non-Overlapping PETs): Termen die in de brontaal bestaan maar geen functioneel equivalent hebben in de doeltaal (bijv. the birds and the bees voor sekseducatie, wat in het Turks geen equivalent heeft).
• Betrouwbaarheid: De annotatie had een zeer hoge inter-annotator overeenstemming (Cohen's Kappa $\kappa = 0.96$).

2. Experimenteel Ontwerp

• Model: Er werd gebruikgemaakt van XLM-RoBERTa (XLM-R), een meertalig masker-taalmodel dat vooraf is getraind op 100 talen.
• Protocollen:
  • Baseline: Gebruik van bevroren (frozen) embeddings zonder fine-tuning.
  • Fine-tuning: Het model werd apart getraind op vier subsets (EN-OPET, EN-NOPET, TR-OPET, TR-NOPET) met 10-voudige cross-validatie.
  • Zero-shot Transfer: Modellen getraind op de brontaal (bijv. Engels) werden direct getest op de doeltaal (bijv. Turks) zonder verdere training.
• Vergelijking: De resultaten werden vergeleken met een zero-shot generatief model (GPT-4o) om de prestaties van fine-tuning tegenover prompt-engineering te beoordelen.

Belangrijkste Bijdragen

1. Eerste Gecategoriseerde Cross-Linguale Dataset: De introductie van de eerste dataset voor eufemismen in het Engels en Turks die expliciet is onderverdeeld in Overlapping (OPET) en Non-Overlapping (NOPET) subsets.
2. Ontdekking van Transfer-Asymmetrie: Het inzicht dat semantische overlap niet altijd leidt tot positieve transfer, en dat er een sterke asymmetrie bestaat tussen de richtingen Engels $\to$ Turks en Turks $\to$ Engels.
3. Analyse van Label-distributie: Het aantonen dat verschillen in de verdeling van labels (hoe vaak een term eufemistisch wordt gebruikt) de schijnbare prestaties kunnen vertekenen, vooral bij NOPETs.
4. Openbare Resources: De publicatie van annotatie-richtlijnen, code en data-splits voor verdere naslag.

Resultaten

1. Transfer-Asymmetrie
Er is een opvallende asymmetrie in de prestaties:

• Engels $\to$ Turks: Transfer is robuust. Modellen getraind op Engels presteren goed op Turks, zelfs in uitdagende categorieën zoals "Werkgelegenheid" (F1=0.90) en "Dood" (F1=0.86).
• Turks $\to$ Engels: Transfer degradeert aanzienlijk. Modellen getraind op Turks presteren slecht op Engels, met name in categorieën zoals "Werkgelegenheid" (F1=0.36) en "Politiek" (F1=0.18).

2. De Rol van Semantische Overlap (OPET vs. NOPET)

• Verwachte vs. Werkelijke Resultaten: Men zou verwachten dat training op OPETs beter werkt dan op NOPETs. Echter, in de richting Turks $\to$ Engels presteerde training op NOPETs soms beter dan op OPETs, of de prestaties waren vergelijkbaar.
• Finetuning vs. Baseline: In de richting Engels $\to$ Turks leidde fine-tuning op Engels-OPETs tot een lichte daling in prestatie op Turks-OPETs (van 0.72 naar 0.68) vergeleken met de bevroren baseline. Dit suggereert dat taalspecifieke fine-tuning de cross-linguale generalisatie kan verminderen ten koste van taalgemeenschappelijke patronen.
• Ressourceniveau: De resultaten suggereren dat modellen getraind op een hoog-risourcetalen (Engels) minder last hebben van de afwezigheid van overlap dan modellen getraind op een minder-risourcetale (Turks).

3. Categorie-specifieke Inzichten
De prestaties variëren sterk per semantische categorie. Categorieën met cultureel specifieke concepten (zoals politiek of werkgelegenheid) tonen de grootste dalingen bij cross-linguale transfer, vooral wanneer de doeltaal geen equivalent heeft voor de specifieke eufemistische strategie.

4. Vergelijking met GPT-4o
GPT-4o toonde een systematische bias naar het voorspellen van "Eufemistisch" (vooral in het Turks). Hoewel GPT-4o goede F1-scores behaalde (gemiddeld 0.75), was dit grotendeels een artefact van deze bias die samenviel met de labelverdeling van de NOPET-datasets, in plaats van echte linguïstische generalisatie. Fine-tuned XLM-R presteerde vergelijkbaar of beter (0.77) en was minder gevoelig voor deze bias.

Betekenis en Conclusie

De studie concludeert dat semantische overlap niet voldoende is om succesvolle cross-linguale transfer van eufemismen te garanderen. De prestaties worden sterk beïnvloed door:

1. Ressourceniveau: De asymmetrie tussen Engels (hoog-risourc) en Turks (laag-risourc) speelt een grotere rol dan de aanwezigheid van semantische overlap.
2. Culturele Mapping: Transfer faalt wanneer een eufemisme berust op een cultureel specifiek concept dat in de doeltaal ontbreekt (bijv. "tussen banen" voor werkloosheid).
3. Label-distributie: Verschillen in hoe vaak termen eufemistisch worden gebruikt, kunnen de prestaties van modellen vertekenen.

Toekomstperspectief:
De auteurs pleiten voor het uitbreiden van het OPET/NOPET-raamwerk naar andere taalkoppels met verschillende typologische kenmerken, het onderzoeken van verschillende modelarchitecturen, en het ontwikkelen van trainingsstrategieën die lexicaal memoriseren verminderen en contextuele disambiguatie verbeteren. De studie benadrukt dat eufemismedetectie niet alleen een taalkundig, maar vooral een sociocultureel probleem is dat complexe aanpassingen vereist in meertalige NLP-systemen.