Wisdom in Unity: The Role of Multilingual Training in Figurative Language Identification in Proverbs

Technische Samenvatting: Wijsheid in Eenheid

Probleemstelling
De interpretatie van figuurlijk taalgebruik, in het bijzonder spreekwoorden, blijft een significante flessenhals voor Natural Language Processing (NLP). In tegenstelling tot letterlijke tekst is de semantische essentie van een spreekwoord vaak "niet-compositioneel", wat betekent dat de betekenis niet louter kan worden afgeleid uit de individuele betekenissen van de constituerende woorden. Hoewel eerder werk figuurlijkheid heeft behandeld als een linguïstisch fenomeen gericht op specifieke retorische middelen (bijv. metaforen, vergelijkingen, idiomen), is er een gebrek aan begrip over hoe vertaalde meertalige supervisie bijdraagt aan de identificatie van figuurlijk taalgebruik. Bovendien vertrouwen bestaande benaderingen vaak op taalhomogene trainingsdata of binaire classificatie, en missen zij een genuanceerd kader om te analyseren hoe verschillende dimensies van figuurlijke betekenis over talen heen worden overgedragen.

Methodologie
De studie adresseert deze hiaten door middel van een uitgebreide evaluatie van meertalige supervisie op de identificatie van spreekwoorden met behulp van een dataset van 742 unieke spreekwoordconcepten, vertegenwoordigd door 6.787 vertaalde instanties in zeven talen: Arabisch, Engels, Frans, Duits, Russisch, Japans en Spaans.

1. Multidimensionaal Annotatiekader: Voorbijgaand aan binaire classificatie van figuurlijk versus letterlijk, introduceren de auteurs een fijnmazig, theoretisch gefundeerd annotatiekader gebaseerd op Relevance Theory. Dit kader karakteriseert spreekwoorden via vier complementaire, niet-exclusieve figuurlijke vormen:

   • Metaforisch: Betekenis overgebracht via beeldspraak, analogie of symbolische entiteiten.
   • Moreel/Adviserend: Begeleiding, waarschuwingen of ethische oordelen.
   • Oorzaak–Gevolg: Verbindingen tussen acties en hun uitkomsten.
   • Cultuurspecifiek: Betekenissen die culturele, religieuze, historische of lokale kennis vereisen.
     Annotaties werden uitgevoerd op een grondwaarheid-subset (83 concepten) door menselijke annotatoren, waarbij een substantiële overeenstemming werd bereikt (Cohen's $\kappa$ tot 0,622). De resterende dataset werd gelabeld met zwakke supervisiemodellen (XLM-RoBERTa voor binair, E5 embeddings met Logistische Regressie voor multi-label).

2. Experimentele Opzet: De auteurs evalueerden vijf modellen die verschillende architecturale families vertegenwoordigen: Logistische Regressie (baseline), mBERT, XLM-RoBERTa Large, Aya-8B, en Qwen2.5-3B (instructie-getunede LLM's).

   • Progressieve Supervisie (RQ1): Modellen werden getraind met vaste brontaal-data terwijl de proportie van vertaalde meertalige trainingsdata progressief werd verhoogd (0%, 10%, 50%, en 100%).
   • Instantie-Selectie Ablatie (RQ2): Om de impact van specifieke figuurlijke vormen te isoleren, trainden de auteurs modellen op vaste grootte subsets (600 instanties) die alleen specifieke figuurlijke vormen bevatten (bijv. alleen Metaforisch, alleen Cultuurspecifiek) in combinatie met de bron-data.

Belangrijkste Resultaten

• Impact van Meertalige Supervisie: Het vergroten van de meertalige supervisie verbetert de prestaties consistent over alle modellen en talen. De winst vertoont echter een afnemende meeropbrengst; ongeveer 50% van de vertaalde meertalige trainingsdata is voldoende om bijna optimale prestaties te bereiken, waarbij kleinere winsten worden waargenomen tussen 50% en 100% supervisie.
• Modelprestaties: Instructie-getunede LLM's (Aya-8B, Qwen2.5-3B) bereiken over het algemeen grotere verbeteringen met kleine hoeveelheden extra supervisie vergeleken met encoder-gebaseerde modellen. Qwen2.5-3B behaalde de hoogste Macro-F1 op vier van de zeven talen (Arabisch, Frans, Duits, Russisch), terwijl mBERT het beste presteerde op Spaans en XLM-R Large op Japans.
• Differentieel Voordeel van Figuurlijke Vormen: De studie vond dat verschillende figuurlijke vormen ongelijkmatig profiteren van meertalige supervisie.
  • Cultuurspecifiek: Ondanks dat dit de minst frequente vorm is (ca. 6-14% van de data) en de laagste overlap met andere vormen heeft, vertoont het de grootste prestatiewinst onder meertalige supervisie.
  • Complementariteit: Terwijl individuele vormen specifieke signalen bieden (bijv. Moreel/Adviserend bevoordeelt Qwen2.5-3B, Oorzaak-Gevolg bevoordeelt XLM-R Large), levert het combineren van alle diverse figuurlijke vormen de sterkste algehele prestatie op.
• Preservatie van Vormen: De prevalentie van de vier figuurlijke vormen blijft relatief stabiel over de zeven vertaalde talen, wat suggereert dat de distributie van figuurlijke betekenis over het algemeen behouden blijft in vertaling, zelfs als individuele instantie-niveau interpretaties kunnen varien.

Significantie en Bijdragen
Het artikel claimt drie primaire bijdragen:

1. Empirische Evaluatie van Supervisieniveaus: Het biedt een systematische evaluatie van hoe het progressief verhogen van meertalige supervisie (0% tot 100%) de figuurlijke identificatie beïnvloedt over diverse modelarchitecturen en zeven doeltalen.
2. Theoretisch Kader voor Analyse: Het introduceert een multidimensionaal annotatiekader dat verder gaat dan metafoor-gecentreerde taxonomieën. Dit kader maakt een fijnmaziger analyse mogelijk van hoe complementaire dimensies van figuurlijke betekenis (Metaforisch, Moreel, Oorzaak-Gevolg, Cultuurspecifiek) over talen heen worden overgedragen.
3. Inzichten in Overdraagbaarheid: De bevindingen demonstreren dat meertalige supervisie figuurlijke vormen ongelijkmatig beïnvloedt. Specifiek benadrukt de studie dat "cultuurspecifieke" kennis, vaak beschouwd als een barrière voor cross-linguale transfer, de meest significante prestatiewinsten laat zien wanneer meertalige data wordt geïntroduceerd.

Conclusie
De auteurs stellen dat deze bevindingen motiveren tot een verschuiving in meertalig onderzoek naar figuurlijk taalgebruik. In plaats van figuurlijk taalgebruik te behanden als een enkel fenomeen of uitsluitend te vertrouwen op metafoor-gecentreerde benaderingen, zouden toekomstige kaders multidimensionale concept-gebaseerde modellen moeten adopteren. Deze modellen moeten expliciet rekening houden met complementaire vormen van figuurlijke betekenissen die representatief zijn voor de specifieke context, waarbij erkend wordt dat verschillende vormen van figuurlijke kennis onderscheidende transferkarakteristieken bezitten.