Can linguistic complexity predict machine translation quality?- a corpus-based study of complexity-quality nexus in philosophical texts

Technische Samenvatting: Kan Linguïstische Complexiteit de Kwaliteit van Machinale Vertaling Voorspellen? Een Corpusgebaseerde Studie naar de Complexiteit-Kwaliteit-Nexus in Filosofische Teksten

Probleemstelling
Hoewel Kunstmatige Intelligentie en Neurale Machinale Vertaling (NMT) de vertaalkwaliteit in hoog-resource domeinen (bijv. juridische, journalistieke, academische teksten) aanzienlijk hebben verbeterd, bestaat er een opvallende lacune in het begrip van hoe deze systemen presteren in laag-resource, cognitief veeleisende domeinen zoals filosofische teksten. Specifiek ontbreekt in de bestaande literatuur een uitgebreide vergelijking tussen diverse machinale vertalingssystemen (MT) — waaronder traditionele NMT, op Large Language Models (LLM) gebaseerde systemen zoals DeepSeek, en op deep learning gebaseerde systemen zoals DeepL — wanneer deze worden toegepast op complexe, abstracte bronmateriaal. Bovendien waren eerdere studies die de link legden tussen linguïstische complexiteit en vertaalfouten beperkt tot specifieke taalparen (bijv. inflectionele talen) of genres (bijv. journalistiek), waarbij ze vaak faalden om de "complexiteit-kwaliteit-nexus" in laag-resource literaire en filosofische contexten te verkennen. Deze studie adresseert de vraag of lexicale en syntactische complexiteitsindices de kwaliteit van machinale vertaling kunnen voorspellen in Duits-naar-Chinees filosofische teksten.

Methodologie
Het onderzoek hanteert een corpusgebaseerd experimenteel ontwerp gebruikmakend van Nachgelassene Schriften (Postume Geschriften) van de Duitse filosoof Theodor W. Adorno. Om bias door bestaande trainingsdata te elimineren, hebben de auteurs een tekst geselecteerd zonder voorafgaande Chinese vertaling. Een referentietranslatie werd geproduceerd door een senior academisch vertaler en gevalideerd via terugvertaling (wat een BLEU-score van 0,72 opleverde ten opzichte van het originele Duits) en terminologische uitlijning.

Het corpus bestaat uit 254 tekstsegmenten (ca. 59.564 woorden) vertaald naar het Chinees door drie verschillende systemen:

1. DeepL (op deep learning gebaseerd)
2. DeepSeek (op LLM gebaseerd)
3. NMT (standaard Neuraal Machinaal Vertalingsmodel)

De vertaalkwaliteit werd gekwantificeerd met behulp van BLEU-scores (Bilingual Evaluation Understudy), berekend tegenover de menselijke referentietranslatie. De linguïstische complexiteit werd gemeten met een reeks Chinees-specifiehe indices, aangepast van eerder onderzoek naar translationese en tweede-taal schrijven, gecategoriseerd in:

• Lexicale Indices: Type-Token Ratio's (TTR1, TTR2, TTR1C, TTR2C), Mean Word Rank (MWR) en Mean Character Rank (MCR).
• Syntactische Indices: Mean Length of Sentences (MLS), Mean Length of Clauses (MLC), Mean Length of T-units (MLTU), T-units per sentence (T/S) en Clauses per sentence (C/S).

Drie meervoudige regressiemodellen werden geconstrueerd om BLEU-scores te voorspellen:

• Model 1: Gebaseerd uitsluitend op lexicale complexiteit.
• Model 2: Gebaseerd uitsluitend op syntactische complexiteit.
• Model 3: Een gecombineerd model dat zowel lexicale als syntactische kenmerken integreert.

Belangrijkste Resultaten
De analyse leverde de volgende bevindingen op met betrekking tot de voorspellende kracht van linguïstische complexiteit:

• Systeemprestaties: DeepL behaalde consequent hogere BLEU-scores vergeleken met DeepSeek en het standaard NMT-model over het gehele corpus. Deze bevinding daagt de aanname uit dat op LLM gebaseerde systemen (zoals DeepSeek) inherent superieure alternatieven zijn voor traditionele NMT-modellen in dit specifieke domein.
• Model 1 (Lexicale Complexiteit): Toonde een sterke verklarende kracht met een R-kwadraat van 0,849. Lexicale rijkdom en diversiteit (geïndiceerd door positieve coëfficiënten voor TTR1, TTR1C, TTR2, MWR en MCR) waren significante positieve voorspellers van vertaalkwaliteit. Daarentegen vertoonde TTR2C een negatieve coëfficiënt, wat suggereert dat excessieve lexicale repetitie of redundantie de kwaliteit vermindert.
• Model 2 (Syntactische Complexiteit): Toonde een matige verklarende kracht met een R-kwadraat van 0,395. Hoewel langere zinstructuren (MLS) en clausen (MLC) positief correleerden met kwaliteit, waren andere syntactische kenmerken zoals clausedichtheid (C/S) niet statistisch significant. Dit geeft aan dat syntactische complexiteit alleen een zwakkere voorspeller is dan lexicale complexiteit.
• Model 3 (Gecombineerde Complexiteit): Bereikte de hoogste verklarende kracht met een R-kwadraat van 0,86. Dit model bevestigde dat een holistische benadering die zowel lexicale als syntactische kenmerken integreert, de meest uitgebreide voorspelling van vertaalresultaten biedt. Opvallend genoeg vertoonde de ratio van ondergeschikte aan hoofdzinnen (T/S) in het gecombineerde model een negatieve coëfficiënt, wat suggereert dat een hoge structurele subordinatie de vertaling bemoeilijkt en de kwaliteit vermindert.

Betekenis en Bijdragen
Het artikel claimt op verschillende manieren bij te dragen aan het veld van Machine Translation Quality Assessment (MTQA):

1. Domeinuitbreiding: Het vult een onderzoeksleemte in door de relatie tussen complexiteit en kwaliteit te onderzoeken in laag-resource, abstracte domeinen (filosofische teksten) in plaats van hoog-resource of journalistieke genres.
2. Systeemvergelijking: Het biedt empirische gegevens over de prestaties van DeepL, DeepSeek (LLM) en standaard NMT, wat inzichten biedt in hoe verschillende architecturale benaderingen complexe semantische en syntactische structuren verwerken.
3. Voorspellend Modelleren: De studie valideert het nut van regressiemodellen voor het voorspellen van vertaalkwaliteit op basis van linguïstische complexiteit. Het stelt vast dat lexicale rijkdom een dominanterere factor is dan syntactische complexiteit, hoewel de integratie van beide de meest accurate voorspellingen oplevert.
4. Methodologisch Kader: Door een rigoureus geconstrueerd corpus te gebruiken met een geverifieerde referentietranslatie en specifieke complexiteitsindices, biedt de studie een reproduceerbaar kader voor het beoordelen van MT-prestaties in uitdagende, niet-gestandaardiseerde domeinen.

De auteurs concluderen dat hoewel huidige MT-systemen veelbelovend zijn, hun prestaties in filosofische teksten sterk afhankelijk zijn van de lexicale diversiteit en syntactische structuur van de brontekst. Het onderzoek onderstreept de noodzaak van een evenwichtige integratie van zowel lexicale als syntactische overwegingen bij het beoordelen en verbeteren van MT-systemen, met name voor laag-resource en hoog-complexe toepassingen.