Can linguistic complexity predict machine translation quality?- a corpus-based study of complexity-quality nexus in philosophical texts

Sintesi Tecnica: La complessità linguistica può predire la qualità della traduzione automatica? Uno studio basato su corpora del nesso complessità-qualità nei testi filosofici

Problematica
Sebbene l'Intelligenza Artificiale e la Traduzione Automatica Neurale (NMT) abbiano fatto progressi significativi nella qualità della traduzione in domini ad alta risorsa (ad es. testi legali, giornalistici, accademici), esiste una lacuna evidente nella comprensione di come questi sistemi operino in domini a bassa risorsa e con un elevato carico cognitivo, come i testi filosofici. Nello specifico, la letteratura esistente manca di confronti esaustivi tra diversi sistemi di traduzione automatica (MT) — inclusi la NMT tradizionale, i sistemi basati su Large Language Models (LLM) come DeepSeek, e i sistemi guidati dal deep learning come DeepL — quando applicati a materiale sorgente astratto e complesso. Inoltre, studi precedenti che collegano la complessità linguistica agli errori di traduzione sono stati limitati a specifiche coppie linguistiche (ad es. lingue flessive) o generi (ad es. il giornalismo), fallendo spesso nell'esplorare il "nesso complessità-qualità" in contesti letterari e filosofici a bassa risorsa. Questo studio affronta la domanda se gli indici di complessità lessicale e sintattica possano predire la qualità della traduzione automatica in testi filosofici dal tedesco al cinese.

Metodologia
La ricerca impiega un disegno sperimentale basato su corpora utilizzando le Nachgelassene Schriften (Scritture Postume) del filosofo tedesco Theodor W. Adorno. Per eliminare il pregiudizio derivante da dati di addestramento preesistenti, gli autori hanno selezionato un testo privo di traduzioni precedenti in cinese. Una traduzione di riferimento è stata prodotta da un traduttore accademico senior ed è stata validata tramite back-translation (ottenendo un punteggio BLEU di 0,72 rispetto all'originale tedesco) e allineamento terminologico.

Il corpus consiste in 254 segmenti di testo (circa 59.564 parole) tradotti in cinese da tre distinti sistemi:

1. DeepL (guidato dal deep learning)
2. DeepSeek (basato su LLM)
3. NMT (modello standard di Traduzione Automatica Neurale)

La qualità della traduzione è stata quantificata utilizzando i punteggi BLEU (Bilingual Evaluation Understudy) calcolati rispetto alla traduzione umana di riferimento. La complessità linguistica è stata misurata utilizzando una serie di indici specifici per la lingua cinese, adattati da ricerche precedenti su translationese e scrittura in seconda lingua, categorizzati in:

• Indici Lessicali: Rapporti Tipo-Token (TTR1, TTR2, TTR1C, TTR2C), Grado Medio di Parola (MWR) e Grado Medio di Carattere (MCR).
• Indici Sintattici: Lunghezza Media delle Frasi (MLS), Lunghezza Media delle Clausole (MLC), Lunghezza Media delle Unità-T (MLTU), Unità-T per frase (T/S) e Clausole per frase (C/S).

Sono stati costruiti tre modelli di regressione multipla per predire i punteggi BLEU:

• Modello 1: Basato esclusivamente sulla complessità lessicale.
• Modello 2: Basato esclusivamente sulla complessità sintattica.
• Modello 3: Un modello combinato che integra sia le caratteristiche lessicali che quelle sintattiche.

Risultati Chiave
L'analisi ha prodotto i seguenti risultati riguardanti il potere predittivo della complessità linguistica:

• Performance dei Sistemi: DeepL ha costantemente ottenuto punteggi BLEU più elevati rispetto a DeepSeek e al modello NMT standard attraverso l'intero corpus. Questo dato sfida l'assunto che i sistemi basati su LLM (come DeepSeek) fungano intrinsecamente da alternative superiori ai modelli NMT tradizionali in questo specifico dominio.
• Modello 1 (Complessità Lessicale): Ha dimostrato un forte potere esplicativo con un R-quadrato di 0,849. La ricchezza e la diversità lessicale (indicate da coefficienti positivi per TTR1, TTR1C, TTR2, MWR e MCR) sono state predittori positivi significativi della qualità della traduzione. Al contrario, il TTR2C ha mostrato un coefficiente negativo, suggerendo che un'eccessiva ripetizione lessicale o ridondanza detraggono dalla qualità.
• Modello 2 (Complessità Sintattica): Ha mostrato un potere esplicativo moderato con un R-quadrato di 0,395. Sebbene le strutture di frase più lunghe (MLS) e le clausole (MLC) siano correlate positivamente con la qualità, altre caratteristiche sintattiche come la densità di clausole (C/S) non erano statisticamente significative. Ciò indica che la complessità sintattica da sola è un predittore più debole rispetto alla complessità lessicale.
• Modello 3 (Complessità Combinata): Ha raggiunto il più alto potere esplicativo con un R-quadrato di 0,86. Questo modello ha confermato che un approccio olistico che integra sia le caratteristiche lessicali che quelle sintattiche fornisce la previsione più completa degli esiti di traduzione. In particolare, nel modello combinato, il rapporto tra clausole subordinate e principali (T/S) ha presentato un coefficiente negativo, suggerendo che un'elevata subordinazione strutturale può aumentare la difficoltà di traduzione e ridurre la qualità.

Significatività e Contributi
L'articolo dichiara di contribuire al campo della Valutazione della Qualità della Traduzione Automatica (MTQA) in diversi modi specifici:

1. Espansione del Dominio: Colma una lacuna nella ricerca esaminando la relazione complessità-qualità in domini a bassa risorsa e astratti (testi filosofici) piuttosto che in generi ad alta risorsa o giornalistici.
2. Confronto tra Sistemi: Fornisce dati empirici confrontando le prestazioni di DeepL, DeepSeek (LLM) e la NMT standard, offrendo spunti su come diversi approcci architettonici gestiscano strutture semantiche e sintattiche complesse.
3. Modellazione Predittiva: Lo studio valida l'utilità dei modelli di regressione nel predire la qualità della traduzione basandosi sulla complessità linguistica. Stabilisce che la ricchezza lessicale è un fattore più dominante rispetto alla complessità sintattica, sebbene l'integrazione di entrambi fornisca le previsioni più accurate.
4. Framework Metodologico: Utilizzando un corpus rigorosamente costruito con una traduzione di riferimento verificata e indici di complessità specifici, lo studio offre un framework replicabile per valutare le prestazioni della MT in domini impegnativi e non standardizzati.

Gli autori concludono che, sebbene gli attuali sistemi di MT siano promettenti, le loro prestazioni nei testi filosofici dipendono fortemente dalla diversità lessicale e dalla struttura sintattica del testo sorgente. La ricerca sottolinea la necessità di un'integrazione equilibrata delle considerazioni lessicali e sintattiche nella valutazione e nel miglioramento dei sistemi di MT, in particolare per applicazioni a bassa risorsa e alta complessità.