A Dataset for Probing Translationese Preferences in English-to-Swedish Translation

Questo lavoro introduce il primo dataset gratuito in inglese-svedese per analizzare le preferenze dei modelli linguistici verso il "translationese", rivelando che tali modelli tendono a favorire traduzioni letterali rispetto a formulazioni idiomatiche, specialmente quando esposti alla frase sorgente.

L'essenziale

Immagina di avere un traduttore automatico che è molto intelligente, ma ha un difetto: parla sempre come se stesse leggendo un libro di grammatica invece di chiacchierare con un amico.

Questo è il cuore del nuovo studio presentato da Jenny Kunz e colleghi dell'Università di Linköping. Hanno creato un "campo di allenamento" speciale per insegnare alle intelligenze artificiali a parlare lo svedese in modo più naturale e meno "robotico".

Ecco la spiegazione semplice, con qualche metafora per rendere tutto più chiaro:

1. Il problema: La "Svedese da Traduzione" (Translationese)

Quando traduciamo una frase dall'inglese allo svedese, spesso finiamo per copiare la struttura della frase inglese. È come se un cuoco italiano, dopo aver mangiato un hamburger americano, decidesse di cucinare la pasta esattamente come se fosse un panino: usa gli ingredienti giusti, ma il risultato è strano e innaturale.

In linguistica, questo fenomeno si chiama "Translationese" (o "svedese da traduzione"). È una lingua che suona corretta grammaticalmente, ma che nessun madrelingua userebbe mai in una conversazione reale. È rigida, noiosa e a volte imbarazzante.

2. La soluzione: Il "Doppio Binario"

Gli autori hanno creato un nuovo dataset (un insieme di dati) chiamato "Probing Translationese Preferences".
Immagina questo dataset come una gara di cucina:

• Piatto A (Traduzione Macchina): La versione "da traduzione", rigida e letterale (es. "Ho un osso vecchio da scegliere con te" invece dell'idioma corretto).
• Piatto B (Traduzione Umana): La versione naturale, fluida e idiomatica (es. "Ho un vecchio conto in sospeso con te").

Hanno preso 600 frasi da dialoghi di film e serie TV (OpenSubtitles), le hanno tradotte con due sistemi diversi (uno vecchio sistema di traduzione automatica e un'IA moderna come GPT-5) e poi hanno fatto correggere tutto da umani madrelingua svedesi.

3. L'esperimento: Cosa pensano le Intelligenze Artificiali?

Gli scienziati hanno messo alla prova diverse intelligenze artificiali (LLM) con questo gioco del "Scegli il piatto migliore". Hanno chiesto all'IA: "Quale di queste due frasi suona meglio?"

Le scoperte sorprendenti:

• L'IA preferisce il "piatto robotico": Anche le intelligenze artificiali più avanzate tendono a preferire la versione rigida e letterale (Translationese) rispetto a quella umana naturale. È come se l'IA dicesse: "Sembra più sicuro seguire il libro di grammatica inglese!"
• Il trucco del contesto: Quando hanno mostrato all'IA solo la frase da tradurre (senza dire "traduci questa"), l'IA ha iniziato a scegliere più spesso la versione umana. Ma non appena hanno aggiunto il contesto originale in inglese (es. "Traduci questa frase: [Frase inglese]"), l'IA è tornata a preferire la traduzione letterale.
  • Metafora: È come se l'IA, vedendo la ricetta originale in inglese, si spaventasse e decidesse di non osare nulla, copiando tutto alla lettera invece di adattare il gusto al palato svedese.
• Più contesto aiuta (un po'): Dare all'IA più frasi precedenti (il contesto della conversazione) aiuta un po' a sbloccarla, ma non basta a farla diventare completamente naturale.

4. Perché è importante?

Molti modelli di intelligenza artificiale vengono addestrati su enormi quantità di dati presi dal web. Purtroppo, una grossa fetta di questi dati sono traduzioni fatte da macchine.
È come se volessi imparare a parlare svedese leggendo solo libri scritti da robot che hanno tradotto dall'inglese. Alla fine, parlerai svedese, ma con un accento strano e frasi che suonano "storte".

Questo studio ci dice che:

1. Le IA attuali hanno un "pregiudizio" verso le traduzioni letterali.
2. Dobbiamo insegnar loro a non seguire ciecamente la struttura della lingua di partenza.
3. Abbiamo bisogno di più dati "umani" e naturali per addestrare le future generazioni di traduttori.

In sintesi

Gli autori hanno creato il primo "campo di addestramento" gratuito e aperto per lo svedese, dove si confrontano le traduzioni robotiche con quelle umane. Hanno scoperto che le IA sono ancora un po' "pigre" e preferiscono copiare l'inglese invece di creare una vera frase svedese.

Il loro obiettivo? Costruire traduttori che non siano solo "corretti", ma che abbiano anima, stile e naturalezza, proprio come un madrelingua che chiacchiera al bar.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "A Dataset for Probing Translationese Preferences in English-to-Swedish Translation" in italiano.

1. Il Problema

Il fenomeno del translationese (o "linguaggio di traduzione") si riferisce alla tendenza dei testi tradotti a conservare tracce della lingua sorgente, differendo nello stile e nelle caratteristiche rispetto ai testi originali nella lingua target. Questo problema è particolarmente pronunciato nella traduzione automatica (MT), dove i sistemi tendono a semplificare il linguaggio, riducendo la ricchezza lessicale e morfologica.
Sebbene i recenti Large Language Models (LLM) mostrino una maggiore diversità lessicale rispetto ai sistemi MT tradizionali, le loro traduzioni rimangono distinguibili dai testi umani e spesso preferiscono traduzioni letterali invece di espressioni idiomatiche naturali. Inoltre, molti dataset di valutazione e corpora di addestramento per lingue non inglesi contengono una vasta quantità di traduzioni, il che rischia di perpetuare e amplificare il bias verso il translationese nei modelli.

2. Metodologia

Gli autori hanno sviluppato un approccio sistematico per analizzare e quantificare le preferenze dei modelli linguistici verso il translationese rispetto a varianti idiomatiche.

• Costruzione del Dataset:

  • È stato creato un dataset di 600 frasi estratte da OpenSubtitles (dialoghi parlati in inglese), tradotte in svedese.
  • Le traduzioni sono state generate da due sistemi: OPUS-MT (un sistema di traduzione neurale specializzato, non basato su LLM) e GPT-5 (un LLM all'avanguardia).
  • Per ogni frase, è stata creata una traduzione alternativa umana considerata più idiomatica.
  • Il dataset include la frase sorgente inglese, il contesto precedente, e annotazioni dettagliate.

• Sistema di Tagging degli Errori:

  • Gli autori hanno sviluppato un sistema di etichettatura personalizzato (diverso dagli standard MQM) per catturare sfumature specifiche del translationese.
  • Errori Maggiori: Grammatica (GR), Parti mancanti (SAK), Parole errate (LF), Perdita di significato (BET).
  • Errori Minori: Preferenza lessicale (PR - parole non naturali), Spostamento semantico (SEM).
  • Tag Descrittivi: Identificano la causa potenziale dell'errore: Idiomi (ID), Gergo (SL), Stile settoriale (ST), Traduzione diretta (DIR).

• Esperimenti e Valutazione:

  • Sono stati testati diversi modelli LLM multilingue di diverse dimensioni (LLaMA-3, EuroLLM, Gemma).
  • Setup a Coppie Minime: I modelli sono stati presentati con coppie di frasi svedesi (una traduzione machine vs. una alternativa umana) per misurare la loro preferenza intrinseca tramite la probabilità logaritmica normalizzata (MeanLP).
  • Variabili Contestuali: Gli esperimenti sono stati condotti in tre configurazioni:
    1. Senza contesto di traduzione (solo la frase svedese).
    2. Con contesto di traduzione (frase inglese sorgente).
    3. Con contesto esteso (1-10 frasi precedenti della sorgente).

3. Contributi Chiave

• Primo Dataset Aperto: Si tratta del primo dataset liberamente disponibile che contrappone esplicitamente il translationese alle alternative idiomatiche per la lingua svedese, completo di annotazioni e codice.
• Analisi Granulare: Il dataset non si limita a confrontare traduzioni, ma fornisce tag specifici per categorizzare il tipo di errore (es. perdita di significato, scelta lessicale non naturale, traduzione letterale di idiomi).
• Benchmark per l'Idiomaticità: Offre una risorsa fondamentale per valutare e sviluppare modelli capaci di produrre output più naturali e meno letterali nelle lingue non inglesi.

4. Risultati

Gli esperimenti hanno rivelato diverse tendenze significative:

• Bias verso il Translationese: La maggior parte dei modelli LLM esaminati mostra una forte preferenza intrinseca per le varianti di traduzione machine (OPUS e GPT) rispetto alle alternative umane, anche quando le traduzioni machine contengono errori evidenti.
• Effetto del Contesto Sorgente:
  • Quando la frase inglese sorgente viene fornita nel prompt, i modelli tendono a preferire la traduzione letterale (translationese).
  • Quando la sorgente è omessa, i modelli scelgono più frequentemente l'alternativa umana, suggerendo che l'esposizione alla lingua sorgente biasi il modello verso traduzioni più letterali.
• Impatto del Contesto Esteso: L'inclusione di un contesto più ampio (fino a 10 frasi precedenti) aiuta i modelli a ridurre il bias verso il translationese e a favorire le traduzioni umane, specialmente per modelli più grandi (es. Gemma-12B). Tuttavia, la preferenza per il translationese rimane forte in molti casi.
• Performance dei Modelli:
  • I modelli più grandi tendono a performare meglio nel riconoscere le varianti umane rispetto ai modelli più piccoli (nella configurazione senza contesto).
  • Tuttavia, nella configurazione con contesto di traduzione, i modelli più grandi a volte mostrano una preferenza maggiore per le traduzioni GPT rispetto a quelle umane, indicando che la capacità del modello di seguire la sorgente supera la capacità di generare idiomaticità.
• Tipologie di Errori: I tag "Traduzione Diretta" (DIR) e "Gergo" (SL) sono quelli su cui i modelli mostrano la preferenza più forte per il translationese quando c'è contesto. Al contrario, errori grammaticali evidenti (GR) o parti mancanti (SAK) sono più facilmente evitati dai modelli.

5. Significato e Implicazioni

Questo studio evidenzia una sfida critica nello sviluppo di LLM per la traduzione: la tendenza a imparare e riprodurre il translationese presente nei dati di addestramento (spesso costituiti da traduzioni).

• Valutazione: Il dataset fornisce un benchmark essenziale per misurare non solo la correttezza grammaticale, ma la "naturalità" e l'idiomaticità delle traduzioni.
• Sviluppo di Modelli: I risultati suggeriscono che per ottenere traduzioni naturali, è necessario addestrare o fine-tunare i modelli in modo che non siano eccessivamente dipendenti dalla struttura della lingua sorgente, o che vengano implementati passaggi di "rifinitura" (polishing) specifici per ridurre il translationese.
• Ricerca Futura: Il lavoro apre la strada a ricerche su come mitigare il bias verso la traduzione letterale, specialmente per lingue a risorse limitate o con strutture grammaticali molto diverse dall'inglese.

In sintesi, il paper dimostra che, nonostante i progressi degli LLM, la generazione di traduzioni idiomatiche e naturali rimane una sfida aperta, e il nuovo dataset è uno strumento cruciale per guidare il miglioramento dei futuri sistemi di traduzione.