When the Gold Standard Isn't Necessarily Standard: Challenges of Evaluating the Translation of User-Generated Content

Enunciato del Problema
La valutazione della traduzione automatica (MT) dei contenuti generati dagli utenti (UGC) presenta una sfida unica, poiché gli UGC sono caratterizzati da un linguaggio non standard frequente, inclusi errori ortografici, gergo, ripetizioni di caratteri, emoji e commutazione di codice. A differenza del testo tradizionale, non esiste un unico modo "corretto" per tradurre queste caratteristiche; una "buona" traduzione dipende interamente dal livello di standardizzazione desiderato nell'output. Le pratiche di valutazione attuali spesso presuppongono un unico standard aureo, eppure le traduzioni di riferimento umane per gli UGC variano significativamente nel modo in cui trattano i fenomeni non standard. Questa variabilità rende la valutazione automatica basata su riferimenti (AE) inaffidabile, poiché le metriche possono penalizzare scelte stilistiche valide che si discostano dalla strategia di normalizzazione di un riferimento specifico. Inoltre, non è chiaro se i grandi modelli linguistici (LLM) possano essere efficacemente guidati ad aderire a linee guida di traduzione specifiche e se le metriche attuali possano valutare equamente tali output conformi alle linee guida.

Metodologia
Gli autori affrontano due domande di ricerca: (1) Cosa costituisce una "buona" traduzione degli UGC? e (2) Come può essere valutata equamente la traduzione degli UGC?

1. Analisi della Tassonomia e delle Linee Guida: Lo studio analizza quattro dataset paralleli di UGC (RoCS-MT, FooTweets, MMTC e PFSMB) che coprono le traduzioni inglese-francese, inglese-tedesco e francese-inglese. Gli autori estraggono dalle linee guida di traduzione umana presenti in questi dataset una tassonomia di dodici fenomeni non standard (ad esempio, grammatica, ortografia, allungamento delle parole, maiuscole, abbreviazioni informali, hashtag, volgarità) e cinque azioni di traduzione:

   • NORMALIZZARE: Correggere o omettere le caratteristiche non standard per produrre un linguaggio standard.
   • COPIARE: Preservare la caratteristica esattamente così com'è.
   • TRASFERIRE: Mappare la caratteristica in una forma non standard equivalente nella lingua di destinazione.
   • OMETTERE: Ignorare completamente la caratteristica.
   • CENSURARE: Sostituire il linguaggio offensivo con termini più miti.
     L'analisi rivela che questi dataset rappresentano uno spettro di standardizzazione, con RoCS-MT che è il più normalizzante e PFSMB il più orientato alla preservazione.

2. Configurazione Sperimentale: Gli autori valutano sei LLM addestrati con istruzioni (Gemma-2-9B, Granite-4.1-8B, LLaMA-3.1-8B, Mistral-0.3-7B, Qwen-2.5-7B e Tower-0.2-7B) e una baseline encoder-decoder (NLLB-3B). I modelli sono testati in tre condizioni di prompting:

   • Nessuna linea guida: Traduzione zero-shot predefinita.
   • Linee guida corrispondenti: Prompt contenenti le linee guida specifiche del dataset di destinazione.
   • Linee guida non corrispondenti: Prompt contenenti linee guida da un dataset diverso.

3. Valutazione: La qualità della traduzione è valutata utilizzando metriche basate su riferimenti (COMET-22, BLEU) e metriche senza riferimento (COMET-Kiwi). Inoltre, viene condotta una valutazione umana su RoCS-MT e PFSMB, dove gli annotatori confrontano gli output predefiniti con gli output guidati dalle linee guida in base alla qualità complessiva e all'aderenza alle linee guida.

Risultati Chiave

• Sensibilità alle Linee Guida: Gli LLM sono altamente sensibili alle istruzioni di traduzione esplicite. Per la maggior parte dei modelli (Gemma, Granite, Mistral, Qwen), fornire linee guida specifiche del corpus migliora significativamente i punteggi COMET quando le linee guida corrispondono alla filosofia sottostante del dataset.
• Comportamento del Modello:
  • LLaMA-3.1-8B rifiuta frequentemente di tradurre contenuti considerati offensivi o espliciti, un comportamento esacerbato da linee guida che istruiscono a preservare le volgarità.
  • Tower-0.2-7B mostra una sensibilità minima alle linee guida, tendendo ad attenersi al proprio stile di traduzione intrinseco indipendentemente dai prompt.
  • Gemma-2-9B e altri adattano con successo il proprio stile per corrispondere alle linee guida, sebbene abbiano occasionalmente difficoltà con la componibilità di istruzioni conflittuali (ad esempio, normalizzare l'ortografia mentre si trasferiscono le ripetizioni di caratteri).
• Limiti delle Metriche: Le metriche basate su riferimenti (COMET, BLEU) sono implicitamente consapevoli dello stile; premiano gli output allineati alle linee guida di riferimento e penalizzano le discrepanze. Al contrario, la metrica senza riferimento COMET-Kiwi mostra un pregiudizio verso gli output standardizzati, assegnando punteggi più bassi alle traduzioni orientate alla preservazione anche quando queste si allineano alle linee guida intenzionali.
• Valutazione Umana: Gli annotatori umani preferiscono generalmente gli output generati con linee guida corrispondenti rispetto agli output predefiniti, in particolare per dataset orientati alla preservazione come PFSMB (76% di preferenza per la qualità, 90% per l'aderenza). L'accordo tra le preferenze umane e le metriche automatiche è da moderato a sostanziale, sebbene le metriche rimangano influenzate dal livello di standardizzazione favorito dalla configurazione di valutazione.

Significato e Contributi
Il documento sostiene che lo "standard aureo" per la traduzione degli UGC non è assoluto ma dipende dal contesto, variando da approcci altamente normalizzanti a quelli orientati alla preservazione. Gli autori dimostrano che una valutazione equa richiede che sia i modelli che le metriche siano consapevoli delle specifiche linee guida di traduzione che governano il dataset.

I contributi chiave includono:

1. Una tassonomia unificata di fenomeni non standard e azioni di traduzione derivata dai dataset esistenti.
2. Evidenze empiriche che gli LLM possono essere indirizzati a seguire specifiche linee guida di traduzione, ma che le loro prestazioni e i punteggi di valutazione risultanti dipendono fortemente dall'allineamento tra prompt, modello e stile di riferimento.
3. Un appello a linee guida chiare durante la creazione dei dataset e allo sviluppo di framework di valutazione controllabili e consapevoli delle linee guida. Gli autori suggeriscono che la futura valutazione dovrebbe utilizzare o metriche senza riferimento o metriche basate su riferimenti con più versioni di riferimento che coprono diversi livelli di standardizzazione, piuttosto che affidarsi a un singolo riferimento che potrebbe non rappresentare lo stile di traduzione desiderato.