Assessing and Improving Punctuation Robustness in English-Marathi Machine Translation

Titolo

Valutazione e miglioramento della robustezza alla punteggiatura nella traduzione automatica inglese-marathi.

1. Il Problema

I sistemi di Traduzione Automatica Neurale (NMT) dipendono fortemente da segnali espliciti di punteggiatura per risolvere le ambiguità semantiche e strutturali nelle frasi sorgente. Tuttavia, le frasi generate dagli utenti (specialmente in contesti informali o di emergenza) spesso mancano di punteggiatura corretta o ne contengono di errata.
L'assenza di punteggiatura può portare a traduzioni fluenti ma semanticamente disastrose, con implicazioni critiche in settori come la sicurezza pubblica (es. istruzioni su estintori) o la governance digitale. Il paper evidenzia che i modelli NMT attuali, inclusi quelli basati su Large Language Models (LLM), mostrano una scarsa robustezza quando si trovano di fronte a input privi di punteggiatura o ambigui, specialmente nella coppia linguistica inglese-marathi, una lingua a risorse medio-basse con una morfologia complessa.

2. Metodologia

Gli autori hanno adottato un approccio strutturato in tre fasi principali:

• Creazione del Benchmark "Viram":
  È stato sviluppato un benchmark diagnostico chiamato Viram (che significa "punteggiatura" in marathi). Esso contiene 54 coppie di frasi inglesi ambigue (senza punteggiatura) e le loro traduzioni in marathi corrette, accompagnate dalla versione inglese "intesa" (con la punteggiatura corretta). Le frasi sono state curate manualmente basandosi su un'analisi linguistica classica (Kirkman, 2006) e tradotte da due madrelingua marathi.

• Strategie di Miglioramento:
  Sono state valutate due strategie principali per migliorare la robustezza:

  1. Approccio "Restore-then-Translate" (Pipeline): Prima si ripristina la punteggiatura nel testo inglese e poi si traduce. Sono stati testati diversi modelli per il ripristino: classificatori di token (BERT-large-uncased, MPNet) e modelli generativi text-to-text (T5-base, Cadence di AI4Bharat).
  2. Approccio "Direct Fine-tuning": Il modello di traduzione (IndicTrans2) è stato fine-tunato direttamente su varianti di dati: solo con punteggiatura, senza punteggiatura, e una combinazione mista di entrambi (per insegnare al modello a inferire la struttura sintattica dal contesto senza dipendere esclusivamente dalla punteggiatura superficiale).

• Valutazione degli LLM:
  Sono stati testati diversi Large Language Models (Sarvam-2b, Gemma-2-9b, LLaMA-3.1-8b) utilizzando strategie di prompting zero-shot e few-shot (3-shot) per confrontare le loro prestazioni rispetto ai modelli NMT specializzati.

3. Contributi Chiave

1. Primo studio sulla robustezza alla punteggiatura: È la prima ricerca che analizza sistematicamente la sensibilità alla punteggiatura nella traduzione inglese-marathi.
2. Benchmark Viram: Introduzione di un nuovo dataset diagnostico di alta qualità per valutare l'ambiguità sintattica e semantica legata alla punteggiatura.
3. Analisi comparativa delle strategie: Confronto sistematico tra l'approccio a pipeline (ripristino + traduzione) e il fine-tuning diretto, dimostrando come entrambi i metodi offrano vantaggi complementari.
4. Valutazione degli LLM: Dimostrazione che, nonostante i progressi, gli LLM attuali (specialmente quelli con meno di 10 miliardi di parametri) performano peggio delle strategie specifiche per il task nel gestire testi ambigui privi di punteggiatura.

4. Risultati

• Prestazioni Quantitative: Entrambe le strategie di miglioramento hanno portato a incrementi sostanziali rispetto al modello baseline (IndicTrans2 originale).
  • L'approccio Restore-then-Translate (specialmente con T5-base e MPNet) ha ottenuto i risultati migliori, avvicinandosi al limite superiore teorico (Oracle), indicando che la qualità della punteggiatura è direttamente correlata alla qualità della traduzione.
  • Il Fine-tuning diretto su dati misti (con e senza punteggiatura) ha migliorato la robustezza, sebbene con guadagni leggermente inferiori rispetto alla pipeline nel benchmark Viram, ma ha mostrato una maggiore stabilità su dataset standard (IN22, FLORES-22).
• Prestazioni degli LLM: Gli LLM testati (Gemma, LLaMA, Sarvam) hanno mostrato prestazioni inferiori rispetto ai modelli NMT specializzati e alle pipeline di ripristino, anche con prompting few-shot. DeepSeek-V3.2 ha ottenuto i risultati migliori tra gli LLM, ma è ancora stato superato dalle soluzioni specifiche.
• Analisi Qualitativa: L'analisi manuale ha rivelato che il modello originale fallisce frequentemente nel risolvere ambiguità in titoli di giornale e istruzioni procedurali senza punteggiatura (es. confondere chi compie un'azione). Gli approcci migliorati risolvono correttamente queste ambiguità, recuperando i confini delle clausole e la logica condizionale.
• Trade-off: È stato osservato che, mentre la robustezza alla punteggiatura migliora drasticamente la fedeltà semantica, in alcuni casi su benchmark standard si registra un lieve calo nelle metriche automatiche (come BLEU), suggerendo che le metriche standard potrebbero non catturare appieno i miglioramenti nella correttezza semantica.

5. Significato e Implicazioni

Questo lavoro sottolinea la criticità della punteggiatura nella traduzione automatica per le lingue a risorse limitate come il marathi.

• Sicurezza e Affidabilità: Migliorare la robustezza alla punteggiatura è essenziale per applicazioni critiche (governo digitale, agricoltura, emergenze) dove errori di interpretazione possono avere conseguenze gravi.
• Limiti degli LLM Generalisti: Il paper suggerisce che, per task specifici e linguaggi a risorse limitate, gli approcci specializzati (fine-tuning mirato o pipeline ibride) sono attualmente superiori agli LLM generici nel gestire input "sporchi" o ambigui.
• Direzioni Future: Gli autori propongono l'estensione di questo lavoro ad altre lingue indiane e lo sviluppo di metriche di valutazione più sensibili alle sfumature semantiche, oltre all'esplorazione di architetture ibride che gestiscano nativamente l'ambiguità della punteggiatura senza dipendere da pipeline multi-stadio.

In conclusione, il paper dimostra che l'investimento nella robustezza alla punteggiatura non è solo un miglioramento tecnico, ma una necessità pratica per rendere la traduzione automatica affidabile in scenari reali.