``Don't Teach Minerva'': Evaluating Retrieval-Augmented Refinement for Low-Resource Latin Translation with New Benchmarks

Sintesi Tecnica: "Non insegnare a Minerva": Valutazione della raffinazione aumentata dal recupero per la traduzione del latino a basse risorse

Problematica
La traduzione automatica (MT) per il latino affronta sfide uniche dovute alla sua ricchezza morfologica, alla flessibilità dell'ordine delle parole e alla variazione diacronica che abbraccia oltre due millenni. Queste complessità linguistiche sono aggravate da una severa scarsità di risorse: i corpora paralleli di alta qualità sono limitati, spesso stilisticamente ristretti e frequentemente basati su arcaiche traduzioni di riferimento inglesi del XIX secolo, il che penalizza le metriche superficiali moderne (es. BLEU) anche quando il significato semantico è preservato. Inoltre, la traduzione storica ammette spesso molteplici interpretazioni legittime, richiedendo un equilibrio tra adeguatezza semantica e fedeltà strutturale che i sistemi di MT standard faticano a raggiungere. Sebbene i recenti Large Language Models (LLM) proprietari abbiano migliorato le prestazioni zero-shot, essi introducono problemi riguardanti la riproducibilità, i costi e la mancanza di auditabilità, che sono critici per i flussi di lavoro accademici.

Metodologia
Il documento propone una pipeline completamente riproducibile, open-source e a due stadi per la traduzione dal latino all'inglese che evita l'addestramento specifico (fine-tuning) del modello di raffinazione finale. L'architettura consiste in:

1. Drafter Specializzato (Stadio 1): Un modello NLLB-200-1.3B (encoder-decoder) sottoposto a fine-tuning genera una bozza di traduzione iniziale. Questo modello è adattato attraverso un protocollo a due fasi:

   • Adattamento di Denoising: Addestrato su un corpus monolingue latino di 100 milioni di token con rumore sintetico per interiorizzare le caratteristiche linguistiche storiche.
   • Fine-tuning Parallelo: Addestrato su un corpus armonizzato di circa 160k coppie latino-inglese (combinando i dati classici/biblici di Rosenthal e l'OPUS Bible).
   • Ruolo: Questa bozza funge da ancora strutturalmente conservativa, preservando la struttura della clausola, la polarità e i ruoli governati dal caso.

2. Raffinatore Zero-Shot con Generazione Aumentata dal Recupero (Stadio 2): Un LLM decoder-only (Llama-3.3-70B o varianti Qwen3) raffina la bozza in un contesto zero-shot. Il processo di raffinazione è aumentato tramite la Generazione Aumentata dal Recupero (RAG):

   • Recupero: Segmenti sorgente latini semanticamente simili vengono recuperati da un ampio corpus latino non parallelo (100 milioni di token) utilizzando l'embedding denso (BAAI/bge-m3).
   • Costruzione del Contesto: Il sistema genera bozze inglesi per questi segmenti recuperati utilizzando lo stesso drafter NLLB.
   • Prompting: Il raffinatore riceve il testo latino originale, la bozza NLLB e fino a cinque coppie esempio sorgente-bozza recuperate come guida in-context.

Contributi Chiave

• Nuove Risorse: Gli autori introducono un corpus di addestramento pronto per il compito (dati paralleli armonizzati classici e biblici) e un nuovo set di valutazione out-of-domain (OOD) composto da lettere del XII secolo di Yves de Chartres, valutate rispetto a traduzioni accademiche moderne.
• Pipeline Riproducibile: Un flusso di lavoro trasparente e open-source che combina un drafter NMT specializzato con la raffinazione LLM zero-shot, eliminando la necessità di modelli proprietari black-box.
• Framework di Valutazione: Una valutazione rigorosa utilizzando sia benchmark in-domain (Rosenthal) che OOD, impiegando metriche lessicali (BLEU, chrF++, METEOR) e metriche semantiche (BERTScore, COMET) per catturare le sfumature della traduzione storica.

Risultati

• Prestazioni In-Domain: Sul set di test standard di Rosenthal, il sistema RAG open-source (specificamente Llama-3.3-70B + RAG) ha raggiunto prestazioni comparabili a, e in alcune metriche superiori a, un forte baseline proprietario (GPT-5.1). Il sistema ha raggiunto un punteggio COMET di 0.743 rispetto allo 0.730 di GPT-5.1.
• Prestazioni Out-of-Domain: Sul set OOD di Yves de Chartres, la pipeline ha dimostrato una robusta generalizzazione. Il solo condizionamento della bozza ha fornito la maggior parte dei guadagni semantici (aumentando il COMET da 0.714 a 0.742), mentre l'aggiunta di esempi recuperati ha migliorato ulteriormente la fedeltà lessicale (il BLEU è aumentato da 30.28 a 34.28).
• Studi di Ablazione: Il fine-tuning dei modelli raffinatori su un piccolo sottoinsieme del corpus parallelo ha migliorato i risultati in-domain ma ha portato all'overfitting, causando cali di prestazione sul benchmark OOD. Ciò ha confermato che la guida durante l'inferenza (RAG) è più efficace per la robustezza cross-domain rispetto all'adattamento diretto del modello.
• Analisi Qualitativa: Gli studi di caso hanno rivelato che la pipeline RAG risolve efficacemente i complessi legami pronominali, preserva la voce passiva e le relazioni governate dal caso, e disambigua le scelte lessicali formulari dove i modelli zero-shot falliscono.

Significatività e Rivendicazioni
Il documento sostiene che per le lingue storiche a basse risorse e morfologicamente ricche, una traduzione di alta qualità non richiede il fine-tuning specifico del compito del raffinatore. Inveio, un approccio di "divisione del lavoro" — in cui un drafter specializzato fornisce l'ancoraggio strutturale e il recupero fornisce la guida analogica — produce risultati competitivi con i modelli proprietari.

Gli autori sottolineano che la pipeline offre un profilo di traduzione distinto: mentre i modelli proprietari spesso privilegiano la fluidità idiomatica, questo approccio open-source preserva lo "scaffolding visibile" del testo latino. Questa trasparenza strutturale rende gli output più auditabili e tracciabili, il che rappresenta un vantaggio critico per le applicazioni accademiche, pedagogiche e legali. Lo studio conclude che la guida strutturata durante l'inferenza è una strategia più vitale per la MT storica rispetto all'adattamento del modello ristretto, offrendo un equilibrio pratico tra adeguatezza, riproducibilità e tracciabilità filologica.