``Don't Teach Minerva'': Evaluating Retrieval-Augmented Refinement for Low-Resource Latin Translation with New Benchmarks

Technische Samenvatting: "Don't Teach Minerva": Evaluatie van Retrieval-Augmented Refinement voor Latijnse Vertaling met Lage Bronnen

Probleemstelling
Machinale vertaling (MT) voor het Latijn staat voor unieke uitdagingen vanwege de morfologische rijkdom, de flexibele woordvolgorde en de diachrone variatie die twee millennia beslaat. Deze linguïstische complexiteiten worden verergerd door een ernstig tekort aan bronnen: hoogwaardige parallelle corpora zijn beperkt, vaak stilistisch nauw en leunen frequent op archaïsche 19e-eeuwse Engelse referentietranslaties, wat moderne oppervlaktemetrieken (bijv. BLEU) bestraft, zelfs wanneer de semantische betekenis behouden blijft. Bovendien staat historische vertaling vaak meerdere legitieme interpretaties toe, wat een balans vereist tussen semantische adequaatheid en structurele getrouwheid waar standaard MT-systemen moeite mee hebben. Hoewel recente propriëtaire Large Language Models (LLMs) de zero-shot prestaties hebben verbeterd, introduceren zij problemen met betrekking tot reproduceerbaarheid, kosten en een gebrek aan controleerbaarheid, wat cruciaal is voor wetenschappelijke workflows.

Methodologie
Het artikel stelt een volledig reproduceerbare, open-source, twee-fasen pijplijn voor voor Latijn-naar-Engels vertaling die de noodzaak voor taakspecifieke fine-tuning van het uiteindelijke refinement-model vermijdt. De architectuur bestaat uit:

1. Gespecialiseerde Drafter (Fase 1): Een gefinetunede NLLB-200-1.3B model (encoder-decoder) genereert een eerste vertaalconcept. Dit model wordt aangepast via een tweefasig protocol:

   • Denoising Adaptation: Getraind op een 100M-token monolinguale Latijnse corpus met synthetische ruis om historische linguïstische kenmerken te internaliseren.
   • Parallel Fine-tuning: Getraind op een geharmoniseerd corpus van ~160k Latijn-Engelse paren (een combinatie van Rosenthal's klassieke/bijbelse data en OPUS Bible).
   • Rol: Dit concept dient als een structureel conservatieve verankering die zinsstructuur, polariteit en door naamvallen gestuurde rollen behoudt.

2. Zero-Shot Refiner met Retrieval-Augmented Generation (Fase 2): Een decoder-only LLM (Llama-3.3-70B of Qwen3 varianten) verfijnt het concept in een zero-shot setting. Het verfijningsproces wordt uitgebreid via Retrieval-Augmented Generation (RAG):

   • Retrieval: Semantisch vergelijkbare Latijnse segmenten worden opgehaald uit een grote niet-parallelle Latijnse corpus (100M tokens) met behulp van dense embedding (BAAI/bge-m3).
   • Context Constructie: Het systeem genereert Engelse concepten voor deze opgehaalde segmenten met behulp van dezelfde NLLB-drafter.
   • Prompting: De refiner ontvangt de originele Latijnse tekst, het NLLB-concept en tot vijf opgehaalde bron-concept exemplaren als in-context begeleiding.

Belangrijkste Bijdragen

• Nieuwe Bronnen: De auteurs introduceren een taakgereed trainingscorpus (geharmoniseerde klassieke en bijbelse parallelle data) en een nieuwe out-of-domain (OOD) evaluatieset bestaande uit 12e-eeuwse brieven van Yves de Chartres, geëvalueerd tegen moderne wetenschappelijke vertalingen.
• Reproduceerbare Pijplijn: Een transparante, open-source workflow die een gespecialiseerde NMT-drafter combineert met zero-shot LLM-refinement, waardoor de noodzaak voor propriëtaire black-box modellen wordt geëlimineerd.
• Evaluatiekader: Een rigoureuze beoordeling met zowel in-domain (Rosenthal) als OOD benchmarks, waarbij zowel lexicale metrieken (BLEU, chrF++, METEOOR) als semantische metrieken (BERTScore, COMET) worden gebruikt om de nuances van historische vertaling te vangen.

Resultaten

• In-Domain Prestaties: Op de standaard Rosenthal testset behaalde het open-source RAG-systeem (specifiek Llama-3.3-70B + RAG) prestaties die vergelijkbaar zijn met, en in sommige metrieken zelfs de presteren van, een sterke propriëtaire baseline (GPT-5.1). Het systeem bereikte een COMET-score van 0.743 vergeleken met de 0.730 van GPT-5.1.
• Out-of-Domain Prestaties: Op de Yves de Chartres OOD-set demonstreerde de pijplijn een robuuste generalisatie. De concept-conditionering alleen zorgde al voor de meerderheid van de semantische winst (verhoging van COMET van 0.714 naar 0.742), terwijl de toevoeging van opgehaalde exemplaren de lexicale getrouwheid verder verbeterde (BLEU steeg van 30.28 naar 34.28).
• Ablatie-studies: Het fine-tunen van de refiner-modellen op een kleine subset van de parallelle corpus verbeterde de in-domain resultaten maar leidde tot overfitting, wat resulteerde in prestatieverlies op de OOD-benchmark. Dit bevestigde dat inference-time begeleiding (RAG) effectiever is voor cross-domain robuustheid dan directe modeladaptatie.
• Kwalitatieve Analyse: Casestudies toonden aan dat de RAG-pijplijn effectief complexe verwijzingen van voornaamwoorden oploste, passieve stemmen en door naamvallen gestuurde relaties behield, en de ambiguïteit van formuleuze lexicale keuzes ophing waar zero-shot modellen faalden.

Betekenis en Claims
Het artikel claimt dat voor talen met lage bronnen en een rijke morfologie, hoogwaardige vertaling geen taakspecifieke fine-tuning van de refiner vereist. In plaats daarvan levert een "verdeling van arbeid"-aanpak — waarbij een gespecialiseerde drafter zorgt voor structurele verankering en retrieval zorgt voor analogische begeleiding — resultaten die concurrerend zijn met propriëtaire modellen.

De auteurs benadrukken dat de pijplijn een specifiek vertalingsprofiel biedt: waar propriëtaire modellen vaak prioriteit geven aan idiomatische vloeiendheid, behoudt deze open-source benadering de "zichtbare steigers" van de Latijnse brontekst. Deze structurele transparantie maakt de outputs bruikbaarder en traceerbaar, wat een cruciaal voordeel is voor wetenschappelijke, pedagogische en juridische toepassingen. De studie concludeert dat gestructureerde inference-time begeleiding een levensvatbaardere strategie is voor historische MT dan smalle modeladaptatie, waarbij een praktisch evenwicht wordt gevonden tussen adequaatheid, reproduceerbaarheid en filologische traceerbaarheid.