``Don't Teach Minerva'': Evaluating Retrieval-Augmented Refinement for Low-Resource Latin Translation with New Benchmarks

Resumo Técnico: "Não Ensine Minerva": Avaliando o Refinamento com Recuperação Aumentada para Tradução de Latim de Baixos Recursos

Declaração do Problema
A tradução automática (MT) para o latim enfrenta desafios únicos devido à sua riqueza morfológica, ordem de palavras flexível e variação diacrônica que abrange mais de dois mil anos. Essas complexidades linguísticas são agravadas pela severa escassez de recursos: corpora paralelos de alta qualidade são limitados, frequentemente estreitos em termos estilísticos e frequentemente dependem de referências de tradução em inglês arcaico do século XIX, o que penaliza métricas de superfície modernas (ex: BLEU), mesmo quando o significado semântico é preservado. Além disso, a tradução histórica admite múltiplas interpretações legítimas, exigendo um equilíbrio entre adequação semântica e fidelidade estrutural que os sistemas de MT padrão têm dificuldade em alcançar. Embora modelos de linguagem de grande escala (LLMs) proprietários recentes tenham melhorado o desempenho zero-shot, eles introduzem questões relativas à reprodutibilidade, custo e falta de auditabilidade, que são críticas para fluxos de trabalho acadêmicos.

Metodologia
O artigo propõe um pipeline de dois estágios, totalmente reprodutível e de código aberto, para a tradução de latim para inglês que evita o ajuste fino (fine-tuning) específico da tarefa no modelo de refinamento final. A arquitetura consiste em:

1. Rascunhador Especializado (Estágio 1): Um modelo NLLB-200-1.3B (codificador-decodificador) ajustado gera um rascunho de tradução inicial. Este modelo é adaptado através de um protocolo de duas fases:

   • Adaptação por Denoising: Treinado em um corpus monolíngue de latim de 100 milhões de tokens com ruído sintético para internalizar características linguísticas históricas.
   • Ajuste Fino Paralelo: Treinado em um corpus harmonizado de aproximadamente 160 mil pares latim-inglês (combinando dados clássicos/bíblicos de Rosenthal e o OPUS Bible).
   • Papel: Este rascunho serve como uma âncora estruturalmente conservadora, preservando a estrutura das cláusulas, a polaridade e os papéis governados pelo caso.

2. Refinador Zero-Shot com Geração Aumentada por Recuperação (Estágio 2): Um LLM apenas decodificador (variantes Llama-3.3-70B ou Qwen3) refina o rascunho em um cenário zero-shot. O processo de refinamento é aumentado via Geração Aumentada por Recuperação (RAG):

   • Recuperação: Segmentos de origem em latim semanticamente similares são recuperados de um grande corpus não paralelo de latim (100 milhões de tokens) usando incorporação densa (BAAI/bge-m3).
   • Construção de Contexto: O sistema gera rascunhos em inglês para esses segmentos recuperados usando o mesmo rascunhador NLLB.
   • Prompting: O refinador recebe o texto original em latim, o rascunho NLLB e até cinco pares de exemplares (origem-rascunho) recuperados como orientação de contexto (in-context guidance).

Principais Contribuições

• Novos Recursos: Os autores introduzem um corpus de treinamento pronto para a tarefa (dados paralelos harmonizados clássicos e bíblicos) e um novo conjunto de avaliação fora do domínio (OOD) composto por cartas do século XII de Yves de Chartres, avaliadas contra traduções acadêmicas modernas.
• Pipeline Reprodutível: Um fluxo de trabalho transparente e de código aberto que combina um rascunhador NMT especializado com o refinamento de LLM zero-shot, eliminando a necessidade de modelos proprietários de caixa-preta.
• Estrutura de Avaliação: Uma avaliação rigorosa utilizando tanto benchmarks de domínio interno (Rosenthal) quanto OOD, empregando métricas lexicais (BLEU, chrF++, METEOR) e métricas semânticas (BERTScore, COMET) para capturar as nuances da tradução histórica.

Resultos

• Desempenho de Domínio Interno: No conjunto de teste padrão de Rosenthal, o sistema RAG de código aberto (especificamente Llama-3.3-70B + RAG) alcançou desempenho comparável a, e em algumas métricas superior a, um forte baseline proprietário (GPT-5.1). O sistema atingiu uma pontuação COMET de 0,743 comparado aos 0,730 do GPT-5.1.
• Desempenho Fora do Domínio (OOD): No conjunto OOD de Yves de Chartres, o pipeline demonstrou generalização robusta. O condicionamento do rascunho sozinho proporcionou a maior parte dos ganhos semânticos (aumentando o COMET de 0,714 para 0,742), enquanto a adição de exemplares recuperados melhorou ainda mais a fidelidade lexical (o BLEU aumentou de 30,28 para 34,28).
• Estudos de Ablação: O ajuste fino dos modelos refinadores em um pequeno subconjunto do corpus paralelo melhorou os resultados de domínio interno, mas levou ao overfitting, causando quedas de desempenho no benchmark OOD. Isso confirmou que a orientação em tempo de inferência (RAG) é mais eficaz para a robustez entre domínios do que a adaptação direta do modelo.
• Análise Qualitativa: Estudos de caso revelaram que o pipeline RAG resolveu efetivamente ligações complexas de pronomes, preservou a voz passiva e relações governadas pelo caso, e desambiguou escolhas lexicais formulaicas onde modelos zero-shot falharam.

Significância e Alegações
O artigo afirma que, para línguas históricas de baixos recursos e morfologicamente ricas, a tradução de alta qualidade não requer o ajuste fino da tarefa do refinador. Em vez disso, uma abordagem de "divisão de trabalho" — onde um rascunhador especializado fornece ancoragem estrutural e a recuperação fornece orientação analógica — produz resultados competitivos com modelos proprietários.

Os autores enfatizam que o pipeline oferece um perfil de tradução distinto: enquanto modelos proprietários frequentemente priorizam a fluência idiomática, esta abordagem de código aberto preserva o "andaime visível" do texto fonte em latim. Essa transparência estrutural torna as saídas mais auditáveis e rastreáveis, o que é uma vantagem crítica para aplicações acadêmicas, pedagógicas e legais. O estudo conclui que a orientação estruturada em tempo de inferência é uma estratégia mais viável para MT histórica do que a adaptação de modelos estreitos, oferecendo um equilíbrio prático entre adequação, reprodutibilidade e rastreabilidade filológica.