``Don't Teach Minerva'': Evaluating Retrieval-Augmented Refinement for Low-Resource Latin Translation with New Benchmarks

기술 요약: "미네르바를 가르치지 마라(Don't Teach Minerva)": 저자원 라틴어 번역을 위한 검색 증강 정교화(Retrieval-Augmented Refinement) 평가

문제 정의
라틴어 기계 번역(MT)은 형태론적 풍부함, 유연한 어순, 그리고 2천 년에 걸친 통시적 변이로 인해 독특한 과제에 직면해 있습니다. 이러한 언어적 복잡성은 심각한 자원 부족 문제와 결합됩니다. 고품질의 병렬 코퍼스는 제한적이며, 문체적으로 편중되어 있고, 종종 현대적인 표면 지표(예: BLEU)가 의미를 보존하고 있음에도 불구하고 19세기 고어 영어 참조 번역에 의존하여 불이익을 주는 경우가 많습니다. 또한, 역사적 번역은 여러 가지 정당한 해석을 허용할 수 있으므로, 표준 MT 시스템이 달성하기 어려운 의미적 적절성과 구조적 충실도 사이의 균형을 요구합니다. 최근의 독점적 대규모 언어 모델(LLM)들은 제로샷 성능을 개선했지만, 학술적 워크플로우에서 중요한 재현성, 비용 및 감사 가능성(auditability) 문제를 야기합니다.

방법론
본 논문은 최종 정교화 모델의 태스크별 미세 조정(fine-tuning)을 피하는, 완전히 재현 가능한 오픈 소스 기반의 2단계 라틴어-영어 번로 파이프라인을 제안합니다. 이 아키텍처는 다음과 같이 구성됩니다:

1. 특화된 초안 작성기 (1단계): 미세 조정된 NLLB-200-1.3B 모델(인코더-디코더)이 초기 번역 초안을 생성합니다. 이 모델은 다음의 2단계 프로토콜을 통해 적응됩니다:

   • 노이즈 제거 적응(Denoising Adaptation): 역사적 언어 특징을 내재화하기 위해 합성 노이즈가 포함된 1억 토큰 규모의 단일 언어 라틴어 코퍼스로 학습되었습니다.
   • 병렬 미세 조정(Parallel Fine-tuning): 로젠탈(Rosenthal)의 고전/성서 데이터와 OPUS Bible을 결합한 약 16만 개의 라틴어-영어 쌍으로 구성된 조화된 코퍼스를 통해 학습되었습니다.
   • 역할: 이 초안은 절 구조, 극성, 격에 따른 역할을 보존하는 구조적으로 보수적인 닻(anchor) 역할을 합니다.

2. 검색 증강 생성(RAG)을 활용한 제로샷 정교화기 (2단계): 디코더 전용 LLM(Llama-3.3-70B 또는 Qwen3 변체)이 제로샷 설정에서 초안을 정교화합니다. 정교화 과정은 RAG를 통해 증강됩니다:

   • 검색(Retrieval): 밀집 임베딩(BAAI/bge-m3)을 사용하여 대규모 비병렬 라틴어 코퍼스(1억 토큰)에서 의미적으로 유사한 라틴어 원문 세그먼트를 검색합니다.
   • 컨텍스트 구축(Context Construction): 검색된 세그먼트들에 대해 동일한 NLLB 초안 작성기를 사용하여 영어 초안을 생성합니다.
   • 프롬프팅(Prompting): 정교화기는 원문 라틴어, NLLB 초안, 그리고 인컨텍스트 가이드로서 최대 5개의 검색된 '원문-초안' 예시 쌍을 전달받습니다.

주요 기여

• 새로운 자원: 저자들은 태스크 준비가 된 학습 코퍼스(조화된 고전 및 성서 병렬 데이터)와 현대적 학술 번역을 기준으로 평가되는 이브 드 샤르트르(Yves de Chartres)의 12세기 서신으로 구성된 새로운 도메인 외(OOD) 평가 세트를 도입했습니다.
• 재현 가능한 파이프라인: 특화된 NMT 초안 작성기와 제로샷 LLM 정교화를 결방한 투명한 오픈 소스 워크플로우를 제공하여, 독점적인 블랙박스 모델의 필요성을 제거했습니다.
• 평가 프레임워크: 어휘 지표(BLEU, chrF++, METEOR)와 의미 지표(BERTScore, COMET)를 모두 사용하여 역사적 번역의 미묘한 차이를 포착하는 엄격한 인도메인(Rosenthal) 및 OOD 벤치마크 평가를 수행했습니다.

결과

• 인도메인 성능: 표준 Rosenthal 테스트 세트에서 오픈 소스 RAG 시스템(특히 Llama-3.3-70B + RAG)은 강력한 독점 베이스라인(GPT-5.1)과 대등하거나 일부 지표에서 이를 능가하는 성능을 달랐습니다. 이 시스템은 GPT-5.1의 0.730에 비해 0.743의 COMET 점수를 달성했습니다.
• 도메인 외 성능: Yves de Chartres OOD 세트에서 파이프라인은 견고한 일반화 능력을 입증했습니다. 초안 조건화(draft conditioning)만으로도 대부분의 의미적 이득을 얻었으며(COMET이 0.714에서 0.742로 증가), 검색된 예시를 추가함으로써 어휘적 충실도가 더욱 향상되었습니다(BLEU가 30.28에서 34.28로 증가).
• 절제 연구(Ablation Studies): 병렬 코퍼스의 작은 부분 집합으로 정교화 모델을 미세 조정하는 것은 인도메인 결과는 개선했으나 과적합을 초래하여 OOD 벤치마크에서의 성능 저하를 일으켰습니다. 이는 추론 시점의 가이드(RAG)가 직접적인 모델 적응보다 교차 도메인 강건성에 더 효과적임을 확인시켜 주었습니다.
• 질적 분석: 사례 연구 결과, RAG 파이프라인은 복잡한 대명사 연결 관계를 효과적으로 해결하고, 수동태와 격에 따른 관계를 보존하며, 제로샷 모델이 실패했던 정형화된 어휘 선택을 명확히 구분해 냈습니다.

의의 및 주장
본 논문은 저자원이면서 형태론적으로 풍부한 역사적 언어의 경우, 정교화 모델을 위한 태스크별 미세 조정이 반드시 필요하지 않다고 주장합니다. 대신, 특화된 초안 작성기가 구조적 닻을 제공하고 검색이 유추적 가이드를 제공하는 "분업(division of labor)" 접근 방식이 독점 모델에 필적하는 결과를 낳습니다.

저자들은 이 파이프라인이 독특한 번역 프로필을 제공한다는 점을 강조합니다. 독점 모델이 흔히 관용적인 유창함을 우선시하는 반면, 이 오픈 소스 방식은 라틴어 원문의 "가시적인 골격(visible scaffolding)"을 보존합니다. 이러한 구조적 투명성은 출력이 더 감사 가능하고 추적 가능하게 만들며, 이는 학술적, 교육적, 법률적 응용 분야에서 결정적인 이점이 됩니다. 본 연구는 구조화된 추론 시점 가이드가 좁은 의미의 모델 적응보다 역사적 MT를 위한 더 실행 가능한 전략임을 결론지으며, 적절성, 재현성, 그리고 문헌학적 추적 가능성 사이의 실질적인 균형을 제시합니다.