💬 NLP

Building Large-Scale English-Romanian Literary Translation Resources with Open Models

이 논문은 합성 데이터와 2단계 미세 조정 과정을 활용하여 고품질의 영어-루마니아어 문학 번역을 위한 비용 효율적인 오픈 12B 파라미터 모델을 생성하는 통합 파이프라인인 TinyFabulist Translation Framework(TF2)를 소개하며, 이와 함께 대규모 데이터셋 및 평가 도구를 공개한다.

원저자: Mihai Nadas, Laura Diosan, Andreea Tomescu, Andrei Piscoran

게시일 2026-07-29

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Mihai Nadas, Laura Diosan, Andreea Tomescu, Andrei Piscoran

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

어떤 세상에서는 이야기가 문화의 화폐가 되지만, 어떤 언어들은 세상의 나머지 부분과 연결되는 다리가 거의 없는 섬과 같습니다. 이것이 바로 컴퓨터에게 다양한 언어를 말하는 법을 가르치려는 인공지능의 한 분야인 기계 번역이 직면한 과제입니다. 보통 이 컴퓨터들은 인간이 쓴 수백만 권의 책과 뉴스 기사를 읽으며 학습합니다. 하지만 많은 언어, 특히 사용하는 사람이 적은 언어의 경우, 컴퓨터를 가르칠 만한 충분한 책이 존재하지 않습니다. 이는 마치 이탈리아 요리법을 한 번도 본 적이 없거나 토마토 맛을 본 적이 없는 상태에서 이탈리아 음식을 요리하는 법을 배우려는 것과 같습니다.

이를 해결하기 위해 과학자들은 **대규모 언어 모델(LLM)**을 사용하기 시작했습니다. 이들을 세상의 거의 모든 요리를 맛보았고 새로운 레시피가 어떤 맛이 날지 추측할 수 있는 똑똑한 디지털 셰프로 생각해보세요. 하지만 이 셰프들에게 '문학'—감정, 농담, 문화적 비밀이 담긴 이야기—을 요리하도록 가르치는 것은 뉴스 보고서를 번역하는 것보다 훨씬 어렵습니다. 그리고 영어보다 디지털 자원이 적은 루마니아어와 같은 언어로 이를 수행하는 것은, 매우 제한된 재료와 빠듯한 예산을 가진 주방에서 완벽한 케이크를 굽는 것과 같습니다. 연구자들이 던지는 핵심 질문은 이것입니다. 엄청난 돈을 쓰거나 슈퍼컴퓨터를 필요로 하지 않고도 고품질의 번역된 이야기 도서관을 구축할 수 있을까?

작은 우화 작가의 이야기

이 논문에서 루마니아의 연구진은 **TF2 (TinyFabulist Translation Framework)**라고 불리는 새로운 프로젝트를 소개합니다. 그들의 목표는 이솝 우화와 같이 교훈이 담긴 짧은 이야기인 우화를 영어에서 루마니아어로 번열한 거대한 라이브러리를 만드는 것이었습니다. 그들은 비싼 유료 모델 대신 "오픈" 모델(무료로 공개된 AI 도구)을 사용하여, 그리고 아주 적은 비용으로 이 일을 해낼 수 있는지 확인하고 싶었습니다.

레시리: 무에서 시작하는 도서관 구축

연구진은 수백만 개의 이야기를 번역하기 위해 인간에게 요청할 수는 없다는 것을 알고 있었습니다. 그것은 너무 오래 걸리고 비용이 너무 많이 들기 때문입니다. 대신, 그들은 데이터를 직접 만들기 위한 4단계 조립 라인을 구축했습니다:

맛 테스트 (1단계): 먼저, 그들은 13개의 서로 다른 AI 모델(무료 모델과 유료 모델 포함)을 테스트하여 샘양 우화를 번역하는 데 어떤 모델이 가장 뛰어난지 확인했습니다. 그들은 단순히 단어가 일치하는지만 본 것이 아니라, 정확성, 흐름, 이야기 논리, 스타일, 문화적 적합성이라는 다섯 가지 항목으로 AI가 번역을 채점하게 했습니다. 승자는 GPT-o3라는 강력한 모델이었으며, 이 모델은 나머지 라이브러리를 만드는 데 있어 그들의 "골드 스탠다드(표준)"가 되었습니다.
실버 스탠다드 (2단계): 이 우승 모델을 사용하여, 그들은 15,000개의 영어 우화를 루마니아어로 번역했습니다. 비록 로봇이 만든 것이지만, 그 품질이 매우 뛰어나서 연구진은 이를 자신들만의 맞춤형 모델을 훈련시키기 위한 "실버 스탠다드"(골드 스탠다드에 버금가는 수준)로 취급했습니다.
특화 훈련 (3단계): 이것이 마법 같은 부분입니다. 그들은 오픈 소스 AI 모델(특히 10억 개의 파라미터를 가진 작은 모델부터 120억 개의 파라미터를 가진 모델까지의 Gemma 버전들)을 가져와 특별한 "마무리 학교"를 보냈습니다. 그들은 **LoRA (Low-Rank Adaptation)**라는 기술을 사용했는데, 이는 일반적인 셰프에게 주방 전체를 다시 짓지 않고도 우화 전용 요리책을 건네주는 것과 같습니다. 그들은 이 15,000개의 번역된 이야기를 통해 이 모델들을 훈련시켰습니다.
대량 생산 (4단계): 마지막으로, 그들은 새로 훈련된 특화 모델을 사용하여 원래의 영어 컬렉션에 있는 나머지 300만 개의 우화를 번역했습니다. 그 결과, 300만 쌍의 영어 및 루마니아어 우화를 포함하는 DS-TF2-EN-RO-3M이라는 거대한 새로운 데이터셋이 탄생했습니다.

결과: 작은 모델, 큰 놀라움

연구진은 그들의 새로운 훈련된 모델을 크고 비싼 유료 모델(GPT-4 및 DeepL 등) 및 기존의 훈련되지 않은 오픈 모델들과 비교하여 테스트했습니다.

격차 해소: 그들의 가장 우수한 오픈 모델인 TF2-12B(120억 파라미터 버전)는 놀라운 성능을 보여주었습니다. 이 모델은 그들의 품질 평가 기준에서 5점 만점에 평균 4.83점을 기록했으며, 최고의 유료 모델(GPT-o3)은 4.92점을 기록했습니다. 무료로 제공되는 커스텀 훈련 모델과 비싼 독점 모델 사이의 격차는 0.1점 미만으로 매우 작았습니다.
비용 차이: 이 부분이 정말 흥고한 대목입니다. 300만 개의 우화를 비싼 유료 API를 사용하여 번역했다면 선택한 모델에 따라 1,800달러에서 32,400달러 사이의 비용이 들었을 것입니다. 반면, 그들의 오픈 소스 TF2 모델은 약 350달러로 동일한 작업을 수행했습니다. 이는 **97%에서 99%**에 달하는 절감 효과입니다.
작은 모델들: 심지어 그들의 가장 작은 모델(10억 파라미터)조차 훈련 후 점수가 2.02에서 3.75로 뛰어올랐습니다. 완벽하지는 않았지만, "겨우 알아들을 수 있는 수준"에서 "꽤 괜찮은 수준"으로 올라갔으며, 이는 적절한 방식으로 가르치기만 한다면 작고 저렴한 컴퓨터도 이야기를 들려줄 수 있다는 것을 증명했습니다.

발견한 것 (그리고 발견하지 못한 것)

이 논문은 고품질의 문학 번역 도구를 만들기 위해 반드시 억만장자가 될 필요는 없다는 점을 시사합니다. 스마트하고 단계적인 프로세스를 사용하고 우화라는 특정 유형의 이야기에 집중함으로써, 오픈 모델이 거대 기업의 모델과 경쟁할 수 있음을 보여주었습니다.

하지만 저자들은 몇 가지 사항을 주의 깊게 언급했습니다:

아직 완벽하지 않음: 오픈 모델들이 근접하긴 했지만, 유료 모델(GPT-o3 등)은 스타일과 문화적 뉘앙스 측면에서 여전히 약간 더 높은 점수를 받았습니다. 오픈 모델은 훌륭한 대안이지만, 모든 경우에 인간 수준의 번역 품질을 맞추는 문제를 완전히 "해결"한 것은 아닙니다.
"골드 스탠다드"는 실버입니다: 그들이 모델 훈련에 사용한 참조 번역본은 인간이 아닌 또 다른 AI에 의해 만들어졌습니다. 이는 모델들이 인간 번역가처럼 들리는 것이 아니라, 다른 AI처럼 들리도록 학습된다는 것을 의미합니다. 연구진은 인간 전문가가 소수의 이야기를 검토하게 하여 AI의 순위가 대체로 정확하다는 것을 확인했지만, 100% 확신하기 위해서는 더 큰 규모의 인간 연구가 필요하다고 인정했습니다.
우화는 특별함: 우화는 짧고 구조가 명확합니다. 연구진은 이 방법이 우화에는 매우 잘 작동하지만, 깊은 은유나 역사적 대사가 담긴 복잡한 소설에 적용하기는 더 어려울 수 있다고 제안했습니다.

핵심 요약

TF2 프로젝트는 금고 속의 황금이 아니라 재활용 재료와 약간의 독창성을 사용하여 웅장한 도서관을 지을 수 있다는 것을 보여주는 것과 같습니다. 그들은 적절한 훈련 데이터와 영리하고 비용 효율적인 접근 방식을 사용하면, 오픈 소스 AI가 훨씬 적은 비용으로 루마니아어와 같은 언어를 위한 문학적 콘텐츠를 번역할 수 있음을 증명했습니다. 그들은 자신들의 코드, 300만 개의 이야기 데이터셋, 그리고 훈련된 모델을 모두 공개하여 다른 모든 이들이 그들의 성과를 바탕으로 발전시켜 나갈 수 있도록 초대했습니다. 이는 기술에 쏟아부을 돈이 얼마나 많든 상관없이, AI가 모든 문화의 이야기를 보존하고 공유하도록 도울 수 있는 미래를 향한 한 걸음입니다.

기술 요약: 오픈 모델을 활용한 대규모 영어-루마니아어 문학 번역 자원 구축

문제 정의

루마니아어와 같은 저자원 언어로의 문학 번역은 고품질 병렬 데이터의 부족과 문체적 뉘앙스, 서사적 일관성, 문화적 맥락을 보존하는 것의 어려움이라는 이중 과제에 직면해 있다. 기존의 기계 번역(MT) 벤치마크(예: WMT)는 주로 뉴스나 정보성 텍스트에 집중되어 있어, 창의적이고 서사 중심적인 과업에 대한 지침을 제공하는 데 한계가 있다. 거대 언어 모델(LLM)이 합성 데이터 생성을 가능하게 했으나, 대부분의 기존 연구는 단일 언어 이야기 생성이나 역번역에 초점을 맞추고 있으며, 대규모 이중 언어 문학 데이터셋을 체계적으로 구축하는 데까지는 나아가지 못했다. 또한, 일반적인 도메인에 최적화된 독점 모델들은 문학 번역 특유의 문체 및 문화적 요구사항을 포착하지 못하는 경우가 많으며, 그 배포 비용 또한 저자원 연구 커뮤니티가 감당하기에는 지나치게 높다.

방법론: TinyFabulist 번역 프레임워크 (TF2)

저자들은 영어-루마니아어 문학 번역을 위한 데이터셋 구축, 미세 조정(fine-tuning), 평가를 위한 통합 엔드 투 엔드 프레임워크인 TF2를 소개한다. 이 파이프라인은 네 가지 단계로 구성된다:

1단계: 모델 벤치마킹 및 선택:
- 저자들은 보유하고 있는 영어 우화 세트를 대상으로 13개의 다양한 시스템(GPT-4.1, Gemini, DeepL과 같은 독점 API 및 EuroLLM, Gemma와 같은 오픈 웨이트 모델 포함)을 평가했다.
- 평가는 5개 차원의 LLM 기반 루브릭(정확성, 유창성, 일관성, 문체, 문화적/실용적 적응)을 사용하여 1~5점 리커트 척도로 진행되었다.
- GPT-o3는 가장 높은 평균 루브릭 점수(4.92)를 기록함에 따라 "실버 스탠다드(silver-standard)" 병렬 데이터를 생성하기 위한 참조 번역기로 선택되었다. Gemma-3-12B-it는 오픈 베이스라인 중 우수한 성능(평균 점수 4.43)과 허용적인 라이선스 덕분에 오픈 모델 미세 조정을 위한 백본으로 선택되었다.
2단계: 병렬 코퍼스 생성 (DS-TF2-EN-RO-15K):
- 선택된 참조 번역기(GPT-o3)를 사용하여 기존 DS-TF1-EN-3M 코퍼스에 포함된 15,000개의 영어 우화를 루마니아어로 번역하였다.
- 이를 통해 훈련 자원 및 후속 평가를 위한 일관된 참조 세트로 기능할 고품질 기계 생성 병렬 코퍼스(DS-TF2-EN-RO-15K)가 구축되었다.
3단계: 매개변수 효율적 미세 조정 (Parameter-Efficient Fine-Tuning):
- 오픈 인스트럭션 튜닝된 LLM(Gemma-3 변체: 1B, 4B, 12B 파라미터)을 **LoRA(Low-Rank Adaptation)**를 사용하여 15k 병렬 데이터셋으로 미세 조정하였다.
- 어댑터는 모든 주요 투영 행렬($q, k, v, o, gate, up, down $)에 삽입되었으며, 랭크$ r=32 $, 스케일링$ \alpha=32$를 적용하였다.
- 이 과정에는 AdamW, 코사인 학습률 스케줄링, 그리고 효율적인 배포를 위한 8비트 양자화 변체 생성이 포함되었다.
4단계: 대규모 코퍼스 생성 (DS-TF2-EN-RO-3M):
- 가장 성능이 뛰어난 미세 조정 모델(TF2-12B)을 사용하여 나머지 약 300만 개의 영어 우화(DS-TF1-EN-3M)를 번역하였다.
- 그 결과, 연구를 위해 공개적으로 배포되는 대규모 이중 언어 도덕 우화 코퍼스인 DS-TF2-EN-RO-3M이 생성되었다.

평가 프로토콜

본 논문은 문학적 맥락에서 전통적인 지표의 한계를 해결하기 위해 하이브리드 평가 전략을 채택한다:

주요 지표: GPT-o3-mini를 통해 구현된 다차원 LLM 기반 루브릭(정확성, 유창성, 일관성, 문체, 문화적 적응)을 사용한다. 자기 선호 편향(self-preference bias)을 완화하기 위해 Grok-3-mini를 이용한 교차 패밀리 검증을 수행하였다.
보조 지표: BLEU(Bilingual Evaluation Understudy)를 GPT-o3 참조 모델에 대한 일관성 체크 용도로 보고하였으나, 저자들은 문학 번역 특유의 문체적 변이와 의역을 포착하는 데 있어 BLEU의 한계를 명시적으로 언급하였다.
인간 검증: 독립적인 루마니아어 언어학자 1인이 참여한 파일럿 연구에서 40개의 우화를 평가하였으며, 자동화된 순위가 유창성, 개체 충실도, 서사적 종결 측면에서 인간의 판단과 방향성 측면에서 일치함을 확인하였다.

주요 결과

1. 미세 조정된 오픈 모델의 성능

미세 조정은 오픈 웨이트 모델의 성능을 크게 향상시켜 독점 시스템과의 격차를 좁혔다:

TF2-12B: 템퍼러처 $T=0.0$ 에서 평균 루브릭 점수 4.83을 달성하였으며, 이는 미세 조정되지 않은 Gemma-3-12B-it 베이스라인(4.43)과 GPT-o3 참조 모델(4.92) 사이의 격차가 단 0.09점에 불과함을 보여준다.
TF2-4B: 베이스라인 3.81에서 4.74로 향상되었다.
TF2-1B: 2.02에서 3.75로 향상되었다.
양자화: 8비트 양자화 변체는 FP16 버전과 비교하여 0.01~0.03점 이내의 성능을 유지하며, 자원이 제한된 환경에서의 배포 가능성을 입증하였다.

2. 비용 효율성

본 논문은 대규모 데이터셋 생성 시 발생하는 비용의 극적인 절감을 강조한다:

독점 API(예: GPT-4.1, DeepL)를 사용하여 전체 300만 개의 우화 코퍼스를 번역할 경우, 모델 및 추론 깊이에 따라 $2,700에서$ 32,400 사이의 비용이 소요될 것으로 추정된다.
로컬 하드웨어에서 미세 조정된 오픈 TF2 모델을 사용할 경우 예상 비용은 약 $350이며, 이는 비용을 97~99% 절감한 수치이다.

3. 평가의 견고성

교차 패밀리 편향: 독립적인 평가자인 Grok-3-mini를 통해서도 시스템 순위가 안정적으로 유지됨을 확인하였으며, 이는 TF2 모델의 성능 향상이 평가자 편향에 의한 결과물이 아님을 입증한다.
인간 정렬(Human Alignment): 파일럿 인간 평가를 통해 TF2-12B가 미세 조정되지 않은 베이스라인보다 더 자연스러운 구절과 더 나은 서사적 종결을 생성함을 확인하였으나, 문체적 골드 스탠다드는 여전히 GPT-o3였다.

의의 및 주장

본 논문은 TF2가 저자원 환경에서 문학적 기계 번역을 발전시키기 위한 재현 가능하고 비용 효율적인 파이프라인을 제공한다고 주장한다. 주요 기여는 다음과 같다:

자원 구축: 두 개의 대규모 데이터셋(DS-TF2-EN-RO-15K 및 DS-TF2-EN-RO-3M)과 세 개의 미세 조정된 오픈 모델(TF2-1B, TF2-4B, TF2-12B)을 공개한다.
방법론적 검증: 합성된 실버 스탠다드 데이터에 대한 매개변수 효율적 미세 조정(LoRA)이 특정 문학 도메인에서 오픈 모델과 독점 모델 간의 품질 격차를 실질적으로 줄일 수 있음을 입증한다.
평가 프레임워크: 단순한 어휘 중첩보다 문체 및 문화적 차원을 우선시하는 루브릭 기반 LLM 평가 프로토콜을 수립하고, 교차 패밀리 검증을 통해 그 안정성을 검증한다.

저자들은 자신들의 결과가 구조화된 서사와 명시적인 교훈을 가진 우서 장르에 국한되어 있으며, "그라운드 트루스(ground truth)" 참조 모델이 인간이 번역한 것이 아닌 기계에 의해 생성된 것임을 인정하며 신중한 입장을 유지한다. 저자들은 TF2를 전문적인 인간 번역가를 대체하는 도구가 아니라, 자원이 부족한 저자원 언어 환경에서 문화적으로 중요한 문학적 콘텐츠를 생성하기 위한 실용적이고 접근 가능한 솔루션으로 규정한다.