💬 NLP

DIETA: A Decoder-only transformer-based model for Italian-English machine TrAnslation

이 논문은 엄선된 2억 7백만 문장의 이탈리아어-영어 코퍼스와 역번역 데이터를 통해 학습된 0.5-빌리언 파라미터 디코더 전용 트랜스포머 모델인 DIETA를 소개하며, 이 모델은 벤치마크에서 경쟁력 있는 성능을 달성함과 동시에 학습 스크립트, 모델, 데이터 및 새로운 평가 세트의 공개를 동반한다.

원저자: Pranav Kasela, Marco Braga, Alessandro Ghiotto, Andrea Pilzer, Marco Viviani, Alessandro Raganato

게시일 2026-01-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pranav Kasela, Marco Braga, Alessandro Ghiotto, Andrea Pilzer, Marco Viviani, Alessandro Raganato

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 이탈리아어와 영어 딱 두 가지 언어만 말하는 번역기를 만들고 싶다고 상상해 보세요. 대부분의 거대 IT 기업들은 한 번에 100개의 언어를 말하려고 노력하는 "범용 번역기"를 만듭니다. 이것들은 세상의 모든 사전을 담고 있는 거대하고 무거운 배낭과 같습니다. 강력하긴 하지만, 너무 거대하고 운영 비용이 많이 들며, 너무 많은 것을 기억하려다 보니 때때로 혼란을 겪기도 합니다.

이 논문의 저자들은 이와는 다른 것을 만들기로 했습니다. 바로 DIETA라고 불리는 특화된 경량 번역기입니다.

다음은 이들이 어떻게 이를 구축했는지에 대한 이야기를 쉬운 비유를 들어 설명한 것입니다.

1. 목표: 마라톤 선수가 아닌 전문 단거리 선수

모든 거리의 마라톤을 뛰려는 마라톤 선수처럼 모든 언어를 말하도록 거대 모델을 훈련시키는 대신, 팀은 단 0.5-빌리언 파라미터(0.5-billion-parameter) 규모의 작은 모델이 오직 이탈리아어와 영어에서 최고가 되도록 훈련시켰습니다.

비유: DIETA를 단거리 스프린터라고 생각하세요. 이 모델은 100개의 언어를 짊어질 필요가 없습니다. 그저 이탈리아어-영어 트랙을 믿을 수 없이 빠르고 정확하게 달리기만 하면 됩니다.

2. 학습 데이터: "체육관"

무엇인가를 잘하기 위해서는 연습이 필요합니다. 팀은 단순히 몇 권의 교과서를 사용한 것이 아니라, 7억 6,800만 개의 연습 문장으로 구성된 거대한 체육관을 구축했습니다.

실제 자료: 이들은 의회 기록, 법률 문서, 뉴스, 영화(자막), 도서 등에서 약 2억 700만 개의 실제 문장 쌍을 수집했습니다.
"유령" 연습 (역번역): 더 많은 연습이 필요했기에, 이들은 "역번역(back-translation)"이라는 영리한 기술을 사용했습니다. 예를 들어, 이탈리아어 뉴스 기사를 컴퓨터로 영어로 번역한 다음, 그 영어를 다시 이탈리아어로 번역하게 하는 방식입니다. 이를 통해 새로운 "합성(synthetic)" 연습 쌍을 만들어냅니다. 이들은 이 과정을 수백만 번 반복하여 3억 5,200만 개의 추가 문장으로 이루어진 거대한 라이브러리를 구축했습니다.
결과: 모델은 실제 인간의 글과 이 거대한 양의 컴퓨터 생성 연습 데이터를 혼합하여 연습했습니다.

려 3. 새로운 테스트: "최신 뉴스" 시험

보통 번역 모델은 오래되고 정적인 데이터로 테스트됩니다. 저자들은 이것이 모델이 오늘의 뉴스를 처리할 수 있는지 알려주지 못한다는 점을 깨달았습니다.

혁신: 이들은 2025년 기사를 기반으로 한 WikiNews-25라는 새로운 테스트 세트를 만들었습니다.
함정: 이들은 아무 문장이나 사용하지 않았습니다. 구글이 만든 번역본을 가져와서 틀린 부분을 찾아낸 뒤, 사람이 직접 수정하게 했습니다. 이를 통해 모델이 현재의 실제 뉴스 상황을 얼마나 잘 처리하는지 테스트하기 위해 설계된 "골드 스탠다드(gold standard)" 시험지를 만들었습니다.

4. 결과: 체급을 뛰어넘는 활약

그들은 DIETA를 아주 작은 모델부터 9-빌리언 파라미터(9-billion parameters) 규모의 거대 모델(앞서 언급한 무거운 배낭 같은 모델들)에 이르기까지 32개의 다른 번역기와 경쟁시켰습니다.

성능: DIETA는 매우 작음에도 불구하고(단 0.5 빌리언 파라미터), 일관되게 두 번째 그룹(상위 2분위) 내에 안착했습니다.
비교: DIETA는 3 빌리언 파라미터보다 작은 거의 모든 모델을 이겼습니다. 실제로 다섯 가지 서로 다른 테스트 중 네 가지에서 다른 거의 모든 소형 모델보다 뛰어난 성능을 보였습니다.
트레이드오프(절충): 거대 모델(이른바 "슈퍼 운동선수")만큼 완벽하지는 않았지만, 놀라울 정도로 근접했습니다. 거대 모델들이 여전히 우위를 점한 주요 분야는 "참조 없는(reference-free)" 점수 산정(정답지 없이 품질을 추측하는 것)이었지만, 그 외의 모든 부분에서 DIETA는 충분히 제 몫을 해냈습니다.

5. 이것이 중요한 이유

이 논문은 훌륭한 번역 결과를 얻기 위해 항상 거대하고 비싼 슈퍼컴퓨터가 필요한 것은 아니라고 주장합니다.

핵럼 요점: 학습 데이터를 특정 두 언어에 집중시키고 스마트한 합성 연습 데이터를 많이 사용한다면, 훨씬 더 크고 무거운 모델이 수행할 수 있는 일을 작고 가벼운 모델도 해낼 수 있습니다.
접근성: DIETA는 매우 작기 때문에, 거대 모델들이 대규모 데이터 센터를 필요로 하는 것과 달리, 고사양 게이밍 PC와 같은 일반 소비자용 그래픽 카드 한 장에서도 실행할 수 있습니다.

요약

저자들은 이탈리아어와 영어에 특화된 작은 번역기인 DIETA를 만들었습니다. 이들은 실제 문서와 컴퓨터가 생성한 연습 문장을 혼합하여 모델을 훈련시켰습니다. 결과는 어떠했을까요? 거대 모델만큼이나 잘 수행하는 작은 모델이 탄생했으며, 이는 특화된 훈련과 스마트한 데이터가 **단순한 규모(size)**를 이길 수 있음을 증명했습니다.

그들은 다른 사람들이 이를 통해 배우고 더 나은 도구를 만들 수 있도록 모델, 학습 데이터, 그리고 새로운 테스트 세트를 모두 공개했습니다.

기술 요약: DIETA – 이탈리아어-영어 기계 번역을 위한 디코더 전용 트랜스포머

문제 정의

자연어 처리 분야에서 트랜스포머 기반 대규모 언어 모델(LLM)의 발전에도 불구하고, 특정 언어 쌍, 특히 이탈리아어-영어에 대한 고품질 신경 기계 번역(MT)은 여전히 해결해야 할 과제로 남아 있다. 범용 다국어 시스템은 종종 광범적인 언어 커버리지를 우선시하여 특화된 번역 품질을 희생하는 경향이 있으며, 이는 타겟팅된 언어 쌍에 대한 개선의 여지를 남긴다. 또한, 거대한 다국어 모델은 높은 계산 비용을 초라하며, 수백 개의 언어 간의 표현 경쟁으로 인해 영어-이탈리아어와 같은 특정 방향에서 더 작은 전문 모델보다 성능이 저하될 가능성이 있다.

방법론

데이터 수집 및 큐레이션

저자들은 세 가지 주요 출처로부터 유래된 약 7억 6,800만 개의 소스-타겟 예시로 구성된 방대한 학습 코퍼스를 구축하였다:

병렬 코퍼스 (Parallel Corpora): Europarl, DGT-TM, ParaCrawl, OpenSubtitles, WikiMatrix 및 법률 텍스트를 포함하여 OPUS 저장소의 공개 리소스로부터 큐레이션된 약 2억 780만 개의 고품질 문장 쌍.
- 정제 (Cleaning): OpusTools/OpusFilter를 사용하여 중복을 제거하였다. 남은 쌍들은 번역 등가성을 검증하기 위해 이진 프롬프트를 사용하는 Phi-4 LLM을 통해 품질 필터링을 거쳤으며, 일치하지 않는 쌍은 폐기되었다.
- 포맷팅 (Formatting): 양방향 학습을 지원하기 위해 명시적인 방향 태그(예: ENG: ... IT: ...)를 사용하여 쌍을 복제하였다.
합성 데이터 (Back-Translation): 코퍼스를 증강하기 위해 저자들은 역번역을 통해 3억 5,200만 개의 합성 문장 쌍을 생성하였다:
- NewsCrawl: 이탈리아어(2008–2018) 및 영어(2023) 기사를 OPUS-MT-TC-BIG을 사용하여 번역함; 최신 세그먼트(2019–2024)는 NLLB-200-3.3B를 사용함.
- FineWeb: 1억 850만 개의 이탈리아어 문장과 1억 개의 영어 문장을 다국어 GemmaX2-28-9B-v0.1 모델을 사용하여 번역함.
- 모든 합성 번는 Greedy Decoding 모드에서 CTranslate2 툴킷을 사용하여 생성되었다.

모델 아키텍처

DIETA는 이탈리아어-영어 양방향 번역을 위해 특별히 설계된 0.5B 파라미터 규모의 디코더 전용 트랜스포머 모델이다.

레이어 (Layers): 포스트 노름(post-norm) 구성을 가진 6개의 동일한 레이어.
차원 (Dimensions): 은닉 차원 2,048 및 32개의 어텐션 헤드.
피드 포워드 (Feed-Forward): 4배 확장 계수를 가진 squared-ReLU 활성화 함수 사용.
임베딩 (Embeddings): 토큰 위치를 위한 로터리 임베딩(Rotary embeddings).
최적화 (Optimizations): 잔차 어텐션 누적(residual attention accumulation) 및 쿼리-키 정규화(query-key normalization)를 포함함.
토크나이저 (Tokenizer): 특정 언어에 대한 서브워드 분할을 최적화하기 위해 고품질 이탈리아어와 영어의 균형 잡힌 코퍼스로 학습된 Minerva 제품군의 51,200개 엔트리 SentencePiece 어휘를 활용함.

학습 전략

모델은 x-Transformers 프레임워크를 사용하여 Lion 옵티마이저(학습률 $2 \times 10^{-4}$ )로 10% 웜업을 따르는 선형 감쇠 스케줄과 함께 단일 에포크 동안 학습되었다. 데이터 구성의 영향을 분석하기 위해 다섯 가지 모델 변형이 출시되었다:

DIETA: 필터링된 병렬 코퍼스(415.7M 쌍)로 처음부터 학습.
DIETA+BT: 병렬 코퍼스 + NewsCrawl 역번역 데이터로 학습.
DIETA+cont: 혼합된 병렬 + NewsCrawl 데이터로 DIETA를 두 번째 에포크 동안 지속 학습.
DIETA+nosynth: 병렬 데이터만으로 DIKA를 두 번째 에포크 동안 지속 학습.
DIETA+allsynth: 전체 코퍼스(Parallel + NewsCrawl + FineWeb)로 DIETA+cont를 세 번째 에포크 동안 지속 학습 (총 768M 쌍).

평가

모델은 5개의 벤치마크에 걸쳐 15개 이상의 베이스라인(NLLB-200, OPUS-MT, Minerva, LLaMAntino, Gemma-2, Tower 포함)과 비교 평가되었다:

표준 벤치마크: NTREX-128, Tatoeba, WMT-24pp, FLORES-200.
새로운 벤치마크: WikiNews-25. 2025년 WikiNews 기사를 기반으로 한 450개 문장의 테스트 세트로, 현대적 텍스트에 대한 성능을 평가하기 위해 인간의 사후 교정 번역을 포함함.
지표 (Metrics): 표면 중첩(sacreBLEU, chrF), 신경 참조 기반(BLEURT, MetricX-24, COMET), 그리고 참조 없는 품질 추정(QE MetricX, COMETKiwi)을 포함한 종합적인 세트 활용.

주요 결과

성능 대비 크기: DIETA는 32개 시스템 리더보드에서 일관되게 상위 2사분면에 위치한다. DIETA는 5개 테스트 세트 중 4개에서 대부분의 3B 미만 모델을 능가하며, 많은 지표에서 2~3배 더 큰 모델(예: 1–3B 파라미터 모델)과 대등하거나 이를 앞선다.
특정 벤치마크:
- NTREX-128: DIETA+cont는 경쟁력 있는 BLEU (36/43) 및 COMET (0.85/0.87) 점수를 달성하여 NLLB-1.3B 및 OPUS-MT-big과 경쟁한다.
- Tatoeba: DIETA+cont는 58/70 BLEU를 기록하여 3B 미만의 모든 경쟁자를 앞질렀으며, 가장 큰 모델들(Gemma-9B, PhiMaestra-3)을 근소한 차이로 뒤따랐다.
- WMT-24pp & WikiNews-25: 모델은 7B 시스템과 경쟁할 만한 중간 순위의 성능을 보여주며, 특히 최근 뉴스 데이터(WikiNews-25)에서 7B 미만 시스템을 대등하게 하거나 능가한다.
- FLORES-200: DIETA+allsynth는 파라미터 수가 6분의 1임에도 불구하고 COMET 점수에서 NLLB-3.3B와 거의 일치하는 성능을 보인다.
데이터 영향: 합성 역번환 데이터는 명확한 이득을 제공했다. DIETA+BT는 병렬 전용 베이스라인 대비 +1에서 +3 BLEU를 추가했으며, 지속 학습(DIETA+cont, DIETA+allsynth)은 모델 크기를 늘리지 않고도 추가적인 개선을 가져왔다.
방향성: 타겟 측 데이터가 더 풍부하기 때문에 IT→EN 방향이 일반적으로 더 높은 성능(2–12 BLEU 높음)을 보였으나, 합성 이탈리아어 데이터의 도입으로 이 격차가 좁혀졌다. WikiNews-25는 EN→IT가 약간 더 쉬운 예외적인 사례였다.

의의 및 기여

본 논문은 데이터 규모와 작업 특화 학습이 모델 파라미터의 상당한 감소를 보완할 수 있음을 주장한다. 주요 기여는 다음과 같다:

DIETA 모델: 견고하고 고품질의 이탈리아어-영어 번역을 제공하며, 소비자용 GPU 하나에 적합하면서도 훨씬 더 큰 LLM과 경쟁할 수 있는 특화된 오픈 소스 0.5B 파라미터 디코더 전용 트랜스포머.
큐레이션된 코퍼스: 다양한 출처에서 유래된 대규모의 정밀하게 큐레이션된 병렬 코퍼스(207M 쌍) 및 합성 코퍼스(352M 쌍) 공개.
WikiNews-25: 현대적인 콘텐츠에 대한 벤치마킹을 용이하게 하기 위해 2025년 뉴스 기사를 기반으로 한 새로운 평가 세트.
효율성: 작은 전문 모델이 더 큰 범용 모델과 대등한 성능을 달성할 수 있음을 입증함으로써, 향한 미래의 발전이 단순히 모델 크기를 키우는 것이 아니라 참조 없는 품질 추정(QE) 튜닝에 있을 수 있음을 시사함.

저자들은 참조 없는 QE 지표에서 9B 규모의 SOTA 모델들과의 성능 격차가 여전히 존재하지만, DIETA 제품군은 특화된 번역 작업을 위한 매우 효율적인 솔루션을 제공한다고 결론지었다. 향-후 연구로는 QE 격차를 해소하기 위한 미세 조정(fine-tuning)과 양자화를 통한 엣지 배포 지원이 계획되어 있다.