💬 NLP

EuroLLM-22B: Technical Report

이 논문은 기존 모델들에서 유럽 언어들이 과소 대표되는 문제를 해결하기 위해 35개 언어(24개 모든 공식 EU 언어 포함)를 지원하도록 처음부터 학습된 대규모 언어 모델인 EuroLLM-22B를 소개하며, 추론, 지시 이행 및 번역에서 경쟁력 있는 성능을 달성하는 동시에 향후 연구를 지원하기 위해 모든 관련 데이터셋, 모델 및 코드를 공개한다.

원저자: Miguel Moura Ramos, Duarte M. Alves, Hippolyte Gisserot-Boukhlef, João Alves, Pedro Henrique Martins, Patrick Fernandes, José Pombal, Nuno M. Guerreiro, Ricardo Rei, Nicolas Boizard, Amin Farajian, Ma

게시일 2026-02-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Miguel Moura Ramos, Duarte M. Alves, Hippolyte Gisserot-Boukhlef, João Alves, Pedro Henrique Martins, Patrick Fernandes, José Pombal, Nuno M. Guerreiro, Ricardo Rei, Nicolas Boizard, Amin Farajian, Mateusz Klimaszewski, José G. C. de Souza, Barry Haddow, François Yvon, Pierre Colombo, Alexandra Birch, André F. T. Martins

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

EuroLLM-22B: 유럽의 다국어 사서

인공지능의 세계를 거대한 도서관이라고 상상해 보세요. 오랫동안 이 도서관은 영어로 쓰인 책들이 지배해 왔습니다. 만약 당신이 도서관에 들어가 프랑스어, 독일어, 또는 포르투갈어로 된 이야기를 찾아달라고 요청한다면, 몇 권의 책을 찾을 수는 있겠지만, 그것들은 종종 영어 이야기를 번역한 것이거나 현지 문화를 온전히 이해하지 못하는 저자들이 쓴 것일 때가 많았습니다.

EuroLLM-22B는 이를 해결하기 위해 설계된 새롭고 거대한 프로젝트입니다. 이것은 모든 24개의 유럽연합 공식 언어와 아랍어, 중국어, 일본어와 같은 11개의 주요 언어를 말하고, 이해하고, 추론할 수 있도록 처음부터 특별히 구축된 "대규모 언어 모델"(매우 똑똑한 디지털 사서라고 생각하세요)입니다.

이 팀이 이 디지털 사서를 어떻게 만들었는지 쉬운 용어로 설명해 드립니다.

1. 설계도 (아키텍처)

집을 짓기 전에는 설계도가 필요합니다. 팀은 단순히 기존 설계를 복사해서 붙여넣은 것이 아니라, 방대한 양의 정보를 처리할 수 있도록 설계도를 수정했습니다.

규모: 이 모델은 220억 개의 "뉴런"(파라미터)을 가지고 있습니다. 비유를 하자면, 이전 버전(9B)이 똑똑한 고등학생이라면, 이 버전은 매우 큰 기억력을 가진 숙련된 대학교수와 같습니다.
긴 기억력: 가장 큰 업그레이드 중 하나는 "컨텍스트 윈도우(문맥 창)"입니다. 소설을 읽는다고 상상해 보세요. 오래된 모델들은 앞부분을 잊어버리기 전에 마지막 몇 페이지만을 기억할 수 있었습니다. EuroLLM-22B는 한 번에 32,000 단어를 머릿속에 담을 수 있습니다. 이 모델은 짧은 이야기 한 편이나 긴 법률 문서를 읽고, 첫 페이지부터 마지막 페이지까지의 세부 사항을 놓치지 않고 기억할 수 있습니다.

2. 학습 식단 (데이터)

좋은 재료 없이는 훌륭한 요리사를 만들 수 없습니다. 팀은 모델을 훈련시키는 동안 모델에게 먹일 "음식"을 매우 까다롭게 골랐습니다.

필터링: 그들은 인터넷 전체를 모델에 쏟아붓지 않았습니다. 그들은 텍스트의 품질을 0에서 5까지 점수를 매기는 특별한 필터(EuroFilter)를 사용하여 품질을 평가했습니다. 쓸모없는 데이터(무작위 코드나 저품질 웹 페이지 등)는 버리고, 고품질의 교육 및 문학 콘텐츠만을 남겼습니다.
단계: 그들은 학생이 학교를 다니듯 세 단계로 모델을 훈련시켰습니다:
1. 초등 과정: 기초를 가르치기 위해 방대한 양의 일반 데이터를 사용했습니다.
2. 고등학교 과정: 추론 능력을 정교하게 만들기 위해 더 높은 품질의 데이터를 도입했습니다.
3. 대학원 과정: 마지막 단계에서는 수학, 코딩, 번역된 서적을 포함하여 이용 가능한 최고의 데이터를 제공하여 지능을 날카롭게 다듬었습니다.
언어의 혼합: 영어에 치중된 다른 모델들과 달리, EuroLLM-22B는 첫날부터 모든 유럽 언어의 균형 잡힌 식단을 제공받아 특정 언어가 다른 언어보다 우위에 서지 않도록 했습니다.

3. 최종 다듬기 (지시어 튜닝)

모델이 사실을 배운 후에는 어떻게 행동해야 하는지 배워야 했습니다. 이것을 "사후 훈련(post-training)"이라고 합니다.

교실: 팀은 EuroBlocks라는 새로운 데이터셋을 사용했습니다. 이것을 "비에 대해 시를 써줘"부터 "이 수학 문제를 풀어줘", "이 문장을 번역해줘"에 이르기까지 모든 것을 다루는 방대한 연습 문제와 답변의 모음이라고 상상해 보세요.
선생님: 그들은 다른 고급 AI 모델들을 사용하여 이러한 질문들에 대한 고품질의 답변을 생성한 다음, EuroLLM-22B가 지시 사항을 정확하게 따르는 법을 배울 수 있도록 최상의 답변들을 선택했습니다. 또한 최종 출력이 깔끔하고 직접적이도록 "추론 흔적"(내부 독백)을 제거했습니다.

4. 성적표 (결과)

팀은 EuroLLM-22B가 다른 유명한 AI 모델들과 비교했을 때 어떻게 수행하는지 테스트했습니다.

경쟁: 그들은 다른 "완전 오픈" 모델(코드와 가중치를 누구나 자유롭게 사용할 수 있는 모델) 및 일부 "오픈 웨이트" 모델(모델을 사용할 수는 있지만 어떻게 만들어졌는지는 볼 수 없는 모델)과 비교했습니다.
결과:
- 유럽의 챔피언: 유럽에서 만들어진 완전 오픈 모델들 중에서 EuroLLM-22B가 가장 강력합니다. 이 모델은 훨씬 더 큰 규모(예: 700억 파라미터 모델)의 다른 유럽 모델들보다 뛰어난 성능을 보였습니다.
- 번역: 이 모델은 언어 간 번역에 탁월하며, 종종 자신보다 두 배 더 큰 규모의 모델과 대등한 성능을 보여줍니다.
- 추론: 논리 퍼즐, 수학, 그리고 복잡한 지시 사항을 따르는 데 매우 능숙합니다.
- 효율성: 논문은 EuroLLM-22B가 15조 단어를 사용한 일부 경쟁 모델에 비해 "적당한" 양의 훈련 데이터(4조 단어)만으로도 이러한 결과를 달성했음을 언급하며, 고품질의 데이터가 단순히 방대한 양보다 더 중요하다는 것을 시사했습니다.

5. 세상에 주는 선물

이 논문의 가장 중요한 부분은 팀이 이 도서관을 자신들만 소유하지 않았다는 점입니다. 그들은 모든 것을 대중에게 공개합니다:

모델: "베이스(base)" 버전(가공되지 않은 뇌)과 "인스트럭트(instruct)" 버전(도움이 되는 비서) 모두를 공개합니다.
데이터: 모델을 훈련하는 데 사용한 실제 데이터셋(EuroWeb 및 EuroBlocks)을 공개하여 다른 연구자들이 배울 수 있도록 합니다.
코드: 모델을 구축하고 테스트하는 데 사용한 소프트웨어 도구들도 공개합니다.

요약하자면: EuroLLM-22B는 유럽의 언어들이 AI 혁명에서 뒤처지지 않도록 설계된 강력한 오픈 소스 AI 도구입니다. 이는 신중한 데이터 선택과 품질에 대한 집중이 있다면, 폐쇄적이고 비밀스러운 프로젝트가 아니더라도 여러분의 언어를 유창하게 구사하는 세계적인 수준의 AI를 구축할 수 있음을 증명합니다.

기술 요약: EuroLLM-22B

문제 정의

대규모 언어 모델(LLM)의 급격한 발전에도 불구하고, 현재의 생태계는 영어와 소수의 고자원 언어에 크게 치우쳐 있습니다. 주요 모델 중 상당수는 폐쇄형이거나 부분적으로만 공개되어 있어, 학습 데이터 및 절차에 대한 투명성이 제한적입니다. 결과적으로, 많은 유럽 언어들이 충분한 지원을 받지 못하고 있으며, 유럽 연합(EU)의 공식 언어 전반을 네이티브로 지원할 수 있는 "유럽에서 만든" 모델은 드문 실정입니다. EuroLLM 프로젝트는 유럽의 언어적 다양성을 우선시하고 EU 내의 AI 발전을 촉진하는 오픈 모델을 개발함으로써 이러한 격차를 해소하기 위해 시작되었습니다.

방법론

아키텍처 및 모델링

EuroLLM-22B는 이전 모델(EuroLLM 1.7B 및 9B)의 아키텍처 결정 사항을 기반으로 구축된 226억 개의 파라미터를 가진 모델입니다. 주요 사양은 다음과 같습니다:

토큰화: 24개의 공식 EU 언어와 11개의 추가 언어(아랍어, 카탈루냐어, 중국어, 갈리시아어, 힌디어, 일본어, 한국어, 노르웨이어, 러시아어, 터키어, 우크라이나어)를 포괄하는 128,000개의 유닛을 가진 BPE 기반 토크나이저를 사용합니다.
아키텍처: Grouped Query Attention (GQA), pre-layer normalization, RMSNorm, SwiGLU 활성화 함수 및 Rotary Positional Embeddings (RoPE)를 활용합니다.
컨텍스트 윈도우: RoPE 스케일링 인자( $\theta$ )를 $1 \times 10^4$ 에서 $1 \times 10^6$ 으로 조정함으로써 32,768 토큰으로 대폭 확장했습니다.

사전 학습 전략

모델은 모델이 고품질 데이터에 점진적으로 노출되도록 설계된 3단계 학습 스케줄을 통해 약 4조 개의 토큰으로 사전 학습되었습니다:

1단계: 피크 학습률 $1.5 \times 10^{-4}$ 로 선형 웜업을 수행하며 3.6T 토큰으로 학습됩니다. 이 단계에는 고품질 교육 문서인 FineWeb-edu가 나중 단계로 미뤄지지 않고 즉시 포함됩니다.
2단계: 400B 토큰에 걸친 어닐링(annealing) 단계로, 학습률을 피크치의 10%로 감소시킵니다.
3단계: 학습률이 0으로 떨어지는 최종 감쇠 단계입니다. 이 단계에는 32K 컨텍스트 윈도우를 지원하기 위해 롱 컨텍스트 데이터(도서 및 코드)가 포함됩니다.

데이터 큐레이션:

웹 데이터: 영어 데이터는 FineWeb-edu 및 Nemotron-CC에서 가져옵니다. 다국어 데이터는 고자원 언어를 위해 RedPajama-Data-v2를, 그 외 언어를 위해 HPLT, MADLAD-400, CulturaX, mC4를 통합하여 사용합니다. 모든 데이터는 퍼플렉시티(perplexity) 체크, 휴리스틱 필터(예: "lorem ipsum" 또는 과도한 대문자 제거), 그리고 0에서 5까지의 점수를 부여하는 EuroFilter 분류기를 통한 품질 점수 산출을 포함한 엄격한 필터링 과정을 거칩니다.
병렬 데이터: 문장 수준 및 문서 수준의 병렬 데이터(xx $\leftrightarrow$ en)는 Europarl, ParaCrawl, WikiMatrix와 같은 소스에서 수집되었으며, Bicleaner 및 CometKiwi-22를 사용하여 필터링되었습니다.
코드 및 수학: 데이터는 The Stack, Algebraic-stack, Open-web-math에서 가져옵니다. 세 번째 단계에서는 FineMath와 Qwen-2.5 모델로 생성된 합성 수학 데이터를 도입하며, 이는 LLM-as-a-Judge에 의해 필터링됩니다.
고품질 소스: 영어의 경우 Wikipedia, ArXiv, Books, Apollo가 사용되며, 후기 단계에는 Cosmopedia(및 그 번역 변체들)가 추가됩니다.

사후 학습 (Post-Training)

지시어 튜닝 모델(EuroLLM-22B-Instruct)은 약 1,060만 개의 예시를 포함하는 새로운 다국어 지시어 데이터셋인 EuroBlocks-22B를 사용하여 베이스 모델으로부터 파생됩니다.

데이터셋 구축: 다양한 공개 소스(예: Hermes-3, Tülu 3, Nemotron V2)의 지시어를 포함하여 이전 버전의 EuroBlocks를 기반으로 구축되었습니다. 응답은 역량 있는 오픈 모델(DeepSeek, Qwen, Llama)을 사용하여 재생성되었으며, Skywork-Gemma2-27B를 보상 모델로 사용하여 선택되었습니다.
필터링: 비-추론(non-reasoning) 지시어-응답 코퍼스를 만들기 위해 구조화된 추론 흔적(reasoning traces)을 제거했습니다.
미세 조정: bfloat16 혼합 정밀도, 시퀀스 패킹(sequence packing), 코사인 학습률 스케줄러(최대 LR $1 \times 10^{-5}$ )를 사용하여 5 에포크 동안 미세 조정되었습니다. 학습 효율은 Axolotl과 Liger-Kernel을 사용하여 향상되었습니다.

주요 기여

EuroLLM-22B 모델: 24개의 공식 EU 언어와 11개의 추가 언어를 지원하고 32K 컨텍스트 윈도우를 가진, 처음부터 학습된 22B 파라미터 모델을 출시했습니다.
개선된 EuroLLM-9B: 22B 버전과 동일한 롱 컨텍스트 확장 및 사후 학습 레시피를 통합한 업데이트된 9B 모델입니다.
EuroWeb 데이터셋: 품질 필터링된 데이터 티어를 포함하여 EuroLLM 22B에 사용된 다국어 웹 사전 학습 데이터셋을 공개했습니다.
EuroBlocks-22B: 고품질 합성 응답을 포함한 새롭고 확장된 다국어 지시어 데이터셋입니다.
오픈 소스 생태계: 베이스 및 지시어 튜닝 모델과 함께 사전 학습(Megatron-LM 포크) 및 평가 코드베이스를 공개했습니다.

결과

광범위한 영어 및 다국어 벤치마크에서 평가된 EuroLLM-22B는 경쟁력 있는 성능을 보여줍니다:

스케일링 트렌드: 모델은 EuroLLM-9B 및 EuroLLM-22B-Preview에 비해 일관된 개선을 보여주며, EuroLLM 제품군 내에서 긍정적인 스케일링 트렌드를 확인시켜 줍니다.
유럽 모델과의 비교: EuroLLM-22B는 완전한 오픈 소스 유럽 모델 중 가장 강력한 성능을 달성했습니다. 특히, 지시어 이행 및 STEM 작업에서 약 1/3의 파라미터만을 가진 Apertus-70B(70B 파라미터 모델)와 대등하거나 이를 능가하는 성능을 자주 보여줍니다.
글로벌 모델과의 비교: 종합 점수에서 최고 수준의 오픈 웨이트 모델(예: Llama-3.3-70B, Qwen-3-30B-A3B)에는 뒤처지지만, 유럽 언어를 위해 특별히 설계된 가장 유능한 완전 오픈 대안을 제공합니다.
번역: 업데이트된 사후 학습 레시피는 번역 품질을 저하시키지 않으면서 일반적인 어시스턴트 동작과 추론 능력을 강화하여 견고한 번역 성능을 유지합니다.
롱 컨텍스트: 32K 토큰으로의 확장은 긴 형식의 입력을 효과적으로 모델링할 수 있게 하며, 기존 4K 컨텍스트 모델로는 접근할 수 없었던 WMT25와 같은 벤치마크를 커버할 수 있게 합니다.

의의 및 주장

본 논문은 EuroLLM-22B를 유럽 내 AI 민주화를 향한 중요한 단계로 규정합니다. 저자들은 유럽의 전체 언어적 다양성을 네이티브로 지원하는 완전한 오픈 형태의 고품질 모델을 제공함으로써, 폐쇄적이고 영어 중심적인 모델에 대한 의존도를 낮추고자 합니다. 저자들은 EuroLLM이 훨씬 더 많은 데이터(예: Apertus-70B의 15T 토큰)로 학습된 더 큰 모델들과 비교했을 때, 상대적으로 적은 토큰 예산(4T 토큰)으로도 강력한 품질을 달성했다고 주장하며, 이는 고품질 데이터 큐레이션과 타겟팅된 사후 학습이 성능 격차를 줄이는 데 효과적인 전략임을 시사합니다. 관련 데이터셋과 코드베이스의 공개는 유럽 언어 이해 및 생성에 관한 향후 연구를 지원하기 위한 목적을 가집니다.