기술 요약: EuroBERT: 유럽 언어를 위한 다국어 인코더 스케일링

문제 정의

범용 다국어 벡터 표현은 정보 검색, 분류, 회귀와 같은 자연어 처리(NLP) 작업의 기초가 됩니다. 전통적으로 이러한 표현은 양방향 인코더 모델(예: BERT, XLM-RoBERTa)로부터 파생되었습니다. 그러나 최근의 연구 진보는 단방향 디코더 전용 생성 모델에 크게 치우쳐 왔습니다. 디코더 모델은 아키텍처, 데이터 품질 및 규모 측면에서 상당한 발전을 이끌어냈지만, 이러한 혁신이 양방향 인코더로 체계적으로 전이되지는 않았습니다. 결과적으로 실무자들은 현대적인 학습 레시피의 성능 이점을 누리지 못하는 구식 인코더 모델에 의존하고 있습니다. 이는 인코더에 이러한 발전된 기법들을 적용하는 데 있어 내재적인 아키텍처 장벽이 없음에도 불구하고 발생하는 현상입니다.

방법론

저자들은 최근의 디코더 발전을 관점으로 인코더 개발을 재조명하기 위해 설계된 다국어 인코더 제품군인 EuroBERT를 소개합니다. 이 방법론은 세 가지 핵심 구성 요소를 포함합니다:

1. 아키텍처

EuroBERT 모델(210M, 610M, 2.1B 파라미터 크기 제공)은 표준 밀집 트랜스포머(dense transformer) 아키텍처를 채택하되, Llama 2 및 Llama 3에서 영감을 받은 특정 현대화 기법을 통합합니다:

• 편향 제거: 아키텍처에서 모든 편향(bias)을 제거했습니다.
• 어텐션 메커니즘: 그룹 쿼리 어텐션(Grouped Query Attention, GQA)을 구현했습니다.
• 활성화 함수: Swish Gated Linear Units (SwiGLU)를 사용합니다.
• 정규화: 제곱 평균 제곱근(Root Mean Square, RMS) 레이어 정규화를 사용합니다.
• 위치 임베딩: 회전 위치 임베딩(Rotary Position Embeddings, RoPE)을 사용합니다.
• 컨텍스트 길이: 최대 8,192 토큰의 시퀀스를 네이티브로 지원합니다.

2. 데이터셋 구축

모델은 다음을 포함하는 5조 개의 토큰으로 구성된 다국어 코퍼스로 학습됩니다:

• 언어: 주요 유럽 언어(영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 폴란드어, 네덜란드어, 러시아어, 터키어)와 널리 쓰이는 글로벌 언어(중국어, 일본어, 베트남어, 아랍어, 힌디어)를 포함한 15개 언어.
• 도메인: 코퍼스는 일반 텍스트(FineWeb, CulturaX), 병렬 번역 데이터(EuroLLM), 그리고 특화된 도메인인 코드(The Stack v2의 38개 프로그래밍 언어) 및 수학(Proof-Pile-2, Open-Web-Math)을 포함합니다.
• 학습 전략: 사전 학습(Pre-training, 4.8T 토큰)과 어닐링(Annealing, 200B 토큰)으로 구성된 2단계 파이프라인을 사용합니다. 어닐링 단계에서는 고품질 데이터셋과 특정 도메인 균형을 강조하도록 데이터 분포를 조정합니다.

3. 학습 레시피

• 목표: 마스크드 언어 모델링(Masked Language Modeling, MLM).
• 마스킹 비율: 동적인 접근 방식을 사용합니다. 사전 학습에는 50% 마스킹 비율(높은 비율이 더 큰 모델에 유리하다는 발견에 근거)을 적용하는 반면, 어닐링 단계에서는 다운스트림 성능을 최적화하기 위해 이를 **10%**로 줄입니다.
• 커리큘럼 학습: 어닐링 중에 데이터 분포를 튜닝합니다. 저자들은 영어의 비중을 줄이고(26%로 감소) 다른 언어를 비례적으로 늘리는 동시에, 품질 버킷(특히 최고 수준만이 아닌 레벨 3과 4를 혼합)을 섞는 것이 더 나은 결과를 낳는다는 것을 발견했습니다.
• 가변 길이 학습: 고정 길이로 전처리된 문서를 처리하기 위해, 저자들은 어닐링 중에 최대 8,192 토큰까지의 시퀀스에 대해 무작위 크로핑(random cropping)을 적용했으며, 이것이 고정 길이에 대해서만 학습하는 것보다 우수함을 입증했습니다.
• 인프라: 학습은 Adastra 슈퍼컴퓨터에서 MI250X 및 MI300A GPU를 사용하여 수행되었으며, FlashAttention, 융합된 교차 엔트로피(fused cross-entropy) 및 하이브리드 샤딩을 활용했습니다.

주요 기여

1. EuroBERT 제품군: 다양한 작업에서 기존 대안들을 능가하는 세 가지 다국어 인코더 모델(210M, 610M, 2.1B)을 출시했습니다.
2. 개정된 학습 레시피: 높은 마스킹 비율의 사전 학습, 낮은 비율의 어닐링, 그리고 코드 및 수학 데이터의 포함을 통해 인코더 성능을 크게 향상할 수 있음을 입증하여 디코더 시대의 통찰력을 적용할 수 있음을 보여주었습니다.
3. 포괄적인 평가: 다국어 검색, 분류, 회귀, 코드 및 수학 벤치마크에 대한 광범한 벤치마킹을 통해, EuroBERT 모델이 훨씬 작은 크기임에도 불구하고 더 큰 베이스라인(예: XLM-RoBERTa-3.5B)과 대등하거나 이를 능가함을 보여주었습니다.
4. 오픈 릴리스: 향후 연구를 촉진하기 위해 모델, 중간 체크포인트 및 학습 프레임워크를 공개합니다.

결과

EuroBERT 제품군은 광범위한 벤치마크에서 최첨단 또는 경쟁력 있는 성능을 보여줍니다:

• 다국어 검색: EuroBERT 모델은 MIRACL, MLDR, Wikipedia, CC-News에서 최상위 성능을 달성했습니다. 특히 210M 및 610M 모델은 유사한 크기의 모든 베이스라인을 능가하며 3.5B 규모의 XLM-RoBERTa와 경쟁합니다.
• 분류 및 회귀: 모델은 XNLI, PAWS-X, AmazonReviews, MassiveIntent에서 유사한 크기의 대안들과 대등하거나 더 나은 성능을 보입니다. 또한 시퀀스 회귀(WMT, SeaHorse)에서도 강력한 결과를 보여줍니다.
• 코드 및 수학: EuroBERT 모델은 코드 검색(CodeSearchNet, DupStackMath) 및 수학 작업(MathFormula, MathShepherd)에서 모든 베이스라인(영어 전용인 ModernBERT 포함)을 크게 앞섭니다. 학습 중 코드와 수학 데이터를 포함하는 것이 검색 능력을 향상시킨다는 점이 발견되었습니다.
• 긴 컨텍스트: 긴 입력에서 성능이 저하되는 XLM-RoBERTa와 달리, EuroBERT는 최대 8,192 토큰의 컨텍스트 길이에서도 성능을 유지합니다.
• 토큰 분류 (NER): EuroBERT는 NER에서 XLM-RoBERTa보다 약간 뒤처지는데, 저자들은 이를 모델의 능력보다는 토크나이저의 풍요도(어휘 크기) 때문으로 보고 있으며, 엔티티가 유사한 토큰 수로 분할될 경우 성능이 동일해진다고 언급했습니다.

의의 및 주장

본 논문은 EuroBERT 제품군이 범용 다국어 인코더를 학습시키기 위한 "새롭게 정립된 레시피(refreshed recipe)"를 대표한다고 주장합니다. 저자들은 다음을 강조합니다:

• 규모와 아키텍처의 중요성: 모델 용량을 늘리고 현대적인 아키텍처 구성 요소(GQA, RoPE, SwiGLU)를 채택하는 것이 "다국어의 저주(curse of multilinguality)"를 효과적으로 완화합니다.
• 데이터 구성의 결정적 역할: 코드와 수학 데이터의 포함은 다국어 검색을 개선하며, 균형 잡힌 언어 분포(영어의 지배력을 감소시킴)는 전반적인 성능을 향상시킵니다.
• 학습 역학: 사전 학습 중의 높은 마스킹 비율과 어닐링 중의 낮은 비율의 조합, 그리고 무작위 크로핑을 통한 가변 길이 학습은 검색 및 분류 작업을 모두 최적화하는 데 매우 중요합니다.
• 실용적 유용성: 이 모델들은 네이티브 롱 컨텍스트 지원과 코드 및 수학과 같은 특화된 도메인에서의 우수한 성능을 제공하면서도, 이전의 최첨단 인코더들보다 파라미터 효율적인 고성능 다국어 인코더 애플리케이션을 위한 실행 가능한 대안을 제공합니다.

저자들은 자신들의 작업이 최근의 디코더 발전과 인코더의 유용성 사이의 간극을 메우며, 검색, 분류 및 회귀 작업에 대한 강력한 기반을 제공한다고 결론짓습니다.