NorBERTo: A ModernBERT Model Trained for Portuguese with 331 Billion Tokens Corpus

"NorBERTo: 3310 억 토큰 말뭉치로 훈련된 포르투갈어용 ModernBERT 모델"에 대한 상세한 기술 요약은 다음과 같습니다.

1. 문제 제기

포르투갈어 자연어 처리 (NLP) 분야가 발전했음에도 불구하고, 영어 대비 두 가지 중요한 병목 현상에 직면해 있습니다:

• 데이터 부족: 기존 단일 언어 포르투갈어 말뭉치 (예: 약 26.8 억 토큰의 brWaC, 약 150 억 토큰의 Aroeira) 는 영어 모델에 사용된 말뭉치보다 훨씬 작아, 사전 훈련된 모델의 규모와 성능을 제한합니다.
• 아키텍처의 낙후: 대부분의 포르투갈어 모델은 구식 BERT 아키텍처에 의존합니다. 회전 위치 임베딩 (Rotary Positional Embeddings), 장문맥 지원, 효율적인 어텐션 메커니즘 등을 특징으로 하는 ModernBERT와 같은 최신 아키텍처는 영어에서 뛰어난 효율성과 정확성을 입증했으나, 방대하고 고품질의 포르투갈어 데이터셋에 대해 완전히 채택되거나 훈련되지 않았습니다.
• LLM 의 한계: 대규모 언어 모델 (LLM) 은 생성 능력을 제공하지만, 높은 계산 비용, 지연 시간, 개인정보 보호 우려, 그리고 환각 (hallucination) 위험을 안고 있습니다. 생성형 LLM 의 오버헤드가 필요 없는 분류, 검색, 추론과 같은 판별적 작업을 위한 "적정 규모"의 효율적인 인코더 전용 모델에 대한 요구가 있습니다.

2. 방법론

A. 말뭉치 구축: Aurora-PT

저자들은 현재 동종 계열 중 가장 큰 공개 단일 언어 브라질 포르투갈어 말뭉치인 Aurora-PT를 구축했습니다.

• 규모: GPT-2 토크나이저 기준 3310 억 토큰, 커스텀 토크나이저 기준 약 2260 억 토큰을 포함합니다.
• 데이터 소스: Common Crawl 하위 집합 (CC100, mOSCAR, mC4), 위키백과, FineWeb v2, Aroeira, 그리고 Blogset-br과 HPLT 2.0과 같은 전문 데이터셋을 포함한 9 가지 다양한 소스에서 집계되었습니다.
• 전처리 파이프라인: FineWeb v1에서 영감을 받아 다음 단계를 포함했습니다:
  • 언어 필터링: GlotLID 사용 (임계값 0.799).
  • 중복 제거: 14 개 버킷에 걸쳐 112 개 해시를 사용한 MinHash.
  • 품질 필터링: 저품질 콘텐츠 제거 (예: 3 단어 미만 줄, "Javascript", "lorem ipsum"과 같은 코드 조각, 불량한 구두점 또는 문자 분포를 가진 문서).
  • 결과: 약 7 억 개 문서 (2.2 TB) 의 정제되고 중복이 제거된 말뭉치.

B. 모델 아키텍처: NorBERTo

저자들은 Aurora-PT 에서 처음부터 훈련된 포르투갈어 전용 ModernBERT 스타일 인코더인 NorBERTo를 훈련했습니다.

• 아키텍처 특징:
  • 회전 위치 임베딩 (RoPE): 더 긴 문맥으로의 더 나은 외삽을 가능하게 합니다.
  • 하이브리드 어텐션: 긴 시퀀스에 대한 효율성을 최적화하기 위해 전역 어텐션 (1 층과 3 번째마다) 과 로컬 어텐션 (고정 윈도우) 을 교대로 사용합니다.
  • 최적화: 시퀀스 패킹, 훈련 중 언패딩, 편향 없는 선형 프로젝션, 게이트드 선형 유닛 (GeGLU).
• 구성:
  • NorBERTo-base: 약 1 억 5 천만 파라미터, 22 층, 은닉 크기 768.
  • NorBERTo-large: 약 3 억 9 천 5 백만 파라미터, 28 층, 은닉 크기 1,024.

3. 주요 기여

1. Aurora-PT: Aroeira와 GigaVerbo와 같은 기존 리소스를 능가하는 3310 억 토큰 규모의 가장 큰 공개 단일 언어 포르투갈어 말뭉치 공개.
2. NorBERTo: 처음부터 훈련된 최초의 포르투갈어용 ModernBERT 기반 인코더로, 장문맥 지원과 현대적인 효율성을 제공합니다.
3. 종합 벤치마킹: 표준화된 포르투갈어 벤치마크 (ASSIN 2, PLUE) 에서 BERTimbau, Albertina, XLM-RoBERTa 와 같은 최첨단 베이스라인에 대한 NorBERTo 의 체계적 평가.
4. 적정 규모 AI 옹호: 소형 전문 인코더가 더 크고 구식인 모델보다 성능이 우수하며, 특정 NLP 작업에 대해 LLM 보다 효율적인 대안이 될 수 있음을 입증.

4. 결과

모델은 ASSIN 2(의미 유사성 및 텍스트 추론) 와 PLUE(GLUE 의 포르투갈어 적응 버전인 포르투갈어 언어 이해 평가) 에서 평가되었습니다.

A. 퍼플렉시티

NorBERTo 는 브라질 포르투갈어 말뭉치에서 20,437.97의 최저 퍼플렉시티를 달성하여 brWaC(107,721) 과 Aroeira(306,549) 와 같은 베이스라인을 크게 능가했으며, 이는 우수한 언어 모델링 능력을 나타냅니다.

B. PLUE 벤치마크 (분류 및 추론)

NorBERTo-large 는 평가된 모든 작업에서 새로운 최첨단 (SOTA) 결과를 달성했습니다:

• MRPC(문장 유사성 탐지): 0.9191 F1(BERTimbau-large 를 +3.2 점 상회).
• RTE(텍스트 추론 인식): 0.7689 정확도(BERTimbau-large 를 +1.4 점 상회).
• WNLI(코어퍼런스): 0.5774 F1(모든 모델 중 최고).
• 참고: 베이스 모델 또한 MRPC 에서 더 큰 레거시 모델 (예: BERTimbau-large) 보다 우수한 성능을 보였습니다.

C. ASSIN 2 벤치마크

• 텍스트 추론: NorBERTo-large(시퀀스 분류) 는 약 0.904 의 최고 F1 점을 달성하여 BERTimbau-large(0.881) 와 Albertina 를 능가했습니다.
• 의미 유사성: NorBERTo 는 BERTimbau-large(피어슨 상관관계 0.766 대 0.852) 보다 약간 뒤처졌습니다. 저자들은 이는 BERTimbau 가 영어로 초기화된 체크포인트에 대한 지속적 사전 훈련의 혜택을 받아 구문/의미 지식 전이에 도움이 된 반면, NorBERTo 는 처음부터 훈련되었기 때문이라고 설명합니다.

5. 의의 및 향후 작업

• 효율성 대 성능: 이 논문은 최신 아키텍처(ModernBERT) 와 방대한 단일 언어 데이터(Aurora-PT) 를 결합하면 중규모 모델 (약 1 억 5 천만~4 억 파라미터) 이 더 크고 구식인 모델 (약 9 억 파라미터) 의 성능을 맞먹거나 능가하고, 판별적 작업에서 LLM 과 경쟁할 수 있음을 입증합니다.
• 배포 타당성: NorBERTo 는 현실적인 배포를 위해 설계되었습니다: 서비스 제공이 효율적이고, 미세 조정이 용이하며, 검색 증강 생성 (RAG) 시스템의 백본으로 적합합니다.
• 한계: 저자들은 훈련 토큰 수 (2260 억) 가 원래 영어 ModernBERT 에 사용된 수조 개보다 작아 희귀한 언어 패턴이나 광범위한 사실적 지식에 대한 일반화에 제한이 있을 수 있음을 인정합니다.
• 향후 방향: NorBERTo 를 10 억~20 억 파라미터로 확장, 유사성 작업을 위한 대비 학습 탐구, 그리고 Aurora-PT 를 기반으로 디코더 전용 및 인코더 - 디코더 모델 훈련 계획이 포함되어 있습니다.

결론적으로, NorBERTo는 범용 LLM 의 prohibitive 한 비용에 의존하지 않고 효율적이고 고성능인 언어 시스템을 구축하기 위한 견고하고 현대적이며 개방적인 기반을 제공함으로써 포르투갈어 NLP 에 있어 중요한 도약입니다.