GottBERT: a pure German Language Model

기술 요약: GottBERT: 순수 독일어 언어 모델

문제 정의
BERT나 RoBERTa와 같은 사전 학습된 언어 모델(LM)이 자연어 처리(NLP) 분야에 혁신을 가져왔지만, 초기 연구의 초점은 주로 영어에 집중되어 있었습니다. 다국어 모델들이 존재하기는 하지만, 단일 언어 모델은 사전 학습 효율성, 자원 활용도 및 다운스트림 작업 성능 측면에서 이점을 제공하는 경우가 많습니다. 대규모 프롬프트 기반 LLM의 부상에도 불구하고, 더 작고 계산 효율적인 BERT 스타일의 모델들은 실제 배포를 위해 여전히 중요합니다. 본 연구가 진행될 당시에는, 방대한 양의 고품질 독일어 코퍼스만을 사용하여 학습된 전용 단일 언어 독일어 RoBERta 모델이 부족한 상태였습니다. 기존의 독일어 모델들(예: GermanBERT, dbmdz BERT)은 주로 원래의 BERT 아키텍처를 기반으로 하거나 혼합된 데이터 소스를 활용했으며, RoBERTa의 특정 아키텍처 최적화와 함께 OSCAR 코퍼스의 규모를 온전히 활용한 모델은 없었습니다.

방법론
저자들은 GottBERT를 개발하였으며, 이는 독일어 OSCAR(Open Super-large Crawled ALMAnaCH coRpus) 데이터셋의 독일어 부분을 활용한 최초의 독일어 단일 언어 RoBERTa 모델입니다. 방법론은 다음과 같은 몇 가지 핵심 단계로 구성됩니다:

1. 데이터 큐레이션 및 필터링:

   • 출처: 모델은 최초로 발표된 중복 제거 버전의 독일어 OSCAR 코퍼스(145GB, 약 215억 개의 단어)를 사용하여 학습되었습니다.
   • 필터링 전략: FlauBERT에서 영감을 받아, 저자들은 "깨끗한(clean)" 버전(121GB, 약 181억 개의 단어)을 만들기 위한 필터링 파이프라인을 구현했습니다. 이 과정은 다음 사항들을 해결했습니다:
     • 인코딩 오류: UTF-8 디코딩 문제로 인한 잘못된 움라우트(umlauts)를 수정하고 재현 불가능한 문자가 포함된 라인을 제거했습니다.
     • 콘텐츠 품질: 스팸, 단어 목록 및 비독일어 문서를 제거했습니다.
     • 구문론적 휴리스틱: n-gram 기반의 언어 감지 알고리즘을 사용하여 ASCII 아트(ASCII art)를 필터링하고, 12k개의 문서를 학습시킨 단일 클래스 SVM을 사용하여 "지저분한(dirty)" 콘텐츠를 식별했습니다. 이 SVM은 명사의 대문자 표기, 불용어 비율, 구두점, 고유 단어 및 대문자 토큰과 같은 독일어 특유의 언어적 특징을 활용했습니다.
   • 어휘(Vocabulary): 40GB의 무작위 샘플링된 독일어 텍스트를 사용하여 BPE(Byte Pair Encoding) 방식으로 52k개의 서브워드 토큰 어휘를 계산하였으며, 이는 영어로 학습된 GPT-2 토크나이저와 비교했을 때 바이너리 데이터 크기를 40% 감소시켰습니다.

2. 사전 학습 인프라:

   • 하드웨어: GottBERT는 TPU(Tensor Processing Units)에서 사전 학습된 최초의 발표된 RoBERTa 모델입니다. 베이스 모델은 256코어 TPUv3 포드(pod)에서 학습되었으며, 대형 모델은 128코어 TPUv4 포드를 사용했습니다.
   • 아키텍처: 모델은 표준 RoBERTa 아키텍처를 따랐습니다(세그먼트 임베딩과 다음 문장 예측을 제거하고 동적 마스킹 사용).
   • 하이퍼파라미터: 학습에는 fairseq 프레임워크를 사용했습니다. 베이스 모델은 배치 크기 8k, 피크 학습률 0.0004로 100k 스텝 동안 학습되었습니다. 대형 모델은 피크 학습률 0.00015를 사용했습니다.
   • 생성된 모델: 네 가지 모델이 생성되었습니다: GottBERTbase 및 GottBERTlarge (필터링되지 않은 데이터), 그리고 fGottBERTbase 및 fGottBERTlarge (필터링된 데이터).

3. 평가:

   • 모델들은 다섯 가지 다운스트림 작업에 대해 미세 조정(fine-tuning) 및 평가되었습니다:
     • 자연어 추론 (NLI): XNLI (독일어 부분).
     • 개체명 인식 (NER): CoNLL 2003 (독일어) 및 GermEval 2014.
     • 텍스트 분류: GermEval 2018 (거친 분류 및 세밀한 분류) 및 10kGNAD (뉴스 주제 분류).
   • 성능은 F1 스코어와 정확도로 측정되었으며, 결과의 견고성을 보장하기 위해 다양한 하이퍼파라미터를 적용한 24회의 실행 결과를 평균 냈습니다.

주요 기여

• 최초의 독일어 RoBERTa: 독일어 OSCAR 코퍼스로만 독점적으로 학습된 최초의 단일 언어 독일어 RoBERTa 모델을 도입했습니다.
• 필터링 방법론: 독일어 텍스트를 위해 구문적 특징(명사 대문자 표기 등)과 머신러닝(SVM)을 활용하여 저품질 데이터를 제거하는 특정 필터링 방법을 개발하고 적용했습니다.
• 오픈 릴리스: 독일 NLP 연구 커뮤니티를 지원하기 위해 네 가지 모델 변형(베이스 및 라지, 필터링 및 미필터링)을 MIT 라이선스 하에 공개했습니다.
• 경험적 분석: 새로운 모델들을 기존 독일어 BERT 모델들(GermanBERT, dbmdz BERT, GBERT, GELECTRA) 및 다국어 모델(mBERT, XLM-RoBERTa)과 비교하는 종합적인 평가를 수행했습니다.

결과

• 베이스 모델: GottBERT는 경쟁력 있는 성능을 보여주었으며, 6개 작업 중 4개에서 선두를 차지했습니다. 특히, GottBERTbase와 fGottBERTbase는 NER 및 텍스트 분류 작업에서 최고 수준 또는 최상위권의 점수를 달성했습니다.
• 대형 모델: 대형 모델들은 견고한 성능을 보였으나, 여러 작업에서 GELECTRAlarge 및 GBERTlarge에 의해 하회하는 경향을 보였습니다. XLM-Rlarge는 GermEval 2014 NER 작업에서 가장 높은 F1 스코어를 기록했습니다.
• 필터링의 영향: 저자들의 예상과는 달리, OSCAR 코퍼스의 필터링은 결과에 유의미한 개선을 가져오지 못했습니다. 일부 경우에는 필터링되지 않은 모델이 필터링된 모델보다 약간 더 나은 성능을 보이거나 대등한 성능을 보였습니다. 저자들은 클리닝 과정이 모델 성능에 도움이 된다고 알려진 가치 있는 텍스트의 변동성(variance)을 의도치 않게 제거했을 수 있다고 시사했습니다.
• 비교: GELECTRA 모델들이 일반적으로 가장 높은 정확도를 달성했는데(이는 ELECTRA 아키텍처와 OPUS 및 OpenLegalData를 포함한 더 크고 다양한 학습 데이터 때문일 가능성이 높음), GottBERT는 특히 베이스 아키텍처 카테고리에서 강력한 베이스라인을 구축했습니다.

의의 및 주장
본 논문은 GottBERT가 특정 작업에서 다국어 모델과 경쟁할 수 있는 최첨단 단일 언어 기반을 제공하며, 독일 NLP 커뮤니티에 가치 있고 효율적인 자원 역할을 한다고 주장합니다. 저자들은 특정 데이터 클리닝 전략이 기대했던 성능 향상을 가져오지는 않았지만, TPU 상에서 RoBERTa 모델을 성공적으로 사전 학습한 것과 이 모델들을 공개하는 것이 향후 연구를 위한 중요한 인프라를 제공한다는 점을 강조합니다.

저자들은 자신들의 결과가 OSCAR 코퍼스의 첫 번째 버전에 국한되어 있으며, 모델이 학습 데이터에 잘 나타나지 않는 문화적 뉘앙스나 방언에 어려움을 겪을 수 있음을 겸허히 언급합니다. 또한 필터링 접근 방식이 계산 비용과 데이터 품질 사이의 절충안이었음을 인정하며, 향ers 연구에서는 코퍼스의 변동성을 높이고(예: 위키피디아 또는 법률 데이터 통합) 성능을 더욱 향상시키기 위해 전체 단어 마스킹(Whole Word Masking, WWM)을 활용하는 방향을 탐색해야 한다고 제안합니다. 이 연구는 거대한 LLM의 추세 속에서도 효율적인 단일 언어 모델의 지속적인 관련성을 강조합니다.