기술 요약: HalleluBERT

문제 정의

BERT 및 RoBERTa와 같은 트랜스포머 기반 모델이 자연어 처리(NLP)에 미친 혁신적인 영향에도 불구하고, 히브리어는 처음부터 학습되어 base 및 large 변체 모두로 공개된 대규모 RoBERTa 스타일의 인코더가 부족한 실정입니다. 기존의 히브리어 모델들은 다음과 같은 상당한 한계점을 가집니다:

• 코퍼스 및 규모: HeBERT 및 AlephBERT와 같은 이전 모델들은 상대적으로 규모가 작은 코퍼스(약 10~18GB)로 학습되어, 히브리어의 복잡한 형태론과 도메인 다양성을 포괄하는 데 한계가 있었습니다.
• 학습 투명성: HeRo는 히브리어를 위한 RoBERTa 스타일의 사전 학습을 도입했으나, 핵심적인 학습 세부 사항(예: 유효 배치 크기, 총 업데이트 단계)에 대한 완전한 보고가 부족했으며 제한된 컴퓨팅 자원 하에서 학습된 것으로 보였습니다.
• 모델 변체: 특정 언어에 대한 파라미터 스케일링의 이점을 테스트할 수 있는 공개 가능한 대규모 변체 히브리어 모델이 존재하지 않았습니다.

결과적으로, 다국어 모델(XLM-RoBERTa 등)의 성능에 필적하면서도 단일 언어 사전 학습의 장점을 활용할 수 있는 고품질의 재현 가능한 히브리어 NLP 리소스에 공백이 존재합니다.

방법론

데이터 및 전처리

저자들은 중복 제거된 약 49.1 GB의 히브리어 텍스트로 구성된 사전 학습 코퍼스를 구축했습니다. 이 데이터셋은 다음을 결합합니다:

• HeDC4: mC4 및 OSCAR22에서 유래한 정제되고 언어가 식별된 웹 코퍼스 (약 47.5 GB).
• Wikipedia: 히브리어 위키피디아 덤프 (약 1.6 GB).
  소스별 크롤링으로 인한 순서 효과를 완화하기 위해 학습 전 문서를 섞었습니다(shuffling).

토큰화를 위해 저자들은 RoBERTa와 일관되게 바이트 수준에서 작동하는 **Byte-Pair Encoding (BPE)**를 채택했습니다. 영어에 최적화된 토크나이저(예: GPT-2)를 사용하는 대신, 20GB의 섞인 텍스트를 사용하여 히브리어 특화 어휘집을 학습시켰습니다. 이를 통해 히브리어의 철자 및 형태론적 특성에 맞춘 52k 서브워드 인벤토리를 생성했습니다.

모델 아키텍처 및 사전 학습

본 논문은 두 가지 변체를 가진 RoBERTA 스타일의 인코더 제품군인 HalleluBERT를 소개합니다:

• HalleluBERTbase: 기존 히브리어 BERT 모델과 유사한 규모 (~126M 파라미터).
• HalleluBERTlarge: 규모를 키운 변체 (~357M 파라미터).

학습은 128-코어 TPUv4 pod에서 fairseq 프레임워크를 사용하여 수행되었습니다. 주요 학습 하이퍼파라미터는 다음과 같습니다:

• 정밀도(Precision): 풀 정밀도 (프레임워크 제한으로 인해 혼합 정밀도는 사용되지 않음).
• 스케줄: 10k-스텝 웜업을 포함한 100,000 업데이트 단계 및 다항식 학습률 감쇠(polynomial learning rate decay).
• 배치 크기: 글로벌 배치 크기 8k.
• 학습률: 베이스 모델은 0.0004, 라지 모델은 0.00015.
• 기간: 베이스 모델은 약 30.2시간 동안 학습되었고, 라지 모델은 약 6.0일이 소요되었습니다.

평가 프로토콜

모델은 개체명 인식(NER) 및 **감성 분류(Sentiment Classification)**를 위한 네이티브 히브리어 벤치마크에서 평가되었습니다:

• NER: BMC 데이터셋과 NEMO2의 토큰 기반 변체에서 평가되었습니다.
• Sentiment: OmiLab 데이터셋의 정제된 버전인 SMCD(Social Media Comments Deduplicated, 약 8,465개의 고유 샘플 포함)에서 평가되었습니다.

평가 파이프라인은 NVIDIA RTX 3090 GPU에서 배치 크기 {16, 32} 및 학습률 {5e-6 ~ 5e-5}에 대한 그리드 서치를 활용했습니다. 모델은 조기 종료(early stopping)와 함께 최대 30 에포크까지 미세 조정(fine-tuning)되었습니다. 성능은 NER의 경우 micro-averaged F1, 감성의 경우 macro-averaged F1을 사용하여 측정되었습니다.

주요 기여

1. HalleluBERT 공개: 저자들은 대규모 정제된 코퍼스로 처음부터 학습된 히브리어용 RoBERTa 스타일 인코더의 베이스 및 라지 변체를 모두 공개했습니다.
2. 커스텀 토크나이저: 히브리어 특화 바이트 수준 BPE 토크나이저(52k 어휘집) 개발 및 공개.
3. 포괄적인 벤치마킹: 기존 단일 언어 모델(HeBERT, AlephBERT, HeRo) 및 다국어 베이스라인(mBERT, XLM-RoBERTa)과의 엄격한 비교.
4. 오픈 사이언스: 재현 가능한 연구를 지원하기 위해 모든 모델 가중치와 토크나이저는 MIT 라이선스 하에 공개됩니다.

결과

HalleluBERT는 평가된 작업 전반에서 최첨단(SOTA) 성능을 달est했습니다:

• 개체명 인식 (NER):
  • HalleluBERTbase는 BMC(93.33)와 NEMO(87.06) 모두에서 가장 높은 micro-F1 점수를 기록하며 다른 모든 베이스 모델을 능가했습니다.
  • HalleluBERTlarge는 NEMO(88.70)와 NER 평균에서 일관된 우위를 유지하여, 스케일링이 NER 성능에 이점을 준다는 것을 확인했습니다.
• 감성 분류 (Sentiment Classification):
  • AlephBERT가 베이스 모델 중 선두를 달렸으나(83.66), HalleluBERTlarge는 전체 최고 분류 점수(84.91)를 기록하며 XLM-RoBERTa-large를 1점 이상 앞섰습니다.
• 전반적인 성능:
  • HalleluBERTlarge는 세 가지 벤치마크(BMC, NEMO, SMCD) 전체에서 88.95라는 가장 높은 unweighted mean 점수를 기록하며 평가된 모든 모델 중 1위를 차지했습니다.
  • HalleluBERTbase는 종합 평균에서 다른 모든 베이스라인을 앞서며 전체 2위(87.83)를 기록했습니다.

특히, 결과는 대규모 고품질 코퍼스에 대한 단일 언어 사전 학습이 히브리어 특정 작업에 대해 다국어 인코더보다 우수한 성능을 제공함을 나타냅니다.

의의 및 주장

본 논문은 HalleluBERT가 히브리어를 위한 대규모 배치, 단일 언어 사전 학습의 가치를 입증한다고 주장합니다. 저자들은 데이터와 컴퓨팅 규모가 충분할 때 보수적인 하이퍼파라미터 선택(예: 풀 정밀도 학습, 표준 학습률)을 통해서도 상당한 성능 향상을 달성할 수 있다고 주장합니다.

이 연구는 다음을 강조합니다:

1. 단일 언어의 우월성: 히브리어의 경우, 고품질 히브리어 텍스트로만 학습된 모델이 다국어 대응 모델보다 뛰어난 성능을 보이며, 이는 언어 특화 리소스의 필요성을 강화합니다.
2. 확장성(Scalability): 베이스에서 라지 변체로 확장하는 것은 특히 NER 작업에서 일관되지만 때로는 미미한 개선을 제공합니다.
3. 재현성: 모델과 토크나이저를 공개함으로써, 저자들은 이전의 학습 투명성 및 모델 가용성 격차를 해소하고 히브리어 NLP의 새로운 표준 베이스라인을 구축하고자 합니다.

저자들은 고정된 랜덤 시드로 인한 신뢰 구간의 부재, 혼합 정밀도 학습의 부재(컴퓨팅 효율성 제한), 사전 학습 데이터에서의 방언 또는 도메인 특화 변형(예: 성서 히브리어, 법률 텍xt) 제외 등의 한계를 겸허히 인정합니다. 이들은 향후 연구에서 Whole Word Masking(WWM), 어휘 절제 연구(vocabulary ablations), 그리고 더 넓은 평가 세트를 탐구할 수 있을 것이라고 제안합니다.