기술 요약: DunbaaBERT: 희생에서 의미론으로

문제 제기

제로샷 (zero-shot) 및 퓨샷 (few-shot) 학습에서 대규모 언어 모델 (LLM) 의 급속한 발전에도 불구하고, 우르두어는 NLP 생태계에서 여전히 자원이 현저히 부족한 언어로 남아 있습니다. 1 억 명 이상이 구사하는 언어임에도 불구하고, 우르두어는 고품질 학습 데이터의 부족, 단편화된 평가 환경, 그리고 체계적으로 평가된 오픈소스 인코더 전용 모델의 부재로 인해 어려움을 겪고 있습니다. 기존 자원들은 종종 스크립트 (표준 우르두어 대 로마 우르두어), 도메인, 그리고 주석 체계에서 차이가 있어 공정한 비교를 어렵게 만듭니다. 더욱이 Hugging Face 와 같은 플랫폼에서 제공되는 기존 우르두어 전용 모델들은 종종 문서화가 부실하거나, 학습 구성이 불명확하거나, 잠재적인 미학습 (under-training) 문제를 겪는 반면, 대규모 다국어 모델 (예: mBERT, XLM-R) 은 많은 언어에 걸쳐 그 역량을 분산시켜 우르두어의 풍부한 형태론과 같은 특정 언어 구조에 대한 성능을 희석시킬 수 있습니다.

방법론

말뭉치 구축

저자들은 여러 소스를 통합하여 전용 17GB 우르두어 사전 학습 말뭉치를 구축했습니다:

• 핵심 웹 데이터: 광범위한 주제적 및 스타일적 다양성을 제공하는 mC4 및 CulturaX(OSCAR 하위 집합) 에서 파생된 대규모 웹 기반 텍스트.
• 위키백과: 깨끗한 기준 말뭉치이자 고품질 텍스트의 원천으로 사용된 우르두어 위키백과 기사.
• 보조 데이터: NLLB 에서 파생된 병렬 데이터 (OPUS) 에서 추출된 필터링된 우르두어 텍스트.
• 필터링 전략: 수동 주석 없이 보조 NLLB 데이터의 노이즈를 처리하기 위해 저자들은 비지도 필터링 파이프라인을 활용했습니다. 이는 깨끗한 우르두어 위키백과 줄을 기반으로 fastText skip-gram 모델을 훈련하여 기준 중심점 (centroid) 을 생성하는 과정을 포함했습니다. 후보 줄들은 표면적 노이즈 (예: 짧은 길이, 높은 라틴 문자 비율, 표준 패턴) 를 고려한 휴리스틱 패널티 항 ($P(x)$) 을 뺀 이 중심점과의 코사인 유사도를 기반으로 점수가 매겨졌습니다. 이 과정을 통해 보조 데이터의 약 92.6% 를 유지하면서 명확한 이상치를 제거했습니다.
• 중복 제거: 최종 말뭉치는 정확한 줄 단위 중복 제거를 거쳐 크기가 약 22.3GB 에서 17GB 로 축소되었습니다.

모델 아키텍처 및 학습

이 연구는 처음부터 훈련된 RoBERTa-base 모델 계열인 DunbaaBERT를 소개합니다.

• 아키텍처: 동적 마스킹과 전체 단어 마스킹 (WWM) 을 갖춘 표준 RoBERTa-base 구성.
• 어휘 제거 실험: 서로 다른 바이트-BPE 어휘 크기인 32k, 52k, 96k토큰으로 세 가지 변형 모델을 훈련했습니다.
• 학습 설정: 모델은 512 토큰의 시퀀스 길이로 10 만 번의 업데이트 단계 동안 훈련되었습니다. 학습은 NVIDIA H100 GPU 에서 혼합 정밀도 (FP16) 를 활용하여 수행되었습니다. 모든 하이퍼파라미터 (학습률 워머업, 감쇠, 배치 크기) 는 어휘 크기의 효과를 격리하기 위해 변형 간에 동일하게 유지되었습니다.

평가 프레임워크

모델들은 내재적 및 하류 벤치마크를 통해 평가되었습니다:

• 내재적 평가: 19 가지 세밀한 언어 현상 (예: 일치, 어순, 논항 구조) 을 탐구하는 5,696 개의 최소 쌍으로 구성된 URBLIMP 벤치마크.
• 하류 작업:
  • 뉴스 분류 (COUNT19): 뉴스를 일곱 가지 도메인으로 분류하는 다중 클래스 분류.
  • 공격적 언어 탐지 (USADC): native 우르두어 스크립트의 비속어 대 일반 텍스트에 대한 이진 분류.
  • 감성 분석: 두 가지 데이터셋에서 평가됨: PSL–Kabaddi(스포츠 관련 트위터 감성) 및 IMDB Urdu(문서 수준의 영화 리뷰).
• 지표: 정확도, Macro-F1, 그리고 추론 처리량과 예측 성능의 균형을 잡는 새로운 정규화 효율성 (Norm. Eff.) 지표인 $(Macro\text{-}F1/100) \times (SPS / \max(SPS))$.

주요 기여

1. DunbaaBERT 모델: 선별된 17GB 말뭉치에서 처음부터 훈련된 세 가지 최첨단 단일 언어 우르두어 인코더 모델 (32k, 52k, 96k 어휘) 을 MIT 라이선스로 공개.
2. 체계적인 어휘 분석: 어휘 크기가 우르두어 NLP 에 미치는 영향을 포괄적으로 조사하여, 더 큰 어휘가 항상 더 나은 하류 성능을 산출한다는 가정에 도전.
3. 효율성 벤치마킹: 모델 성능과 계산 비용 간의 균형을 평가하기 위해 정규화 효율성 지표를 도입하여, 더 작고 전문화된 모델이 비용 효율성 측면에서 더 큰 다국어 베이스라인을 능가할 수 있음을 입증.
4. 선별된 말뭉치: 깨끗한 학습 데이터의 부족 문제를 해결하기 위해 비지도 필터링 기술을 사용하여 고품질 중복 제거 우르두어 말뭉치를 구축하는 상세한 방법론.

결과

언어적 적절성 (URBLIMP)

• DunbaaBERT 변형 모델들은 다국어 베이스라인 (mBERT, XLM-R, mmBERT) 보다 현저히 우수한 성과를 거두었습니다.
• 52k 어휘 변형 모델이 전체 최고 점수 (97.0) 를 기록했으며, 이어 32k(95.1) 와 96k(94.6) 순이었습니다.
• 주목할 점은 96k 모델이 사전 학습 퍼플렉시티 (perplexity) 에서 가장 낮은 수치를 기록했음에도 불구하고, 이것이 더 나은 하류 언어 능력으로 이어지지 않았다는 것입니다. 52k 모델은 복잡한 문법 범주 전반에 걸쳐 가장 균형 잡힌 성능을 보였습니다.

하류 작업

• 성능: DunbaaBERT 변형 모델들은 강력한 다국어 베이스라인과 비교하여 경쟁력 있거나 우수한 결과를 달성했습니다. 예를 들어, USADC 공격적 언어 탐지 작업에서 DunbaaBERT32k 는 Macro-F1 94.08 을 기록하여 다국어 모델과 이전에 보고된 GPT-4 기반 결과를 능가했습니다.
• 효율성: 32k 변형 모델은 대부분의 벤치마크에서 일관되게 가장 강력한 정규화 효율성을 제공했습니다 (예: COUNT19 에서 0.944, IMDB Urdu 에서 0.897).
• 어휘 영향: 더 큰 어휘 (96k) 는 하류 효과성을 일관되게 향상시키지 못했습니다. 여러 경우에서 32k 모델이 정확도와 추론 속도 간의 최적 균형을 제공했습니다.

효율성 대 검색 비용

• 하이퍼파라미터 검색 비용에 대한 분석은 DunbaaBERT 모델, 특히 32k 및 52k 변형 모델이 성능 - 효율성 - 비용 공간에서 유리한 영역을 차지함을 보여주었습니다. 이들은 XLM-Rlarge 나 HPLT-BERTur 와 같은 더 큰 다국어 모델에 비해 최적 구성을 찾는 데 필요한 총 검색 시간이 적었습니다.

중요성과 주장

이 논문은 신중하게 선별된 우르두어 전용 인코더 모델이 상대적으로 컴팩트한 모델 및 학습 규모로도 실용적인 NLP 응용 분야에서 매우 경쟁력 있을 수 있다고 주장합니다. 저자들은 어휘 확장만으로는 하류 효과성 향상을 보장하기에 충분하지 않다고 논증하며, 대신 균형 잡힌 어휘 크기 (약 32k~52k) 와 고품질 말뭉치 선별의 조합이 우르두어에 최적의 균형을 제공한다고 봅니다.

이 연구는 우르두어와 같이 형태론이 풍부한 언어의 경우, 단순히 토큰 수를 늘리는 것보다 더 작고 전문화된 어휘를 사용하는 '희생'이 종종 더 나은 의미론적 및 통사론적 일반화를 산출함을 강조합니다. 저자들은 DunbaaBERT 를 리소스가 제한된 배포 시나리오에서 특히 대규모 다국어 모델에 대한 견고하고 효율적인 대안으로 위치시킵니다. 그들은 분류 벤치마크에 초점을 맞춘 점과 말뭉치 내 방언 변형의 부재와 같은 한계를 인정하지만, 그들의 작업이 향후 우르두어 NLP 연구를 위한 재현 가능한 기반을 제공한다는 점을 강조합니다.