OpenLID-v3: Improving the Precision of Closely Related Language Identification -- An Experience Report

기술 요약: OpenLID-v3: 밀접하게 연관된 언어 식별의 정밀도 향상

문제 정의
언어 식별(LID)은 웹 데이터로부터 고품질의 다국어 데이터셋을 구축하는 데 있어, 특히 대규모 언어 모델(LLM) 사전 학습을 위한 중요한 전처리 단계이다. 그러나 OpenLID 및 GlotLID와 같은 기존 도구들은 두 가지 주요 문제로 어려움을 겪는다: 밀접하게 연관된 언어 간의 구별, 그리고 유효한 자연어와 노이즈(예: 코드, 깨진 인코딩, 또는 기계 생성 콘텐츠) 간의 구별이다. 이러한 실패는 언어별 하위 집합의 오염을 초래하며, 이는 저자원 언어의 경우 더욱 악화된다. 또한, 표준 평가 벤치마크는 대개 깨끗한 병렬 코퍼스(예: FLORES+, UDHR)에 의존하기 때문에 실제 웹 문서의 복잡성과 모호성을 포착하지 못하며, 유사한 언어 변체들에 대한 낮은 성능을 은폐한다.

방법론
저자들은 fastText 아키텍처를 기반으로 하는 완전 오픈 소스 시스템인 OpenLID의 확장판인 OpenLID-v3를 제시한다. v3의 개발은 HPLT 3.0 데이터셋에 대한 OpenLID-v2의 성능을 수동 검사하는 과정에서 드러난 특정 실패 모드에 의해 추진되었다. 방법론에는 세 가지 핵심적인 기술적 개입이 포함된다:

1. 훈련 데이터 확장 및 정제: 저자들은 특정 언어에 대한 훈련 데이터를 확장하였는데, 특히 라틴어를 재도입하고 이전에 누락되어 보스니아어 또는 크로아티아어로 오분류되었던 라틴 문자로 작성된 세르비아어를 추가하였다. 또한, 노이즈가 없는 것으로 보고된 GlotLID의 훈련 데이터 일부와 최근의 위키피디아 덤프를 통합하였다.
2. 클래스 인벤토리 재구조화:
   • 변체 병합: 혼란을 줄이기 위해 8개의 아랍어 방언을 단일 ara_Arab 거대 언어(macrolanguage)로 병합하였고, 두 가지 페르시아 변체를 fas_Arab으로 병합하였다. 마찬가지로 상호 이해 가능한 밤바라어와 둨라어를 병합하였다.
   • 노이즈 레이블링: 비언어적 노이즈를 명시적으로 모델링하기 위해 GlotLID의 und_* 및 zxx_* 데이터를 사용하여 전용 zxx_Zxxx("언어가 아님") 클래스를 도입하였다. 이는 비언어적 텍스트가 기존 언어 클래스로 강제 할당되는 "쓰레기통 현상(trash bin phenomenon)"을 해결하기 위함이다.
3. 앙상블 접근법: 저자들은 정밀도를 높이기 위해 top-1 및 top-3 합의 전략을 사용하여 OpenLID-v3와 GlotLID를 앙상블하는 실험을 진행하였으나, top-3 합의 방식은 단일 레이블 모델의 결과를 저하시키는 것으로 나타났다.

평가 전략
본 논문은 주류 벤치마크가 유사한 언어들에 대한 LID를 평가하기에는 불충분하다고 주장한다. 이에 따라 다음과 같은 평가 전략을 포함하였다:

• 표준 벤치마크: FLORES+, UDHR, FastSpell.
• 커스텀/특정 벤치마크: 유사한 언어 그룹을 위해 세 가지 특정 그룹에 대한 새로운 평가 데이터셋을 생성하거나 활용하였다:
  • BCMS (보스니아, 크로아티아, 몬테네그로, 세르비아): 트위터 사용자 데이터, ParlaSent(의회 회의록), 그리고 재주석 처리된 HPLT-LID 데이터를 사용하였다.
  • 로맨스 변체: ITDI 데이터셋을 사용하여 리구리아어, 옥시타니아어, 프랑코프로방스어를 중심으로 평가하였다.
  • 스칸디나비아 언어: SLIDE 및 Nordic DSL 데이터셋을 사용하여 노르웨이 보크몰, 뉼스크, 덴마크어, 스웨덴어를 평가하였다.
• 지표: 실제 웹 크롤링에서 발견되는 클래스 불균형을 더 잘 반영하기 위해 재현율(recall) 및 F1-score와 함께 허위 양성률(False Positive Rate, FPR)과 정밀도(precision)를 강조하였다.

주요 결과

• 벤치마크 성능: OpenLID-v3는 표준 벤치마크(FLORES+, UDHR)에서 OpenLID-v2 및 GlotLID와 대등하거나 약간 더 나은 성능을 보인다. 소프트맥스 임계값(0.5)의 도입은 일반적으로 OpenLID-v3의 결과를 개선하였다.
• 밀접하게 연관된 언어:
  • BCMS: OpenLID-v3는 v2의 주요 실패 지점이었던 라틴 문자로 작성된 세르비아어 식별 성능을 크게 개선하였다. 그러나 어휘적 중복과 공유된 뿌리로 인해 보스니아어와 세르비아어 간의 혼동은 여전히 높다. 앙상블 방법(OpenLID-v3 + GlotLID)은 정밀도를 높였으나 저자원 변체에 대한 커버리지(재현율)를 급격히 감소시켰다.
  • 로맨스 언어: ITDI 데이터셋에서 OpenLID-v3와 GlotLID를 앙상블했을 때 가장 높은 정밀도와 가장 낮은 FPR을 달고, 다만 베네치아어 샘플이 많이 제거되는 비용이 발생했다.
  • 스칸디나비아: GlotLID는 최고의 재현율을 달성한 반면, OpenLID-v3는 더 나은 정밀도와 FPR을 보여주었다. 두 가지 노르웨이 변체(보크몰과 뉼스크)는 여전히 가장 쉽게 혼동되는 쌍으로 남았다.
• 오류 분석: BCMS 오류에 대한 수동 분석 결과, 고유 명사, 어휘적 중복(공유된 어근이 jat와 같은 철자 표기 특징을 압도함), 역사적 형태, 그리고 비문법적 구문이 오분류의 주요 원인임이 밝혀졌다. 짧은 시퀀스와 웹 아티팩트(artifacts)는 모든 모델에 특히 어려운 과제로 식별되었다.

의의 및 주장
본 논문은 대규모 다국어 벤치마크가 높은 총체적 점수를 보여줄 수는 있지만, 유사한 언어들을 식별하는 데 있어 발생하는 상당한 결함들을 은폐한다는 점을 주장한다. OpenLID-v3는 다음을 입증한다:

1. 정밀도 vs 커버리지 트레이드오프: 앙상블 접근법은 정밀도를 크게 향상시킬 수 있지만(언어 하위 집합의 오염을 줄임), 저자원 언어에 대한 커버리지를 실질적으로 감소시키며, 이는 데이터 큐레이션에 있어 중요한 고려 사항이다.
2. 특화된 평가의 필요성: 유사한 언어들에 대한 LID 모델의 신뢰할 수 있는 평가는 일반적인 다국어 데이터셋이 아닌, 해당 언어 그룹에 특화된 벤치마크를 필요로 한다.
3. 오픈 소스의 생존 가능성: 허용적인 라이선스를 우선시함으로써, OpenLID-v3는 적절히 훈련될 경우 노이즈와 특정 스크립트 변체(예: 라틴 문자 세르비아어)를 처리할 수 있는 강력한 대안을 제공한다.

저자들은 일반적인 스칸디나비아 언어 식별의 경우 정밀도를 우선시한다면 OpenLID-v3를, 재현율을 우선시한다면 GlotLID를 권장한다고 결론짓는다. 매우 유사한 변체들(예: 보크몰 vs 뉼스크) 사이를 구별하기 위해서는 여전히 해당 분리를 위해 특화되어 훈련된 모델이 필요하다. 이 연구는 웹 문서에 내재된 모호함을 다루기 위해 멀티레이블 훈련 데이터와 벤치마크가 지속적으로 필요함을 강조한다.