기술 요약: 베트남의 고원, 삼각주, 그리고 해안가를 울리는 메아리

문제 정의

본 논문은 챗(Cham), 크메르(Khmer), 타이눙(Tay-Nung)어와 같은 베트남 소수 민족 언어가 자연어 처리(NLP) 연구에서 결여되어 있는 심각한 상황을 다룹니다. 저자들은 이 문제가 단순히 데이터 부족의 문제가 아니라, 다음의 세 가지 요소가 교차하며 발생하는 더 복잡한 문제라고 주장합니다:

1. 스크립트 이질성(Script Heterogeneity): 이 언어들은 서로 다른 문자 체계(브라미 계열의 아부기다, 명시적인 단어 경계가 없는 크메르 스크립트, 라틴 기반 표기법)를 사용하며, 종종 혼합되거나 비표준화된 디지털 형태로 나타납니다.
2. 어휘 파편화(Lexical Fragmentation): 기존의 다국어 인코더(예: mBERT, XLM-R, RemBERT)는 이러한 저자원 언어에 할당된 어휘 용량이 불충분하여, 단어들이 긴 연속적인 서브워드 조각(continuation subword pieces)으로 분절되도록 강제합니다. 이는 어휘 표현과 다운스트림 전이를 약화시킵니다.
3. 적응 실패 모드(Adaptation Failure Modes): 표준 적응 기법, 특히 ELECTRA 방식의 지속적 사전 학습(Replaced Token Detection 또는 RTD)은 스크립트가 이질적인 환경에서 실패합니다. 스크래치부터 초기화된 약한 생성기(generator)는 단순한 교체(예: 라틴 스크립트 시퀀스에 크메르 스크립트 토큰 삽입)를 생성할 수 있으며, 판별기(discriminator)는 진정한 의미론적 이해가 아닌 표면적인 스크립트 단서를 통해 이를 탐지할 수 있습니다. 이는 모델이 의미론적 일반화에는 실패하면서 손실(loss)을 최소화하거나 어휘 중첩 검색에는 뛰어난 성능을 보이는 현상을 초래합니다.

방법론

저자들은 이러한 특정 실패 모드를 해결하기 위해 새로운 다국어 코퍼스와 벤치마크인 CKTN, 그리고 **스크립트 인식 적응 레시피(script-aware adaptation recipe)**를 제안합니다.

1. CKTN 코퍼스 및 벤치마크

저자들은 베트남 정부 및 지역 뉴스 매체(예: Voice of Vietnam, 지역 신문)에서 추출한 44,367개의 문서(2,400만 개 이상의 서브워드 토큰)로 구성된 코퍼스를 구축했습니다. 이 데이터셋은 다음을 포함합니다:

• Cham: 남중부 해안 (오스트로네시아어족).
• Khmer: 메콩강 삼각주 (오스트로아시아어족).
• Tay-Nung: 북부 고원 (타이-카다이어족).

이 벤치마크는 세 가지 태스크를 지원합니다:

• 지속적 사전 학습(Continued Pretraining, CPT): 언어 모델링을 위한 80/20 훈련/검증 분할.
• 카테고리 분류(Category Classification): 어휘적으로 상이한 문서들 간의 의미론적 일반화를 테스트하기 위한 언어당 9~10개 카테고리에 걸친 28개 방향 분류.
• 요약-문서 검색(Summary-Document Retrieval): 공유된 표면 형태를 통한 회복 능력을 테스트하기 위해 요약문과 원문 기사를 쌍으로 구성.

2. 스크립트 인식 적응 레시피

제안된 방법인 CKTN-ELECTRA는 세 가지 핵심 구성 요소를 통해 표준 ELECTRA 사전 학습 파이프라인을 수정합니다:

• 어휘 확장(Vocabulary Augmentation): 사전 학습 전, CKTN 코퍼스 상의 후보 선택 과정을 통해 소스 어휘를 확장합니다. 새로운 토큰들은 노이즈가 섞인 조각들의 과도한 선택을 방지하기 위해 원래 토크나이저의 분해 방식에서 유도된 점수를 사용하여 보정됩니다. 새로운 토큰의 임베딩은 기존 다국어 공간에 고정될 수 있도록 소스 토큰 분해의 임베딩 평균값으로 초기화됩니다.
• 난이도 보정 교체 샘플링(Difficulty-Calibrated Replacement Sampling): 판별기가 스크립트 불일치에 기반한 지름길(shortcut)을 학습하는 것을 방지하기 위해, 교체 샘플러는 네 가지 제약 조건을 강제합니다:
  1. 교체된 토큰은 원래 토큰과 동일해서는 안 됩니다.
  2. 형태가 온전해야 합니다(원래 토큰이 제어 문자나 구두점 중심이 아닌 한).
  3. 스크립트 호환성: 후보는 로컬 문맥의 스크립트와 일치해야 합니다(예: 라틴 스크립트인 Cham/Tay-Nung 시퀀스에서 크메르 토큰 제외).
  4. 임베딩 유사도: 후보는 사소한 거절이나 무의미한 중복을 피하기 위해 특정 임베딩 유사도 범위 내에 있어야 합니다.
• 선형 생성기-판별기 스케줄링(Linear Generator-Discriminator Scheduling): 생성기는 스크래치에서 학습되고 판별기는 사전 학습된 인코더로부터 초기화되는 상황에서의 학습 안정화를 위해, RTD 손실 가중치($\lambda$)를 첫 몇 에포크 동안 0에서 최대값까지 선형적으로 증가시킵니다. 이를 통해 생성기가 판별기 손실이 완전히 적용되기 전에 타당한 타겟 언어 분포를 학습할 수 있도록 합니다.

주요 결과

내적 평가 (Intrinsic Evaluation)

• 토큰화 품질: CKTN-ELECTRA는 베이스라인 대비 **결합도(fertility, 단어당 토큰 수)**를 25~32% 유의미하게 감소시켰으며, **연속 토큰 비율(continuation-token ratio)**을 RemBERT의 44.5%에서 세 언어 모두 11% 미만으로 낮추었습니다.
• 언어 모델링 손실: 지속적 사전 학습은 모든 베이스라인의 MLM 손실을 실질적으로 감소시켜, 코퍼스가 토큰 수준의 적응에 충분함을 확인했습니다. 그러나 저자들은 낮은 MLM 손실이 고품질의 문서 표현을 보장하지는 않는다는 점을 지적합니다.

외적 평가 (Extrinsic Evaluation)

• 카테고리 분류: CKTN-ELECTRA는 가장 강력한 성능(0.9214 정확도 / 0.7103 Macro-F1)을 달성하였으며, 이는 XLM-R(0.8169/0.5617), mBERT(0.8024/0.5054)를 크게 상회하며, 특히 표준 RemBERT(0.1454/0.0053)를 압도했습니다. 어휘 확장을 적용했음에도 불구하고 표준 RemBERT가 붕괴한 것은, 보정된 RTD 목적 함수 없이는 모델이 전이 가능한 의미 구조를 학습하는 데 실패함을 시사합니다.
• 정보 검색: 분류 작업과 대조적으로, 정보 검색 지표(MRR@10, Recall@10)에서는 CKTN-ELECTRA의 개선이 미미했으며 베이스라인들도 높은 수치를 유지했습니다. 저자들은 이를 요약문과 기사 사이의 **어휘적 중첩(lexical overlap)**에 의존하는 태스크 특성 때문으로 보며, 이것이 부실한 의미론적 일반화를 가릴 수 있다고 설명합니다.

절제 연구 (Ablation Studies)

스크립트 인식 필터링이나 선형 스케줄링 중 하나라도 제거하면 분류 성능이 거의 무작위 수준으로 붕괴(예: Macro-F1이 ~0.0012로 하락)되었으며, 이는 두 구성 요소 모두가 판별기가 표면적 단서를 악용하는 것을 방지하는 데 필수적임을 입증합니다.

의의 및 주장

본 논문은 세 가지 주요 기여를 주장합니다:

1. 자원 생성: Cham, 크메르, 타이눙을 위한 최초의 대규모 코퍼스 및 벤치마크인 CKTN을 도입하여, 스크립트 및 접촉 변이 하에서의 저자원 전이 연구를 가능하게 했습니다.
2. 실패 모드 식별: 표준 다국어 인코더가 이러한 언어들을 심하게 파편화하며, 일반적인 적응 신호(MLM 손실 및 어휘 중첩 검색)가 스크립트 이질적 환경에서 표현 품질을 과대평가하는 오해의 소지가 있음을 입로 증명했습니다.
3. 방법론적 발전: 제안된 스크립트 인식 적응 레시피(어휘 확장 + 보정된 RTD)는 "지름길 학습(shortcut learning)" 문제를 성공적으로 완화하여, 파편화가 적고 우수한 분류 성능을 가진 인코더를 생성합니다.

저자들은 어휘적 중첩 검색이 편리한 지표이긴 하지만, 저자원 및 스크립트 다양성이 존재하는 맥락에서 표현 품질의 신뢰할 수 있는 대리 지표는 아니라고 결론짓습니다. 진정한 적응을 위해서는 모델이 스크립트 기반의 지름길이 아닌 의미론적 혼동 가능성을 학습하도록 강제하는 방법이 필요합니다. 본 연구는 공식적인 뉴스 레지스터에 의존하고 있다는 점(비공식적/코드 스위칭 텍스트 부족)과 특히 타이눙어 및 크메르 검색 서브셋의 상대적으로 작은 코퍼스 크기라는 한계를 가집니다.