1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 다양한 언어에서 뛰어난 성능을 보이지만, 저자원 언어 (Low-Resource Languages, LRLs) 에서는 성능 격차가 크고 편향이 존재합니다. 기존 다국어 미세 조정 (Fine-tuning) 방식은 다음과 같은 근본적인 문제점을 안고 있습니다.

• 부정적인 언어 간 간섭 (Negative Cross-lingual Interference): 단순히 여러 언어의 데이터를 무작위로 섞어 학습시키면, 목표 언어의 성능이 오히려 저하되는 현상이 발생합니다. 이는 학습 데이터의 분포와 실제 사용 환경 (Live Production) 의 분포가 불일치하기 때문입니다.
• 분포 불일치 (Distributional Mismatch): 학습 데이터는 특정 주제나 편향된 샘플링으로 인해 실제 사용자가 생성하는 데이터의 분포를 제대로 반영하지 못합니다. 이로 인해 모델은 목표 언어에 불필요한 패턴을 학습하거나 중요한 패턴을 놓치게 됩니다.
• 기존 접근법의 한계:
  • 단일 언어 모델: 메모리 오버헤드가 크고 데이터가 부족한 언어에는 적용하기 어렵습니다.
  • 전체 데이터 학습: 모든 언어 데이터를 섞으면 간섭으로 인해 성능이 떨어집니다.
  • 언어적 유사성 기반 선택: 언어적 유사도 (예: 어족, 문법) 만으로는 실제 의미적 (Semantic) 필요를 충족하지 못해 최적의 전이 학습을 보장하지 못합니다.

2. 방법론 (Methodology)

저자들은 COMPASS (COntinual Multilingual PEFT with Adaptive Semantic Sampling) 라는 데이터 중심의 프레임워크를 제안합니다. 이는 파라미터 효율적 미세 조정 (PEFT) 과 적응형 의미 샘플링을 결합하여 목표 언어에 최적화된 어댑터를 학습시키는 방식입니다.

2.1 핵심 구성 요소

1. 의미 기반 클러스터링 및 분포 매칭:

   • 다국어 임베딩 모델을 사용하여 모든 데이터 (목표 언어 학습 데이터 $D_t$, 보조 데이터 $D_{aux}$, 평가 데이터 $E_t$) 를 벡터 공간에 매핑합니다.
   • HDBScan 등의 클러스터링 알고리즘을 적용하여 의미적으로 관련된 주제 그룹 (Cluster) 을 형성합니다.
   • 분포 불일치 측정: 각 클러스터 $k$에서 평가 데이터 (실제 사용 분포의 대리자) 와 학습 데이터의 비율 ($\rho_k$) 을 계산합니다. $\rho_k > 1$인 클러스터는 학습 데이터에서 부족하므로 (Under-represented), 보조 데이터에서 해당 클러스터의 샘플을 우선적으로 선택합니다.

2. 적응형 샘플링 전략 (Adaptive Semantic Sampling):

   • 클러스터 수준 가중치: 분포 불일치가 큰 클러스터에 높은 가중치를 부여하여 보조 데이터의 샘플링 확률을 조절합니다.
   • 인스턴스 수준 가중치: 클러스터 내에서는 학습 진행 상황에 따라 샘플링 전략을 동적으로 변경합니다.
     • 초기 (데이터 부족): 클러스터 중심 (Prototypical) 에 가까운 '쉬운' 예시를 우선 선택하여 안정적인 학습을 유도합니다.
     • 후기 (데이터 충만): 클러스터 경계 (Boundary) 에 있는 '어려운' 예시를 점진적으로 포함시켜 모델의 강건성을 높입니다.
   • 중복성 제거: 유사도가 높은 보조 데이터는 패널티를 주어 다양성을 확보합니다.

3. 지속적 학습 프레임워크 (COMPASS-ECDA):

   • 실제 배포 환경에서 데이터 분포가 시간에 따라 변하는 것을 감지하기 위해 Elastic Consolidation and Distributional Anchoring (ECDA) 메커니즘을 도입했습니다.
   • 트리거: Jensen-Shannon 발산을 사용하여 입력 데이터의 분포 변화를 감지하고, 임계값을 초과하면 어댑터 업데이트를 시작합니다.
   • 재학습 (Rehearsal): 기존 지식의 망각 (Catastrophic Forgetting) 을 방지하기 위해, 이전 학습 단계의 핵심 클러스터 중심에서 추출한 '분포 앵커 (Distributional Anchors)' 데이터를 재학습 버퍼에 포함합니다.
   • 손실 함수: 새로운 데이터에 대한 작업 손실 ($L_{task}$), 분포 앵커 재학습 손실 ($L_{DAR}$), 그리고 이전 파라미터를 보호하는 탄성 가중치 통합 (EWC) 손실 ($L_{EWC}$) 을 결합합니다.

3. 주요 기여 (Key Contributions)

1. 분포 인식 샘플링 전략: 언어적 유사도가 아닌, 의미적 클러스터링을 기반으로 학습 데이터와 실제 사용 분포 간의 격차를 메우는 새로운 데이터 선택 알고리즘을 제안했습니다.
2. 효율적인 다국어 적응: 단일 공유 베이스 모델에 경량의 언어별 어댑터 (DoRA) 만을 학습시켜, 메모리 오버헤드를 줄이면서도 강력한 성능 향상을 달성했습니다.
3. 지속적 적응 메커니즘 (COMPASS-ECDA): 배포 후 발생하는 분포 변화 (Distribution Shift) 에 실시간으로 대응하면서도 기존 지식을 보존하는 지속적 학습 프레임워크를 구축했습니다.
4. 광범위한 실험 검증: Phi-4-Mini, Llama-3.1-8B, Qwen2.5-7B 등 다양한 아키텍처와 Global-MMLU, MMLU-ProX, OneRuler(긴 문맥) 등 여러 벤치마크에서 기존 방법론 (랜덤 샘플링, 언어적 유사성 기반 선택, 전체 데이터 학습 등) 을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: COMPASS 는 모든 모델과 벤치마크에서 베이스라인 (Zero-shot, 단일 언어 학습, 무작위 샘플링) 보다 유의미하게 높은 정확도를 기록했습니다. 특히 저자원 언어에서 성능 향상이 두드러졌습니다.
• 부정적 간섭 제거: 모든 언어 데이터를 섞어 학습한 'All' 베이스라인은 성능이 저하되었으나, COMPASS 는 부정적 간섭을 최소화하고 긍정적 전이 (Positive Transfer) 를 극대화했습니다.
• 지속적 학습 효과: COMPASS-ECDA 는 새로운 주제 (MMLU-ProX) 에 적응하면서도 기존 지식 (Global-MMLU) 을 보존하는 최적의 균형 (Pareto-optimal) 을 보여주었습니다. 특히 파라미터 용량이 작은 모델 (Phi-4-Mini) 에서 기존 지식의 망각을 효과적으로 방지했습니다.
• 긴 문맥 이해: 짧은 문맥 데이터 (Aya) 로 미세 조정된 모델이 긴 문맥 (OneRuler, 최대 128K 토큰) 태스크에서도 저자원 언어에서 성능 향상을 보였습니다. 이는 의미적 정렬이 모델의 기존 긴 문맥 아키텍처를 저자원 언어로 전이시키는 데 도움이 되었음을 시사합니다.
• 예산 최적화: 보조 데이터의 양 (Budget) 을 목표 데이터의 약 80% 수준으로 제한하더라도 최적의 성능을 달성할 수 있어 데이터 효율성이 높음을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 다국어 LLM 의 성능 격차 해소를 위해 데이터의 양이 아닌 데이터의 분포와 품질에 초점을 맞춘 패러다임 전환을 제시합니다.

• 실용성: 컴퓨팅 자원이 제한된 환경에서도 경량 어댑터를 통해 다양한 언어를 효율적으로 지원할 수 있는 실용적인 솔루션을 제공합니다.
• 지속 가능성: 정적인 학습을 넘어, 변화하는 사용자 요구와 데이터 분포에 자동으로 적응하는 지속 가능한 모델 유지 관리 체계를 제안합니다.
• 확장성: 이 프레임워크는 특정 PEFT 기법 (DoRA, LoRA 등) 에 종속되지 않으며, 보안, 개인 정보 보호, 특정 도메인 (예: 코드 생성) 적용 등 다양한 분야로 확장 가능합니다.

결론적으로 COMPASS 는 저자원 언어의 데이터 부족 문제를 해결하고, 다국어 모델의 형평성과 효율성을 동시에 높일 수 있는 강력한 데이터 중심 접근법임을 입증했습니다.