기술 요약: 다국어 지시어 튜닝을 위한 최적의 언어 집합은 존재하지 않는다

문제 정의

다국어 지시어 튜닝(Multilingual Instruction Tuning, MIT)은 대규모 언어 모델(LLM)의 교차 언어 성능을 향상시키는 것을 목표로 하지만, 세 가지 주요 과제에 직면해 있다: 다국어의 저주(언어가 많아질수록 모델 용량이 분산되어 개별 언어 성능이 저하되는 현상), 데이터 부족, 그리고 높은 계산 비용이다. 정교하게 선택된 언어적으로 다양한 하위 집합이 무작위 선택이나 단일 언어 튜닝보다 더 보편적으로 우수한 일반화 성능을 보여줄 것이라는 가설이 널리 퍼져 있다. 그러나 기존 연구들은 고정된 계산 예산 하에서 언어학적 정보를 활용한 선택 전략이 보편적으로 최적의 MIT 전략을 산출하는지 체계적으로 조사하지 않았다.

방법론

저자들은 세 가지 모델 제품군과 다섯 가지 다국어 벤치마크를 대상으로 다양한 언어 선택 전략을 무작위 베이스라인과 비교하여 체계적인 평가를 수행한다.

• 데이터셋: 본 연구는 52개 언어에 걸쳐 340만 개의 지시어-응답 쌍을 포함하는 병렬 다국어 지시어 데이터셋인 Bactrian-X를 활용한다.
• 실험 설정:
  • 예산 제어: Chen 등(2023a)을 따라, 총 학습 예산은 실험당 67,000개의 인스턴스로 고정된다. 14개 언어 하위 집합의 경우, 언어당 약 4,786개의 인스턴스에 해당한다.
  • 선택 전략: 저자들은 서로 다른 특징 공간에서 $k$-평균 군집화($k=14$)를 사용하여 14개 언어 하위 집합을 선택한다:
    • GEO: 지리적 벡터.
    • TYPO: 유형론적 벡터.
    • SEM: 의미론적 유형 임베딩.
    • LEARN: 학습된 언어 벡터.
    • FAM: 하나의 언어 가족당 한 언어.
    • RND: 무작위 선택 (베이스라인).
    • ALL: 52개 언어 전체 (예산의 한계를 테스트하기 위함).
  • 모델: 다음 모델 제품군에 대해 LoRA를 사용하여 지시어 튜닝을 수행한다:
    • mGPT-1.3B
    • mT5-XL-3.7B
    • BLOOM (1.7B, 3B, 7B 변체)
  • 평가: 모델은 XNLI, PAWS-X, XCOPA, XStoryCloze, XWinograd의 다섯 가지 벤치마크에 대해 제로샷(zero-shot)으로 평가된다.
  • 통계적 엄밀성: 각 구성은 세 개의 무작위 시드로 실행된다. 유의성은 대응 표본 t-검정(paired t-tests)을 통해 평가되며, 효과 크기는 Cohen's $d_z$를 사용하여 측정된다.

주요 결과

1. 보편적 최적 전략의 부재

핵심 발견은 단일 언어 선택 전략이 모든 모델과 태스크에 걸쳐 일관되게 타 모델보다 우수한 성능을 보이지 않는다는 점이다.

• 성능은 매우 태스크 및 모델 의존적이다. 예를 들어, BLOOM-7B의 XStoryCloze에서는 GEO 전략이 선두를 달리는 반면, TYPO는 BLOOM-7B의 전체 평균에서 최고를 기록했다. FAM은 mT5-xl의 평균에서 가장 좋은 성능을 보였고, GEO 또는 TYPO가 mGPT의 NLU 태스크에서 앞서 나갔다.
• 무작위(RND) 베이스라인 대비 개선 사항이 통계적으로 유의미하지 않은 경우가 많았다. 특정 모델-태스크 조합(예: mGPT의 XNLI에 대한 GEO vs RND)에서 유의미한 이득이 관찰되었으나, 이는 일반화되지 않았다.
• 일부 구성에서는 언어학적 정보에 기반한 하위 집합이 무작위 베이스라인보다 유의미하게 낮은 성능을 보였는데, 이는 정보에 기반한 선택이 역효과를 낼 수 있음을 나타낸다.

2. 다국어의 저주의 재출현

언어의 수가 완만한 임계값을 넘어서면 성능 저하가 발생한다.

• BLOOM-7B의 경우, 성능은 13~14개 언어에서 정점을 찍고, 언어 수가 52개( "ALL" 설정)로 증가함에 따라 지속적으로 하락한다.
• "ALL" 설정은 테스트된 두 모델 모두에서 최상의 평균 성능을 달는 적이 없었으며, 이는 고정된 계산 예산 하에서 언어 수를 최대화하는 것이 해롭다는 점을 확인시켜 준다.

3. 모델 의존적 일반화

학습 하위 집합에 포함되지 않은 언어(벤치마크에는 존재하지만 훈련 하위 집합에는 없는 언어)에 대한 교차 언어 일반화는 모델 아키텍처에 따라 크게 달라진다.

• 언어학적 정보가 포함된 하위 집합은 일반적으로 mGPT, mT5-xl, BLOOM-3B의 베이스 모델보다 성능을 향상시켰으나, 더 큰 BLOOM 모델(7B)에서는 결과가 갈렸다. 7B 모델의 경우 다섯 가지 하위 집합 중 두 가지만이 베이스 모델보다 개선된 성능을 보였다.
• 이는 사전 학습 코퍼스의 구성과 하위 집합 선택 사이의 비사소한 상호작용을 시사한다. 즉, 특정 모델의 사전 학습 분포에 효과적인 전략이 다른 모델에는 해로울 수 있다.

4. 모델 규모와 단일 언어 경쟁

• 규모 효과: 전략 순위는 모델 규모가 커짐에 따라 변화한다. 예를 들어, GEO는 3B 및 7B 규모에서 우수하지만, FAM은 1.7B에서 강세를 보이다가 점차 약화된다. 규모가 커짐에 따라 일관되게 최고를 유지하는 전략은 없다.
• 단일 언어 vs 다국어: 베트남어에 대한 사례 연구에서, 단일 언어 튜닝(67k 인스턴스)은 mT5에서 1위, mGPT에서 2위를 차지하며 최상의 다국어 하위 집합과 경쟁할 만한 성능을 보였다. 이는 다국어 하위 집합이 항상 더 바람직하다는 가정을 반박한다.

5. 중첩(Overlap)의 역할

본 연구는 사전 학습 코퍼스, 훈련 하위 집합, 그리고 평가 언어 간의 중첩을 분석한다.

• BLOOM은 사전 학습 코퍼스와 XNLI 평가 언어 간의 중첩이 작으며(8/15), 대부분의 정보 기반 하위 집합은 BLOOM-7B의 XNLI에서 무작위 베이스라인보다 유의미하게 낮은 점수를 기록했다.
• mGPT는 사전 학습에서 14/15의 XNLI 언어를 커버하며, 정보 기반 하위 집합이 그곳에서 유의미하게 높은 점수를 기록했다.
• 그러나 중첩 자체가 결과를 결정짓지는 않는다. GEO는 평가 언어를 거의 공유하지 않음에도 불구하고 두 모델 모두에서 XStoryCloze를 유의미하게 개선했는데, 이는 벤치마크 언어 집합 자체가 거의 교차하지 않아 보편적 최적성이 구조적으로 불가능함을 시사한다.

의의 및 시사점

본 논문은 다국어 지시어 튜닝을 위한 "원사이즈-핏-올(one-size-fits-all)" 방식의 최적 언어 집합을 찾는 것에서 벗어나야 한다고 주장한다.

1. 방법론적 경고: 단일 집계 점수를 보고하는 것은 매우 오도될 수 있다. 특정 태스크에서 현저히 낮은 성능을 보이는 전략이 전체 집계에서는 우수해 보일 수 있기 때문이다(예: FAM은 mT5-xl에서 가장 좋은 평균을 가졌으나 XNLI에서는 최악의 점수를 기록했다). 저자들은 커뮤니티가 태스크 및 모델별 세부 내역과 신뢰 구간을 함께 보고하고, 제한된 벤치마크로부터 과도하게 일반화하는 것을 피할 것을 촉구한다.
2. 실무적 시사점: 보편적인 최적해는 존재하지 않지만, **언어학적 정보에 기반한 선택(특히 GEO 및 TYPO)**은 특히 더 큰 모델 규모에서 무작위 선택보다 더 안전한 기본값(default)이 되는 경향이 있다. 실무자들에게 핵심적인 통찰은, 고정된 예산 하에서 더 많은 언어를 추가하면 다국어의 저주가 촉발되므로, 언어 수를 최대화하기보다는 10~15개의 언어학적으로 다양한 언어를 목표로 하는 것이다.
3. 부정적 결과의 가이드 역할: 보편적인 승자가 없다는 점은 세 가지 복합적인 요인, 즉 사전 학습 코퍼스의 불일치, 태스크-언어 정렬 제약, 그리고 시드 민감성에 기인한다. 이러한 결과는 다국어 지시어 튜닝 데이터 큐레이션을 위한 단순한 보편적 처방에 주의를 요하며, 적절한 통계적 보고를 동반한 태스크 및 모델별 평가의 필요성을 강조한다.

저자들은 언어학적 정보에 기반한 선택이 평균적으로 무작위 선택보다 우수한 경향이 있지만, 모델 아키텍처, 사전 학습 데이터, 태스크 요구사항 간의 복잡한 상호작용으로 인해 모든 시나리오에 적용 가능한 단일 최적 언어 집합의 존재는 불가능하다고 결론짓는다.