기술 요약: 파라미터 정렬을 통한 다국어 전문가 언어 모델의 치명적 망각 완화

1. 문제 정의

지속적 사전 학습(Continual Pretraining, CPT)은 대규모 언어 모델(LLM)을 처음부터 다시 학습시키는 막대한 비용 없이 새로운 언어로 확장할 수 있는 실용적인 방법입니다. 그러나 단순한 밀집(dense) CPT는 모델이 새로운 언어 능력을 습득하는 동안 기존의 일반 지식(예: 추론, 독해 능력)을 상실하는 치명적 망각(catastrophic forgetting) 현상을 초래하는 경우가 많습니다. 이러한 문제는 언어 커버리지와 능력 보존 사이의 절충을 강요하는 "다국어의 저주(curse of multilinguality)"로 인해 다국어 환경에서 더욱 악화됩니다.

최근 X-ELM과 같은 패러다임은 교차 언어 간섭을 피하기 위해 독립적인 이중 언어 전문가(bilingual experts)를 훈련하는 방식을 제안했지만, 이는 언어 가족 전문가(관련 언어를 그룹화함)를 위한 설정으로는 충분히 탐구되지 않았습니다. 또한, 가족 전문가 설정 내에서도 제약 없는 훈련은 공유된 초기값으로부터 파라미터 드리프트(parameter drift)를 유발하여, 미학습 관련 언어 및 관련 작업에 대한 강건성을 저하시킵니다. 핵심 과제는 언어 습득이나 병렬 훈련의 효율성을 희생하지 않으면서, 분산된 가족 전문가 CPT 환경에서 어떻게 이러한 망각을 완화할 것인가 하는 점입니다.

2. 방법론

2.1 가족 전문가 CPT 패러다임

저자들은 개별 언어나 단일 밀집 모델이 아닌 언어 가족을 중심으로 훈련을 구성할 것을 제안합니다.

• 설정: 슬라브(Slavic), 게르만(Germanic), 인도(Indic), 오스트로네시아(Austronesian), 로맨스(Romance) 등 특정 언어 가족에 특화된 5개의 독립적인 전문가가 병렬로 훈련됩니다.
• 데이터: MADLAD-400 코퍼스를 활용하며, 각 가족당 50억 토큰(총 250억 토큰)의 고정된 예산을 사용합니다.
• 초기화: 모든 전문가는 공유된 베이스 모델(Gemma-3-4B)에서 시작합니다.
• 목표: 이 접근 방식은 전문가 내부의 간섭을 줄이는 동시에 유연하고 분산된 확장을 가능하게 하는 것을 목표로 합니다.

2.2 레이어 인지 파라미터 정렬 전략

파라미터 드리프트가 망각을 유발하는 문제를 해결하기 위해, 저자들은 트랜스포머의 **중간 레이어(middle layers)**를 구체적으로 겨냥하여 업데이트를 제한하거나 가중치를 교정하는 다섯 가지 전략을 도입합니다. 이 설계는 중간 레이어가 언어 중립적 지식(추론, 세계 지식)을 인코딩하는 반면, 외곽 레이어는 언어 특화 처리를 담당한다는 증거에 기반합니다.

다섯 가지 전략은 다음과 같습니다:

1. 레이어 프리징(Layer Freezing): 훈련 중 중간 19개 레이어를 고정하고 첫 9개와 마지막 6개 레이어만 그래디언트 업데이트를 허용하는 강력한 제약 조건입니다.
2. 레이어 범위 L2 정규화(Layer-Range L2 Regularization, L2-SP): 손실 함수에 L2 페널티를 추가하는 소프트 제약으로, 중간 레이어에는 높은 가중치($\lambda_{mid} = 0.05$)를, 외곽 레이어에는 낮은 가중치($\lambda = 0.001$)를 부여하여 베이스 가중치에 고정시킵니다.
3. 밀집 복귀(Dense-Reverted, Train-then-Revert): 밀집 CPT 모델을 먼저 훈련한 후, 업데이트된 외곽 레이어는 유지하면서 중간 레이어의 가중치를 베이스 모델의 사전 학습된 가중치로 사후 복구합니다.
4. 전문가 복귀(Expert-Reverted): 밀집 복귀와 유사하지만, 훈련된 가족 전문가 모델에 적용됩니다.
5. 전문가 수프(Expert Soup): 5개의 일반적인 가족 전문가를 훈련한 후, 이들의 가중치를 균등하게 평균하여 하나의 통합된 모델($\theta_{soup} = \frac{1}{5}\sum \theta_f$)을 만듭니다.

2.3 베이스라인

정렬 전략들은 다음 두 가지 비정규화 베이스라인과 비교됩니다:

• 밀집 CPT(Dense CPT): 망각 완화 조치 없이 32개 언어를 공동 훈련하는 단일 모델입니다.
• 가족 전문가(Family Expert): 어떠한 정규화나 사후 교정도 없이 훈련된 일반적인 가족 전문가 모델입니다.

2.4 평가

평가는 5개 가족에 속한 32개 훈련 언어와 미학습 친척 언어를 대상으로 하며, 네 가지 축에서 측정됩니다:

• 언어 습득: 미학습 MADLAD 텍스트에 대한 퍼플렉시티(Perplexity).
• 독해 능력: Belebele 벤치마크 (2-shot).
• 물리적 추론: Global-PIQA (2-shot).
• 번역: FLORES-200 (ChrF 점수).

3. 주요 결과

3.1 망각 vs. 습득의 트레이드오프

파라미터 정렬 전략은 언어 습득에 미치는 비용을 최소화하면서 망각을 실질적으로 감소시킵니다:

• 이해 및 추론: 레이어 프리징과 레이어 범위 L2가 다운스트림 성능을 가장 잘 보존합니다. 레이어 프리징은 Belebele 정확도를 베이스 모델 대비 평균 +1.7 퍼센티지 포인트(pp) 향상시킨 반면, 단순 밀집 CPT는 6.6~12.3 pp의 하락을 초래했습니다.
• 번역: 밀집 복귀가 가장 강력한 번역 이득을 보였으며, 베이스 모델 대비 평균 +20.6 ChrF를 기록했습니다. 이는 슬라브, 게르만, 인도, 로맨스 가족 모두에서 다른 모든 전략보다 우수한 성능을 보였습니다.
• 퍼플렉시티: 레이어 범위 L2와 전문가 수프는 미학습 퍼플렉시티를 지속적으로 유지하거나 개선했습니다. 반면, 일반적인 가족 전문가는 미학습 언어에서 심각한 저하를 보였습니다 (예: 오스트로네시아 퍼플렉시티가 14.04에서 28.35로 급증).

3.2 작업별 성능

모든 축에서 압도적인 단일 전략은 존재하지 않았습니다:

• 레이어 프리징은 이해 및 추론 작업에 최적이었습니다.
• 사후 복구(밀집/전문가 복귀)는 번역 품질에 최적이었습니다.
• 전문가 수프는 강력한 이해력 유지(레이어 프리징 다음으로 우수)를 보여주었으며, 가족 전문가의 균등 평균이 학습된 작업에 대해 개별 가족 체크포인트보다 우수함을 입증했습니다.

3.3 레이어 드리프트의 인과 분석

대상 보간 실험(베이스에서 훈련된 가중치까지 $\alpha$를 스윕)을 통해 저자들은 망각의 인과적 동인을 식별했습니다:

• 이해: Belebele 정확도의 저하는 주로 중간 레이어 드리프트에 의해 발생합니다. 중간 레이어를 베이스 가중치로 복구했을 때 상당한 정확도 회복이 이루어졌으며, 외곽 레이어의 드리프트는 영향이 미미했습니다.
• 번역: FLORES 번역 품질은 다른 프로파일을 따릅니다. 최종 레이어의 드리프트가 번양 이득의 주요 동인이었습니다. 중간 레이어를 복구하는 것은 ChrF 점수에 거의 영향을 주지 않았습니다. 이는 번역 품질이 이해에 필요한 중간 레이어의 지식 보존보다 출력 동작 및 생성 호환성에 더 의존함을 시사합니다.

4. 기여 및 의의

본 논문은 세 가지 주요 기여를 합니다:

1. 가족 전문가 CPT: X-ELM 접근 방식을 더 넓은 언어 그룹으로 일반화하여, 언어 가족을 중심으로 한 분산형 다국어 훈련 패러다임을 도입했습니다.
2. 레이어 인지 정렬 전략: (강력한 프리징, 소프트 정규화, 사후 복귀를 포함하여) 가족 전문가 설정에 맞춤화된 다섯 가지 구체적인 전략을 제안하고 벤치마킹했습니다.
3. 경험적 가이드라인: 특정 작업과 타겟 전략을 연결하는 실질적인 배포 가이드라인을 제공합니다. 저자들은 "습득-망각 경계"가 균일하지 않음을 입증하며, 전략 선택은 반드시 레이어 인지적이고 작업 중심적이어야 함을 보여줍니다.

의의:
본 연구는 CPT를 평가하기 위한 단일 통합 지표라는 개념에 도전합니다. 연구는 다음을 확립합니다:

• 중간 레이어 보존은 일반 지식(이해/추론)을 유지하는 데 필수적입니다.
• 외곽 레이어의 유연성은 언어 습득 및 번역에 필수적입니다.
• "원사이즈(one-size-fits-all)" 방식의 망각 완화는 최선이 아닙니다. 실무자는 우선순위가 번역인지, 이해인지, 혹은 광범위한 언어 커버리지인지에 따라 정렬 전략을 선택해야 합니다.

저자들은 자신들의 가이드라인이 특정 모델 규모(Gemma-3-4B)와 코퍼스에 대한 경험적 비교에서 도출된 것이며, 임의의 작업에 대해 전략을 자동으로 선택하는 원칙적인 방법은 여전히 미해결 과제로 남아 있다는 점을 언급하며 겸허한 태도를 유지했습니다.