Exploring Continual Fine-Tuning for Enhancing Language Ability in Large Language Model

이 논문은 대규모 언어 모델 (LLM) 의 **다국어 적응 (Multilingual Adaptation)**을 개선하면서도 기존에 뛰어난 성능을 보였던 **영어 능력 (English Ability)**을 유지하거나 향상시키기 위한 2 단계 지속적 미세 조정 (Two-Phase Continual Fine-tuning, CFT) 프레임워크를 제안하고 분석합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 배경: LLM 의 다국어 사용자 기반이 확대되고 있지만, 저자원 언어 (Low-resource languages) 에 대한 성능은 여전히 낮습니다.
• 도전 과제: 기존 LLM 을 다국어 데이터로 미세 조정하면 다국어 능력은 향상되지만, 파괴적 망각 (Catastrophic Forgetting) 현상으로 인해 영어 및 고자원 언어에서의 성능이 급격히 저하되는 문제가 발생합니다.
• 목표: 영어 능력을 유지하거나 향상시키면서 다국어 능력을 동시에 개선하는 효율적인 학습 전략을 찾는 것입니다.

2. 방법론 (Methodology)

저자들은 기존에 영어로만 학습된 (Instruction-tuned) LLM 을 기반으로 하는 2 단계 지속적 미세 조정 (CFT) 프로세스를 도입했습니다.

• 2 단계 CFT 프로세스:

  1. Phase 1: 사전 학습된 LLM 을 영어 지시 (Instruction) 데이터셋 (예: ALPACA, OPENORCA) 으로 미세 조정하여 영어 능력 (EA) 을 확립합니다.
  2. Phase 2: Phase 1 의 모델을 다국어 지시 데이터셋 (예: MULTIALPACA, MOPENORCA) 으로 추가 미세 조정하여 다국어 능력 (MA) 을 향상시킵니다.
  • 제약 조건: Phase 2 학습 시 Phase 1 의 원본 데이터나 가중치를 재사용할 수 없으며, GPU 메모리 효율성을 고려해야 합니다.

• 비교 실험: 제안된 2 단계 CFT 와 영어/다국어 데이터를 혼합한 단일 단계 학습 (Dataset Mixture) 을 비교했습니다.

• 기억 방지 전략 (Mitigating Strategies): Phase 2 에서 영어 능력 저하를 막기 위해 두 가지 전략을 탐구했습니다.

  1. 분산 재생 (Distribution Replay):
     • 생성 재생 (Generative Replay, GR): Phase 1 모델을 이용해 Phase 2 다국어 데이터의 영어 대응본을 생성하여 재생성합니다.
     • 영어 재생 (English Replay, ER): Phase 2 데이터셋의 영어 병렬 데이터를 직접 재생성 데이터로 사용합니다.
  2. 레이어 동결 (Layer Freezing, LF): Phase 2 학습 시 특정 레이어를 고정하여 가중치 간섭을 줄입니다.
     • 무작위 동결 (LF_H1), Phase 1 학습 시 변화가 가장 큰 레이어 동결 (LF_H2), 신호 대 잡음비 (SNR) 기반 동결 (Spectrum) 등을 실험했습니다.

• 데이터 유사성 분석: 두 단계의 데이터셋 간 지시 (Instruction) 유사성을 정량화하기 위해 **데이터셋 임베딩 유사성 (DES)**과 모델 파라미터 차이 (MPD) 지표를 제안했습니다.

3. 주요 결과 (Key Results)

• CFT vs. 데이터 혼합 (Mixture):

  • 제안된 2 단계 CFT 방식이 영어와 다국어 데이터를 동시에 학습하는 단일 단계 방식보다 전체적으로 더 우수한 성능을 보였습니다. 동일한 학습 단계 수에서 모든 언어 (영어 포함) 에 대해 더 좋은 모델을 생성했습니다.

• 데이터 유사성의 중요성:

  • 유사한 데이터셋 (예: ALPACA → MULTIALPACA): 두 단계의 지시 내용이 구조적으로 유사한 경우, Phase 2 학습 후에도 영어 능력이 유지되거나 오히려 향상되었습니다.
  • 비유사한 데이터셋 (예: Instruct → MULTIALPACA): 지시 내용이 다른 경우, Phase 2 학습 후 영어 능력이 심각하게 저하되었습니다.
  • 시각화 (t-SNE): 유사한 데이터셋은 모델의 은닉 상태 (Hidden Activations) 가 Phase 1 과 Phase 2 간에 유사하게 유지되었으나, 비유사한 데이터셋은 표현 공간이 분리되어 가중치 간섭이 발생함을 확인했습니다.

• 기억 방지 전략의 효과:

  • 영어 재생 (ER_10): 가장 우수한 성능을 보였습니다. 영어 병렬 데이터를 재생성하여 학습함으로써 영어 능력 (EA) 과 다국어 능력 (MA) 을 모두 균형 있게 향상시켰습니다.
  • 생성 재생 (GR_5, GR_10): 영어 재생과 유사한 효과를 보였으며, 계산 비용이 낮아 경쟁력 있는 전략입니다.
  • 레이어 동결 (LF): 일부 전략 (특히 Spectrum) 은 영어 능력 유지에 도움이 되었으나, 다국어 능력 향상 측면에서는 재생 (Replay) 전략보다 성능이 낮거나 일관성이 부족했습니다.

4. 기여 및 의의 (Contributions & Significance)

1. 새로운 패러다임 제시: LLM 의 다국어 적응을 위해 '데이터 혼합' 대신 '2 단계 지속적 미세 조정'이 더 효과적임을 실증적으로 증명했습니다.
2. 유사성 가설 검증: 지시 (Instruction) 의 구조적 유사성이 파괴적 망각을 방지하는 핵심 요소임을 규명하고, 이를 정량화하는 지표 (DES, MPD) 를 제안했습니다.
3. 실용적인 해결책: 기존 데이터나 가중치를 재사용할 수 없는 실제 시나리오 (예: 상용 모델의 추가 학습) 에서 적용 가능한 생성 재생 및 영어 재생 전략을 통해 영어 능력 저하를 효과적으로 완화하는 방법을 제시했습니다.
4. 모델 및 데이터셋: Mistral-7B 와 LLaMA-3-8B 를 기반으로 다양한 오픈소스 데이터셋 (ALPACA, MULTIALPACA 등) 을 활용하여 실험의 신뢰성을 높였습니다.

5. 결론

이 연구는 LLM 이 다국어 능력을 획득하더라도 영어 능력을 희생하지 않도록 하는 효율적인 학습 전략을 제시합니다. 특히 데이터셋 간의 지시 유사성이 학습 결과에 결정적인 영향을 미치며, 이를 보완하기 위해 데이터 재생 (Replay) 기법이 레이어 동결보다 더 효과적임을 보여주었습니다. 이는 다국어 LLM 을 개발하고 유지하는 데 있어 중요한 통찰을 제공합니다.