기술 요약: 간섭 없는 미세 조정을 위한 동적 파라미터 격리 (Dynamic Parameter Isolation, DPI)

1. 문제 정의

본 논문은 대규모 언어 모델(LLM)의 지도 미세 조정(Supervised Fine-Tuning, SFT) 과정에서 발생하는 "시소 효과(seesaw effect)" 문제를 다룹니다. 이질적인 작업들(예: 수학적 추론, 코딩, 창의적 글쓰기)을 혼합하여 LLM을 적응시킬 때, 상충하는 목표들이 빈번하게 발생합니다. 표준 SFT는 모든 모델 파라미터를 무차별적으로 업데이트하며, 이는 한 작업을 최적화할 때 다른 작업의 성능을 저하시키는 그래디언트 충돌(gradient conflicts)로 이어집니다.

휴리스틱한 작업 그룹화(heuristic task grouping)를 사용하는 기존의 다단계 훈련 방식은 거친 입자의 격리만을 제공할 뿐입니다. 이러한 방식은 서로 다른 작업이 모델의 파라미터 중 구별되거나, 중첩되거나, 혹은 상충하는 부분 집합에 의존하는 파라미터 수준의 간섭(parameter-level interference) 문제를 해결하지 못합니다. 이는 종종 초기 작업의 지식이 후속 훈련에 의해 덮어씌워지는 파괴적 망각(catastrophic forgetting) 현상을 초래합니다. 저자들은 이러한 간섭의 근본 원인이 파라미터 이질성(parameter heterogeneity), 즉 서로 다른 작업이 LLM의 특정하고 비균일한 파라미터 부분 집합을 활용한다는 점에 있다고 가설을 세웠습니다.

2. 방법론: 동적 파라미터 격리 (DPI)

저자들은 작업별 파라미터 영역을 분리하고 격리하는 원칙적인 프레임워크인 **동적 파라미터 격리(DPI)**를 제안합니다. 이 방법은 작업별 "핵심(core)" 파라미터가 업데이트 크기에 의해 식별될 수 있으며, 덮어쓰기로부터 보호될 수 있다는 가설에 기반하여 작동합니다. DPI는 다음 세 단계로 진행됩니다.

1단계: 작업별 핵심 파라미터 영역 식별

각 작업 $T_i$에 대해, 사전 훈련된 체크포인트 $\theta^{(0)}$로부터 시작하여 짧은 기간($E_{probe}$ 에포크) 동안 모델을 독립적으로 미세 조정합니다.

• 업데이트 측정: 파라미터 업데이트의 절대 크기를 계산합니다: $\Delta|\theta^{(i)}_j| = |\theta^{(i)}_j - \theta^{(0)}_j|$.
• 핵심 영역 정의: 핵심 파라미터 영역 $C_i$는 가장 큰 업데이트 크기를 보이는 파라미터의 부분 집합으로 정의됩니다. 이는 가장 크게 업데이트된 상위 $p$ 퍼센트(통상 1~5%)의 파라미터를 나타내는 하이퍼파라미터 $p$에 의해 제어됩니다.

2단계: 핵심 영역 유사도를 통한 작업 그룹화

간섭을 최소화하기 위해 식별된 핵심 영역의 유사성을 바탕으로 작업을 조직합니다.

• 유사도 지표: 핵심 영역 $C_i$와 $C_j$ 사이의 중첩 정도를 **자카드 지수(Jaccard Index)**를 사용하여 정량화합니다: $S(C_i, C_j) = \frac{|C_i \cap C_j|}{|C_i \cup C_j|}$.
• 클러스터링: 유사도 점수가 임계값 $\tau$(통상 0.2–0.4)를 초과하면 작업들을 그룹화합니다. 핵심 영역이 높게 중첩되는 작업들은 공동 훈련을 위해 병합되며, 서로 분리된 작업들은 별도의 단계에 할당됩니다.

3단계: 동적 동결을 이용한 다단계 SFT

훈련은 정의된 단계($k = 1, \dots, K$)를 따라 순차적으로 진행됩니다.

• 동적 동결: 각 단계 $k$에서, 이전 모든 단계($l < k$)의 핵심 파라미터들을 집계하여 동결된 파라미터 집합 $F_k$를 구성합니다.
• 마스킹된 최적화: 최적화 중에 이진 마스크 $M_k$가 적용됩니다. $F_k$에 속한 파라미터는 동결(업데이트 방지)되며, 나머지 파라미터는 현재 작업(들)을 학습하기 위해 업데이트됩니다. 이를 통해 이전 단계에서 습득한 지식을 보존하는 동시에, 비동결 파라미터 공간을 사용하여 새로운 작업에 특화될 수 있도록 합니다.

3. 주요 기여

1. 파라미터 이질성 식별: 본 논문은 파라미터 이질성이 LLM의 교차 작업 간 간섭을 일으키는 주요 동인임을 제시하고 검증합니다.
2. DPI 프레임워크: 업데이트 크기를 기반으로 핵심 파라미터를 식별하고, (어댑터 기반 방식과 달리) 추가적인 파라미터를 도입하지 않고도 다단계 훈련 중에 이를 동적으로 격리하는 새로운 데이터 기반 접근 방식을 제안합니다.
3. 실증적 검증: DPI가 데이터 충돌과 파괴적 망각을 일관되게 감소시키며, 표준 다중 작업 및 다단계 베이스라인 모델보다 우수한 성능을 보임을 광범적인 실험을 통해 입증합니다.

4. 실험 결과

저자들은 네 가지 파운데이션 모델(LLaMA-2-7B, Mistral-8B, Qwen1.5-7B, Gemma-9B)에 대해 다섯 가지 다양한 공개 데이터셋(GSM8K, CodeAlpaca, LogiQA, Alpaca, UltraChat)으로 DPI를 평가했습니다.

• 베이스라인: 방법론은 Full Multi-task SFT (균등 혼합), Multi-Stage SFT (무작위 그룹화), Multi-Stage SFT (휴리스틱/도메인 기반 그룹화)와 비교되었습니다.
• 성능: DPI는 모든 개별 작업에서 일관되게 가장 높은 점수를 기록했으며, 모든 모델에서 가장 높은 **평균 정규화 점수(Average Normalized Score)**를 달성했습니다.
  • 예를 들어, LLaMA-2-7B에서 DPI는 평균 정규화 점수 7.18을 달성하여, Full SFT(6.58)와 Multi-Stage Heuristic(6.75)을 능가했습니다.
  • 유사한 경향이 Mistral, Qwen, Gemma 모델에서도 관찰되었으며, DPI는 다양한 아키텍처 전반에서 견고한 일반화 능력을 보여주었습니다.
• 절제 연구(Ablation Studies): 연구진은 핵심 퍼센트 $p$를 0.1%에서 10%까지 변화시켰습니다. 결과에 따르면 성능은 $p$가 0.5%에서 1% 사이일 때 정점에 도달했습니다. 이는 매우 작은 비율의 파라미터가 가장 중요한 작업별 적응을 포착한다는 것을 시사합니다. 값이 너무 작으면 중요한 파라미터를 포착하지 못하고, 값이 너무 크면(예: 5–10%) 여러 작업에 유익한 파라미터를 불필요하게 동결하거나 모델의 가소성(plasticity)을 저해할 수 있습니다.

5. 의의 및 주장

본 논문은 DPI가 이질적인 시나리오에서 강력한 작업 적응을 위한 확장 가능하고 파라미터 효율적인 접근 방식임을 주장합니다. LLM 내부의 자연스러운 이질성을 활용함으로써, DPI는 어댑터나 LoRA 방식에서 볼 수 있는 추가 파라미터의 오버헤드 없이도 "시소 효과"를 완화하고 파괴적 망걸을 줄입니다.

저자들은 자신들의 접근 방식이 휴리스틱한 작업 그룹화에 대한 원칙적인 대안을 제공한다고 강조합니다로. 경험적인 업데이트 데이터를 기반으로 작업별 영역을 동적으로 동결함으로써, DPI는 작업 간 지식 유지를 가능하게 하는 동시에 전문화를 촉진합니다. 이 연구는 향후 미세 조정 방법론에서 파라미터 수준의 분리(disentanglement)의 중요성을 강조하며, 특화된 파라미터 영역을 보호하는 것이 LLM의 효과적인 다중 작업 학습에 필수적임을 시사합니다.