기술 요약: 손실 적응형 학습률을 통한 망각 없는 미세 조정

문제 제기

새로운 작업별 말뭉치에 대규모 언어 모델 (LLM) 을 미세 조정할 때, 사전 학습 중 획득한 능력 (일반적 추론, 안전성 정렬, 사실성 등) 이 크게 저하되는 파괴적 망각이 종종 발생합니다. 기존 완화 전략은 일반적으로 두 가지 범주로 나뉩니다:

1. 데이터 재생 (Data Replay): 미세 조정 중 사전 학습 데이터와 작업 데이터를 혼합합니다. 현대 LLM 의 경우 사전 학습 데이터가 독점적이거나 이용 불가능한 경우가 많아 이는 종종 실행 불가능합니다.
2. 목적 함수 수정 (Objective Modification): 미세 조정 중 "어려운" 토큰이나 시퀀스 (사전 학습 모델이 높은 손실을 할당한 것) 의 영향을 억제합니다. 방법에는 고손실 시퀀스의 가중치 감소 (FLOW), 고엔트로피 토큰 마스킹 (STM), 또는 손실 재가중 (TALR, DFT) 등이 포함됩니다.

본 논문은 목적 함수 수정 접근법의 치명적인 결함을 지적합니다: 새로운 지식 습득 (예: 새로운 사실 학습) 이나 저자원 언어 적응이 필요한 시나리오에서, "어려운" 토큰은 바로 새로운 작업을 학습하는 데 필수적인 것들입니다. 이를 억제하면 망각 지표는 개선되지만 목표 작업 수행능력은 심각하게 훼손되어 열악한 파레토 트레이드오프를 초래합니다.

방법론: FINCH

저자들은 FINCH(망각 인식 역손실 스케줄) 를 제안합니다. 이는 훈련 목적 함수나 데이터 분포를 변경하는 것이 아니라, 단계별 학습률을 적응적으로 조절하여 망각을 통제하는 방법입니다.

이론적 기반

핵심 통찰은 단계별 망각에 대한 이론적 상한선입니다. 저자들은 임의의 훈련 단계 $i$에서 이전 작업에 대한 손실 증가량 ($\Delta L_{old}$) 이 학습률 ($\eta_i$) 과 현재 미니배치 손실 ($L_{B_i}$) 의 제곱근의 곱에 의해 상한이 정해진다는 것을 유도했습니다:
$$\Delta L_{old}(p_i) \leq C_1 \eta_i \sqrt{L_{B_i}(\theta_i)} + C_2 \eta_i^2 L_{B_i}(\theta_i)$$
이는 높은 훈련 손실을 보이는 단계 (보통 미세 조정 초기나 어려운 샘플에서 발생) 가 망각의 주요 원인임을 시사합니다.

적응형 스케줄

훈련 전반에 걸쳐 단계별 망각 상한을 균일하게 유지하기 위해 FINCH 는 미니배치 손실의 제곱근에 반비례하도록 학습률을 설정합니다:
$$\eta_i = \frac{\kappa}{\sqrt{L_{B_i}(\theta_i)}}$$
실제 적용에서는 안정성을 보장하기 위해 미니배치 손실의 지수 이동 평균 (EMA, $\bar{L}_i$) 을 사용하고, 최대 학습률 ($\eta_{max}$) 에 대한 상한과 수치적 안정성을 위한 작은 엡실론 ($\epsilon$) 을 적용합니다:
$$\eta_i = \min\left( \frac{\eta_{base}}{\sqrt{\bar{L}_i + \epsilon}}, \eta_{max} \right)$$
핵심 메커니즘:

• 고손실 배치: 학습률을 낮춰 유지된 능력을 손상시킬 수 있는 업데이트의 크기를 최소화합니다.
• 저손실 배치: 모델이 수렴하고 손실이 감소함에 따라 학습률을 증가시켜 효율적인 최적화를 가능하게 합니다.
• 목적 함수 보존: 다른 방법들과 달리 FINCH 는 훈련 목적 함수 (교차 엔트로피) 를 변경하지 않습니다. 고손실 토큰은 여전히 학습에 기여하므로 모델이 새로운 지식을 습득할 수 있습니다.

주요 기여

1. 이론적 상한선: 논문은 단계별 망각, 학습률, 훈련 손실 간의 이론적 연결을 확립하여 망각이 $\eta \sqrt{L}$에 의해 상한이 정해짐을 입증했습니다.
2. FINCH 알고리즘: 사전 학습 데이터 접근이 필요 없으며 미세 조정 목적 함수를 수정하지 않는 단순한 데이터 무관 학습률 스케줄입니다.
3. 파레토 최적화: FINCH 는 최신 기법 베이스라인에 비해 목표 작업 정확도와 일반 능력 보존 간의 더 우수한 트레이드오프를 달성합니다.

실험 결과

저자들은 사전 학습 모델의 커버리지가 제한된 세 가지 설정에서 FINCH 를 평가했습니다: 지식 습득(TOFU), 과학적 추론(SciKnowEval), 그리고 저자원 언어 적응(Galician Alpaca). 실험은 Qwen3-4B 와 Llama-3-8B 에서 수행되었습니다.

성능 지표

• 망각 감소: FINCH 는 모든 작업에서 표준 지도 미세 조정 (SFT) 대비 평균 망각을 93% 감소시킵니다.
• 목표 작업 정확도: FINCH 는 표준 SFT 및 LoRA 의 목표 작업 정확도와 일치하거나 초과합니다. 예를 들어, Qwen3-4B 를 사용한 지식 습득에서 FINCH 는 83.3% 정확도 (SFT 의 83.5% 와 유사) 를 달성하면서 평균 벤치마크 저하를 -9.6 에서 +0.1 로 줄였습니다.
• 신뢰성 보존:
  • 사실성: TruthfulQA 에서 FINCH 는 SFT 대비 5 배 더 많은 저하를 감소시켰습니다 (-13.9 에서 -2.6 포인트).
  • 할루시네이션 감지: HaluEval 에서 FINCH 는 SFT 에서 관찰된 저하를 반전시켜 +3.3 포인트만큼 성능을 향상시켰습니다.
  • 보정 (Calibration): FINCH 는 표준 SFT 보다 신뢰도 보정 (Brier 점수로 측정) 을 더 잘 보존하지만, 일부 저하는 여전히 존재합니다.

베이스라인과의 비교

• 목적 함수 수정 방법 (FLOW, DFT, STM): 이러한 방법들은 종종 망각을 감소시키지만 새로운 작업을 효과적으로 학습하지 못해 목표 작업 정확도가 현저히 낮아집니다.
• 파라미터 효율적 방법 (LoRA): 망각 감소에는 효과적이지만, FINCH 에 비해 일반 능력에서 여전히 상당한 저하를 겪습니다.
• 고정된 작은 학습률: 단순히 학습률을 낮추면 망각은 감소하지만 경쟁력 있는 새로운 작업 정확도에 도달하지 못합니다. 이는 FINCH 의 적응형 특성이 중요함을 확인시켜 줍니다.

의의 및 주장

본 논문은 학습률 스케줄이 미세 조정 중 모델 행동을 형성하는 데 있어 미활용된 도구라고 주장합니다. 현재 배치의 난이도 (손실로 반영됨) 에 따라 스텝 크기를 동적으로 조정함으로써 FINCH 는 모델이 사전 학습 지식을 파괴적으로 덮어쓰지 않고 새로운 어려운 정보를 학습할 수 있게 합니다.

저자들은 그들의 접근 방식이 데이터 무관하므로 사전 학습 데이터에 접근할 수 없는 현대 LLM 에 실용적임을 강조합니다. 그들은 FINCH 가 목표 작업 수행능력을 높이면서 동시에 사실성, 할루시네이션 감지, 일반 추론 능력을 보존하는 파레토 최적 솔루션을 제공하며, 어려운 예시를 억제하여 망각을 완화하려는 방법들을 능가한다고 결론지었습니다.

인정된 한계:

• 이론적 분석은 SGD 를 위해 유도되었으나, 실험에는 AdamW 가 사용되었습니다.
• FINCH 는 보정 저하를 감소시키지만 사전 학습 모델의 보정을 완전히 보존하지는 않습니다.
• 실험은 계산적 제약으로 인해 8B 파라미터 이하의 모델로 제한되었습니다.