기술 요약: RAFT (망각을 완화한 도메인 미세 조정을 위한 데이터 정제 및 적응형 증류)

문제 정의

도메인 특화 지도 미세 조정(SFT)은 대규모 언어 모델(LLM)을 전문적인 작업에 적응시키는 데 필수적이지만, 모델의 일반적인 능력이 크게 저하되는 치명적 망각(catastrophic forgetting) 현상을 빈번하게 초래합니다. 저자들은 이러한 성능 저하를 유발하는 두 가지 실질적인 격차를 식로서 다음과 같이 식별했습니다:

1. 감독 호환성 격차(Supervision-Compatibility Gap): 도메인 정답(ground-truth)은 종종 모델의 자연스러운 응답과 스타일 및 추론 형식 면에서 다릅니다. 모델이 이러한 이질적인 타겟에 맞추도록 강제하면 급격한 파라미터 변화가 발생하여 사전 학습된 지식이 덮어씌워지게 됩니다.
2. 궤적 보존 격차(Trajectory-Preservation Gap): 표준 SFT는 모델의 자체 생성 접두사(prefix)에 대한 제약 없이 고정된 타겟 토큰만을 최적화합니다. 이러한 제약의 부재는 최적화 과정 중 모델의 원래 행동 패턴을 보존하지 못하게 만듭니다.

기존 방법들은 일반적으로 이 문제의 한쪽 측면만을 해결합니다(예: 자기 증류를 통한 데이터 정제 또는 정규화/KL 발산을 통한 학습 제약). 하지만 두 가지를 모두 해결하는 경우는 드물며, 이는 도메인 적응과 일반 능력 유지 사이의 최적의 절충점을 찾는 데 있어 하위 최적의 결과를 초래합니다.

방법론

RAFT는 두 가지 격차를 동시에 해결하기 위해 데이터 정제와 **적응형 온-폴리시 증류(adaptive on-policy distillation)**를 결 결합한 2단계 프레임워크를 제안합니다.

1. 오프라인 증류 (데이터 정제)

이 단계는 정답과 모델 출력 분포 사이의 분포 불일치를 줄이기 위해 모델과 호환 가능한 감독 데이터를 구축합니다.

• 자기 조건부 재작성(Self-Conditioned Rewriting): 원래의 인스트럭션 튜닝된 모델이 원래의 정답($y_i$)을 조건으로 하여 정답을 재작성합니다 ($\tilde{y}_i \sim p_\theta(\cdot | x_i, y_i)$). 이를 통해 사실적 내용은 유지하면서 모델 고유의 표현 스타일로 적응시킵니다.
• 의미론적 필터링(Semantic Filtering): 의미론적 표류(semantic drift)를 방지하기 위해 원래의 정답과 재작성된 정답 간의 코사인 유사도를 계산합니다. 재작성된 답변이 임계값 $\tau$를 초 exceed하는 경우에만 수용되며, 그렇지 않으면 원래의 정답을 유지합니다.
• 다중 전문가 최적 선택(Multi-Expert Optimal Selection): 수용된 재작성 답변에 대해, 더 강력한 퓨전 모델(예: Qwen3-3B)이 원래의 정답과 재작성된 정답을 결합합니다. 여러 판사(judge) 모델이 퓨전된 출력이 원래의 정답과 일치하는지 평가하며, 가장 높은 점수를 받은 결과가 최종 정제된 정답($\hat{y}_i$)으로 선택됩니다.

2. 적응형 온-폴리시 증류 (학습 최적화)

이 단계에서는 정제된 데이터셋을 사용하여 모델을 학습시키는 동시에, 증류 제약을 통해 일반적인 능력을 명시적으로 보존합니다.

• 정답 조건부 온-폴리시 증류(Answer-Conditioned On-Policy Distillation): 학생 모델은 자기회귀적으로 궤적($z_i$)을 생성합니다. 원래의 인스트럭션 튜닝된 모델은 교사(teacher) 역할을 수행하며 소프트 타겟(soft targets)을 제공합니다. 결정적으로, 교사는 추가적인 컨텍스트로서 퓨전된 정답($\hat{y}_i$)을 조건으로 하며, 이를 통해 학생의 생성된 궤적에 대해 더 정보가 풍부한 가이드를 제공할 수 있습니다.
• Top-K 온도 증류(Top-K Temperature Distillation): 과도한 평활화(over-smoothing)를 방지하고 출력 다양성을 유지하기 위해, 교사의 분포 중 상위 $K$개 토큰에 대해서만 KL 발산을 계산하며, 이를 온도 파라미터 $T$로 스케일링합니다.
• EMA 기반 적응형 균형(EMA-Based Adaptive Balancing): 고정된 하이퍼파라미터 대신, 지수 이동 평균(EMA) 메커니즘을 사용하여 SFT 손실(교차 엔트로피)과 증류 손실(KL 발산) 사이의 가중치($\lambda$)를 동적으로 조정합니다. 이는 수동 튜닝 없이도 학습 전반에 걸쳐 두 목적 함수가 균형을 유지하도록 보장합니다.

주요 기여

1. 문제 식별: 본 논문은 도메인 SFT에서 발생하는 망각의 근본 원인이 감독 분포 불일치와 궤적 보존 제약의 부재가 결합된 것임을 규명했습니다.
2. 오프라인 증류 전략: 코사인 유사도 필터링과 다중 모델 퓨전을 사용하여 분포적으로 일관된 고품질의 감독 데이터를 생성하는 파이프라인을 도입했습니다.
3. 적응형 온-폴리시 증류: 정답 조건부 온-폴리시 증류, Top-K 온도 스케일링, EMA 기반 손실 균형을 결합한 새로운 학습 목적 함수를 제시했습니다.
4. 실증적 검증: 데이터 정제와 궤적 수준의 보존을 결합하는 것이 도메인 성능을 향상시키면서도 망각을 효과적으로 완화함을 입증했습니다.

실험 결과

RAFT는 세 가지 인스트럭션 튜닝 백본(SmolLM3-3B, Llama-3.2-3B-Instruct, Phi-4-mini-instruct)을 대상으로 다섯 가지 도메인(비즈니스, 법률, 과학, 문화, 웹)에서 평가되었습니다.

• 도메인 성능: RAFT는 표준 SFT 대비 평균 도메인 정확도(D-Acc)를 23.2% 향상시켰습니다.
• 일반 능력 유지: RAFT는 SFT로 인한 성능 저하를 상당 부분 회복했습니다:
  • MS-Bench (주관적 QA): SFT 대비 18.2% 개선되었습니다.
  • IFEval (지시 이행): SFT 대비 10.2% 개선되었습니다.
• 절제 연구(Ablation Studies):
  • 데이터 퓨전: 퓨전된 데이터만을 사용하는 것이 원래 데이터보다 D-Acc 및 일반 지표를 개선하였으며, 이는 스타일 적응의 가치를 확인시켜 줍니다.
  • 증류: 퓨전된 데이터 SFT에 적응형 온-폴리시 증류를 추가했을 때 도메인 정확도와 일반 능력 모두에서 상당한 추가 이득이 있었습니다.
  • 적응형 균형: EMA 기반 전략은 고정된 KL 계수보다 우수한 성능을 보였습니다. 고정된 계수는 도메인 적응을 억제하거나 일반 능력을 보존하는 데 실패했습니다.
• 파라미터 분석: 최적의 성능은 코사인 유사도 임계값 $\tau=0.8$, 온도 $T=1.5$, Top-$K=512$에서 발견되었습니다.

의의 및 주장

본 논문은 RAFT가 망각이 완화된 도메인 미세 조정을 위한 효과적인 "레시피"를 제공한다고 주장합니다. 데이터 정제와 학습 제약을 독립적인 문제가 아닌 결합된 문제로 취급함으로써, 이 프레임워크는 모델이 사전 학습된 일반 능력을 덮어쓰지 않고도 도메인 특화 지식을 습득할 수 있게 합니다.

저자들은 이 접근 방식이 교사 모델을 "보수적인 닻(conservative anchor)"에서 "타겟 인지형 가이드(target-aware guide)"로 변화시킨다고 강조합니다. 결과는 호환 가능한 감독과 궤적 수준의 보존을 결합하는 것이 LLM의 전문화와 일반화 사이의 절충안을 위한 실질적인 해결책임을 시사합니다. 본 논문은 규모 확장성에 대해서는 신중한 태도를 보이며, 평가가 소규모 모델과 특정 도메인에 국한되었음을 언급했습니다. 따라서 더 큰 모델이나 특수 작업(예: 코드 생성)에서의 성능에 대해서는 추가적인 조사가 필요합니다.