기술 요약: 암기에서 파라미터 간섭으로

문제 정의

현대 딥러닝은 오픈 웨이트 파운데이션 모델을 일반 데이터로 사전 학습한 후, 이를 특정 작업에 특화된 "전문가(expert)" 모델을 만들기 위해 미세 조정(fine-tuning)하는 파이프라인에 크게 의존하고 있습니다. 이러한 전문가 모델들은 하나의 더 강력한 모델로 결합하기 위해 병합(merge)되곤 합니다. 이 워크플로에는 미세 조정 단계에서의 개선(즉, 전문가의 특정 작업에 대한 정확도 향상)이 다운스트림의 병합된 모델 성능 향상으로 이어진다는 지배적인 가정이 존재합니다.

본 논문은 이러한 가정에 이의를 제기합니다. 저자들은 전문가 미세 조정의 기간과 모델 병합의 효용성 사이의 관계를 조사합니다. 저자들은 전문가가 개별 작업에 대해 수렴하거나 그 이상으로 최적화되는 "과적합(overtraining)" 과정이, 비록 전문가 자체의 성능은 향상시킬지라도, 결과적으로 생성된 병합 모델의 성능을 오히려 저하시킬 수 있다고 상정합니다.

방법론

본 연구는 다양한 비전 및 언어 모달리티(ViT-B-32, ViT-L-14, T5-Base/Large/3B, BERT-Base)와 적응 방식(전체 미세 조정 및 LoRA)을 활용하여 체계적인 경험적 분석을 수행합니다.

실험 설정:

• 데이터셋: 8개의 이미지 분류 작업(예: Cars, MNIST, SVHN) 및 7개의 NLP 작업(예: QASC, Winogrande).
• 학습 기간: 전문가들을 다양한 스텝 수($s \in \{2, \dots, 2048\}$)로 미세 조정했습니다.
• 병합 방법: 단순 파라미터 평균화(Parameter Averaging), Task Arithmetic (TA), TIES, DARE, 그리고 SVD 기반 방법(Iso-C, Iso-CTS, TSV-M)을 포함한 여러 병합 기법을 평가했습니다.
• 평가: 주요 지표는 병합된 모델의 모든 작업에 대한 가공되지 않은(un-normalized) 평균 테스트 정확도입니다. 저자들은 실험 간 전문가 성능 차이로 인한 불일치를 방지하기 위해 정규화된 정확도 지표를 명시적으로 피했습니다.

분석 도구:
관찰된 현상을 설명하기 위해, 저자들은 데이터 난이도 점수(특히 EL2N 점수)를 사용하여 학습 예시를 난이도별 빈(bin)으로 분류합니다. 또한 다음을 분석합니다:

1. 암기(Memorization): 특정 예시에 대한 모델의 확신도가 해당 예시를 학습 중에 보았는지 여부에 얼마나 의존하는지를 측정하기 위해 Feldman의 암기 프레임워크를 사용합니다.
2. 파라미터 간섭(Parameter Interference): sign conflict percentage, 파라미터 중첩(overlap), 크기 비율(magnitude ratio), 파라미터별 분산 등의 지표를 사용하여 태스크 벡터 간의 충돌을 정량화합니다.
3. 인과적 격리(Causal Isolation): 특정 데이터 서브셋(쉬움, 중간, 어려움)을 제외하는 실험을 수행하여, 이들이 모델의 행동과 병합 결과에 미치는 개별적인 영향을 측정합니다.

핵심 결과

1. 과적합은 병합을 해친다

전문가가 더 나을수록 병합도 더 잘 될 것이라는 가정과 달리, 저자들은 학습 기간이 길어질수록 병합 성능이 저하된다는 것을 발견했습니다.

• 비전 및 언어: 두 영역 모두에서 병합 정확도는 중간 학습 단계(예: T5의 경우 256 스텝, ViT-LoRA의 경우 128 스텝)에서 정점을 찍고, 학습이 2048 스텝까지 계속됨에 따라 크게 하락합니다.
• 영향의 규모: 성능 저하는 심각합니다. LoRA 적응 모델의 경우, 최적의 조기 종료 시점과 과적합된 체크포인트를 비교했을 때 병합 정확도가 16% 이상 급감할 수 있습니다(예: TIES 방법).
• 전문가 vs 병합 모델 성능: 전문가의 특정 작업에 대한 정확도는 학습이 길어짐에 따라 계속 향상되는 반면, 병합된 모델의 성능은 악화됩니다. 예를 들어, NLP에서 전문가 정확도는 256 스텝에서 2048 스텝 사이에서 3.7% 향상되었으나, 병합 정확도는 모든 방법에서 최소 2.4% 하락했습니다.

2. 메커니즘: 암기와 간섭

논문은 이러한 성능 저하의 원인을 학습 후기 단계에서의 어려운 예시들에 대한 암기로 추적합니다.

• 어려운 예시의 암기: 초기 학습은 공통적인 특징을 배우는 데 주도됩니다(쉬운 예시). 후기 학습 단계는 소수의 "어려운" 예시(이상치 또는 노이즈가 섞인 레이블)를 암기하는 것에 의해 주도됩니다.
• 특이적 업데이트: 이러한 어려운 예시들의 암기는 작업 간에 일반화되지 않는 특이적인(idiosyncratic) 파라미터 업데이트를 초래합니다.
• 부정적 파라미터 간섭: 병합 시, 이러한 작업 특화적인 암기 업데이트는 부정적인 간섭을 일으킵니다. 저자들은 어려운 예시들이 병합 과정에서 불균형하게 잊혀진다는 것(잊혀진 데이터 포인트의 50% 이상이 가장 어려운 30%의 예시에 속함)을 보여주며, 반면 쉬운 예시들은 여전히 올바르게 분류됨을 보여줍니다.
• 정량적 증거: 파라미터 간섭 지표(sign conflict, overlap, variance)는 학습 기간에 따라 체계적으로 증가하며, 이는 긴 학습이 더 많은 충돌하는 파라미터 업데이트를 생성함을 확인시켜 줍니다.

3. 어느 정도의 암기는 필수적이다

저자들은 과도한 암기는 해롭지만, 어느 정도의 암기는 최적의 병합을 위해 필요하다는 것을 입증했습니다. 학습에서 가장 어려운 예시들을 제거하면 병합 성능이 일관되게 저하되는데, 이는 일반화 가능한 특징을 학습하면서도 특이적인 노이즈에 과적합되지 않는 균형이 필요함을 시사합니다.

4. 해결책으로서의 조기 종료

본 논문은 과적합을 완화하기 위한 일반적인 원칙으로 **공격적인 조기 종료(early stopping)**를 제안합니다.

• 태스크 의존적 전략: 검증 정확도가 정체될 때 학습을 중단함으로써(고정된 스텝 수 대신), 저자들은 개별 전문가가 특정 작업에서 덜 정확하더라도 고정 스텝 학습보다 더 나은 병합 성능을 달 수 있음을 보여주었습니다.
• LoRA 특이사항: 조기 종료는 특히 LoRA 어댑터에 효과적이며, 표준적인 장기 학습 시 손실되는 최적의 병합 정확도를 회복해 줍니다.

의의 및 주장

본 논문은 모델 병합 분야에 전문가 학습 기간이라는 결정적인 새로운 차원을 도입했다고 주장합니다.

• 패러다임의 전환: 전문가를 수렴할 때까지 학습시킨 후 병합하는 표준 관행에 도전합니다. 저자들은 병합을 위한 "최고의" 전문가는 아직 어렵고 특이한 예시를 암기하지 않은 "덜 학습된(undertrained)" 전문가인 경우가 많다고 주장합니다.
• 실무적 지침: 본 연구는 실무자들에게 실행 가능한 지침을 제공합니다:
  1. 중간 체크포인트 공개: 최적의 병합 시점이 종종 수렴보다 앞서 발생하므로, 중간 체크포인트를 공개하는 것이 중요합니다.
  2. 조기 종료 우선순나: 병합을 위해 전문가를 학습시킬 때, 공격적인 조기 종료는 완전한 수렴보다 더 나은 다운스트림 결과를 낼 수 있습니다.
• 효율성: 최적의 병합을 위해 필요한 학습 기간을 줄임으로써, 이러한 발견은 AI 모델을 학습하고 병합하는 데 드는 계산 및 환경적 비용을 크게 절감할 수 있습니다.
• 일반화 가능성: 이 현상은 모델 규모(220M에서 3B 파라미터까지), 아키텍처(ViT, T5, BERT), 그리고 Model MoErging과 같은 대안적인 업사이클링 전략에 걸쳐 견고하게 나타납니다.

저자들은 전문가 학습 역학, 특히 후기 단계의 어려운 예시 암기를 피하는 것을 세심하게 관리하는 것이 모델 병합 파이프라인의 잠재력을 극대화하는 데 필수적이라고 결론짓습니다.