기술 요약: DualSFT – LLM 파인튜닝을 위한 하나의 알고리즘, 두 가지 목표

1. 문제 정의

대규모 언어 모델 (LLM) 파인튜닝은 현대적 규모에서 prohibitive 비용에 직면해 있으며, 이는 **파라미터 효율적 파인튜닝 (PEFT)**과 **데이터 효율적 파인튜닝 (DEFT)**이라는 두 가지 뚜렷한 효율성 전략에 대한 연구를 촉진하고 있습니다. PEFT 방법 (예: 파라미터 선택, LoRA) 은 학습 가능한 상태 메모리를 줄이는 반면, DEFT 방법 (예: 데이터 선택, 재가중치) 은 최적화 작업량을 줄입니다.

현재 이러한 전략들은 독립적으로 작동합니다. 업데이트를 제한하기 위해 파라미터 마스크와 데이터 서브셋이 모두 적용될 때, 기존 접근 방식은 일반적으로 별도의 점수 매기기 메커니즘을 사용합니다. 이러한 분리는 중복된 계산 오버헤드를 초래하며 조정 불일치를 야기합니다. 즉, 특정 데이터 서브셋을 고려하지 않고 선택된 파라미터 마스크 (또는 그 반대의 경우) 는 최적의 공동 성능을 저해할 수 있습니다. 이 논문은 파라미터 마스크와 데이터 서브셋이 제한된 업데이트를 공동으로 결정하므로, 분리된 메커니즘이 아닌 공유 점수 규칙을 통해 선택되어야 한다고 주장합니다.

2. 방법론: DualSFT

저자들은 공유 기울기 통계에서 파라미터 중요도와 데이터 유용성을 동시에 추출하는 원샷 (one-shot) 알고리즘인 **DualSFT (Dual-Selection Fine-Tuning)**를 제안합니다. 핵심 이론적 통찰은 공통 검증 목적 하에서 파라미터 및 데이터 선택을 단일 국소 반응-대리 (local response-surrogate) 문제의 두 가지 관점으로 재구성하는 것입니다.

2.1 이론적 기반: 이중 최적화 및 대리 모델

선택 과정은 $\mathcal{L}_{val} = \mathcal{L}_{new} + \lambda \mathcal{L}_{prior}$라는 공통 외부 검증 목적을 공유하는 두 개의 이중 최적화 문제로 공식화됩니다. 여기서 $\mathcal{L}_{new}$는 목표 작업 손실이며, $\mathcal{L}_{prior}$는 사전 학습된 능력을 보존합니다.

• 외부 수준: 예산 제약이 있는 마스크 (파라미터 마스크 $\mathbf{m}_\theta$ 또는 데이터 마스크 $\mathbf{m}_D$) 를 선택합니다.
• 내부 수준: 선택된 마스크에 의해 유도된 최적 파라미터 업데이트 $\delta^*$를 계산합니다.

이들을 정확하게 해결하는 것은 LLM 에서는 불가능합니다. 저자들은 공통 워밍업 체크포인트 $\bar{\theta}$에서 단일 단계 기울기 업데이트를 사용하여 내부 반응을 근사화합니다. 이를 통해 선택된 서브셋에 의존하는 업데이트 방향을 갖는 국소 대리 모델을 도출합니다.

2.2 공유 상호작용 행렬

1 차 및 2 차 테일러 근사를 사용하여 $\bar{\theta}$ 주변에서 검증 목적을 전개함으로써, 저자들은 기울기 상호작용 행렬 $\mathbf{M} \in \mathbb{R}^{N \times D}$ (여기서 $N$은 샘플 수, $D$는 파라미터 차원) 를 유도합니다.

• 파라미터 중요도: $\mathbf{M}$의 열별 집계로 나타납니다.
• 데이터 유용성: $\mathbf{M}$의 행별 집계로 나타납니다.

이 구조는 행 - 열 이중성을 드러냅니다. 두 신호 모두 동일한 대수적 객체에서 파생됩니다. 폐쇄형 점수는 선택을 상호작용 행렬이 신용 할당을 제공하는 협력 게임으로 간주하는 Shapley 값 해석을 허용합니다.

2.3 DualSFT 알고리즘 파이프라인

알고리즘은 세 단계로 실행됩니다:

1. 파일럿 워밍업: 경량 워밍업 (1 에포크, 데이터의 5%) 은 안정적인 체크포인트 $\bar{\theta}$를 설정하고 AdamW 의 2 차 모멘트 버퍼를 사용하여 대각선 곡률 $\hat{c}$를 추정합니다.
2. 원샷 듀얼 스코어링:
   • 검증 개선 투영 벡터 $\mathbf{u}$가 구성됩니다: $\mathbf{u} = \eta_{sc}(\nabla \mathcal{L}_{new} + \lambda \nabla \mathcal{L}_{prior}) - \frac{\eta_{sc}^2}{2} \hat{c} \odot \mathbf{G}$, 여기서 $\mathbf{G}$는 누적 학습 기울기입니다.
   • 파라미터 점수: $s_{\theta, d} = u_d G_d$ (열 집계).
   • 데이터 점수: $s_{D, n} = \langle \mathbf{u}, \mathbf{g}_n \rangle$ (행 집계, 샘플별 기울기를 물리화하지 않고 Ghost Dot Product 를 통해 계산됨).
   • 상위 $k$개 파라미터와 상위 $b$개 샘플이 이러한 부호화된 점수를 기반으로 선택됩니다.
3. 제한적 파인튜닝: 모델은 선택된 파라미터만 사용하여 선택된 데이터 서브셋에서 파인튜닝됩니다.

2.4 보존 메커니즘

파라미터 학습 데이터에 접근할 수 없는 상황에서도 파기적 망각을 완화하기 위해 DualSFT 는 **신뢰도 가중 자기 증류 (CWSD)**를 사용합니다. 이는 고정된 앵커 세트에서 현재 모델과 원래 사전 학습된 모델 간의 KL 발산을 최소화하여 보존 방향 $\nabla \mathcal{L}_{prior}$를 구성하며, 이때 원래 모델 예측의 신뢰도로 가중치가 부여됩니다.

3. 주요 기여

1. 통합 점수 이론: 개별 파라미터 및 데이터 선택 문제를 단일 기울기 상호작용 행렬의 행별 및 열별 집합으로 변환하는 공유 반응 - 대리 점수 규칙의 유도. 이는 국소화된 Shapley 해석에 의해 뒷받침됩니다.
2. DualSFT 알고리즘: 파라미터 및 데이터 선택을 동시에 조정하여 순차적 하이브리드 베이스라인에서 발견되는 중복 점수 매기기 패스와 조정 간격을 제거하는 실용적인 원샷 듀얼 스코어링 알고리즘.
3. 보존 방향: CWSD 를 사용한 코퍼스 없는 보존 방향으로, 제한적 파인튜닝 중 망각을 효과적으로 완화합니다.
4. 실증적 검증: 코드 생성 및 수학 추론 작업 전반에 걸쳐 3B~9B LLM(Llama-3.2, Gemma-3, Qwen-3.5) 에 대한 포괄적인 실험.

4. 실험 결과

실험은 Magicoder(코드) 와 MetaMathQA(수학) 에서 매칭된 예산 (데이터 10%, 파라미터 5%) 으로 수행되었습니다.

• 성능: DualSFT 는 단일 축 베이스라인 (예: LESS, S2FT, NanoAdam) 과 순차적 하이브리드 (예: LESS + S2FT, SPICE + NanoAdam) 보다 우수한 성과를 거두었습니다.
  • Llama-3.2-3B(Magicoder) 에서 전체 DualSFT 는 47.10% Overall 점수를 달성하여 가장 강력한 순차적 하이브리드 (SPICE + NanoAdam, 44.71%) 보다 2.39 포인트 상회했습니다.
  • DualSFT 변형들은 탄력성 (목표 작업 성능) 과 안정성 (일반 능력 유지) 모두에서 해당 비교 그룹을 일관되게 주도했습니다.
• 효율성: DualSFT 는 파인튜닝 비용을 절감합니다. 전체 DualSFT 는 7.4 GPU 시간과 28.5 GB 피크 선택 메모리로 결과를 달성하여, 공동 제약 트레이드오프 측면에서 순차적 하이브리드보다 우월했습니다.
• 절제 실험 (Ablations):
  • 워밍업 단계 제거는 탄력성을 크게 저해했습니다.
  • CWSD 제거는 안정성을 크게 저해했습니다.
  • 1 차 점수만 사용 (대각선 곡률 무시) 한 경우 Overall 성능이 가장 크게 하락하여 2 차 근사의 타당성을 입증했습니다.
• 진단 분석: 이 논문은 원샷 점수 매기기가 대부분의 공동 구조를 포착함을 확인했습니다. 고정된 측면 재선택 (한 축을 고정하고 다른 축을 재점수) 은 계산량이 크게 증가하는 대가로 미미한 성과 (<0.12 포인트) 만 가져옵니다.

5. 의의 및 주장

이 논문은 DualSFT 가 파라미터 및 데이터 선택을 독립적인 휴리스틱으로 취급하는 것에서 결합된 적응 자원으로 바라보는 전환을 나타낸다고 주장합니다. 단일 검증 개선 대리 모델에서 두 신호를 모두 유도함으로써 이 방법은 다음과 같은 이점을 제공합니다:

• 중복성 감소: 별도의 점수 매기기 메커니즘과 반복적인 조건부 패스의 필요성을 제거합니다.
• 조정 개선: 공동 업데이트 전에 선택 축을 정렬하여 독립적 선택이 검증되지 않은 신호를 혼합하는 "조정 간격"을 방지합니다.
• 트레이드오프 균형: 매칭된 예산 하에서 기존 순차적 또는 단일 축 방법보다 더 유리한 안정성 - 탄력성 - 효율성 프론티어를 달성합니다.

저자들은 겸손하게도 이 방법이 국소 대리 모델에 의존하므로, 최적화가 워밍업 체크포인트에서 멀어질수록 점수 충실도가 감소할 수 있음을 지적합니다. 그들은 더 긴 적응 기간을 위해 동적 재점수 매기기를 향후 방향으로 제안하지만, 연구된 예산 범위에서는 원샷 접근 방식이 매우 비용 효율적임을 강조합니다.