기술 요약: DG-Hard 를 통한 스펙트럼 망각 방지

문제 정의

특정 목표 작업을 위해 대규모 언어 모델 (LLM) 을 파인튜닝하는 과정은 routinely **파괴적 망각 (catastrophic forgetting)**을 유발합니다. 이는 사전 학습된 베이스 모델 ($W_{base}$) 에 존재하던 역량이 훈련 데이터가 해당 역량을 명시적으로 위협하지 않았음에도 불구하고 저하되거나 파괴되는 현상입니다. 이러한 현상은 가중치 업데이트 $\Delta = W_{ft} - W_{base}$에서의 "부수적 변화"로 나타납니다. 즉, 업데이트는 새로운 작업과 정렬된 구조화된 저랭크 신호를 포함하지만, 확률적 경사 하강법 (SGD) 단계에서 비롯된 IID(독립 동일 분포) 와 유사한 잡음 잔여물도 축적합니다. 이 잡음 잔여물은 사전 학습된 특징을 왜곡시켜, 홀드아웃 벤치마크 (예: 의료 분야 파인튜닝이 수학 추론 능력을 급격히 저하시키는 경우) 에서 성능 붕괴를 초래합니다.

기존의 사후 복구 방법들은 **좌표 공간 (coordinate space)**에서 작동하여 이러한 손실된 역량을 복구하려 시도합니다 (예: WiSE-FT 와 같은 스칼라 보간, DARE 와 같은 무작위 드롭, TIES 및 FAPM 과 같은 크기/부호 가지치기). 그러나 이러한 접근법들은 근본적인 표현 문제를 직면합니다. 즉, 작업 관련 항목과 해로운 잔여 항목이 크기, 부호, 위치에 따라 교차되어 있어, 목표 작업의 이득이나 복구된 역량의 어느 하나를 희생하지 않고는 신호와 잡음을 분리하기 어렵습니다.

방법론: DG-Hard

본 논문은 좌표 공간이 아닌 **특이값 공간 (singular-value space)**에서 작동하는 사후, 데이터 무관, 그리고 경사 무관 복구 방법인 DG-Hard를 제안합니다. 핵심 가설은 파인튜닝 업데이트 $\Delta$가 신호 + 잡음 모델을 따른다는 것입니다:
$$\Delta = \Delta_{signal} + \Delta_{noise}$$
여기서 $\Delta_{signal}$은 작업과 정렬된 저랭크 업데이트이며, $\Delta_{noise}$는 경사 하강법이 제거할 유인을 가지지 않는 IID 잔여물입니다.

스펙트럼 접근법

1. 신호 + 잡음 분해: 이 방법은 각 2D 가중치 행렬에 대한 가중치 델타 $\Delta$를 구조화된 저랭크 성분과 무작위 행렬 잡음 성분의 합으로 취급합니다. 실증적 증거에 따르면 잡음 성분의 스펙트럼은 마르첸코 - 파스트 (Marchenko-Pastur, MP) 분포를 따르는 반면, 신호는 유한한 수의 이상치 특이값 스파이크로 나타납니다.
2. 최적 하드 임계값 설정: 임의의 가지치기나 보간 대신, DG-Hard 는 $\Delta$의 특이값 분해 (SVD) 에 도노호 - 가비시 (Donoho-Gavish) 최적 하드 특이값 임계값을 적용합니다.
   • 임계값 $\tau^*$는 재구성된 신호의 점근적 평균 제곱 오차 (AMSE) 를 최소화하도록 유도됩니다.
   • 이는 $\tau^* = \omega(\beta) \hat{\sigma} \sqrt{\max(m, n)}$로 계산되며, 여기서 $\hat{\sigma}$는 특이값의 중앙값에서 추정되고, $\omega(\beta)$는 행렬 종횡비 $\beta$에 의존하는 상수입니다.
3. 폐형식 (Closed-Form) 복구: 절차는 다음과 같습니다:
   • $\Delta = U \text{diag}(s) V^\top$의 SVD 를 계산합니다.
   • 특이값에 하드 임계값을 적용합니다: $s'_i = s_i \cdot \mathbb{1}\{s_i > \tau^*\}$.
   • 가지치기된 델타를 재구성합니다: $\Delta^* = U \text{diag}(s') V^\top$.
   • 복구된 체크포인트를 형성합니다: $W^* = W_{base} + \Delta^*$.

이 과정은 추가 훈련 데이터, 경사 계산이 필요 없으며, 단일 GPU 에서 수 분 내에 실행되어 복구를 폐형식 SVD 필터링 단계로 축소합니다.

주요 기여

1. 사후 복구 공식화: 저자들은 파괴적 망각 복구를 복구 - 보존 문제로 규정합니다: 손상된 홀드아웃 역량을 복구하면서 목표 작업의 이득과 우발적인 홀드아웃 개선을 보존하는 것입니다.
2. 스펙트럼 구조 식별: 본 논문은 실증적으로 해로운 잔여물이 무작위 행렬 예측과 일치하는 특이값 벌크 (bulk) 에 집중되는 반면, 작업 관련 업데이트는 특이값 스파이크로 나타난다는 것을 보여줍니다. 이는 왜 좌표 공간 방법들이 복구와 보존 사이의 트레이드오프에 어려움을 겪는지를 설명합니다.
3. DG-Hard 알고리즘: 파인튜닝 델타에 통계적으로 최적인 도노호 - 가비시 하드 임계값을 적용하는 데이터 무관 복구 방법을 도입하여, 구조화된 신호와 잡음 잔여물을 효과적으로 분리합니다.
4. 분할 조건부 평가: 저자들은 치유 (손상된 벤치마크에서의 복구), 보존 (개선된 벤치마크의 유지), 비손상 (변화 없는 벤치마크의 안정성), 그리고 작업 내 유지를 각각 추적하는 새로운 지표 세트를 도입합니다. 이는 벤치마크별 실패를 숨기거나 베이스 모델로의 단순 복귀를 보상할 수 있는 평균 정확도의 함정을 피합니다.

실험 결과

이 방법은 14 개의 (모델, 작업) 설정 (Qwen3.5-4B 및 Llama-3.2-3B-Instruct 사용) 과 9 개의 교차 도메인 홀드아웃 벤치마크에서 평가되었습니다.

• 균형 잡힌 성능: DG-Hard 는 사후 베이스라인 중 가장 강력한 균형 잡힌 복구를 달성합니다. **정리 (치유 + 비손상)**와 유지 (보존 + 작업 내 유지) 모두에서 $\ge 80$점을 기록한 유일한 방법이며, 종합 점수 83.3을 달성했습니다.
• 베이스라인 비교:
  • FAPM과 V-SoftMask는 극단을 나타냅니다: FAPM 은 손상을 잘 치유합니다 (91.9 정리) 하지만 보존을 파괴합니다 (0.0 유지); V-SoftMask 는 이득을 보존합니다 (97.1 유지) 하지만 치유에 실패합니다 (24.9 정리).
  • WiSE-FT(선형 보간)는 가장 가깝지만 DG-Hard 에 비해 유지 (71.0) 에서 부족합니다.
  • LoRA와 CoFi-Tune은 특정 코호트에서 낮은 유지 또는 비양수 보존으로 고통받습니다.
• 안전 정렬: DG-Hard 는 정렬 데이터를 사용하지 않고도 세 가지 독립적 축 (HarmBench, XSTest, StrongREJECT) 에서 선의의 파인튜닝으로 인해 저하된 안전 정렬을 복원합니다. 이는 안전성 저하 또한 스펙트럼 절삭으로 제거된 잡음 잔여물의 부산물임을 시사합니다.
• 인지 대 지식: 이 방법은 다른 베이스라인들이 보존에서 종종 붕괴하는 인지 코호트(추론 작업) 에서 특히 강력한 성능을 보입니다.

의의 및 주장

본 논문은 파인튜닝으로 인한 역량 손실의 일부가 전문화의 불가피한 결과가 아니라, 오히려 가중치 업데이트 자체 내의 제거 가능한 스펙트럼 잔여물이라고 주장합니다.

• 메커니즘: 결과는 파인튜닝 중 축적된 "잡음"이 기능적으로 무력하고 해롭다는 것을, 반면 "신호"는 저차원 부분 공간에 집중되어 있음을 시사합니다. 스펙트럼 벌크를 제거함으로써 DG-Hard 는 재훈련 없이 역량을 복구합니다.
• 일반성: 이 방법은 사전 학습 데이터, 정렬 데이터, 또는 원래 훈련 하이퍼파라미터에 접근할 필요 없이, 오직 베이스 및 파인튜닝된 체크포인트에만 의존하여 작동합니다.
• 안전성: 안전 정렬의 예상치 못한 복구는 안전성과 역량이 동일한 스펙트럼 구조를 통해 연결되어 있으며, "선의의" 파인튜닝이 추론을 저하시키는 동일한 잡음 메커니즘을 통해 안전성을 우연히 훼손할 수 있음을 시사합니다.

저자들은 스펙트럼 망각 방지가 파괴적 망각을 완화하기 위한 원칙적이고 효율적이며 데이터 무관한 경로를 제공하며, 전문화가 필연적으로 일반 역량의 영구적 손실을 수반한다는 개념에 도전한다고 결론지었습니다.