Geometry Conflict: Explaining and Controlling Forgetting in LLM Continual Post-Training

기술 요약: 기하학적 충돌: LLM 지속적 사후 학습에서의 망각 설명 및 제어

문제 제기
지속적 사후 학습 (Continual post-training) 은 일련의 업데이트를 통해 대규모 언어 모델 (LLM) 에 새로운 지식, 기술 및 행동을 확장하는 것을 목표로 합니다. 그러나 이 과정은 새로운 작업을 학습할 때 이전에 획득한 역량이 훼손되는 파국적 망각 (catastrophic forgetting) 의 도전에 직면합니다. 기존 완화 전략—연속적 미세 조정, 재생 기반 방법, 정규화, 모델 병합 등—은 종종 새로운 매개변수 업데이트를 언제 통합해야 하는지에 대한 원칙적인 기준이 부족합니다. 구체적으로, 연속적 업데이트가 언제는 역량 전이를 가능하게 하고 언제는 간섭을 유발하는지 명확하지 않습니다. 현재 방법들은 종종 업데이트 크기나 고립된 쌍별 호환성 (pairwise compatibility) 과 같은 거친 지표에 의존하며, 이는 이질적이고 연속적인 환경에서 망각을 완전히 설명하거나 제어하지 못합니다.

방법론: 작업 기하학 및 GCWM
저자들은 지속적 사후 학습을 분석하고 제어하기 위해 작업 기하학 (task geometry) 기반의 프레임워크를 제안합니다.

1. 작업 기하학 표현: 업데이트를 단순히 노름 (norm) 으로만 보는 대신, 이 방법은 각 작업을 매개변수 업데이트 행렬 $\Delta_t$로 표현합니다. 각 레이어에서 "작업 기하학"은 업데이트의 주된 방향과 스펙트럼 구조를 포착하는 공분산 행렬 $C_t = \Delta_t^\top \Delta_t$로 정의됩니다.
2. 기하학적 충돌: 이 논문은 작업들의 공분산 기하학 간의 정규화된 Bures–Wasserstein 거리로서 기하학적 충돌 (geometry conflict) 을 도입합니다. 핵심적으로, 저자들은 상태 상대적 (state-relative) 변형을 정의하여, 유입되는 작업의 기하학과 (이미 이전 업데이트를 통합한) 진화하는 모델 상태의 기하학 사이의 불일치를 측정합니다.
3. 핵심 통찰: Qwen3 모델 (0.6B–14B) 에 대한 실증 분석을 통해, 저자들은 망각이 상태 상대적 업데이트 통합 실패로 가장 잘 설명된다는 사실을 발견했습니다. 새로운 작업에 의해 유도된 공분산 기하학이 현재 모델 상태의 기하학과 불일치할 때 망각이 발생합니다. 새로운 업데이트가 이 상태와 호환될 때 전이가 발생합니다. 이 상태 상대적 신호는 망각 손실을 예측하는 데 있어 원시 업데이트 노름, 부분 공간 정렬 비율 (SAR), 쌍별 그래디언트 충돌보다 더 우수합니다.
4. 기하학적 충돌 와asserstein 병합 (GCWM): 이러한 발견에 영감을 받아, 저자들은 데이터가 없는 업데이트 통합 방법인 GCWM 을 제안합니다.
   • 공유 지표 구성: GCWM 은 가우시안 Wasserstein 바리센터 (barycenters) 를 사용하여 현재 활성 작업 집합에 대한 공유 Wasserstein 지표를 구성합니다.
   • 충돌 게이트 보정: 레이어별 기하학적 충돌 점수를 계산합니다. 이 점수는 기하학 인식 보정 분기를 게이트합니다. 충돌이 높을 경우 (호환성 부족을 나타냄), 이 방법은 기하학 인식 업데이트의 통합을 억제하고, 충돌이 낮을 경우 더 강력한 통합을 허용합니다.
   • 증분 업데이트: 이 방법은 이전 병합 상태에 대한 증분 변화만 적용하여, 모델이 새로 유도된 호환성 제어 변화에 기반하여 진화하도록 보장합니다.
   • 이론적 지지: 저자들은 GCWM 으로 인해 발생하는 추가 손실이 단순 병합에 비해 기하학적 충돌과 게이트된 병합 변위에 의해 제어됨을 보여주는 이론적 경계를 제공합니다.

주요 기여

1. 분석 프레임워크: 이 논문은 망각이 업데이트 크기나 고립된 쌍별 호환성보다 작업 유도 공분산 기하학과 진화하는 모델 상태 간의 불일치로 더 잘 설명되는 상태 상대적 현상임을 보여주는 작업 기하학 분석을 개발합니다.
2. 새로운 신호: 망각에 대한 설명적 신호이자 업데이트 통합을 위한 실용적 제어 신호로서 기하학적 충돌(작업 유도 공분산 기하학에 대한 Bures–Wasserstein 거리) 을 도입합니다.
3. 알고리즘: 공유 Wasserstein 지표를 구성하고 기하학적 충돌을 사용하여 레이어별 기하학 인식 보정을 게이트하는 데이터가 없는 방법인 GCWM을 제안합니다.
4. 실증 검증: 이 방법은 도메인 지속적 (14 개 MMLU-Pro 하위 도메인) 및 역량 지속적 (수학 및 코드) 설정 전반에 걸쳐 Qwen3 모델 (0.6B~14B) 에서 검증되었습니다.

결과

• 성능: GCWM 은 재생 데이터를 사용하지 않고도 데이터가 없는 베이스라인 (Localize-and-Stitch, AIMMerging, OPCM 포함) 을 일관되게 능가합니다.
  • 도메인 지속적 설정에서 GCWM 은 모든 규모에 걸쳐 가장 강력한 비-MTL(다중 작업 학습) 전체 성능을 달성하며, Qwen3-1.7B 에서 최상의 데이터가 없는 베이스라인보다 최대 +1.61 점 향상됩니다.
  • 역량 지속적 설정에서 GCWM 은 1.7B 및 14B 모델 전반에 걸쳐 데이터가 없는 베이스라인을 평균적으로 선도하며, GSM8K, HumanEval, MMLU-Pro 와 같은 벤치마크에서 망각 방지 및 최종 성능 측면에서 유의미한 향상을 보입니다.
• 애블레이션 (Ablation): 충돌 게이트를 제거하거나 단순 평균 지표로 Wasserstein 바리센터를 대체하면 성능이 저하되어, 공유 지표와 충돌 제어 게이트 메커니즘의 필요성을 확인시켜 줍니다.
• 확장성: 이 방법은 모델 규모 전반에 걸쳐 효과적으로 유지되며, 모델 크기가 증가함에 따라 상태 상대적 기하학 신호가 망각의 더 강력한 예측자가 됩니다 (예: Qwen3-14B 의 경우 망각 방지 손실과의 상관관계가 -0.86 에 도달).

의의 및 주장
이 논문은 기하학적 충돌이 이중적인 역할을 한다고 주장합니다:

1. 설명적: 단순한 매개변수 드리프트가 아닌 상태 상대적 업데이트 통합의 실패로 파국적 망각을 식별함으로써 파국적 망각에 대한 기계적 설명을 제공합니다.
2. 제어: 연속적 업데이트가 얼마나 강력하게 통합될지를 제어하는 실용적이고 데이터가 없는 신호로 작용합니다.

저자들은 GCWM 을 재생 데이터에 대한 의존도를 줄여 지속적 LLM 적응을 더 실용적으로 만드는 방법으로 위치시킵니다. 그들은 이 방법이 망각 방지와 성능을 개선하지만, 매개변수 업데이트 공간에서 작동하며 본질적으로 안전 보장을 제공하지는 않으므로 표준 안전 점검과 결합되어야 함을 강조합니다. 이 연구는 대규모 언어 모델에서 새로운 역량을 학습하고 기존 역량을 유지하는 사이의 균형을 관리하기 위해 업데이트의 스펙트럼 및 기하학적 구조를 이해하는 것이 중요함을 시사합니다.