기술 요약: CRAFT – 지속적 학습을 위한 망각 인식 개입 기반 적응

1. 문제 제기

대규모 언어 모델 (LLM) 은 미세 조정 (fine-tuning) 을 통해 새로운 작업에 적응할 때 **치명적 망각 (catastrophic forgetting)**에 시달립니다. 이는 표준 미세 조정이 기존 지식을 인코딩하는 동일한 매개변수를 업데이트하기 때문에 발생하며, 새로운 작업 학습 (가소성) 과 기존 작업 유지 (안정성) 사이에 내재된 트레이드오프를 초래합니다. 정규화 (예: EWC), 재생 메커니즘, 또는 LoRA 풀과 같은 아키텍처 제약과 같은 기존 해결책들은 갈등이 발생하는 매개변수 공간 내에서 작동합니다. 이러한 방법들은 종종 망각에 취약한 학습된 게이트 메커니즘이나 진화하는 공유 지식을 포착하지 못하는 고정된 참조를 필요로 합니다.

본 논문은 지속적 학습을 매개변수 경쟁의 문제가 아니라 **표현 수준 개입 (representation-level interventions)**의 조직화 및 제어 문제로 재정의해야 한다고 주장합니다. 백본 가중치를 고정하고 저랭크 부분 공간에서 숨겨진 표현을 편집함으로써 가중치 수준의 간섭 원천을 제거합니다. 그러나 표현 기반 학습에는 여전히 과제가 남아 있습니다: 유사한 작업 간에 용량을 공유하면서 관련 없는 작업이 경쟁하도록 강요하지 않는 방법, 학습된 게이트 없이 작업을 라우팅하는 방법, 그리고 효율성을 제한하지 않으면서 적응 중 망각을 제어하는 방법입니다.

2. 방법론: CRAFT

CRAFT(Continual Representation-Anchored Fine-Tuning) 는 모델 가중치를 수정하지 않고 표현 공간에서 라우팅, 적응, 병합을 모두 수행하는 프레임워크입니다. 이는 특정 토큰 위치에서 저랭크 개입 함수 $\Phi(h^{(l)}; \phi) = h^{(l)} + R^\top(W h^{(l)} + b - R h^{(l)})$를 사용하여 숨겨진 상태 $h^{(l)}$를 편집하는 LoReFT(Low-rank Linear Subspace ReFT) 를 활용합니다.

이 프레임워크는 단일 쿨백 - 라이블러 (KL) 발산 신호에 의해 구동되는 세 가지 통합 단계를 통해 작동합니다:

A. 개입 아키텍처

CRAFT 는 잔여 스트림 내의 두 개의 프롬프트 스트림으로 개입을 분할합니다:

1. f-stream: 지시사항을 인코딩하는 첫 번째 $t_{pos}$개의 토큰 (접두사) 에 적용됩니다.
2. l-stream: 출력이 확정되는 마지막 $t_{pos}$개의 토큰 (접미사) 에 적용됩니다.
   유사 작업 그룹 $S_k$ 내의 작업들은 공통 개입 상태 $\phi_{S_k}$를 공유하는 반면, 다른 그룹의 작업들은 격리됩니다.

B. 결정적 라우팅 (학습된 게이트 없음)

학습 가능한 라우터 대신 CRAFT 는 출력 분포 발산을 사용하여 작업을 할당합니다:

1. 워밍업: 새로운 작업 $\tau_t$는 공유 무작위 시드에서 짧은 워밍업 ($S_{wu}$ 단계) 을 거쳐 임시 개입 $\tilde{\phi}^{(t)}$를 생성합니다.
2. 거리 계산: 출력 분포 $\pi_{\tilde{\phi}^{(t)}}$는 정규화된 대칭 KL 거리를 사용하여 기존 그룹 $S_k$의 저장된 분포와 비교됩니다:
   $$d(t, k) = \frac{D_{KG_k}}{\max(\min(D_K, D_{G_k}), \epsilon)}$$
   여기서 $D_K$는 새로운 작업과 기준선 사이의 거리, $D_{G_k}$는 그룹과 기준선 사이의 거리, $D_{KG_k}$는 작업과 그룹 사이의 거리입니다.
3. 할당: $d(t, k) \le \delta$인 경우, 해당 작업은 그룹 $S_k$에 합류합니다. 그렇지 않으면 새로운 그룹이 시드됩니다. 이는 학습 가능한 라우팅 매개변수나 작업 식별자가 필요하지 않습니다.

C. KL 정규화 적응 및 병합

그룹 $S_k$에 할당된 후:

1. 앵커링: 그룹의 현재 상태 $\phi_{S_k}$가 앵커 $\phi_{anchor}$로 고정됩니다.
2. 학습: 작업의 개입 $\phi^{(t)}$는 새로운 작업에 대해 다음 손실 함수로 학습됩니다:
   $$L_{total} = L_{\tau}(\phi^{(t)}) + \beta \cdot KL(\pi_{\phi_{anchor}} \parallel \pi_{\phi^{(t)}})$$
   KL 항은 다음과 같은 통합 신호 역할을 합니다:
   • 정규화: 그룹의 기존 지식으로부터의 이탈을 방지하기 위해 학습을 정규화합니다.
   • 망각 예측: 경험적 법칙 (Shenfeld et al., 2025) 에 따르면, 높은 KL 발산은 망각과 상관관계가 있습니다. 초기 에포크의 평균 KL 이 임계값 $\eta$를 초과하면 작업은 새로운 그룹으로 퇴출됩니다.
3. 병합: 수렴 시, 학습된 $\phi^{(t)}$는 공유 상태 $\phi_{S_k}$를 덮어씁니다.

3. 주요 기여

1. 개입 수준 지속적 학습: CRAFT 는 모델 가중치를 수정하지 않고 표현 공간에서 라우팅, 적응, 병합을 공동으로 수행하는 최초의 프레임워크입니다.
2. 학습된 게이트 없는 결정적 라우팅: 짧은 워밍업과 출력 분포 KL 거리를 사용하여 작업을 할당함으로써 학습 가능한 라우팅 매개변수의 필요성을 제거하여 라우터를 망각에 강인하게 만듭니다.
3. 통합된 망각 제어: 학습 이탈을 규제하고, 망각을 예측하며, 새로운 지식의 통합을 지배하는 단일 KL 기반 신호를 도입하여 분리된 휴리스틱을 대체합니다.
4. 경험적 검증: 이 접근법은 세 가지 서로 다른 LLM(Llama-3.2-1B, Gemma-2B, Llama-2-7B) 과 다양한 벤치마크 (TRACE, Math-LLM, O-LoRA 시퀀스) 에서 검증되었습니다.

4. 실험 결과

CRAFT 는 SeqLoRA, GEM, EWC, L2P, DualPrompt, HiDeLoRA, O-LoRA, TreeLoRA 및 SAPT, TASL과 같은 최신 방법을 포함한 강력한 베이스라인과 비교 평가되었습니다.

• 성능 향상: CRAFT 는 최첨단 방법 대비 (Llama-3.2-1B 기준) 전체 성능 (OP) 을 최대 **8.03%**까지 향상시킵니다.
• 망각 감소: 후방 전이 (BWT) 망각률을 최대 **6.49%**까지 감소시킵니다. Llama-3.2-1B 를 사용한 15 작업 스트림에서 CRAFT 는 BWT 를 **2.60%**로 달성했으며, TreeLoRA 는 6.41%, O-LoRA 는 10.99%였습니다.
• 매개변수 효율성: CRAFT 는 강력한 LoRA 기반 베이스라인보다 학습 가능한 개입 매개변수를 3.75 배 적게 사용합니다. 예를 들어, 15 개 작업이 있는 Llama-3.2-1B 에서 CRAFT 는 4.20M개의 매개변수만 필요로 한 반면, 표준 LoRA 는 15.73M개의 매개변수가 필요했습니다.
• 강건성: 이 방법은 다양한 작업 순서에 걸쳐 강건하며, 넓은 평탄 구간 내에서 라우팅 임계값 $\delta$와 워밍업 길이 $S_{wu}$의 변화에 민감하지 않습니다.
• 그룹 간 불변성: 이론적 및 경험적 분석에 따르면, 한 클러스터에서 작업을 학습해도 다른 클러스터의 작업 추론 출력에는 영향을 미치지 않습니다. 이는 최적화기 범위가 특정 그룹의 개입에만 닿기 때문입니다.

5. 중요성 및 주장

본 논문은 출력 공간 발산에 의해 안내된 표현 공간에서의 적응 제어가 확장 가능하고 원칙적인 지속적 학습 접근법을 제공한다고 주장합니다.

• 트레이드오프 재정의: 가중치 업데이트를 제거함으로써 CRAFT 는 안정성 - 가소성 트레이드오프를 매개변수 공간의 줄다리기에서 표현 편집을 조직화하는 문제로 전환합니다.
• 원칙적 망각 제어: 통합 신호로서 KL 발산을 사용하면 대리 지표에 의존하지 않고 망각을 직접 측정하고 제어할 수 있습니다.
• 확장성: 이 프레임워크는 총 작업 수 ($T$) 가 아닌 발견된 작업 그룹 수 ($K$) 에 따라 확장되어 긴 작업 스트림에 대한 더 효율적인 솔루션을 제공합니다.
• 한계점: 저자는 라우팅 메커니즘이 거의 천장에 도달한 작업이나 작업이 거의 중복되지만 순차적으로 제시되는 스트림 (예: 동일한 데이터셋의 두 절반) 에서는 어려움을 겪을 수 있음을 인정합니다. 대칭 KL 거리가 포화될 수 있기 때문입니다. 그들은 향후 작업이 이러한 경우를 처리하기 위해 기존 클러스터에서 워밍업을 시드하는 것을 포함할 수 있다고 제안합니다.

본질적으로 CRAFT 는 치명적 망각이 기본 가중치를 제약하거나 수정할 필요 없이 구조화된 표현 편집을 통해 모델 출력 수준에서 효과적으로 제어될 수 있음을 보여줍니다.