💬 NLP

FGGM: Fisher-Guided Gradient Masking for Continual Learning

이 논문은 대각 피셔 정보(diagonal Fisher Information)를 활용하여 파라미터 업데이트를 동적으로 마스킹함으로써 대규모 언어 모델의 치명적 망각을 효과적으로 완화하고, TRACE 벤치마크에서 MIGU 및 지도 미세 조정(supervised fine-tuning)과 같은 기존 방법보다 우수한 성능을 보이는 데이터 프리 지속 학습 프레임워크인 Fisher-Guided Gradient Masking(FGGM)을 제안한다.

원저자: Chao-Hong Tan, Qian Chen, Wen Wang, Yukun Ma, Chong Zhang, Chong Deng, Qinglin Zhang, Xiangang Li, Jieping Ye

게시일 2026-01-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chao-Hong Tan, Qian Chen, Wen Wang, Yukun Ma, Chong Zhang, Chong Deng, Qinglin Zhang, Xiangang Li, Jieping Ye

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 학생(거대 언어 모델)에게 매일 새로운 기술을 가르치고 있다고 상상해 보세요. 월요일에는 시 쓰는 법을 가르칩니다. 화요일에는 코딩을 가르칩니다. 수요일이 되어 당신이 시를 써보라고 요청하면, 학생은 시 쓰는 법을 완전히 잊어버렸습니다. 이것을 **"파괴적 망각(Catastrophic Forgetting)"**이라고 부릅니다. 새로운 정보가 기존의 정보를 덮어써 버리는 것인데, 마치 걸작 위에 신선한 페인트를 덧칠하여 원래의 그림을 망치는 것과 같습니다.

이 논문은 이 문제를 해결하기 위한 새로운 방법인 FGGM(Fisher-Guided Gradient Masking)을 소개합니다. 이 방식이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

문제점: "덮어쓰기"의 딜레마

현재 이 문제를 해결하려는 방식들에는 결함이 있습니다:

리플레이(Replay): 학생이 이전에 배웠던 모든 것을 담은 사진첩을 보관해 두었다가, 새로운 것을 가르치는 동안 그 사진들을 계속 보여주는 방식입니다. 문제점: 이는 데이터를 쌓아두는 것과 같아서 저장하기 어렵고, 때로는 개인정보 보호 규칙 때문에 그 사진들을 보관할 수 없는 경우도 있습니다.
프리징(Freezing): 학생의 "시 쓰는 뇌"를 유리 케이스 안에 넣어 변하지 않게 고정해 두고, 새로운 뇌의 일부를 통해서만 코딩을 배우게 하는 방식입니다. 문제점: 이는 학생이 새롭고 복잡한 과제에 적응하는 능력을 제한합니다.
MIGU (이전의 최선책): 이 방법은 뉴런이 말할 때 얼마나 "시끄러운지(loud)"를 살펴봅니다. 뉴런이 시끄러우면 변화할 수 있는 권한을 얻습니다. 문제점: 이는 다소 추측에 의존하는 방식입니다. 뉴런이 왜 중요한지에 대한 이해보다는 단순히 '음량'에 의존합니다.

해결책: FGGM (스마트한 지도 방식)

FGGM은 학생에게 새로운 것을 배우기 전에 자신의 뇌에 대한 역동적이고 스마트한 지도를 제공하는 것과 같습니다.

"피셔(Fisher)" 나침반:
FGGM은 단순히 뉴런이 얼마나 시끄러운지를 듣는 대신, **피셔 정보(Fisher Information)**라는 수학적 도구를 사용합니다. 이것은 일종의 '민감도 감지기'라고 생각하면 됩니다. 이 도구는 다음과 같이 질문합니다. "만약 내가 당신 뇌의 이 특정 부분을 미세하게 조정한다면, 당신의 기존 과제 수행 능력에 얼마나 큰 타격을 줄 것인가?"
- 만약 답이 "매우 크다"라면, 그 부분은 **중요(Critical)**한 부분입니다.
- 만약 답이 "별로 아니다"라면, 그 부분은 **유연(Flexible)**한 부분입니다.
"이진 마스크(Binary Mask)" (신호등):
이 민감도 지도를 바탕으로 FGGM은 이진 마스크를 생성합니다. 학생의 뇌를 위한 신호등 시스템을 상상해 보세요:
- 빨간불 (0): "건드리지 마시오." 이 부분들은 기존 기술(예: 시 쓰기)에 필요한 핵심적인 파라미터들입니다. 이들은 고정됩니다.
- 초록불 (1): "학습해도 좋습니다." 이 부분들은 새로운 기술(예: 코딩)을 위해 업데이트될 수 있는 유연한 파라미터들입니다.
과거 데이터가 필요 없음:
"사진첩" 방식과 달리, FGGM은 기존의 기술을 보호하기 위해 과거의 데이터를 볼 필요가 없습니다. FGGM은 현재 보고 있는 새로운 데이터만을 사용하여 지도를 계산합니다. 즉, 무엇이 새로운 과제에 중요한지를 파악함으로써, 역설적으로 기존의 기술을 유지하기 위해 무엇을 보존해야 하는지를 찾아냅니다.

왜 더 나은가? ("입력 차원"의 기술)

이 논문은 또한 이 뇌의 부품들을 그룹화하는 영리한 방법을 발견했습니다. 학생의 뇌를 하나의 공장과 그 안의 조립 라인이라고 상상해 보세요.

기존 방식: 조립 라인의 모든 나사를 하나하나 개별적으로 살펴보는 방식입니다. 이는 매우 소란스럽고 혼란스럽습니다.
FGGM 방식: 기계 전체의 출력값을 살펴보는 방식입니다. 만약 어떤 기계가 특정 유형의 제품(widget)을 생산한다면, FGGM은 그 제품을 만드는 데 들어가는 모든 나사를 하나의 팀으로 취급합니다.
- 만약 그 제품이 중요하다면, 팀 전체가 보호됩니다 (빨간불).
- 만약 그 제품이 결정적이지 않다면, 팀 전체를 재정비할 수 있습니다 (초록불).
- 논문에서는 이를 **입력 차원 집합(Input-Dimension Aggregation)**이라고 부릅니다. 이는 뇌의 단위들이 가진 "기능적 온전성(functional integrity)"을 유지하여, 학생이 단 하나의 나사를 조절하다가 도구 전체를 망가뜨리는 실수를 방지합니다.

결과: 더 많이 배우고, 덜 잊는다

연구진은 표준적인 도전 과제들(TRACE)과 코드 생성 과제를 통해 실험을 진행했습니다.

안정성(Stability): FGGM은 기존 방식들보다 기존 기술(일반적 능력)을 온전히 유지하는 데 훨씬 뛰어났습니다. 일반적인 학습법보다 약 9.6%, 이전의 최선책이었던 MIGU보다 4.4% 더 높은 보유율을 보였습니다.
가소성(Plasticity): 학생은 단순히 과거를 붙잡고 있는 것에 그치지 않고, 새로운 기술 또한 기존만큼 혹은 그보다 더 잘 배웠습니다.
효율성(Efficiency): 과거의 데이터를 저장하기 위한 거대한 메모리가 필요하지 않으므로, 실제 환경에서 사용하기에 매우 실용적입니다.

요약하자면

FGGM은 AI의 뇌를 위한 스마트하고 수학적인 "교통 경찰"입니다. 이 방식은 새로운 레슨을 가르치기 위해 오래된 책들이 가득한 도서관을 필요로 하지 않습니다. 대신, 어떤 부분이 건드리면 안 되는 소중한 부분인지, 그리고 어떤 부분이 학습을 위해 자유로운 부분인지를 즉각적으로 파악하여, AI가 과거를 잃지 않으면서도 계속 성장할 수 있도록 보장합니다.

기술 요약: 연속 학습을 위한 피셔 가이드 그래디언트 마스킹 (Fisher-Guided Gradient Masking, FGGM)

1. 문제 정의

본 논문은 대규모 언어 모델(LLM)의 연속 학습(Continual Learning, CL) 과정에서 발생하는 파괴적 망각(catastrophic forgetting) 문제를 다룹니다. LLMR이 새로운 태스크의 스트림에 적응함에 따라, 이전 태스크에 핵심적인 파라미터를 급격히 덮어쓰게 되어 기존 지식을 상실하는 경향이 있습니다.

기존의 완화 전략들은 다음과 같은 상당한 한계점을 가집니다:

**리플레이 기반 방법(Replay-based methods)**은 과거 데이터를 저장하거나 생성해야 하며, 이는 개인정보 보호 및 확장성 문제를 야기합니다.
파라미터 동결 방법(Parameter-freezing methods)(예: LoRA, Prompt Tuning)은 베이스 파라미터를 동결하는 경우가 많아, 다운스트림 태스크의 성능을 제한할 수 있습니다.
**정규화 기반 방법(Regularization-based methods)**인 EWC는 과거 데이터에 의존하며, OGD와 같은 다른 방법들은 LLM의 풀 파인튜닝(full fine-tuning) 시 과도한 메모리 비용을 초래합니다.
최근의 리플레이 프리(replay-free) 방법인 MIGU는 경험적 출력 크기에 따라 파라미터를 선택하지만, 파라미터 중요도를 추정하기 위한 이론적 토대가 부족합니다.

2. 방법론: FGGM 프레임워크

저자들은 과거 데이터에 접근하지 않고도 **대각 피셔 정보(diagonal Fisher Information)**를 사용하여 업데이트할 파라미터를 전략적으로 선택함으로써 파괴적 망각을 완화하는 피셔 가이드 그래디언트 마스킹(FGGM) 프레임워크를 제안합니다. 이 프레임워크는 두 단계로 작동합니다:

A. 피셔 가이드 마스크 초기화
새로운 태스크 $T_t$ 에 대해, FGGM은 새로운 태스크의 데이터를 사용하여 피셔 정보 행렬(FIM)의 대각 성분을 추정합니다. 대각 FIM 항목 $\hat{F}^{(t)}_i$ 는 로그 가능도(log-likelihood)의 제곱 그래디언트를 측정하여 파라미터 $\theta_i$ 의 중요도를 정량화합니다:
$\hat{F}^{(t)}_i = \frac{1}{M_t} \sum_{j=1}^{M_t} \left( \frac{\partial \log p(y_j|x_j, \theta)}{\partial \theta_i} \right)^2$
레이어 전반에 걸친 파라미터 중요도의 비정상성(non-stationary) 분포를 처리하기 위해, FGGM은 **적응형 임계값 설정(adaptive thresholding)**을 채택합니다. 파라미터의 피셔 점수가 경험적 피셔 값의 $(1-\alpha)$ 분위수를 초과하면 유지(값 1)하고, 그렇지 않으면 마스킹(값 0)하는 이진 마스크 $M^{(t)}$ 가 생성됩니다.

B. 입력 차원 집계(Input-Dimension Aggregation, IA)를 통한 마스크 정규화
핵적인 혁신은 신경망 구조에 따른 마스크의 정규화입니다. 가중치 행렬 $W \in \mathbb{R}^{D_{out} \times D_{in}}$ 를 갖는 완전 연결 계층(fully connected layers)의 경우, 피셔 점수는 각 출력 뉴런에 대해 입력 차원을 따라 집계됩니다:
$\hat{F}^{(t)}_r = \sum_{c=1}^{D_{in}} \hat{F}^{(t)}_{r,c}$
이 전략은 출력 뉴런을 원자적 계산 단위로서 기능적 무결성을 보존합니다. 본 논문은 입력 차원 집계(IA)가 출력 차원 집계(OA)보다 우수하다고 주장하는데, 그 이유는 IA가 특징별 민감도 신호의 분산을 방지하고 뚜렷한 태스크 경계를 유지하는 반면, OA는 태스크 구분을 흐리고 망각을 증가시킬 수 있기 때문입니다.

C. 그래디언트 투영(Gradient Projection)
역전파(backpropagation) 과정 중, 로우 그래디언트 $g^{(t)}$ 는 이진 마스크 $M^{(t)}$ 와 요소별 곱(element-wise product)을 수행합니다:
$\tilde{g}^{(t)} = g^{(t)} \odot M^{(t)}$
이를 통해 피셔 정보에 의해 식별된 핵심 파라미터에 대해서만 업데이트를 제한하며, 결과적으로 비핵심적인 파라미터 영역을 효과적으로 동결합니다.

3. 주요 기여

새로운 프레임워크: 경험적 크기 관찰이 아닌 이론적으로 근거가 있는 피셔 정보에 의존하는, LLM 연속 학습을 위한 리플레이 프리(replay-free) 방법인 FGGM을 도입했습니다.
이론적 중요도 추정: 피셔 정보를 통해 파라미터와 태스크 간의 관련성을 직접 측정하는 메커니즘을 제공하여, 가소성(plasticity)(새로운 능력 습득)과 안정성(stability)(기존 지식 유지) 사이의 균형을 맞추는 동적 그래디언트 게이팅을 가능하게 했습니다.
구조적 정규화: 피드포워드 계층의 기능적 구조와 마스크 생성을 정렬하기 위해 입력 차원 집계(IA)를 제안하여 견고한 파라미터 선택을 보장했습니다.
실증적 검증: 표준 벤치마크에서 모델의 적응성을 저해하지 않으면서 MIGU를 포함한 최첨단 베이스라인 모델보다 뛰어난 성능을 보임을 입증했습니다.

4. 실험 결과

Qwen2 모델(1.5B 및 7B 규모)을 사용하여 TRACE 벤치마크(일반 능력 및 다양한 다운스트림 태스크 포함)와 코드 생성 태스크(HumanEval/BBH)에 대한 실험을 수행했습니다.

일반 능력 (안정성): 일반(General) 지표(MMLU, BBH, TyDiQA 등)의 합계에서 FGGM은 55.75를 달성하여, MIGU(55.21)를 앞섰으며 SFT(50.89) 및 LoRA(49.48)를 크게 상회했습니다. 특히, FGGM은 과거 데이터에 접근하지 않았음에도 불구하고 일반 지표에서 리플레이 기반 방법(REP, EWC)보다 우수한 성능을 보여, 이 방식의 개인정보 보호 및 확장성 이점을 강조했습니다.
TRACE 전체 성능 (가소성): FGGM은 TRACE-OP에서 46.00을 달성하여, 새로운 태스크를 학습하면서도 일반 능력을 유지하는 데 있어 MIGU(44.08) 대비 4.4% 상대적 개선, SFT(49.22) 대비 9.6% 상대적 개선을 보여주었습니다.
코드 생성: HumanEval 벤치마크 실험에서 FGGM은 모든 평가 지표에서 SFT 및 MIGU보다 일관되게 높은 정확도를 달 기록했으며, 동시에 BBH 벤치마크에서 망각이 감소함을 입증했습니다.
확장성(Scaling): 모델 크기가 1.5B에서 7B로 커짐에 따라 FGGM과 MIGU 사이의 성능 격차가 더 벌어졌으며, 이는 FGGM의 우수한 확장성을 나타냅니다.
절제 연구(Ablation Studies):
- 차원 집계: 입력 차원 집계 제거(w/o IA) 시 일반 성능이 55.75에서 54.85로 감소했습니다. 출력 차원 집계(OA)를 적용했을 때는 더 심각한 하락(53.16)이 발생하여, 태스크별 민감도 유지를 위한 IA의 필요성을 확인했습니다.
- 마스킹 비율 ( $\alpha$ ): $\alpha$ 가 작을수록(더 많은 업데이트) 가소성(TRACE-OP)은 증가하지만 안정성(General)은 감소하는 트레이드오프가 관찰되었습니다. 저자들은 MIGU와의 공정한 비교를 위해 $\alpha=0.7$ 로 설정했습니다.

5. 의의 및 주장

본 논문은 파라미터 중요도 추정에 있어 수학적으로 원칙 있는 접근 방식을 제공함으로써 LLM의 연속 학습을 위한 효과적인 솔루션을 구축했다고 주장합니다. MIGU와 같은 크기 기반 방법과 달리, FGGM은 피셔 정보를 활용하여 태스크 손실에 대한 파라미터의 기여도를 정량화합니다.

저자들은 FGGM이 과거 데이터 없이도 안정성과 가소성 사이의 동적 평형을 달성한다고 강조하며, 이는 리플레이 기반 방법의 개인정보 보호 및 확장성 병목 현상을 해결합니다. 결과적으로, 원칙 있는 그래디end 게이팅 전략이 특히 과거 데이터에 접근할 수 없거나 제한적인 시나리오에서 LLM의 성능을 유지하는 데 있어 다재다능하고 효과적인 도구임을 시사합니다. 결론적으로 FGGM은 이전 태스크 데이터에 접근하지 않는 방법들 중 안정성 측면에서 최첨단(state-of-the-art) 접근법임을 나타냅니다.