💬 NLP

AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention

이 논문은 활성화 패턴을 기반으로 이전 지식에 필수적인 파라미터를 동적으로 동결함으로써, 모델 구조를 변경하지 않고도 상위 태스크 능력을 보존하는 동시에 우수한 하위 태스크 성능을 달성하여 멀티모달 거대 언가 언어 모델의 치명적 망각을 완화하는 미세 조정 방법인 AWARe를 제안한다.

원저자: Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

게시일 2026-08-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하고 명석한 로봇 친구가 있다고 상상해 보세요. 이 친구는 도서관의 모든 책을 읽고 세상의 모든 그림을 살펴본 데에는 수년이 걸렸습니다. 이 로봇은 멀티모달 거대 언어 모델(MLLM)로, 이미지와 텍나 모두를 이해하는 데 매우 뛰어납니다. 하지만 까다로운 문제가 하나 있습니다. 만약 당신이 이 로봇에게 퍼즐 게임을 푸는 법이나 특정 고양이에 대한 시를 쓰는 법 같은 새롭고 구체적인 기술을 가르치려 한다면, 로봇은 자신이 이미 알고 있던 다른 모든 것들을 잊어버리곤 합니다. 이것은 마치 당신이 피아노로 새로운 곡을 배우는 데 너무 몰두한 나머지, 갑자기 신발 끈 묶는 법을 잊어버리는 것과 같습니다. 이러한 '망각'은 과학자들이 새로운 것을 배울 때도 모델이 유용하고 지식 풍부한 상태를 유지하도록 만드는 과정에서 큰 골칫거리가 되는 '파괴적 망각(catastrophic forgetting)'이라고 불립니다.

당신이 읽게 될 논문은 AWARe라고 불리는 영리한 새로운 방법을 통해 이 문제를 해결합니다. 로봇의 뇌를 수십억 개의 작은 일꾼(뉴런)들이 각자의 일을 수행하는 거대한 도시라고 생각해 보세요. 로봇이 새로운 것을 배울 때, 보통은 모든 일꾼에게 습관을 바꾸라고 명령하며 이는 혼란을 야s고 기존의 직업을 잊게 만듭니다. AWARe는 더 스마트한 접근 방식을 제안합니다. 단순히 모두에게 변화를 요구하는 대신, 로봇이 익숙한 예전 과업들을 수행할 때 누가 가장 크게 소리를 내는지(가장 많이 활성화되는지) 귀를 기울이는 것입니다. 그런 다음 그 특정하고 바쁜 일꾼들에게 이렇게 말합니다. "너는 그대로 있어! 하던 일을 계속해!" 오직 더 조용하고 덜 바쁜 일꾼들만이 새로운 과업을 배우기 위해 습관을 바꿀 수 있도록 허용됩니다. 이렇게 하면 로봇은 기존의 기억을 잃지 않으면서도 새로운 기술을 배울 수 있습니다.

문제점: "덮어쓰기" 글리치(Glitch)

멀티모달 거대 언어 모델은 이미 이미지와 텍스트라는 거대한 대학교를 졸업한 초강력 학생들과 같습니다. 이들은 추론하고, 설명하고, 거의 무엇에 대해서든 대화할 수 있습니다. 하지만 우리가 이들에게 의료 상태를 식별하거나 특정 비디오 게임에 관한 질문에 답하는 것과 같은 새롭고 구체적인 직업을 가르치기 위해 "미세 조정(fine-tuning)"을 시도할 때, 이들은 종로히 파괴적 망각을 겪곤 합니다.

당신이 새로운 춤 동작을 배우려고 노력한다고 상상해 보세요. 만약 그 동작을 연습하느라 너무 열심히 해서 걷는 법을 잊어버린다면, 그것이 바로 파괴적 망격입니다. AI 세계에서 이는 새로운 과업을 학습하는 과정이 모델의 내부 "가중치(weights)"(모델의 사고를 제어하는 노브와 다이얼)를 업데이트하는 과정을 포함하기 때문에 발생합니다. 모델이 새로운 과업을 위해 이 노브들을 조절할 때, 기존의 지식을 지탱하고 있던 노브들을 실수로 돌려버려 기존의 기술이 무너지게 만드는 것입니다.

해결책: AWARe (Activation-Weighted Adaptive REtention)

저자들은 이를 해결하기 위해 AWARe라는 방법론을 제안합니다. 모든 것을 무작정 바꾸는 대신, AWARe는 선반 위에 어떤 책을 보관하는 것이 가장 중요한지 정확히 아는 스마트한 사서처럼 행동합니다.

작동 방식은 다음과 같습니다:

"듣기" 단계 (프로파일링): 로봇에게 새로운 것을 가르치기 전에, 연구자들은 로봇이 이미 잘 알고 있는 소수의 "교정(calibration)" 예시(예: 몇 장의 오래된 사진이나 질문)를 살펴보게 합니다. 그들은 단순히 로봇의 뇌 구조를 보는 것이 아니라, 뇌가 어떻게 빛나는지를 관찰합니다. 그들은 활성화(activation), 즉 익숙한 과업을 처리할 때 각 작은 일꾼(뉴런)이 얼마나 많은 에너지를 사용하는지를 측정합니다.
"동결(Freeze)" 결정: 연구자들은 어떤 뉴런들은 매우 활발하며 로봇의 기존 지식에 결정적인 역할을 하는 반면, 어떤 뉴런들은 더 느긋하다는 것을 발견했습니다. AWARe는 "시끄러운" 뉴런들(가장 활발한 상위 30%)을 식별하여 이렇게 말합니다. "너는 필수적이야! 동결(Freeze)." 이는 그들의 설정이 잠겨서 변경될 수 없음을 의미합니다.
"적응" 단계: 나머지 뉴런들(조용한 70%)은 잠금이 해제된 상태로 남습니다. 로봇이 새로운 과업을 배울 때, 오직 이 잠금 해제된 뉴런들만이 변화할 수 있습니다. 잠긴 뉴런들은 로봇의 오래된 기억을 안전하게 지켜줍니다.

이것이 왜 중요한가

논문은 이 방법이 두 가지 주요 이유로 게임 체인저임을 보여줍니다.

"생각할 필요도 없는(No-Brainer)" 업그레이드: 로봇의 뇌에 복잡한 새로운 부가 기능을 구축하거나 방대한 양의 오래된 데이터를 저장해야 하는 다른 방법들과 달리, AWARe는 로봇의 기존 뇌를 그대로 사용합니다. 이는 구조를 바꾸는 것이 아니라, 단지 어느 부분이 움직일 수 있는지를 결정하는 것입니다. 이는 마치 새로운 벽을 세우지 않고 방 안의 가구를 재배치하는 것과 같습니다.
놀라운 효과: 실험에서 팀은 LLaVA-v1.5 및 Q2.5-VL과 같은 모델에 AWARe를 테스트했습니다.
- 모델에게 도표에 관한 질문에 답하도록 가르칠 때(IconQA), AWARe는 모델의 기존 지식(이미지에 대한 일반적인 질문 답변 등)을 원래 강도의 **98.4%**로 유지하면서도 새로운 과업을 매우 잘 학습했습니다.
- 모델이 다섯 가지 서로 다른 과업(의료 질문, 운전, 금융 등)을 연속해서 배워야 하는 연속 학습 테스트에서, Aware는 다른 모든 방법을 능가하며 차순위 방법보다 평균 점수를 3.18점 더 높게 유지했습니다.

논문이 말하는 것 (그리고 말하지 않는 것)

저자들은 자신들이 발견한 것과 발견하지 못한 것을 매우 명확하게 밝히고 있습니다.

효과가 있는 것: 그들은 단순히 가중치의 크기를 보거나 뉴런을 무작위로 선택하는 것보다 활성화(뉴런이 얼마나 작동하는지)를 사용하는 것이 무엇을 동결할지 결정하는 데 더 나은 방법임을 증명했습니다. 뉴런을 무작위로 선택하면 모델은 기존 기술을 거의 즉시 잊어버립니다. 하지만 "시끄러운" 정도에 따라 선택하면 모델은 똑똑함을 유지합니다.
효과가 없거나 (필요하지 않은) 것: 그들은 뇌 전체를 동결할 필요가 없다는 것을 보여주었습니다. 뇌의 특정 부분(셀프 어텐션 레이어와 이미지를 텍스트와 연결하는 커넥터)에서 상위 **30%**의 가장 활발한 뉴런을 동결하는 것만으로 충분합니다. "MLP"(깊은 사고 레이어) 부분을 동결하는 것은 오히려 성능을 저해했는데, 이는 해당 레이어들이 유연해야 함을 시사합니다.
"마법의" 교정 세트: 가장 흥кси로운 발견 중 하나는, 어떤 뉴런을 동결할지 결정하기 위해 로봇의 원래 학습 데이터가 필요하지 않다는 것입니다. 일반적인 무작위 질문 세트(예: MMMU 데이터셋)를 사용하여 프로파일링을 할 수 있습니다. 이 일반적인 데이터를 사용하더라도 AWARe는 특정 기존 데이터를 사용했을 때와 거의 비슷하게 작동합니다. 이는 이 방법이 실제 사용 환경에서 매우 실용적임을 의미합니다.
효율성: 이 방법은 믿을 수 없을 정도로 효율적입니다. 최적의 설정에서, 그들은 전체 파라미터의 약 **17.5%**만을 업데이트했습니다. 이는 컴퓨터가 모델 전체를 업데이트해야 할 때보다 훨씬 적은 노력을 들여도 된다는 것을 의미합니다.

결론

AWARe는 AI가 망각하지 않게 만드는 비결은 학습을 멈추는 것이 아니라, 무엇을 바꿀지 선택하는 데 있다는 것을 시사합니다. 기존 과업에 대해 어떤 부분이 가장 열심히 일하는지 귀를 기울이고 그 부분을 보호함으로써, 우리는 디지털 친구들이 가진 기존의 지혜를 잃지 않으면서도 새로운 기술을 가르칠 수 있습니다. 이것은 단순하고 효과적이며, 놀라울 정도로 부드러운 방식으로 우리의 디지털 친구들을 똑똑하고 안정적이며, 다음에 올 무엇이든 준비된 상태로 유지하는 방법입니다.

기술 요약: AWARe

문제 정의

멀티모달 대규모 언어 모델(MLLM)은 대규모 사전 학습을 통해 강력한 일반화 및 추론 능력을 보유하고 있습니다. 그러나 이러한 모델을 다운스트림 태스크에 맞춰 미세 조정(fine-tuning)할 때, 새로운 목적을 위한 최적화가 기존에 습득한 업스트림 능력을 저하시키는 치명적 망각(catastrophic forgetting, CF) 현상이 발생하곤 합니다. 이 문제는 MLLM의 복잡한 모달리티 간 상호작용과 높은 파라미터 차원으로 인해 더욱 심각하게 나타납니다. 경험 재생(experience replay)이나 정규화 기반 방법과 같은 기존의 완화 전략들은 과도한 계산 비용을 초래하거나 수십억 개의 파라미터 규모로 확장하는 데 어려움을 겪습니다. 또한, LoRA와 같은 매개변수 효율적 미세 조정(PEFT) 방식은 학습 가능한 파라미터 수를 줄여주기는 하지만, 신뢰할 수 있는 업스트림 특징을 훼손할 수 있다는 점에서 사전 학습된 지식의 침식을 본질적으로 방지하지는 못합니다. 핵심 과제는 과도한 비용이나 구조적 변경 없이, MLLM이 다운스트림 태스크에 적응하면서도 사전 학습된 능력을 견고하게 보존할 수 있도록 하는 것입니다.

방법론: AWARe

저자들은 활성화 패턴(activation patterns)을 기반으로 파라미터 업데이트를 동적으로 제어하여 치명적 망각을 완화하는 미세 조정 프레임워크인 **AWARe(Activation-Weighted Adaptive REtention)**를 제안합니다. 이 방법은 활성화 크기가 큰 소수의 가중치가 모델의 행동을 보존하는 데 불균형적으로 중요하다는 원리(활성화 인지 가중치 양자화 및 프루닝 연구에서 관찰된 개념)에서 영감을 얻었습니다.

AWARe는 두 단계로 작동합니다:

지식 프로파일링(Knowledge Profiling):
- 이 방법은 업스트림 태스크에서 샘플링된 작은 **교정 세트(calibration set, $S_{cal}$ )**를 활용합니다. 만약 업스트림 데이터를 사용할 수 없는 경우, 범용 벤치마크(예: MMMU)가 대리 역할을 수행합니다.
- 대상 선형 레이어의 가중치 행렬을 $W$ 라고 할 때, 모델은 교정 세트에 대한 순방향 패스(forward pass)를 수행하여 활성화 텐서 $A$ 를 얻습니다.
- 돌출도 추정(Saliency Estimation): 이 방법은 다음의 3단계 집계 과정을 통해 각 출력 뉴런에 대한 돌출도 점수(saliency score)를 계산합니다:
  1. 시퀀스 길이 차원을 따라 활성화의 L2-노름(L2-norm)을 계산합니다.
  2. 비교 가능성을 확보하고 이상치 규모의 활성화로 인한 편향을 방지하기 위해, 은닉 차원(hidden dimension)에 대해 샘플별 L2-정규화를 적용합니다.
  3. 최종 돌출도 벡터 $s$ 를 생성하기 위해 정규화된 값들을 배치 전체에 걸쳐 평균화합니다.
- 이 과정은 다양한 업스트м 태스크 전반에 걸쳐 구조적 특징을 일관되게 포착하는 뉴런을 식별합니다.
제약된 미세 조정(Constrained Fine-tuning):
- 돌출도 점수를 바탕으로, 대상 레이어 전체에서 가장 돌출도가 높은 상위 $\rho$ 비율(예: 30%)의 뉴로를 식별하기 위해 유지 비율(retention ratio) $\rho$ 를 사용합니다.
- 높은 돌출도를 가진 뉴런에 해당하는 행은 0(동결)으로, 그 외의 행은 1(학습 가능)로 설정되는 이진 그래디언트 마스크 $M_{grad}$ 가 생성됩니다.
- 다운스트림 최적화 과정 중, 돌출된 영역과 관련된 파라미터는 마스킹된 그래디언트 업데이트를 통해 일정하게 유지됩니다: $W^{(t+1)} = W^{(t)} - \eta \cdot (\nabla_W L_{down} \odot M_{grad})$ .
- 타겟 선택(Target Selection): AWARe는 셀프 어텐션 메커니즘 내의 선형 투영 레이어( $q\_proj, k\_proj, v\_proj$ )와 멀티모달 프로젝터( $mm\_projector$ )에 이 전략을 구체적으로 적용합니다. MLP 블록과 출력 투영(output projection)과 같은 다른 구성 요소들은 완전히 동결된 상태로 유지됩니다. 이러한 선택은 MLP 블록을 업데이트하는 것이 셀프 어텐션 투영을 업데이트하는 것보다 기존 지식의 망각을 더 많이 유발한다는 발견에 근거합니다.

주요 기여

AWARe 프레임워크: MLLM의 다운스트림 적응 과정에서 중요한 업스트림 지식을 보존하기 위한 단순한 활성화 기반 방법을 도입했습니다. 이는 압축 및 병합 맥락에서의 활성화 돌출도를 망각 완화 용도로 재구성한 것입니다.
효율성 및 단순성: 구조적 변경을 요구하지 않으며, 추가적인 어댑터 모듈을 도입하지 않고, 약 17.5%(최적 설정 시)의 적은 파라즘 부분만을 업데이트합니다. 또한 리플레이 버퍼나 2차 통계량(second-order statistics)을 필요로 하지 않습니다.
포괄적인 검증: 저자들은 절제 연구(ablation studies)와 벤치마크를 통해 활성화 기반 돌출도가 정적 가중치 크기나 무작위 선택보다 효과적인 파라미터 선택 기준임을 입증했습니다.

실험 결과

저자들은 LLaVA-v1.5-7B 백본을 사용하여 AWARe를 평가하였으며, Qwen2.5-VL-7B로의 전이 가능성을 검증했습니다.

단일 태스크 다운스트림 적응: IconQA(VQA) 및 COCO-Caption(이미지 캡셔닝)에서 AWARe는 지식 유지(R)(업스트림 태스크의 안정성)와 학습 효율성(E)(새로운 태스크의 성능) 사이에서 우수한 균형을 달성했습니다.
- SOTA 베이스라인들(LoRA, DoRA, Orth-Reg, Model Tailor, LoRASculpt, SPIDER 포함)과 비교했을 때, AWARe는 높은 유지율(예: IconQA에서 $R \approx 98.4$ )을 유지하면서도 경쟁력 있는 다운스트림 성능을 보여주었습니다.
- 특히, 특정 업스트림 데이터 대신 범용 교정 세트(MMMU)를 사용하더라도 전체 업스트림 데이터셋을 사용하는 것과 유사한 결과를 얻었으며, 이는 방법론의 견고함을 입증합니다.
연속적 인스트럭션 튜닝(Continual Instruction Tuning): MLLM-DCL 벤치마크(원격 탐사, 의료, 자율 주행, 과학, 금융의 5개 태스크 시퀀스)에서 AWARe는 모든 태스크에 대해 가장 높은 평균 성능과 마지막 태스크 이후의 최적의 최종 성능을 달erd했습니다. 이는 가장 강력한 베이스라인인 DISCO보다 평균 및 마지막 태스크 지표에서 각각 3.18점과 1.77점 향상된 수치입니다.
절제 연구(Ablation Studies):
- 선택 전략: 활성화 기반 선택이 무작위 선택 및 가중치 노름(weight-norm) 기반 선택보다 유의미하게 우수한 성능을 보였습니다.
- 유지 비율: 상위 30%의 돌출된 뉴런을 동결하는 30% 유지 비율이 최적의 안정성-가소성(stability-plasticity) 트레이드오프를 제공했습니다.
- 학습 타겟: 셀프 어텐션 투영과 멀티모달 프로젝터 모두에 AWARe를 적용했을 때 최상의 결과를 얻었습니다. MLP 블록을 완전히 동결하는 것이 매우 중요했는데, 이를 튜닝할 경우 업스트림 태스크에 대한 심각한 성능 붕괴가 발생했기 때문입니다.

의의 및 주장

본 논문은 정적인 가중치 사전 지식(static weight priors) 대신 동적이고 데이터 의존적인 활성화 패턴을 활용함으로써 MLLM의 치명적 망각에 대한 실용적이고 효과적인 솔루션을 제공한다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

아키텍처 불가지론(Architecture Agnosticism): 모델 아키텍처를 수정하지 않고 작동하므로 기존 추론 엔진과의 호환성을 보장합니다.
비용 효율성: 고돌출도 파라미터를 동결하고 적은 비율의 파라미터만을 업데이트함으로써, 전체 미세 조정이나 리플레이 기반 방법들에 비해 계산 오버헤드를 크게 줄입니다.
견고성: 업스트림 데이터가 제한적인 상황에서도 범용 교정 세트에 의존하여 효과적으로 작동합니다.
안정성-가소성 트레이드오프: AWARe는 핵심적인 일반 능력을 보존하는 동시에 특화된 태스크 적응에 필요한 유연성을 성공적으로 균형 있게 조절하여, MLLM의 실제 배포 시 발생하는 중요한 병목 현상을 해결합니다.

저자들은 교정 데이터의 품질이 선택된 동결 영역에 영향을 미칠 수 있고, 극단적인 분포 변화의 경우 유지 비율 조정이 필요할 수 있다는 점을 언급하며 한계를 인정했습니다. 그러나 제안된 프레임워크는 효율적이고 안정적인 멀티모달 미세 조정을 위한 새로운 기준을 제시합니다.