🤖 machine learning

SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning

본 논문은 직교 부공간 라우팅(orthogonal subspace routing), 곡률 인지 스케일링(curvature-aware scaling), 그리고 적응형 전문가 활성화(adaptive expert activation)를 통해 라우터 및 전문가 드리프트(router and expert drift)를 완화함으로써 멀티모달 지속적 지시 튜닝(Multimodal Continual Instruction Tuning)을 위한 안정화된 전문가 혼합(Mixture-of-Experts) 프레임워크인 SAME를 제안하며, 새로운 긴 시퀀스 벤치마크에서 최첨단 성능을 달성한다.

원저자: Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

게시일 2026-08-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수학 문제는 아주 잘 풀지만, 시를 읽으라고 하면 갑자기 숫자를 세는 법조차 잊어버리는 학생을 상상해 보십시오. 이것이 바로 현대 인공지능 시스템인 멀티모달 거대 언어 모델(multimodal large language models)이 직면한 핵심 과제입니다. 이들은 이미지와 텍스트를 모두 이해할 수 있는 강력한 컴퓨터로, 방대한 양의 데이터를 학습하여 세상에 관한 질문에 답하는 법을 배웁니다. 이들은 "사진 속 고양이를 설명해 줘"라거나 "이 물리 문제를 풀어줘"와 같은 지시를 따르도록 훈련됩니다. 하지만 현실 세계에서 이 시스템들은 모든 것을 한꺼번에 배우지 않습니다. 대신, 수학 수업에서 역사 수업으로, 그다음에는 미술 수업으로 넘어가는 학생처럼, 새로운 유형의 과업들을 차례대로 마주하게 됩니다. 문제는 이러한 모델들이 새로운 기술을 배울 때 기존에 알고 있던 것들을 종종 잊어버린다는 점이며, 과학자들은 이를 '파괴적 망각(catastrophic forgetting)'이라고 부릅니다. 모델이 이미 알고 있는 것을 지우지 않으면서도 새로운 것을 가르칠 방법을 찾는 것이 연구자들의 과제입니다.

한동안 전문가들은 모델에게 '전문가 혼합(mixture of experts)'이라 불리는 구조, 즉 전문화된 조력자 팀을 붙여주는 방식으로 이 문제를 해결하려 노력해 왔습니다. 모델을 다양한 종류의 업무를 처리하는 여러 명의 직원, 즉 '전문가'들이 있는 큰 사무실이라고 생각해 보십시오. 질문이 들어오면 '라우터(router)'라고 불리는 매니저가 어떤 직원이 답변하기에 가장 적합한지 결정합니다. 질문이 차트에 관한 것이라면 라우터는 데이터 분석가에게 보내고, 시에 관한 것이라면 작가에게 보냅니다. 이 시스템은 과업이 안정적일 때는 잘 작동하지만, 연구자들은 모델이 긴 순서의 새로운 과업들을 학습해야 할 때 결함이 발생한다는 것을 발견했습니다. 모델이 새로운 기술을 배움에 따라 매니저는 실수를 하기 시작하여, 예전 유형의 질문들을 엉뚱한 직원에게 보내게 되었습니다. 동시에 직원들 또한 변화하기 시작하여, 이전 과업들을 위해 개발했던 특정 기술들을 잃어버렸습니다. 이러한 이중의 실패는 모델이 질문을 잘못된 사람에게 보낼 뿐만 아니라, 그 사람들이 수행해야 할 업무를 수행하는 방법까지 잊어버리게 만들었습니다.

한 연구팀은 이러한 문제들을 해결하기 위해 'SAME'이라는 새로운 방법을 제안했습니다. 그들은 매니저의 혼란과 직원의 기억 상실이 서로 다른 해결책이 필요한 별개의 문제라는 것을 발견했습니다. 매니저가 혼란을 겪지 않도록, 연구진은 모델이 세상을 바라보는 방식을 정교하게 추적하는 시스템을 설계했습니다. 매니저가 매 수업마다 생각을 완전히 바꾸도록 내버려 두는 대신, 초점을 이동시키는 정도를 제한했습니다. 그들은 매니저가 질문을 분류하는 새로운 방식을 배울 수는 있게 하되, 이전 과업들에 필수적이었던 기존의 분류 방식은 보호하도록 했습니다. 이를 통해 예를 들어 의료 영상에 관한 질문이 계속해서 의료 전문가에게 전달되도록 보장합니다. 지도를 읽거나 화학 문제를 푸는 법을 배운 후에도 말입니다.

직원들이 자신의 업무를 잊어버리는 것을 방지하기 위해, 연구진은 한 직원의 새로운 학습이 기존의 기술에 얼마나 해를 끼칠 수 있는지를 측정하는 방법을 도입했습니다. 그들은 직원들이 과거에 접했던 데이터의 유형을 살펴보고, 그 이력을 활용하여 기존 기술을 손상시킬 수 있는 변화를 늦추었습니다. 이는 마치 직원에게 "새로운 기술을 배울 수는 있지만, 예전에 사용하던 기계를 고치는 법을 지우지 않는 방식으로 배워라"라고 말하는 것과 같습니다. 이렇게 함으로써 모델은 이전 과업에서 얻은 특정 능력을 보존하면서도 새로운 과업에 적응할 수 있습니다. 또한, 연구진은 모든 직원이 모든 수업에 활성화될 필요는 없다는 것을 발견했습니다. 그들은 현재 과업에 필요하지 않은 직원들을 일시적으로 중단시키는 규칙을 만들어, 에너지를 절약하고 관련 없는 정보에 의해 실수로 변경되는 것을 방지했습니다.

연구팀은 현실 세계의 무질서하고 다양한 현실을 모방하여 직접 만든 새로운 과업 세트를 포함한 일련의 도전적인 벤치마크를 통해 이 새로운 접근 방식을 테스트했습니다. 이 새로운 테스트에는 의료 문서 읽기, 과학 차트 분석부터 복잡한 도로 상황 및 화학식 이해에 이르기까지 열 가지 다른 유형의 과업이 포함되었습니다. 결과에 따르면, 이들의 방식인 SAME은 이전 방식들보다 과거의 과업을 기억하는 데 훨씬 더 뛰어난 성능을 보였습니다. 특히 8개의 과업이 이어지는 긴 순서의 특정 테스트에서, 이 새로운 방법은 다른 접근 방식들에 비해 첫 번째 과업에 대해 훨씬 높은 정확도를 유지했습니다. 또한 필요한 직원들만을 업데이트함으로써 훈련에 필요한 시간과 컴퓨터 메모리를 적게 사용하는 더 효율적인 모습도 보여주었습니다.

아마도 가장 중요한 점은, 연구진이 모델이 정답은 맞히되 형식을 틀리게 출력하는 미묘하지만 흔한 실패 유형을 방지했다는 것입니다. 예를 들어, 대문자로 답해야 하는 과업이 있을 때, 모델이 새로운 과업을 배운 후 소문자로 답하기 시작할 수 있습니다. 새로운 시스템은 모델의 일관성을 유지하여, 다음 과업의 스타일 때문에 혼동을 겪지 않고 각 과업의 특정 형식 규칙을 따르도록 했습니다. 질문에 답할 사람에 대한 결정과 답하는 사람의 기억을 모두 안정화함으로써, 이 연구는 인공지능이 이미 알고 있는 토대를 잃지 않으면서도 지속적으로 학습하고 그 능력을 확장할 수 있는 더 신뢰할 수 있는 방법을 제시합니다.

기술 요약: SAME – 다중 모달 지속적 지시 튜닝을 위한 안정화된 전문가 혼합 모델 (Stabilized Mixture-of-Experts)

1. 문제 정의

다중 모달 대규모 언어 모델(MLLM)은 지시 튜닝(Instruction Tuning)을 통해 강력한 일반화 능력을 입증해 왔습니다. 그러나 실제 배포 환경에서는 이러한 모델이 순차적인 다중 모달 작업 스트림을 학습하며 능력을 지속적으로 확장해야 합니다(다중 모달 지속적 지시 튜닝, 또는 MCIT). 이 설정에서의 주요 과제는 **파괴적 망각(Catastrophic Forgetting)**으로, 새로운 작업을 학습할 때 이전에 학습한 성능이 저하되는 현상입니다.

최근의 접근 방식들은 희소 라우팅(Sparse Routing)을 통해 작업 특화(Task Specialization)를 촉진하기 위해 전문가 혼합(Mixture-of-Experts, MoE) 구조와 LoRA(Low-Rank Adaptation)를 결합하여 활용합니다. 이러한 유망함에도 불구하고, 저자들은 기존의 MoE 기반 MCIT 방법들이 두 가지 뚜렷하지만 서로 결합된 망각 원인으로 인해 어려움을 겪고 있음을 식별했습니다:

라우터 드리프트(Router Drift): 새로운 작업에 따라 데이터 분포가 진화함에 따라, 라우터의 의사 결정 과정이 불안정해집니다. 이전 작업에서 특정 "로컬라이제이션(Localization)" 또는 "그라운딩(Grounding)" 전문가를 활성화했던 입력들이 점차 무관한 전문가에게 재할당됩니다. 이는 적절한 기능 모듈에 대한 일관된 접근을 방해합니다.
전문가 드리프트(Expert Drift): 라우터가 관련 전문가를 올바르게 식별하더라도, 해당 전문가의 내부 파라미터가 새로운 작업으로부터 오는 업데이트에 의해 덮어씌워집니다. 이로 인해 전문가는 초기 학습 단계에서 습득한 원래의 기능(예: 포맷 규약이나 특정 추론 능력)을 상실하게 됩니다.

저자들은 진단 실험을 통해 라우터를 원래의 작업 분포에 맞게 재학습하더라도 망각이 지속된다는 것을 입 Demonstrate 함으로써, 전문가 자체의 퇴보가 결정적인 실패 모드임을 확인했습니다.

2. 방법론: SAME

저자들은 과거 데이터를 저장(Rehearsal)할 필요 없이 라우터 및 전문가 드리프트를 완화하도록 설계된 프레임워크인 **SAME(StAbilized Mixture-of-Experts)**를 제안합니다. SAME는 세 가지 핵심 구성 요소로 이루어져 있습니다:

2.1 스펙트럼 인식 라우팅 (Spectral-Aware Routing, 라우터 드리프트 해결)

전문가 선택을 안정화하기 위해, SAME는 입력 공분산 이력(Input Covariance History)을 기반으로 라우팅 역학을 직교하는 부분 공간(Orthogonal Subspaces)으로 분해합니다.

메커니즘: 이 방법은 라우터의 은닉 입력에 대한 비중심 공분산 행렬(Uncentered Covariance Matrix)을 유지합니다. 특이값 분해(SVD)를 통해 업데이트 공간을 신호 부분 공간(Signal Subspace)(새로운 작업과 관련된 고에너지 방향)과 근사 영 공간(Approximate Null Space)(과거 작업과 관련된 저에너지 방향)으로 분리합니다.
업데이트 전략: 라우터 그래디언트는 이러한 부분 공간으로 투영됩니다. 신호 부분 공간에서의 업데이트는 과거 작업에 중요한 방향의 급격한 변화를 방지하기 위해 특이값의 슬라이딩 윈도우 평균을 사용하여 스케일링됩니다. 영 공간에서의 업데이트는 과거 입력에 미치는 영향이 미미하도록( $V_\perp^T x_{old} \approx 0$ ) 투영됩니다.
결과: 이를 통해 과거 작업에 대한 라우팅 결정이 일관성을 유지하는 동시에 새로운 작업에 대한 적응을 허용합니다.

2.2 곡률 인식 스케일링 (Curvature-Aware Scaling, 전문가 드리프트 해결)

전문가가 덮어씌워지는 것을 방과하기 위해, SAME는 과거 입력의 기하학적 구조를 사용하여 전문가 업데이트를 조절합니다.

메커니즘: 과거 데이터를 직접 사용하는 대신, 누적된 공분산 행렬( $C_{t-1}$ )을 사용하여 과거 입력의 기하학적 구조를 근사합니다.
최적화: 저자들은 기능적 저하(과거 입력에 대한 기대 제곱 출력 변화)가 제한되는 제약 최적화 문제를 공식화합니다. 이는 유클리드 그래디언트가 과거 공분산 행렬의 역행렬( $C_{t-1}^{-1}$ )에 의해 프리컨디셔닝(Preconditioned)되는 **리만 그래디언트 업데이트(Riemannian Gradient Update)**로 이어집니다.
구현: 계산 비용을 처리하기 위해, 스펙트럼 분해에서 유지된 저계수(Low-rank) 인자들로부터 얻은 댐핑된 유사 역행렬(Damped Pseudo-inverse)을 사용하여 역행렬을 근사합니다. 이는 이전 작업들이 많이 의존했던 방향으로의 업데이트를 억제하여 그 기능을 보존합니다.

2.3 적응형 전문가 활성화 (Adaptive Expert Activation)

간섭과 계산 비용을 더욱 줄이기 위해, SAME는 작업 수준의 동결(Freezing) 메커니즘을 도입합니다.

메커니즘: 특정 작업의 학습 중에 전문가는 다음 두 가지 신호를 기준으로 평가됩니다:
1. 현재 활용도 (Current Utilization, $U$ ): 현재 작업에 대해 해당 전문가가 얼마나 빈번하게 활성화되는가.
2. 역사적 중요도 (Historical Importance, $F_{pre}$ ): 라우팅 가중치 기반 입력 에너지로 추정된 평균 그래디언트 외적(Average Gradient Outer Product, AGOP)의 트레이스(Trace)로부터 유도된 과거 중요도의 대리 지표.
동결 규칙: 현재 활용도는 낮지만 역사적 중요도가 높은 전문가는 현재 작업의 학습 중에 일시적으로 동결됩니다(순방향 및 역방향 전파 모두 건너뜀). 이들은 이후의 작업들을 위해 재활성화됩니다.
결과: 이는 불필요한 계산을 줄이고, 현재 작업에는 필요하지 않지만 과거 작업에는 중요한 전문가들의 불필요한 파라미터 드리프트를 방지합니다.

3. 주요 기여

드리프트 진단: 본 논문은 라우터 드리프트와 전문가 드리프트를 MoE 기반 MCIT의 주요 망각 원인으로 경험적으로 격리하고 정의하였으며, 두 가지 모두 동시에 해결되어야 함을 입증했습니다.
안정화된 프레임워크 (SAME): 스펙트럼 인식 라우팅, 곡률 인식 리만 스케일링, 적응형 전문가 활성화를 결합하여 MoE 적응 과정을 안정화하는 리허설 프리(Rehearsal-free) 프레임워크를 도입했습니다.
새로운 벤치마크 (TriGap): 저자들은 현실적인 조건에서 MCIT 모델을 테스트하기 위해 설계된 새로운 벤치마크인 TriGap을 소개합니다. 기존 벤치마크(CoIN, UCIT)와 달리 TriGap은 다음과 같은 특징을 가집니다:
- 확장된 시퀀스: 다른 벤치마크(6~8개)보다 긴 10개의 순차적 작업.
- 도메인 범위: 의료, 과학, 원격 탐사, 문서 이해를 포함한 다양한 도메인.
- 규모 차이: 실제 데이터 스트림을 시뮬레이션하기 위해 작업당 데이터 크기가 매우 불균형함(10k~40k 샘플).
효율성: 전문가 동결을 통해 정확도를 희생하지 않으면서 훈련 시간과 GPU 메모리 사용량을 줄여 상당한 속도 향상을 달aba achieve 했습니다.

4. 실험 결과

저자들은 세 가지 벤치마크(CoIN, UCIT, TriGap)에서 SAME를 평가했습니다.

성능: SAME는 일관되게 최신 베이스라인(MoELoRA, HiDe-LLaVA, CL-MoE, ProgLoRA 포함)보다 우수한 성능을 보였습니다.
- TriGap에서 SAME는 평균 정확도 **46.53%**를 달성하여, 가장 우수한 베이스라인인 MoELoRA보다 +2.08% 앞섰습니다.
- CoIN에서 SAME는 평균 정확도 **66.82%**에 도달하여 이전 최고치를 크게 넘어섰습니다.
- UCIT에서 SAME는 평균 정확도 **67.12%**를 달성했습니다.
망각 분석: SAME는 MoELoRA( $-19.04\%$ ) 및 HiDe-LLaVA( $-6.38\%$ )와 비교하여 가장 낮은 평균 망각률( $\bar{F} = -4.23\%$ )을 보였습니다.
포맷 안정성: ScienceQA 작업에 대한 특정 분석 결과, 베이스라인 방법들은 종종 "포맷 유발 망각"(예: 대문자 답변에서 소문자 답변으로 변경)을 겪는 반면, SAME는 전체 시퀀스에 걸쳐 작업별 출력 포맷을 성공적으로 보존했습니다.
효율성: 적응형 전문가 활성화는 작업당 평균 32.1분의 훈련 시간을 단축하고 GPU 메모리 사용량을 2.3 K MiB/GPU 줄였습니다.

5. 의의 및 주장

본 논문은 SAME가 MoE 구조의 망각 근본 원인을 해결함으로써 다중 모달 지속적 지시 튜닝을 위한 강력한 솔루션을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

리허설 프리 운영: 과거 데이터를 저장하거나 재생하지 않고도 강력한 유지 능력을 달성하여, 개인정보 보호가 중요하거나 저장 공간이 제한된 환경에 적합합니다.
확장성: 저계수 공분산 근사와 적응형 동결을 사용하여, 과도한 계산 오버헤드 없이 긴 작업 시퀀스와 대규모 모델로 확장할 수 있습니다.
일반화: 안정화된 전문가 선택과 과거 지식의 보존은 MMMU 벤치마크의 개선된 OOD(Out-of-Distribution) 성능에서 입증되었듯, 모델이 일반화된 능력을 유지할 수 있게 합니다.

저자들은 루팅 메커니즘과 전문가 파라미터를 모두 안정화함으로써, SAME가 MLLM이 이전에 습득한 지식을 신뢰성 있게 보존하면서 새로운 시각-언어 능력을 지속적으로 학습할 수 있게 한다고 결론짓습니다.