🤖 machine learning

Little by Little: Continual Learning via Incremental Mixture of Rank-1 Associative Memory Experts

이 논문은 거친 입도의 LoRA 기반 Mixture-of-Experts를 라우팅 모호성과 간섭을 제거하기 위한 미세한 입도의 자기 활성화 랭크-1 연상 메모리 유닛으로 대체함으로써, 대규모 사전 학습된 모델의 가소성-안정성 트레이드오프를 크게 개선하고 파괴적 망각을 줄이는 지속 학습 프레임워크인 MoRAM을 소개한다.

원저자: Haodong Lu, Chongyang Zhao, Minhui Xue, Lina Yao, Kristen Moore, Dong Gong

게시일 2026-06-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haodong Lu, Chongyang Zhao, Minhui Xue, Lina Yao, Kristen Moore, Dong Gong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 세상의 모든 것을 알고 있는 거대하고 믿을 수 없을 정도로 똑똑한 도서관(거대 사전 학습 모델)을 가지고 있다고 상상해 보세요. 이제 당신은 이 도서관에 특정 견종을 인식하거나 코드를 작성하는 법과 같은 새롭고 구체적인 기술을 가르치고 싶지만, 기존에 알고 있던 다른 모든 것들을 잊어버리게 하고 싶지는 않습니다.

이것이 바로 **연속 학습(Continual Learning)**의 문제입니다. 현재 대부분의 방법은 마치 기존의 책장에 새로운 책을 넣기 위해 기존의 책장을 다시 쓰는 것과 같습니다. 만약 새로운 책을 위한 공간을 만들기 위해 기존의 책장에 너무 강하게 글을 쓰면, 의도치 않게 예전의 이야기들을 지워버리게 됩니다. 이를 "파괴적 망각(catastrophic forgetting)"이라고 부릅니다.

다른 방법들은 각 새로운 기술을 위한 별도의 격리된 방(이하 "전문가")을 만드는 것을 시도합니다. 하지만 이 방들은 종종 너무 크고 무질서합니다. 그 안에는 너무 많은 일반 정보가 들어 있어서, 어떤 작업에 어떤 방을 사용해야 할지 혼란을 겪게 되며, 이는 간섭과 혼동을 초래합니다.

이 논문은 MoRAM(Mixture of Rank-1 Associative Memory)이라 불리는 새로운 해결책을 제안합니다. 이 방식이 어떻게 작동하는지 쉬운 비유를 통해 설명해 드리겠습니다.

1. 문제점: "큰 상자" vs "단일 원자"

현재의 방법들은 "LoRA"(Low-Rank Adaptation)를 사용하는데, 이는 마치 도서관에 새로운 작업을 할 때마다 거대한 공구 상자를 통째로 추가하는 것과 같습니다.

문제점: 아주 작은 나사 하나를 고쳐야 할 때도 무거운 공구 상자 전체를 끌고 나와야 합니다. 그 공구 상자 안에는 이 특정 작업에 필요 없는 도구들이 들어 있어 오히려 방해가 됩니다. 더 많은 공구 상자를 추가할수록 도서관은 무질서해지고, 사서(라우터)는 어떤 공구 상자를 꺼내야 할지 혼란에 빠집니다.

2. 해결책: MoRAM의 "원자적 메모리"

MoRAM은 철학을 바꿉니다. 거대한 공구 상자를 추가하는 대신, 개별적이고 아주 작은 지식의 원자들을 추가합니다.

비유: 도서관의 지식이 책에 저장되는 것이 아니라, 모든 단일 종이 한 장이 하나의 "Rank-1 전문가"인 거대하고 무한한 서류 보관함에 저장되어 있다고 상상해 보세요.
새로운 작업을 배울 때, MoRAM은 새로운 방을 만들지 않습니다. 그저 서류 보관함에 몇 장의 구체적인 새 종이를 추가할 뿐입니다.
핵심 특징: 각 종이는 매우 작고 구체적이어서 오직 하나의 아주 작은 것(예: "푸른 하늘" 또는 "비행기 날개")에 대해서만 이야기합니다.

3. 정보를 찾는 방법: "자기 활성화"

기존 시스템에서는 질문을 보고 어떤 큰 공구 상자를 열지 결정하기 위해 사서(라우터)가 필요합니다. 이 사서는 도서관이 커짐에 따라 자주 실수를 저지릅니다.

MoRAM은 이 사서를 아예 없애버립니다.

비유: 서류 보관함의 모든 종이는 자기만의 자석 라벨("키")을 가지고 있습니다. 당신이 질문을 던지면, 그 질문 자체가 하나의 자석 역할을 합니다.
질문과 일치하는 자석 라벨을 가진 종이들만이 질문에 "달라붙습니다". 나머지 종이들은 선반에 그대로 머물러 있습니다.
이것을 **콘텐츠 기반 검색(Content-Addressable Retrieval)**이라고 합니다. 질문이 중간 관리자의 결정 없이 스스로 답을 찾아내는 것입니다. 이는 혼란을 방지하고 적절한 "메모리"가 사용되도록 보장합니다 합니다.

4. "조금씩 조금씩"

제목인 "Little by Little"은 이 시스템이 성장하는 방식을 의미합니다.

대대적인 개편 대신, MoRAM은 지식을 점진적으로 추가합니다.
기존의 "원자"들은 동결(freeze)하여 절대 지워지지 않게 하고, 현재 작업에 필요한 몇 개의 새로운 원자들만 활성화합니다.
이는 거대한 구조물에 단 하나의 레고 블록을 추가하는 것과 같습니다. 구조물은 더 커지지만, 기존의 블록들은 정확히 그 자리에 온전하게 유지됩니다.

5. 결과

저자들은 이 시스템을 거대 AI 모델(이미지를 위한 CLIP 및 텍언어를 위한 LLM 등)에 대해 테스트했습니다.

망각 감소: 기존 지식이 각각의 작고 고립된 원자에 동결되어 있기 때문에, 새로운 것을 배우는 것이 기존의 것을 덮어쓰지 않습니다.
더 나은 전문화: 각 "원자"가 매우 작기 때문에, 모든 것을 조금씩 아는 일반론자가 아닌, 정확히 한 가지 일에 특화된 전문가가 됩니다.
효效율성: 시스템은 특정 작업에 필요한 몇 개의 원자만을 "깨우기" 때문에, 에너지와 컴퓨 计算 능력을 절약합니다.

요약하자면: MoRAM은 학습을 뇌를 다시 쓰는 과정이 아니라, 서류 보관함에 스스로 선택되는 작은 기억 메모지들을 추가하는 과정으로 취급합니다. 이 메모지들은 당신이 무엇을 묻느냐에 따라 스스로의 위치를 찾아내며, 이를 통해 도서관이 과거를 결코 잊지 않으면서도 더 똑똑하게 성장하도록 보장합니다.

기술 요약: Little by Little: Rank-1 연상 메모리 전문가를 통한 점진적 혼합 방식의 지속 학습

1. 문제 정의

지속 학습(Continual Learning, CL)은 모델이 파괴적 망각(catastrophic forgetting) 없이 새로운 태스크로부터 지식을 점진적으로 습득할 수 있도록 하는 것을 목표로 한다. 저계수 적응(Low-Rank Adaptation, LoRA)과 같은 매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning, PEFT) 방법론은 거대 사전 학습 모델(PTM)을 적응시키는 데 널리 사용되지만, 표준 LoRA는 밀집된 업데이트를 적용하기 때문에 필연적으로 이전 태스크의 표현 공간을 교란하여 간섭과 망각을 초래한다.

최근 연구들은 기존의 전문가들을 동결하고 새로운 전문가를 추가함으로써 태스크 간 간섭을 격리하는 MoE-LoRA 방식의 혼합 전문가(Mixture-of-Experts, MoE) 프레임워크를 채택해 왔다. 그러나 본 논문은 기존의 MoE-LoRA 방법들이 **조粗한 입도(coarse granularity)**로 동작한다는 점을 지적한다. 멀티 랭크(multi-rank) LoRA 어댑터를 하나의 분리 불가능한 전문가 단위로 취급함으로써, 이들은 다음과 같은 세 가지 결정적인 문제에 직면한다:

간섭(Interference): 조粗한 전문가는 저전문화된 정보를 인코딩하므로, 특정 입력에 대해 관련 없는 서브스페이스(subspace)가 활성화되도록 강제한다.
중복성(Redundancy): 새로운 전문가가 기존 전문가로부터 특정 "원자(atoms)"의 지식을 선택적으로 재사용할 수 없으므로, 지식 캡파시티(capacity) 사용이 비효율적이며 전체 블록을 다시 학습해야 하는 문제가 발생한다.
라우팅/검색 붕괴(Routing/Retrieval Collapse): 조粗한 전문가의 수가 증가함에 따라 외부 라우터가 확장되는 풀(pool)을 안정적으로 인덱싱하는 데 어려움을 겪으며, 이는 라우팅 모호성, 드리프트(drift), 그리고 결국 기존 전문가의 성능 붕을 초래한다.

2. 방법론: MoRAM

저자들은 **MoRAM (Mixture of Rank-1 Associative Memory)**을 제안하며, 이는 지속 학습을 원자적인 랭크-1 단위들로 구성된 매개변수적 메모리 시스템의 점진적 확장으로 재정의한다.

핵심 개념적 전환

가중치 행렬이 선형 연상 메모리(Linear Associative Memories, Kohonen, 1972) 역할을 한다는 관점에 근거하여, MoRAM은 가중치 행렬 $W$ 를 단일한 블록이 아니라 $m$ 개의 원자적 키-값 쌍 $\{(k_i, v_i)\}$ 의 집합으로 취급한다.

키-값 정식화(Key-Value Formulation): 랭크- $r$ 업데이트는 $r$ 개의 원자적 랭크-1 쌍으로 분해된다. 각 쌍은 키(Key, $A_{:,i}$ )와 값(Value, $B_{:,i}$ )으로 구성된다.
콘텐츠 주소 지정 검색(Content-Addressable Retrieval): 외부 라우터가 데이터를 어디로 보낼지 학습하는 대신, 입력 $x$ 는 고유한 관련성 점수 $s_i = A_{:,i}x$ 를 통해 관련 메모리 원자를 자동으로 트리거한다. 출력은 이 점수들에 기반한 값들의 가중치 합이다.

주요 구성 요소

미세 입도의 랭크-1 전문가:
태스크당 전체 랭크- $r$ 어댑터를 추가하는 대신, MoRAM은 태스크당 $r$ 개의 새로운 원자적 랭크-1 쌍을 도입한다. 이러한 원자들은 미세한 입도의 MoE 전문가 역할을 수행한다. 모델은 이전의 원자들을 동결하고 새로운 원자들을 점진적으로 추가한다("little by little").
자기 활성화 메커니즘(Self-Activation Mechanism):
MoRAM은 학습 가능한 외부 라우터 네트워크의 필요성을 제거한다.

관련성 점수 산출: 입력 $x$ 에 대한 $i$ 번째 메모리 원자의 관련성은 입력과 해당 원자의 키 벡터( $A_{:,i}$ ) 간의 내적(dot product)을 통해 직접 계산된다.
정규화: 안정성을 위해 전체 메모리 앙상블에 대해 $\ell_2$ 정규화를 수행한다.
이점: 이는 보조 라우터 네트워크를 학습할 때 발생하는 최적화 불안정성과 망각 문제를 제거한다.

희소 라우팅 및 특화(Sparse Routing and Specialization):
간섭과 계산 오버헤드를 방지하기 위해 MoRAM은 희소 선택 전략을 사용한다.

Top- $k$ 마스킹: 주어진 입력에 대해 가장 높은 활성화 점수를 가진 $k$ 개의 원자만을 유지한다.
온도 스케일링(Temperature Scaling): 분포를 날카롭게 만들기 위해 소프트맥스에 온도 하이퍼파라미터 $\tau_{MoRAM}$ 을 적용하여, 가장 관련성이 높은 "전문가(specialist)" 원자에 그래디언트를 집중시키고 이들의 적응을 가속화한다.
임계값 기반 프루닝(Threshold-Based Pruning): 추론 시, 활성화 점수가 임계값 $\delta$ 미만인 원자들을 프루닝하여 노이즈와 계산 비용을 더욱 줄인다.

점진적 확장:
새로운 태스크가 들어올 때마다 모델은 일련의 새로운 랭크-1 쌍을 도입하고, 이전의 모든 원자를 동결하며, 자기 활성화 메커니즘이 기존 메모리와 신규 메모리의 합집합을 가로질러 라우팅할 수 있도록 한다. 이를 통해 모델은 공유된 의미(예: "푸른 하늘")를 재사용하는 동시에, 새로운 개념(예: "비행기")을 위해 새로운 원자들을 특화할 수 있다.

3. 주요 기여

MoRAM 프레임워크: 학습을 랭크-1 연상 단위들의 매개변수적 메모리 확장으로, 추론을 테스트 타임 메모리 검색으로 취급하는 새로운 CL 프레임워크를 제공한다. 이는 최소한의 간섭으로 미세한 지식 재사용을 가능하게 한다.
자기 활성화 희소 라우팅: 업데이트를 랭크-1 메모리 원자로 분해함으로써, 모델은 자연스럽게 미세한 입도의 MoE를 형성한다. 제안된 자기 활성화 메커즘은 외부 라우터를 제거하여, 라우팅 붕괴를 피하는 콘텐츠 기반의 희소 검색을 가능하게 한다.
실험적 우위: CLIP 및 LLM 벤치마크에 대한 광범한 평가를 통해, MoRAM이 SOTA(State-of-the-art) 방법론들을 능가하여 더 나은 가소성-안정성(plasticity-stability) 트레이드오프를 달과내며 사전 학습된 일반화 능력을 보존함을 입증했다.

4. 실험 결과

본 논문은 X-TAIL(CLIP용), TRACE(LLM용), 그리고 표준 언어 분류 태스크를 포함한 여러 벤치마크에서 MoRAM을 평가한다.

시각-언어 (CLIP): X-TAIL 벤치마크에서 MoRAM은 "Average" 및 "Last" 정확도 지표에서 SOTA 성능을 달성하며, MoE-Adapter, CoDyRA, RAIL-Primal 등의 방법을 능가했다. 이는 외부 도메인 ID나 피처 뱅크 없이도 표현력을 효과적으로 향상시킨다.
거대 언어 모델 (LLMs): LLaMA 및 Gemma 모델을 사용한 TRACE 벤치마크에서, MoRAM은 SeqLoRA, O-LoRA, TreeLoRA와 비교했을 때 현저히 낮은 역방향 전이(Backward Transfer, BWT) 점수(망각이 적음을 나타냄)와 함께 견고한 성능을 보여준다.
일반화 vs 망각: 코드 생성 미세 조정(CodeAlpaca)에서 표준 밀집 LoRA 업데이트는 의미론적으로 거리가 먼 주제(예: 세계 종교)에 대한 성능을 저하시킨다. 반면 MoRAM은 새로운 지식을 독립적인 랭크-1 원자로 격리함으로써, 도메인 내 코드 성능을 개선하는 동시에 도메인 외 일반화 능력을 보존한다.
효율성: MoRAM은 표준 랭크-32 LoRA가 요구하는 활성 매개변수의 약 1/3만을 사용하여 우수한 성능을 달성한다. 또한 기존 PEFT 방법론과 유사한 낮은 GPU 메모리 사용량 및 추론 지연 시간을 유지한다.

5. 의의 및 주장

본 논문은 고성능 지속 학습이 복잡한 외부 라우터나 경직된 구조적 확장을 필요로 하지 않는다고 주장한다. 대신, 저계수 원자적 메모리의 정밀한 콘텐츠 주소 지정 검색을 향한 패러다임 전환을 주장한다.

파괴적 망각 완화: 업데이트를 얽혀 있는 블록이 아닌 독립적인 메모리 원자로 취급함으로써, MoRAM은 관련 없는 개념이 덮어씌워지는 것을 방지한다.
확장성: 자기 활성화된 희소 혼합 메커니즘을 통해, 조粗한 입도의 MoE-LoRA가 겪는 라우팅 모호성 없이 많은 태스크로 확장할 수 있다.
효율성: 이 방법은 계산 및 메모리 요구 사항을 줄여, 자원이 제한된 환경에서도 거대 모델의 지속적인 적응을 가능하게 한다.

저자들은 MoRAM이 메모리 확장에 대한 "little by little" 접근 방식을 제공하며, 가소성과 안정성을 효과적으로 균형 있게 조절하면서 사전 학습된 모델의 일반화된 지식을 보존한다고 결론짓는다. 향후 연구로는 데이터 분포에 따른 적응형 온도 설정 탐색 및 더 넓은 범위의 PTM으로의 적용 확장이 제안되었다.