🤖 AI

MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models

이 논문은 소규모 언어 모델이 백본 파라미터를 업데이트하거나 파괴적 망각을 일으키지 않으면서도, 추론 시에 압축된 수정 방향 프로토타입을 검색하여 은닉 상태를 적응시킴으로써 제한된 저장 공간 하에서 지속 학습을 수행할 수 있게 하는 메모리 유도 추론 시점 적응 프레임워크인 MIITA를 제안한다.

원저자: Dong Li, Yanchi Liu, Xujiang Zhao, Wei Cheng, Zhengzhang Chen, Xintao Wu, Zhong Chen, Chen Zhao, Haifeng Chen

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dong Li, Yanchi Liu, Xujiang Zhao, Wei Cheng, Zhengzhang Chen, Xintao Wu, Zhong Chen, Chen Zhao, Haifeng Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 휴대폰 속에 살고 있는 아주 작고 빠른 로봇 비서가 있다고 상상해 보세요. 이 로봇은 작고 효율적이어서 빠른 업무 처리에 적합하지만, 기억 저장 공간(메모리 뱅크)이 매우 제한적입니다. 이제 세상은 계속 변하고 있고, 이 로봇은 매일 새로운 기술을 배워야 합니다. 예를 들어 새로운 신조어를 이해하거나, 새로운 종류의 벌레를 인식하거나, 새로운 숙제를 도와주는 일 같은 것들 말이죠. 여기서 발생하는 큰 문제는, 작은 로봇들이 새로운 것을 배우려고 할 때 종종 어제 배웠던 모든 것들을 실수로 '잊어버린다'는 점입니다. 이는 마치 이미 가득 찬 공책에 새로운 장을 쓰려는 것과 같습니다. 새로운 단어들을 억지로 끼워 넣으려면 기존의 단어들을 지워야만 하기 때문입니다. 과학자들은 이를 "파괴적 망각(catastrophic forgetting)"이라고 부릅니다.

이를 막기 위해 연구자들은 보통 예전의 교훈들을 별도의 "기억 저장소"에 따로 저장하여 로봇이 나중에 다시 찾아볼 수 있도록 하려 노력합니다. 하지만 여기에는 함정이 있습니다. 거대하고 매우 똑똑한 AI 두뇌를 위해 설계된 대부분의 화려한 메모리 시스템은 우리처럼 작은 로봇에게는 너무 무겁고 복잡합니다. 그 시스템들은 전체 이야기나 긴 예시 목록을 저장하려고 하는데, 이는 너무 많은 공간을 차지할 뿐만 아니라 로봇이 행간의 의미를 읽어내는 능력, 즉 문맥을 파악하는 능력이 매우 뛰어나야 한다는 것을 전제로 합니다. 하지만 작은 로봇들에게는 그런 기술이 없습니다. 그래서 질문은 이것입니다. 자원이 제한된 작은 로봇이 공간이 부족해지거나 이전의 기억을 잃어버리지 않고 영원히 학습을 지속하도록 가르칠 방법은 무엇일까요?

여기에 연구팀이 제안한 영리하고 새로운 방법인 MIITA가 등장합니다. MIITA는 이 작은 로봇들을 위한 "스마트한 컨닝 페이퍼"와 같은 역할을 합니다. MIita는 부피가 큰 이야기나 긴 예시 목록을 저장하는 대신, 무엇을 수정해야 하는지에 대한 '본질'만을 저장함으로써 판도를 바꿉니다. 이렇게 생각해보세요. 만약 당신이 친구에게 자전거 타는 법을 가르친다면, 친구가 넘어질 때마다 그 영상을 저장하지는 않을 것입니다. 대신 "오른쪽으로 돌 때는 왼쪽으로 몸을 기울여라"라는 아주 작은 메모를 남기겠죠. 이 메모가 바로 "수정 방향"입니다. MIITA는 모든 학습 경험을 이러한 작고 압축된 메모로 변환합니다.

로봇이 새로운 상황에 직면했을 때, MIITA는 단순히 옛날 메모들을 로봇에게 쏟아붓지 않습니다. 대신 지금 당장 필요한 메모가 무엇인지 알아내기 위해 특별한 기술을 사용합니다. MIITA는 현재의 문제를 살펴보고 이렇게 묻습니다. "로봇이 어디에서 혼란을 느끼고 있는가?" 만약 로봇이 자신의 답에 확신이 없다면, MIITA는 그 혼란을 단서로 삼아 기억 저장소에서 완벽한 "왼쪽으로 기울여라"라는 메모를 찾아냅니다. 그런 다음, 그 순간 동안만 로봇의 사고 과정에 이 수정을 일시적으로 적용하여 정답을 맞히도록 돕습니다. 작업이 끝나면 그 수정 사항은 사라지고, 로봇의 핵심 두뇌는 전혀 손상되지 않은 채 다음 도전을 맞이할 준비를 마칩니다.

연구진은 고객 불만 사항 이해부터 다국어 질문 답변에 이르기까지 여러 가지 작업에 이 아이디어를 테스트했습니다. 그들은 MIITA가 메모 공간이 극도로 협소한 상황에서도 다른 방법들보다 작은 언어 모델이 예전 기술을 더 잘 기억하도록 일관되게 도와준다는 것을 발견했습니다. 실제로 다른 방법들이 가장 작은 모델들에서 작동하는 데 어려움을 겪는 동안에도, MIITA는 우수한 성능을 유지했습니다. 연구팀은 또한 이러한 "수정 메모"를 저장하는 것이 전체 이야기나 요약본을 저장하는 것보다 훨씬 효과적임을 보여주었으며, 이는 작은 로봇에게 중요한 것은 얼마나 많이 기억하느냐가 아니라 '어떻게' 기억하느냐라는 점을 입증했습니다. 가공되지 않은 데이터를 저장하는 대신 실수를 바로잡기 위해 필요한 기능적인 "밀어주기(push)"에 집중함으로써, MIITA는 작은 AI가 자신이 누구인지 잊지 않으면서도 계속해서 학습할 수 있는 가볍고 효율적인 방법을 제시합니다.

기술 요약: MIITA

문제 정의

소형 언어 모델(SLM)을 위한 지속 학습(Continual Learning, CL)은 자원이 제한된 배포 환경에서 심각한 병목 현상에 직면해 있습니다. SLM은 로컬화, 저지연성, 개인정보 보호가 중요한 애플리케이션에 필수적이지만, 제한된 파라미터 용량으로 인해 새로운 지도 학습 경험이 백본(backbone)에 직접 기록될 때 치명적인 망각(catastrophic forgetting)에 매우 취면하기 쉽습니다. 기존의 메모리 기반 CL 접근 방식은 주로 대규모 언어 모델(LLM)을 위해 설계되었으며, 텍스트 예시, 요약 또는 데모네스트레이션을 저장하는 데 의존합니다. 이러한 방법들은 두 가지 이유로 SLM 맥락에서 실패합니다:

저장 효율성 부족: 텍스트 메모리는 재사용 가능한 신호와 함께 표면적인 콘텐츠를 함께 보유하므로, 고정된 예산 하에서 과도한 저장 공간을 소비합니다.
추론 능력의 한계: SLM은 검색된 텍스트 메모리가 예측에 어떻게 영향을 미쳐야 하는지를 효과적으로 추론하는 데 필요한 강력한 인컨텍스트(in-context) 추론 능력이 부족합니다.

결과적으로, 현재의 방법들은 모델 크기가 작아짐에 따라 성능이 크게 저하되거나, 엄격한 저장 공간 제약 하에서 망각을 완화하는 데 실패합니다.

방법론: MIITA

저자들은 제한된 영구 저장 공간 하에서 SLM을 위한 지도 학습 CL을 위해 설계된 프레임워크인 MIITA(Memory-Induced Inference-Time Adaptation)를 제안합니다. MIITA는 지식 유지를 모델의 파라미터 공간으로부터 분리하며, 경험을 가공되지 않은 텍스트가 아닌 **압축된 기능적 교정 방향(compact functional correction directions)**으로 저장합니다.

핵심 구성 요소

방향 중심 메모리 표현 (Direction-Oriented Memory Representation):
- MIITA는 각 지도 학습 경험 $(x, y)$ 를 가공되지 않은 예시 대신, 타겟 출력의 가능성(likelihood)을 높이는 데 필요한 그래디언트 업데이트를 나타내는 사전 LM 헤드(pre-LM-head) 은닉 공간에서의 교정 방향 $d$ 로 변환합니다.
- 메모리는 프로토타입 $u_j = (d_j, A_j, n_j)$ 로 구성됩니다. 여기서 $d_j$ 는 정규화된 교정 방향이고, $A_j$ 는 오직 검색만을 위해 사용되는 경량화된 시맨틱 앵커(semantic anchors, keys) 세트이며, $n_j$ 는 병합된 경험의 수를 추적합니다.
- 이 설계는 기능적 유지(방향)와 시맨틱 접근(앵커)을 분리하여, 동일한 교정을 유도하는 시맨틱적으로 서로 다른 예시들이 병합될 수 있도록 합니다.
예산 인식 메모리 관리 (Budget-Aware Memory Management):
- 프로토타입 할당: 새로운 경험의 교정 방향이 충분히 일치하면(코사인 유사도 > 임계값 $\tau_d$ ) 기존 프로토타입에 병합됩니다. 그렇지 않으면 새로운 프로토타입이 생성됩니다.
- 메모리 수리: 저장 예산 $C_{mem}$ 이 초과되면, 시스템은 중복된 시맨틱 앵커를 제거하고, 유사한 프로토타입을 병합하며, 방향적 차별성과 저장 효율성을 우선시하는 가치 함수(value function)를 기반으로 가장 가치가 낮은 프로토타입을 퇴출합니다.
추론 시 검색 및 적응 (Inference-Time Retrieval and Adaptation):
- 검색: 추론 시, MIITA는 두 가지 단서를 사용하여 관련 프로토타입을 검색합니다:
  - 시맨틱 관련성: 쿼리의 시맨틱 키를 저장된 앵커와 매칭합니다.
  - 불확실성 유도 방향 프록시 (Uncertainty-Guided Directional Proxy): 추론 시에는 정답(ground truth)을 알 수 없으므로, MIITA는 제한된 예측 엔트로피(predictive entropy)의 그래디언트를 계산하여 불확실성을 줄이기 위한 가장 가파른 하강 경로를 나타내는 "방향 프록시"를 생성합니다.
- 적응: 검색된 방향들은 쿼리별 교정 벡터 $\bar{d}_q$ 로 집계됩니다. 이 벡터는 **게이트형 임시 은닉 상태 업데이트(gated temporary hidden-state update)**를 통해 적용됩니다:
  $p'_t = \text{softmax}(W_{LM}(h^{out}_t + \eta \alpha_t \bar{d}_q))$
  여기서 $\alpha_t$ 는 현재 생성 상태와 쿼리 상태 사이의 유사도에 기반한 활성화 게이트입니다. 이 적응은 일시적입니다. 이는 역전파(backpropagation), 파라미터 업데이트, 또는 프롬프트 확장을 요구하지 않습니다.

이론적 통찰

본 논문은 다음을 확립하는 국소적 이론 분석을 제공합니다:

교정 방향은 지도 학습 손실을 감소시키기 위한 1차 최적(first-order optimal)입니다.
불확실성 유도 방향은 국소적 예측 엔트로피를 줄이기 위한 가장 가파른 경로를 식별하며, 이는 효과적인 레이블 없는(label-free) 검색 단서 역할을 합니다.
이전 단계 지식의 유지는 원시 예시의 커버리지가 아니라, 저장된 메모리의 **방향적 커버리지(directional coverage)**에 의해 제어됩니다.

주요 기여

방향 중심 메모리: 지도 학습 경험을 경량 시맨틱 앵커를 가진 교정 방향 프로토타입으로 저장하는 새로운 표현 방식을 통해, SLM의 텍스트 메모리가 갖는 저장 및 추론 비용 문제를 극복했습니다.
추론 시 적응 메커니즘: 테스트 시 역전파 없이도 과거의 감독(supervision)을 비파괴적으로 재사용할 수 있도록, 게이트형 임시 은닉 상태 업데이트를 통해 검색된 과거 방향을 적용하는 방법을 제시했습니다.
이론적 분석: 설계와 1차 손실 감소, 불확실성 유도 검색, 그리고 지식 유지를 위한 방향적 커버리지의 역할 사이를 연결하는 국소적 이론 프레임워크를 제공했습니다.
경험적 검증: 다양한 지도 학습 CL 설정 및 모델 규모에서 최종 성능 향상과 망각 감소를 입증하는 포괄적인 평가를 수행했습니다.

실험 결과

실험은 4개의 벤치마크(Banking77, DSC, PAXQA, SuperNI)에서 고정된 1% 메모리 예산 하에 SLM(Qwen3-0.6B ~ 4B, LLaMA-3.2-3B ~ 8B)을 사용하여 수행되었습니다.

성능: MIITA는 모든 벤치마크와 모델 크기에서 가장 우수한 종합 성능(Overall Performance, OP)과 역방향 전이(Backward Transfer, BWT)를 일관되게 달로 달성하였으며, 파라미터 업데이트 베이스라인(예: LoRA) 및 메모리 기반 LLM 베이스라인(예: CIS, FOREVER)을 능가했습니다.
모델 스케일링: 모델 크기가 작아질수록 성능이 크게 저하되는 LLM 중심의 메모리 방법들과 달리, MIITA는 가장 작은 0.6B 모델에서도 견고한 성능을 유지했습니다.
예산 민감도: MIITA는 낮은 예산 환경(0.1%–2%)에서 탁월한 성능을 보였으며, 리플레이(replay) 기반 방법들은 경쟁하기 위해 훨씬 더 큰 예산을 필요로 했습니다.
절제 연구 (Ablation Studies):
- 기능적 vs 시맨틱: 기능적 교정 방향(DirectionMem)을 저장하는 것이 원시 예시, 요약 또는 시맨틱 임베딩을 저장하는 것보다 성능이 훨씬 뛰어났으며, 이는 기능적 중복성이 시맨틱 중복성과는 별개임을 확인시켜 줍니다.
- 검색: 시맨틱과 불확실성 유도 검색을 결합했을 때 최상의 결과를 얻었으며, 이는 레이블 없는 방향 프록시의 유용성을 입증합니다.

의의

본 논문은 SLM에게 있어 지속 학습의 핵심은 단순히 메모리를 사용하는 것이 아니라, 저장된 표현의 효율성과 기능성에 있다고 주장합니다. 원시 텍스트를 보존하는 것에서 압축된 기능적 교정 신호를 보존하는 것으로 전환함으로써, MIITA는 제한된 저장 공간과 약한 인컨텍스트 추론이라는 이중 병목 현상을 해결합니다. 이 접근 방식은 SLM이 희소한 파라미터 공간을 덮어쓰거나 파괴적인 파인튜닝에 의존하지 않고도 진화하는 요구사항에 지속적으로 적응할 수 있게 하여, 자원이 제한된 환경에서 적응형 AI를 배포할 수 있는 실행 가능한 경로를 제공합니다.