🤖 AI

InduceKV: Fixed-Footprint Continual Adaptation of Multimodal LLMs via Inducing KV Memories

이 논문은 백본 모델을 수정하지 않으면서도 엄격하고 제한된 메모리 예산을 유지하며 기존 베이스라인보다 우수한 성능을 달성하기 위해, 압축되고 어텐션 준비가 된 KV 메모리를 저장하는 검색 기반의 고정 풋프린트 멀티모달 LLM 지속 적응 방법인 InduceKV를 소개한다.

원저자: Qianyu Chen, Ziteng Feng, Canran Xiao, Runxuan Tang

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qianyu Chen, Ziteng Feng, Canran Xiao, Runxuan Tang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이것은 InduceKV 논문을 일상적인 언어로 쉽게 설명한 글이며, 개념을 명확하게 전달하기 위해 비유를 사용했습니다.

거대한 문제: 배낭을 들 수 없는 "영원한 학생"

당신에게 사진을 보고 질문에 답할 수 있는 아주 똑똑하고 모든 것을 다 아는 학생(멀티모설 대규모 언어 모델, MLLM)이 있다고 상상해 보세요. 이 학생은 이미 방대한 양의 데이터로 학습이 되어 있습니다.

이제 이 학생은 시간이 흐름에 따라 새로운 기술을 배워야 합니다. 처음에는 의료 차트를 진단하는 법을 배우고, 그다음에는 수학 퍼즐을 푸는 법을, 그다음에는 법률 문서를 이해하는 법을 배워야 합니다.

딜레마:

"재작성(Rewrite)" 문제: 만약 학생의 뇌(모델의 파라미터)를 업데이트하여 새로운 것을 가르치려 한다면, 기존에 알고 있던 것들을 실수로 잊어버리게 만들 수 있습니다. 이는 마치 새로운 언어를 배우기 위해 모국어를 지워버리는 것과 같습니다.
"배낭(Backpack)" 문제: 만약 학생에게 지금까지 본 모든 예시를 기억하라고 하면서 거대한 플래시카드 배낭을 메게 한다면, 그 배낭은 결국 너무 무거워질 것입니다. 공간이 부족해지는 것이죠.

목표:
이 논문은 다음과 같은 질문을 던집니다. 우리는 학생의 뇌를 재작성하지 않고도, 그리고 점점 커지는 거대한 배낭을 메지 않고도 새로운 것을 가르칠 수 있을까?

해결책: InduceKV (스마트한 "인덱스 카드" 시스템)

저자들은 InduceKV를 제안합니다. 학생의 뇌를 바꾸거나 무거운 배낭을 메게 하는 대신, 학생의 뇌 외부에 위치하는 컴팩트하고 크기가 고정된 인덱스 카드 시스템을 제공합니다.

작동 방식은 다음과 같습니다.

1. 얼어붙은 뇌 (도서관)

학생의 뇌(모델)는 얼어붙어(frozen) 있습니다. 우리는 절대 건드리지 않습니다. 모델은 원래 있던 그대로 유지됩니다. 이를 통해 기존의 기술을 잊어버리지 않도록 보장합니다.

2. "인덱스 카드" (KV 메모리)

학생이 새로운 작업(예: "의료 진단")을 배울 때, 교과서 전체를 암기하는 대신 시스템은 그 레슨의 가장 중요한 "정수(essence)"를 추출합니다.

비유: 이것은 책의 가장 중요한 페이지를 사진으로 찍어 작고 압축된 인덱스 카드로 만드는 것과 같습니다.
기술적 내용: 이 카드들은 "키-값(Key-Value, KV)" 데이터를 담고 있습니다. 쉽게 말해, **키(Key)**는 라벨(예: "의료 차트")이고, **값(Value)**은 그 차트에 대해 질문에 답하는 데 필요한 실제 정보입니다.

3. 고정된 예산 (지갑)

당신은 오직 정해진 개수의 인덱스 카드(예: 256장)만 가질 수 있습니다. 더 추가할 수는 없습니다.

도전 과제: 새로운 작업을 배우면 단순히 새 카드를 추가할 수 없습니다. 당신은 결정해야 합니다: 기존의 어떤 카드를 버리고 이 새로운 카드를 위한 자리를 만들 것인가?

4. "스마트 선택기" (이중 최적화)

이 부분이 마법 같은 부분입니다. 시스템은 가장 좋은 카드를 고르기 위해 스마트한 알고리즘을 사용합니다. 카드를 교체하기 전에 세 가지 질문을 던집니다.

현재 적합성: "이 새로운 카드가 지금 당장의 질문에 답하는 데 도움이 되는가?"
보존: "이 오래된 카드를 버린다면, 과거의 작업들을 수행하는 법을 잊어버리게 될까?" (이를 확인하기 위해 과거의 "앵커(anchor)" 카드 몇 개를 남겨둡니다.)
다양성: "이 새로운 카드가 기존의 카드와 복사본인가? 만약 그렇다면 선택하지 마라. 우리는 중복된 카드가 아니라 다양한 종류의 카드가 필요하다."

5. "마법 주입" (검색/Retrieval)

학생이 새로운 질문(예: "이 X-레이의 문제는 무엇인가?")을 받으면:

시스템은 질문을 살펴보고 인덱스 카드에서 일치하는 **키(Key)**를 찾습니다.
그 카드로부터 값(Value)(정답 데이터)을 가져옵니다.
이 데이터를 학생의 어텐션(attention) 메커니즘에 직접 **주입(inject)**합니다.

비유: 이것은 학생이 책을 읽고 있는데, 갑자기 유능한 유령이 나타나 도서관 전체를 뒤질 필요 없이 딱 필요한 페이지를 학생의 귀에 속삭여 주는 것과 같습니다.

왜 기존 방식보다 더 나은가?

이 논문은 InduceKV를 다른 두 가지 일반적인 방법과 비교합니다.

방법 A (PEFT/LoRA): 이것은 학생의 뇌에 작은 "노트"를 추가하여 가르치는 것과 같습니다. 시간이 지나면 더 많은 노트가 필요해지고, 서로 간섭하기 시작합니다.
- InduceKV의 승리: 뇌를 깨끗하게 유지하며 오직 고정된 크기의 외부 메모리만을 사용합니다.
방법 B (Replay): 이것은 새로운 것을 배울 때마다 학생에게 예전 플래시카드를 다시 읽게 하는 것과 같습니다. 느리고, 전체 플래시카드(이미지와 텍스트 전체)를 저장해야 합니다.
- InduceKV의 승리: 압축된 "정수"(KV 데이터)만을 저장하므로 훨씬 적은 공간을 차지하고 사용 속도가 빠릅니다.

결과 (논문이 실제로 발견한 것)

저자들은 여러 어려운 작업에서 InduceKV를 테스트했습니다.

새로운 유형의 질문 배우기 (예: "이것은 무엇인가?"에서 "몇 개가 있는가?"로 이동)
새로운 도메인 배우기 (예: 일반 사진에서 의료 차트나 수학 문제로 이동)
영원히 학습하기 (새로운 데이터셋이 계속해서 들어오는 스트림 상황)

발견된 사실:

더 나은 기억력: InduceKV는 새로운 것을 배우는 동안에도 다른 방법들보다 기존 기술을 훨씬 더 잘 기억했습니다.
덜한 망각: 새로운 것을 10개 배운 후에도 학생은 첫 번째 작업들을 잊어버리지 않았습니다.
효율성: 인덱스 카드를 "찾아보는" 과정이 있음에도 불구하고, 거대한 플래시카드 더미를 읽는 것(replay)보다 더 빠르고 컴퓨터 자원을 적게 사용합니다.
어디서나 작동함: LLaVA, Qwen, DeepSeek 등 다양한 AI 모델에서 잘 작동했으며, 이는 이것이 특정 모델만을 위한 트릭이 아닌 범용적인 솔루션임을 증명합니다.

요약

InduceKV는 기존의 지식을 망가뜨리지 않고 AI에게 새로운 것을 가르치는 방법입니다. 이는 AI의 뇌를 얼어붙게 두고, 필요할 때 즉시 꺼내 쓸 수 있는 스마트하게 선택된 고정 크기의 "컨닝 페이퍼"(KV 메모리)를 제공함으로써 가능합니다. 이는 마치 결코 책을 잊지 않는 유능한 사서가 있는 것과 같으며, 사서는 도서관 전체를 들고 다니는 대신 가장 중요한 페이지들만 완벽하게 큐레이션한 목록을 가지고 다니는 것과 같습니다.

기술 요약: InduceKV

문제 정의

멀티모달 거대 언어 모델(MLLM)은 엄격한 배포 제약 조건 하에서 진화하는 태스크와 도메인에 지속적으로 적응해야 하는 상당한 과제에 직면해 있습니다. 기존의 접근 방식은 크게 두 가지 범주로 나뉘며, 두 방식 모두 "고정된 풋프린트(fixed-footprint)" 요구 사항을 충족하는 데 어려움을 겪습니다:

파라미터 업데이트: 파라미터 효율적 미세 조정(PEFT), 전문가 혼합(MoE), 또는 아키텍처 확장을 사용하는 방법들은 안정성과 가소성(stability and plasticity) 사이의 균형을 맞추기 위해 노력하지만, 본질적으로 시간이 지남에 따라 모델 파라미터를 새로 작성하게 됩니다. 이는 예산 제어(전문가/라우터 상태가 증가함에 따라)를 복잡하게 만들고, 새로운 태스크에 대한 적응이 사전 학습된 교차 모달 인터페이스와 얽혀 일반화 성능을 해칠 위험이 있습니다.
리플레이 기반 메커니즘: 동적 데이터 선택, 합성 리플레이 또는 증류(distillation)를 사용하는 접근 방식은 망각을 줄이지만, 지속적인 개선 과정을 학습 시점의 데이터 관리와 결합시킵니다. 이들은 특히 후보 풀이 중복될 때, 다양한 과거 행동을 보존하는 것과 고정된 작은 메모리 풋프린트 내에 적응하는 것 사이에서 긴장 관계에 놓이게 됩니다.

본 연구가 다루는 핵심 과제는 백본 모델을 동결한 상태에서, 엄격하게 제한된 외부 적응 상태(고정된 풋프린트)를 유지하면서 MLLM을 새로운 태스크에 지속적으로 적응시키는 방법입니다.

방법론: InduceKV

저자들은 백본 파라미터를 업데이트하지 않고, 태스크별 증분(increments)을 어텐션 호환 가능한 키-값(Key-Value, KV) 메모리로 외재화하는 검색 기반 방법인 InduceKV를 제안합니다.

핵심 메커니즘

동결된 Key 및 KV 추출:
- 주어진 입력 프리픽스 $x$ 에 대해, 동결된 MLLM은 최종 레이어 은닉 상태를 평균 풀링하여 단위 노름(unit-norm) 검색 키 $r(x)$ 를 추출합니다.
- 동시에, 각 트랜스포머 레이어에 대해 압축된 레이어별 키-값(KV) 페이로드 $\{(\bar{K}_\ell(x), \bar{V}_\ell(x))\}_{\ell=1}^L$ 를 추출합니다. 이 페이로드는 세그먼트 평균 풀링을 통해 고정된 토큰 길이 $m$ 으로 압축되어 태스크와 독립적인 메모리 크기를 보장합니다.
- 이러한 구성 요소들은 외부 메모리에 저장되는 메모리 엔트리 $e(x)$ 를 형성합니다.
검색 가중치 기반 KV 유도(Retrieval-Weighted KV Induction):
- 추론 시, 쿼리 키 $r(x)$ 는 코사인 유사도를 기반으로 관련 메모리 엔트리를 검색합니다.
- 경량 캘리브레이션 파라미터 $\phi$ (검색 온도 $\tau$ 와 레이어별 값 게이트 $\lambda_\ell$ 로 구성)는 검색 강도와 메모리 값의 주입을 제어합니다.
- 검색된 KV 페이로드는 연결되어 모델의 마스크드 셀프 어텐션(masked self-attention)에 추가적인 캐시 토큰으로 주입됩니다. 어텐션 메커니즘은 표준 프리픽스 토큰과 주입된 메모리 토큰 모두를 참조하도록 수정되어, 모델이 $\theta$ 를 변경하지 않고도 외부 증거를 활용할 수 있게 합니다.
이중 레벨 유도 집합(Inducing-Set) 선택:
- 엄격한 메모리 예산 $B$ 하에서 작동하기 위해, 시스템은 모든 추출된 엔트리를 저장할 수 없습니다. 따라서 이중 최적화 프로세스를 사용하여 압축된 "유도 집합"을 선택합니다.
- 내부 레벨(Inner Level): 현재 태스크 데이터에 대해 최소한의 검색 캘리브레이션 $\phi$ 를 적합시켜 음의 로그 가능도(NLL)를 최소화합니다.
- 외부 레벨(Outer Level): 다음을 공동으로 최적화하는 메모리 엔트리의 부분 집합(가중치 $w$ $w$ )을 선택합니다:
  - 현재 적합도(Current Fit): 현재 태스크에 대한 가능도.
  - 보존(Retention): 이전 태스크의 소규모 앵커(anchor) 세트에 대한 성능.
  - 커버리지(Coverage): 선택된 메모리의 중복을 방지하고 다양성을 보장하기 위한 스펙트럴 커버리지 정규화(투영된 검색 공간에서의 공분산 행렬의 로그 결정값).
- 최종 메모리 $M_t$ 는 외부 최적화에 의해 선택된 상위 $B$ 개의 엔트리입니다.

주요 기여

지속적 적응의 재정의: 본 논문은 지속적인 MLLM 적응을 검색 기반 메모리를 위한 예산화된 온라인 유도 집합 선택 문제로 재정의합니다. 이는 안정성-가소성 긴장 관계를 계속 커지는 파라미터 업데이트 과정에서 메모리 할당 문제로 전환합니다.
검색 주도 적응 메커니즘: 저자들은 태스크 증분을 어텐션 호환 가능한 외부 KV 메모리로 저장하는 메커니즘을 도입했습니다. 결정적으로, 이는 경량 캘리브레이션 인터페이스를 사용하여 검색 강도를 제어하고, 반복적인 백본 업데이트 없이 태스크별 증거를 명시적으로 고려하며 프리필(prefill) 및 KV 주입 오버헤드를 제어합니다.
실험적 및 이론적 검증: 이 방식은 다양한 설정(태스크 증분 인스트럭션 튜닝, 지속적 VQA, 도메인 증분 적응, 라이프롱 튜닝)에서 최첨단(SOTA) 결과를 달ace합니다. 이론적으로, 본 논문은 완화된 메모리 선택기가 동일한 예산 하에서 최적의 고정된 유도 집합 할당과 경쟁하며 서브리니어(sublinear) 회귀(regret)를 갖는다는 회귀 경계(regret bounds)를 제공합니다.

실험 결과

저자들은 동일한 메모리 예산과 컴퓨팅 제약 조건 하에서 강력한 베이스라인(PEFT, MoE, 리플레이 및 프롬프트-리트리벌 방법 포함)을 대상으로 InduceKV를 평가했습니다.

태스크 증분 인스트럭션 튜닝 (UCIT & CoIN): InduceKV는 HiDe-LLaVA, O-LoRA, MoELoRA와 같은 베이스라인을 일관되게 능가했습니다. 예를 들어, LLaVA-v1.5-7B 백본을 사용한 UCIT 벤치마크에서 InduceKV는 HiDe-LLaVA보다 평균 점수를 0.88, 마지막 태스크 점수를 1.12 향상시켰습니다.
지속적 VQA: LV 및 T5 프로토콜 모두에서, InduceKV는 CL-MoE 및 QUAD에 비해 더 높은 평균 정밀도(AP)와 더 낮은 망각(AF)을 달성했습니다.
도메인 증분 및 라이프롱 튜닝: 이 방법은 도메인 변화(의학, 차트, 수학) 및 동적 데이터셋 도착 시나리오(LiIT)에서 견고함을 입증했으며, Adapt- $\infty$ 및 기타 동적 선택 베이스라인을 능가했습니다.
절제 연구(Ablation Studies): 검색 가중치 기반 유도, 이중 레벨 결합, 또는 스펙트럴 커버리지를 제거하면 성능이 크게 저하되어, 선택 가중치와 검색 캘리브레이션의 공동 최적화가 필수적임을 확인했습니다.
효율성: InduceKV는 검색 키 계산으로 인한 프리필 오버헤드가 발생하지만, (전체 네트워크를 통해 검색된 예시를 처리해야 하는) 프롬프트 기반 리플레이 방법보다 높은 처리량을 달-성하며, PEFT 방법과 대등한 처리량을 유지하면서도 우수한 보존 능력을 제공합니다.

의의 및 주장

본 논문은 InduceKV가 지속적인 MLLM 적응을 위한 파라미터 업데이트 파이프라인의 원칙적인 대안을 제공한다고 주장합니다. 백본을 동결하고 증분을 압축된 예산 내의 KV 메모리로 외재화함으로써, 이 방법은 다음과 같은 이점을 가집니다:

적응과 백본의 분리: 커지는 파라미터 상태(예: 전문가 라우터)를 관리하는 복잡성을 피하고, 새로운 태스크가 사전 학습된 인터페이스와 얽히는 것을 방지합니다.
고정된 풋프린트 보장: 적응 상태가 엄격하게 제한되어, 저장 공간 및 개인정보 보호 제약이 있는 배포 시나리오에 적합합니다.
네이티브 어텐션 활용: 검색된 데이터를 텍스트로 취급하는 프롬프트-리트리벌 방법과 달리, InduceKV는 증거를 어텐션 캐시에 직접 주입하여 모델이 검색된 지식을 더 효율적이고 제어 가능하게 활용할 수 있도록 합니다.

저자들은 이러한 이점이 더 강력한 백본이나 단순한 리플레이, 또는 무제한 후보 풀 덕분이 아니라, 예산화된 유도 집합 선택과 어텐션 정렬 주입이라는 특정 설계 덕분임을 강조합니다. 이 연구는 지속적인 적응을 정적인 데이터 저장 작업이 아닌 온라인 최적화 문제로 취급함으로써 확장 가능한 지속적 적응이 가능하다는 것을 시사합니다.