🤖 machine learning

Cross-Model KV Cache Transfer in LLM Families: A Closed-Form Linear Mapping for Prefill Reuse

이 논문은 동일한 제품군 내의 서로 다른 크기의 모델 간에 KV 캐시를 효율적으로 재사용할 수 있게 하는 폐쇄형 선형 매핑 기술을 제안하며, 이를 통해 수신 측이 단독 정확도의 73~98%를 유지하면서도 중복된 프리필링(prefilling) 과정을 건너뛰어 추론 지연 시간을 크게 줄일 수 있도록 한다.

원저자: Taekyung Heo, Rasoul Shafipour, Ritchie Zhao, Maximilian Golub, Mohammad Mahdi Kamani, Ritika Borkar, Makesh Tarun Chandran, Pantea Zardoshti, Bita Darvish Rouhani

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Taekyung Heo, Rasoul Shafipour, Ritchie Zhao, Maximilian Golub, Mohammad Mahdi Kamani, Ritika Borkar, Makesh Tarun Chandran, Pantea Zardoshti, Bita Darvish Rouhani

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 다양한 경력을 가진 작가 팀이 집필한 책들이 가득한 거대하고 똑똑한 도서관을 운영하고 있다고 상상해 보십시오. 때로는 빠르고 간단한 답변이 필요해서 주니어 어시스턴트에게 물어보기도 하고, 때로는 깊고 복잡한 분석이 필요해서 시니어 전문가를 부르기도 합니다. 인공지능의 세계에서 이 "어시스턴트"와 "전문가"는 서로 다른 크기를 가진 거대 언어 모델(LLM)들입니다. 대화가 매끄럽게 흘러가도록 하기 위해, 시스템은 종종 대화 도중에 이러한 서로 다른 모델들 사이를 전환해야 합니다.

하지만 여기에는 문제가 하나 있습니다. 주니어 어시스턴트에서 시니어 전문가로 전환할 때마다, 전문가는 문맥을 이해하기 위해 대화 전체 기록을 처음부터 다시 읽어야 합니다. "프리필(prefill)"이라고 불리는 이 과정은 마치 전문가가 첫 장에서 무슨 일이 있었는지 기억하기 위해 100페이지짜리 소설을 처음부터 다시 읽는 것과 같습니다. 이 과정은 많은 시간과 에너지, 그리고 비용을 소모합니다. 과학자들은 시니어 전문가가 처음부터 다시 읽는 과정을 건너뛰기 위해 주니어 어시스턴트의 노트(이를 "KV 캐시"라고 부릅니다)를 "빌려올" 수 있는지 알아내기 위해 노력해 왔습니다. 하지만 그 노트들은 서로 약간 다른 필체로 쓰여 있어서 직접 읽기가 어렵습니다.

"Cross-Model KV Cache Transfer"라는 제목의 이 논문은 바로 그 문제를 다룹니다. 연구진은 작은 모델의 노트와 큰 모델의 노트가 겉보기에는 달라 보일지라도, 실제로는 숨겨진 직선적 관계를 공유하고 있다는 사실을 발견했습니다. 그들은 단순한 수학적 기법인 "폐쇄형 선형 매핑(closed-form linear mapping)"을 사용하면, 모델을 재학습시키거나 복잡한 신경망을 사용하지 않고도 주니어 어시스턴트의 노트를 시니어 전문가의 언어로 번역할 수 있다는 것을 찾아냈습니다.

이렇게 생각해보십시오. 주니어 어시스턴트는 특정 세트의 크레파스를 사용하여 이야기를 씁니다. 시니어 전문가는 그 이야기를 다른 세트의 크레파스로 필요로 합니다. 전문가에게 이야기를 다시 읽고 처음부터 다시 쓰라고 요청하는 대신, 연구진은 "크레파스 번역기"를 만들었습니다. 이 번역기는 "만약 주니어가 여기서 빨간색 크레파스를 사용했다면, 시니어는 저기서 파란색 크레파스를 사용해야 한다"라고 말해주는 단순한 공식입니다. 놀랍게도, 이 단순한 번역은 매우 효과적이었습니다. 일부 모델 쌍의 경우, 시니어 전문가는 스스로 이야기를 읽었을 때 가질 수 있었던 정확도의 98%를 달ow하면서도, 이를 2.7배에서 25배 더 빠르게 수행했습니다.

연구팀은 이를 세 가지 유명한 제품군(Qwen3, Llama 3.1, Ministral)에 속하는 여섯 가지 모델 쌍에 대해 테스트했습니다. 그 결과, 네 가지 모델 쌍의 경우 이 단순한 "크레파스 번역기"가 거의 완벽하게 작동한다는 것을 발견했습니다. 단순한 번역기가 어려움을 겪은 두 쌍의 경우에는, 약간 더 복잡한 도구(비선형 MLP)가 오류를 수정하여 성능을 최대 37%포인트까지 끌어올릴 수 있음을 보여주었습니다. 이 논문은 성공의 핵심이 단순히 노트가 얼마나 잘 일치하느냐가 아니라, 번역 오류가 어디에서 발생하는지에 달려 있다고 제안합니다. 만약 오류가 전문가가 주의를 기울이지 않는 부분에서 발생한다면 상관없지만, 만약 중요한 부분에서 발생한다면 번역은 실패하게 됩니다.

요약하자면, 저자들은 우리가 모델 사이에 비싸고 복잡한 다리를 건설할 필요가 없다고 제안합니다. 대신, 단순하고 빠르며 학습이 필요 없는 수학적 지도가 서로 다른 크기의 AI 모델들이 자신들의 "기억"을 즉각적으로 공유할 수 있게 해줍니다. 이는 AI 대화를 훨씬 더 빠르고 저렴하게 만들어, 시스템이 처음부터 다시 시작하는 지연 시간 없이 빠르고 똑똑한 모드 사이를 전환할 수 있게 해줄 것입니다. 이 결과는 테스트된 모델들에 대해 측정되었으며 견고하며, 이 "노트 빌리기" 전략이 AI의 미래를 가속화할 실용적인 방법임을 보여줍니다.

기술 요약: LLM 제품군 내 교차 모델 KV 캐시 전이 (Cross-Model KV Cache Transfer)

1. 문제 정의

프로덕션 환경의 대규모 언어 모델(LLM) 서빙은 비용-품질 계층화(cost-quality cascading), 대화 중 모델 전환, 라우팅을 위한 멀티 모델 오케스트레이션에 점점 더 의존하고 있습니다. 이러한 워크플로우는 동일한 모델 제품군의 서로 다른 크기의 멤버들 사이에서 빈번하게 전환됩니다 (예: Qwen3 14B에서 32B로). 이 모델들은 핵심적인 아키텍처 선택과 사전 학습 데이터를 공유하지만, 규모, 레이어 수, 학습 레시피에서는 차이가 있습니다.

이러한 워크플로우의 주요 병목 현상은 프리필(prefill) 비용입니다. 대화 컨텍스트가 소스 모델에서 타겟 모델로 전달될 때마다, 타겟 모델은 자신의 Key-Value(KV) 캐시를 채우기 위해 전체 누적 컨텍스트를 다시 처리해야 합니다. 이 포워드 패스(forward pass)는 모델 크기와 프롬프트 길이에 비례하여 증가하며, 이는 모델 스와핑의 효율성 이점을 상쇄합니다. 기존의 프리픽스 캐싱(prefix caching) 솔루션은 단일 모델 내에서만 작동하며, 이전의 교차 모델 접근 방식(예: 신경 퓨저, 잠재 어댑터)은 일반적으로 경사 하강법 기반의 학습이나 엄격한 아키텍처 제약(예: 동일한 레이어 수)을 요구합니다.

본 논문은 소스 모델의 프리필된 KV 캐시를 타겟 모델에서 직접 재사용하여 타겟 모델의 프리필 과정을 완전히 생략하는 방법인 **교차 모델 KV 캐시 전이(Cross-Model KV Cache Transfer)**를 제안합니다. 목표는 매핑 함수 $f: C_S \to \hat{C}_T$ 를 찾아, 매핑된 캐시 $\hat{C}_T$ 로부터 디코딩하는 타겟 모델의 출력이 실제 정답(ground-truth) 캐시 $C_T$ 로부터 디코딩하는 것과 동일한 결과를 생성하도록 하는 것입니다.

2. 방법론

저자들은 교차 모델 간의 KV 관계가 상당한 **선형 구조(linear structure)**를 가지고 있어, 그래디언트가 필요 없는 폐쇄형(closed-form) 매핑이 가능하다고 가설을 세웠습니다. 제안된 프레임워크는 소스 및 타겟 모델이 총 레이어 수나 파라미터 크기가 다르더라도, KV 헤드 수와 헤드당 차원이 동일한 "매치된-KV(matched-KV)" 쌍에서 작동합니다.

매퍼(mapper)는 세 가지 핵심 구성 요소로 설계되었습니다.

A. 헤드별 릿지 회귀 (Per-Head Ridge Regression)

글로벌 신경망 대신, 이 방법은 각 타겟 레이어와 헤드에 대해 독립적인 선형 매핑을 적합(fit)시킵니다.

입력: 선택된 일부 소스 레이어로부터 추출된 결합된 KV 특징값.
출력: 타겟의 기대되는 Key( $K$ ) 및 Value( $V$ ) 벡터.
최적화: 가중치는 캘리브레이션 세트(FineWeb-Edu의 1,024 토큰 길이 시퀀스 500개)를 통해 릿지 회귀(폐쇄형 솔루션)로 계산됩니다. 소스 레이어들이 서로 상관관계가 있을 때 발생하는 특징 행렬의 근사 특이성(near-singular nature) 문제를 해결하기 위해 릿지 규제( $\lambda=0.01$ )가 사용됩니다.

B. 교차 레이어 소스 선택 (Cross-Layer Source Selection)

소스와 타겟 모델의 깊이가 다르기 때문에( $L_S \neq L_T$ ), 어떤 소스 레이어가 각 타겟 레이어에 정보를 제공할지 결정해야 합니다.

선택 전략: 각 타겟 레이어에 대해, 예측력(캘리브레이션 세트에서의 헤드 평균 $R^2$ 로 측정)이 높은 상위- $k$ 소스 레이어를 선택합니다.
메커니즘: 이 상위- $k$ 소스 레이어들의 KV 특징들을 결합하여 릿지 회귀의 입력으로 사용합니다. 경험적 분석에 따르면 보완적인 정보는 여러 소스 레이어에 분산되어 있으며, 단일 레이어만으로는 불충분하지만 $k=6$ 정도면 대부분의 분산을 포착할 만큼 빠르게 성능이 포화됩니다 (예: $k=all$과 유사한 수준).

C. 콘텐츠 공간 매핑 (RoPE 팩터링)

표준 LLM은 키(keys)에 위치 의존적 회전을 적용하는 회전 위치 임베딩(Rotary Position Embeddings, RoPE)을 사용합니다.

문제: 회전된 키에 직접 매퍼를 적합시키면 가중치가 캘리브레이션 시의 특정 위치 분포에 종속되어, 다른 컨텍스트 길이에 대한 전이성을 제한하게 됩니다.
해결책: 이 방법은 매핑 전에 소스 키에서 **RoPE를 제거(strip)**하고, 매핑 후에 타겟의 RoPE를 다시 적용합니다.
- $K_{stripped} = K_{source} \cdot R^{-1}_{\Theta_s}$
- $\hat{K}_{target} = (K_{stripped} \cdot W + b) \cdot R_{\Theta_t}$
이를 통해 위치 회전을 의미적 콘텐츠로부터 분리함으로써, 선형 적합(linear fit)을 위치에 무관하게 만들고 다양한 컨텍스트 길이(최대 32k 토큰)에서 재사용 가능하게 만듭니다.

D. 비선형 확장 (MLP)

선형 릿지 매퍼가 충분한 정확도를 유지하지 못하는 쌍의 경우, 저자들은 작은 다층 퍼셉트론(MLP)을 사용하는 드롭인 대체 방식을 제안합니다. 이 MLP는 잔여 오차(residual error)를 어텐션에 민감한 부분 공간(subspace)으로부터 멀리 재분배하여 어려운 쌍에서도 성능을 회복합니다.

3. 주요 기여

폐쇄형 매핑 프레임워크: 학습 없이 교차 모델 KV 전이를 가능하게 하는, 그래디언트가 필요 없는 헤드별 릿지 회귀 프레임워크를 제시했습니다. 이는 Top- $k$ 소스 레이어 선택과 RoPE가 제거된 콘텐츠 매핑에 기반합니다.
다양한 모델 제품군 검증: 세 가지 모델 제품군(Qwen3, Llama 3.1, Ministral 3)과 여섯 개의 매치된-KV 쌍에 대해 검증을 수행했습니다.
비선형 회복: 선형 매핑이 실패하는 "어려운" 쌍에서, 가벼운 MLP가 어텐션 임계 차원으로부터 오차를 재분배함으로써 성능을 회복할 수 있음을 입증했습니다.
진단 지표 식별: **어텐션 출력 코사인 유사도(attention-output cosine similarity)**가 표준 재구성 지표( $R^2$ )보다 다운스트림 전이 유지력을 더 잘 예측하는 지표임을 밝혀냈습니다. 저자들은 $R^2$ 의 상관관계가 $r=-0.20$ 인 것에 비해, 어텐션 출력 코사인과 HellaSwag 유지력 사이의 피어슨 상관관계는 $r=+0.57$ 임을 보여주었습니다.

4. 실험 결과

이 프레임워크는 다섯 가지 정확도 벤치마크(ARC-C, HellaSwag, WinoGrande, MMLU, GSM8K)와 WikiText-2 퍼플렉시티를 사용하여 세 가지 제품군 내 여섯 개의 매치된-KV 쌍에 대해 평가되었습니다.

정확도 유지:
- Tier 1 (성공): 네 개의 쌍(Qwen3 14B→32B, 8B→32B; Llama 3.1 8B→70B; Ministral 3B→8B)은 타겟 모델 단독 정확도의 **73~98%**를 유지했습니다.
- Tier 2 (실패): 두 개의 쌍(Ministral 3B→14B, 8B→14B)은 성능이 크게 저하되었습니다(42~~44% 유지). 그러나 선형 매퍼를 MLP로 교체했을 때 HellaSwag 유지력이 **24.3~~36.8 퍼센트 포인트** 상승하여 90% 이상으로 회복되었습니다.
지연 시간(Latency):
- 매퍼는 타겟 모델을 다시 프리필하는 것보다 2.7~25배 빠릅니다.
- 속도 향상은 소형-대형 모델 전이 및 긴 컨텍스트 길이에서 가장 두드러졌습니다 (예: Qwen3 14B→32B의 경우 32k 토큰에서 25배 속도 향상).
멀티 턴 안정성:
- 멀티 턴 핸드오프 시나리오(CoQA)에서 드리프트(drift)는 작게 유지됩니다. 소형-대형 전이는 10 턴 동안 1.7 pp만 넓어지는 반면, 대형-소형 전이는 턴당 0.33 pp씩 선형적으로 증가하여 일반적인 세션 길이 동안 안정적임을 시사합니다.
캘리브레이션 효율성:
- 매퍼는 캘리브레이션을 위해 단 500개의 시퀀스만을 필요로 합니다.
- 단일 8×H100 노드에서 한 쌍당 약 47~87분이 소요되며, 그래디언트 기반 학습은 필요하지 않습니다.

5. 의의 및 주장

본 논문은 LLM 제품군 내의 교차 모델 KV 캐시 전이가 **폐쇄형, 학습이 필요 없는 적합(closed-form, training-free fit)**을 허용한다고 주장합니다. 저자들은 교차 모델 간의 KV 관계가 대체로 선형적이며, 이러한 전이를 위해 복잡한 신경 어댑터가 반드시 필요하다는 가정을 반박합니다.

이 연구의 의의는 다음과 같습니다:

실용성: 프로덕션 환경에서 재프리필의 막대한 비용 없이 비용-품질 계층화 및 대화 중 모델 전환을 가능하게 하여, 동적인 모델 오케스트레이션을 실현합니다.
평가 방식의 전환: 교차 모델 매퍼의 평가 기준이 단순한 재구성 지표( $R^2$ )에서 서브스페이스 인지 진단(subspace-aware diagnostics)(예: 어텐션 출력 코사인)으로 전환되어야 함을 시사하며, 후자가 다운스트림 태스크 성능을 더 잘 예측함을 보여줍니다.
오차 재분배: 전이 실패는 흔히 오차의 크기보다는 어디에 오차가 발생하는지(어텐션에 민감한 부분 공간)에 달려 있다는 점을 강조하며, 향-의 어텐션 정렬된 목적 함수(attention-aligned objectives)의 필요성을 제기합니다.

저자들은 현재 이 접근 방식이 제품군 내부, 밀집형 풀 어텐션(dense full-attention) 모델, 그리고 매치된 KV 구성으로 제한되어 있으며, 캘리브레이션이 단일 도메인(FineWeb-Edu)에서 수행되었다는 점을 언급하며 한계점에 대해 겸허한 태도를 유지했습니다. 또한 교차 제품군 간의 전이 및 매치되지 않은 KV 조건은 향후 연구 과제로 남겨두었습니다.