기술 요약: Kamera: 훈련이 필요 없는 재사용을 위한 통합된 위치 불변 멀티모달 KV 캐시

1. 문제 정의

멀티모달 에이전트(예: 웹 에이전트, 긴 비디오 분석기, 문서 탐색기)는 컨텍스트 윈도우가 슬라이딩하거나, 추론이 반복되거나, 프롬프트가 변경됨에 따라 동일한 시각적 콘텐츠(프레임, 스크린샷)를 빈번하게 재검토합니다. 현재의 프로덕션 캐싱 메커니즘(prefix 캐시, radix 캐시)은 KV 저장소를 위치 인덱스 기반 구조로 취급합니다. 결과적으로, 캐시된 청크가 새로운 위치로 이동할 때(슬라이딩 윈도우, 재정렬 또는 방출 후 호출 시), 캐시 미스가 발생합니다. 시스템은 시각적 콘텐츠를 다시 인코딩하고 KV 캐시를 처음부터 다시 프리필(prefill)해야 하며, 이는 상당한 계산 오버헤드(예: 비전 인코더 및 LLM 프리필 재실행)를 초래합니다.

본 논문은 단순한 KV 재사용이 근본적으로 무손실이 아님을 밝혀냈습니다. 단일 홉 읽기(single-hop readout, 쿼리가 청크에서 추출하는 것)는 표준 상태 병합 연산에 의해 정확히 복구되지만, **교차 청크 조건화(cross-chunk conditioning)**는 손실됩니다. 청크 $B$가 선행하는 $A$ 다음에 프리필될 때, 해당 토큰들은 $A$로부터 정보를 흡수합니다(상호 참조 해결, 엔티티 바인딩 등). 만약 $B$가 단독으로($KV(B|\emptyset)$) 캐시된 후 다른 혹은 이동된 $A$ 뒤에 재사용된다면, 모델은 $B$가 원래의 $A$로부터 흡수했던 특정 바인딩을 잃게 됩니다. 이 결핍($\Delta = KV(B|A) - KV(B|\emptyset)$)은 단일 홉 회상(recall) 능력은 유지하면서도 멀티 홉 추론 정확도를 조용히 저하시킵니다. 기존의 위치 독립적 캐싱 방법들(예: CacheBlend, EPIC)은 "중요한" 토큰의 희소 집합을 재계산함으로써 이를 해결하려 했으나, 본 논문은 결핍이 토큰 전반에 걸쳐 확산되어 있으나 특징(feature) 차원에서는 저계수(low-rank)라는 점을 지적하며, 기존 방식이 잘못된 축을 타겟팅하고 있다고 주장합니다.

2. 방법론: Kamera 연산자

제안된 솔루션인 Kamera는 위치와 조건화를 분리하여, 재인코딩 없이도 위치 불변 재사용을 가능하게 합니다. 이 방법은 각 청크에 대해 다음 두 가지 구성 요소를 저장합니다:

1. 정준 KV (Canonical KV): 위치 자유적인 콘텐츠 $KV(B|\emptyset)$ (특정 선행 조건화가 없는 키와 값).
2. Rank-$m$ 조건화 패치 (Conditioning Patch): 결핍 $\Delta$를 나타내는 저계수 보정 항 $U_m V_m^\top$.

재사용 연산은 다음과 같이 정의됩니다:
$$\widehat{KV}(B|A) = R(\delta) \cdot KV(B|\emptyset) + U_m V_m^\top$$
여기서:

• 재배치 (Relocation, $R(\delta)$): 키(keys)는 새로운 위치에 해당하는 회전 위치 임베딩(RoPE) 위상 변화 $\delta$에 의해 재회전됩니다. 이는 포워드 패스가 아닌 정확한 대수적 연산입니다.
• 패치 적용 (Patch Application): 교차 청크 바인딩을 복구하기 위해 rank-$m$ 패치가 더해집니다. 이 패치는 $[A, B]$에 대한 단일 조건부 포워드 패스를 거친 후, 상위 $m$개의 인자를 추출하기 위한 특이값 분해(SVD)를 통해 컴파일 타임(또는 첫 재사용 시)에 한 번 계산됩니다.

통합 아키텍처 지원:
이 연산자는 세 가지 주요 어텐션 패밀리를 통합합니다:

• MHA (Multi-Head Attention): 콘텐츠와 RoPE의 표준 분리.
• GQA (Grouped Query Attention): RoPE 재적용을 통해 전체 키를 재배치하며, $K$와 $V$ 모두에 패치를 적용합니다.
• MLA (Multi-head Latent Attention): 분리된 $k_{rope}$(64-dim)만을 재배치하고 $c_{KV}$ 바이트를 그대로 재사용하며, 두 채널 모두에 패치를 적용합니다.

3. 주요 기여

• 결핍의 진단: 본 논문은 재사용 시 발생하는 손실이 토큰 측면에서는 확산되어 있으나, 특징 측면에서는 저계수이며, 깊은 레이어에서 발생하는 현상임을 입증했습니다. 오라클 토큰 선택기는 간극을 복구하기 위해 약 50%의 토큰을 요구하는 반면, 결핍의 에너지는 주로 깊은 레이어의 약 32개 특징 방향에 집중되어 있습니다. 이는 토큰 희소 재계산 전략이 유효하지 않음을 보여줍니다.
• 위치/조건화 분리: 정준 청크와 작은 rank-$m$ 패치를 저장하는 훈련이 필요 없는 메커니즘입니다. 이를 통해 어떤 위치에서도 정확한 RoTE 재회전을 수행하고, 패치 기반의 선행 조건 바인딩 복구가 가능합니다.
• 세 가지 저비용 윈도우 연산:
  1. 재정렬 (Reorder): 단일 "오빗 패치(orbit patch)"(순열에 대해 평균화됨)가 캐시된 집합의 모든 순서를 지원하여, 거의 제로에 가까운 비용으로 재정렬된 RAG 또는 셔플된 프레임을 가능하게 합니다.
  2. 슬라이딩 윈도우 생존 (Sliding-Window Survival): 윈도우가 슬라이드되어 오래된 청크가 방출될 때, 생존한 청크는 정확한 재회전($R(\delta)$)만 필요로 합니다. 표준 GQA/MLA의 경우 패치가 필요 없으며(거의 무손실), 딥스택 아키텍처의 경우 제거 패치가 필요할 수 있습니다.
  3. 회상 (Recall, 가역적 방출): 방출된 청크는 고정된 이전 컨텍스트를 조건으로 하는 새로운 패치를 사용하여 정준 저장소로부터 재수화(rehydrate)될 수 있으며, 이를 통해 비전 재인코딩을 완전히 피할 수 있습니다.
• 프로덕션 배포: SGLang 프로덕션 엔진(FlashAttention-3 커널)에 훈련이 필요 없는 훅(hook)으로 구현되었으며, KV 캐시를 bf16 반올림 범위 내로 재구성합니다 (잔차 다음 토큰 KL $\approx 10^{-3}$).

4. 결과

• 정확도 복구: 교차 청크 바인딩 벤치마크(MM-NIAH, MileBench, 2페이지 문서 QA)에서, 블라인드 KV 재사용은 멀티 홉 정확도를 절반으로 떨어뜨립니다 (Qwen2.5-VL 기준 $0.59 \to 0.41$). Rank-16/32 패치는 정확도를 프리필 상한선($0.64, 0.72$)까지 복구하며, 이는 토큰 재계산 베이스라인(CacheBlend, VLCache)이 간극의 20~40%만을 복구하는 것보다 뛰어난 성능을 보입니다.
• 효율성:
  • 메모리: Rank-64 패치는 세그먼트 KV 바이트의 약 25% 비용이 들며, Rank-16은 약 6%가 소요됩니다.
  • 지연 시간 (Latency): 매번 재사용 시 LLM 프리필을 수행하는 대신 패치 적용(forward-free)으로 대체하여, 긴 비디오 세그먼트에 대해 TTFT(Time-To-First-Token)를 최대 29배 개선합니다.
  • 분할 상환 (Amortization): 패치를 형성하는 일회성 비용은 매번 프리필을 수행하는 베이스라인과 비교했을 때 약 9번의 재사용 이후에 상쇄됩니다.
• 강건성: 다양한 백본(Qwen2.5-VL, Qwen3-VL, Kimi-VL, DeepSeek-VL) 및 어텐션 패밀리(GQA, MLA, MHA)에 대해 완전한 멀티 홉 정확도를 달성합니다.

5. 의의 및 주장

본 논문은 재계산이 불필요함을 주장합니다. 멀티모달 에이전트에게 있어, 재사용 결핍이 토큰 희소 에러가 아니라 저계수(low-rank)의 깊은 레이어 조건화 신호임을 식별함으로써, Kamera는 KV 캐시를 위치 인덱스 배열이 아닌 콘텐츠 주소 지정이 가능한 위치 불변 구조체로 만드는 통합된 훈련 불필요 연산자를 제공합니다.

이 연구의 의의는 컨텍스트 관리를 변화시키는 데 있습니다:

• 가역적 방출 (Reversible Eviction): 에이전트는 비전 재인코딩 없이도 저렴하게 재수화할 수 있음을 알고 콘텐츠를 공격적으로 방출할 수 있습니다.
• 스케줄링의 자유: 오빗(orbit)을 통해 재정렬이 무료이므로, 청크 배치는 도착 순서의 결과가 아닌 스케줄링 변수가 됩니다.
• 비용의 전환: 비용은 값비싼 반복적 계산(비전 인코더 + 프리필)에서 메모리 대역폭(작은 패치 저장)으로 이동하며, 이는 현대 디코드 단계의 메모리 제한적 특성과 일치합니다.

저자들은 이 효과가 에이전트가 재계산 예산을 소비하는 중복된 비전 및 비디오 스트림에서 가장 영향력이 크며, 밀집된 텍스트(프리픽스 캐싱이 이미 충분한 경우)에서는 그러한 간극이 나타나지 않는다고 언급합니다. 이 작업은 컨텍스트가 윈도우 너머에 있을 때, 그것이 반드시 재계산되어야 하거나 모델을 재학습시켜야 하는 것은 아님을 확립합니다.