💬 NLP

KV-Fold: One-Step KV-Cache Recurrence for Long-Context Inference

KV-Fold은 모델 재학습이나 아키텍처 변경 없이 깊은 체인 전반에 걸쳐 안정적이고 메모리 효율적인 시퀀스 처리를 가능하게 하도록 KV 캐시를 왼쪽 폴드 어큐뮬레이터로 취급하는 단순한 학습 없는 장문맥 추론 프로토콜입니다.

원저자: Alireza Nadali, Patrick Cooper, Ashutosh Trivedi, Alvaro Velasquez

게시일 2026-05-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alireza Nadali, Patrick Cooper, Ashutosh Trivedi, Alvaro Velasquez

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 책 한 권을 읽고 그 내용에 대해 질문에 답할 수 있는 천재적이고 매우 똑똑한 사서 (AI 모델) 가 있다고 상상해 보세요. 하지만 함정이 하나 있습니다. 이 사서의 책상은 매우 작습니다. 그들은 한 번에 책의 몇 페이지만 펼쳐서 볼 수 있을 뿐입니다. 만약 그들에게 1,000 페이지 분량의 소설을 주면, 책상이 넘치지 않도록 한 번에 전체를 읽을 수는 없습니다.

보통 이 문제를 해결하기 위해 우리는 사서에게 다음 중 하나를 하라고 지시합니다:

시작 부분을 잊기: 마지막 몇 페이지만 보기 (슬라이딩 윈도우와 유사).
과거를 요약하기: 전체 이야기를 작은 메모로 압축해 보려는 시도 (자세한 내용이 종종 손실됨).
더 큰 책상 만들기: 이는 비용이 많이 들고 거대한 책들의 경우 종종 불가능합니다.

KV-Fold는 더 큰 책상이 필요하지도, 요약을 하지 않아도 되며, 시작 부분을 잊지 않아도 되도록 사서가 책 전체를 읽을 수 있게 해주는 새롭고 영리한 트릭입니다.

핵심 아이디어: "접기" 트릭

책을 긴 종이 띠로 생각해보세요. 전체 띠를 한 번에 읽으려 하지 않고, 그것을 작고 관리하기 쉬운 조각으로 잘라냅니다.

첫 번째 조각: 사서가 첫 번째 조각을 읽습니다. 읽는 동안 그들은 특별한 "부착식 메모"에 메모를 남깁니다 (이것이 KV 캐시입니다). 이 메모는 그들이 방금 읽은 것의 본질을 담고 있지만, 나중에 특정 세부 사항을 다시 살펴볼 수 있는 방식으로 작성됩니다.
다음 조각: 두 번째 조각으로 이동할 때, 그들은 첫 번째 부착식 메모를 버리지 않습니다. 대신, 두 번째 조각에서 나온 새로운 메모를 첫 번째 메모들 바로 옆에 붙입니다. 이제 그들은 더 긴 메모 띠를 갖게 됩니다.
반복: 그들은 이를 계속 반복합니다. 조각을 읽고, 메모를 자라나는 띠에 추가한 다음, 다음 조각으로 이동합니다.

이 논문은 이를 **"왼쪽 접기 (Left Fold)"**라고 부릅니다. 긴 종이를 반복해서 접는다고 상상해 보세요. 각 접기는 새로운 층을 추가하지만, 이전 층들은 여전히 그 아래에 남아 접근 가능합니다. 사서는 이 자라나는 메모 더미를 단계별로 앞으로 운반합니다.

큰 놀라움: "혼란"이 발생하지 않습니다

"메모 더미에 계속 메모를 추가하면, 결국 사서가 혼란에 빠질 것이다. 1 페이지의 메모가 500 페이지의 소음 속에 사라질지도 모른다"라고 생각할 수 있습니다.

하지만 논문은 놀라운 사실을 발견했습니다: 사서는 혼란에 빠지지 않습니다.

"드리프트 (Drift)"의 평탄화: 처음에 사서가 첫 번째 조각에서 두 번째 조각으로 전환할 때, 그들의 사고 방식이 약간 변합니다 (새로운 방에 적응하는 것과 유사). 하지만 몇 단계가 지나면 이 변화는 멈춥니다. 이는 "평탄한 대지"에 도달합니다.
안정된 상태: 수백 개의 조각을 읽은 후에도 (실험에서는 최대 511 단계까지), 사서의 성능은 점점 더 나빠지지 않습니다. 그것은 안정적으로 유지됩니다. 마치 사서가 편안한 리듬을 찾아それに 머무른 것과 같습니다.
정밀도는 중요하지 않음: 사서가 무언가를 측정하는 "자"를 변경하더라도 (고정밀 수학에서 저정밀 수학으로 변경), 결과는 동일하게 유지됩니다. 이 안정성은 수학 자체뿐만 아니라 논리 구조에 내장되어 있습니다.

"건초더미 속의 바늘" 테스트

이것이 작동함을 증명하기 위해 연구자들은 "건초더미 속의 바늘"이라는 게임을 진행했습니다.

게임: 그들은 특정 문장 ("바늘") 을 거대한 문서 ("건초더미") 깊숙이 숨겼습니다.
테스트: 그들은 사서에게 전체 문서를 읽은 후 그 문장을 찾아달라고 요청했습니다.
결과:
- 기존 방법 (스트리밍): 바늘이 처음 몇 페이지에 있었다면 사서가 찾았습니다. 하지만 바늘이 중간이나 끝에 있었다면 사서는 "책상"이 너무 작기 때문에 잊어버렸습니다.
- KV-Fold: 사서는 바늘을 100% 의 확률로 찾았습니다. 심지어 그것이 128,000 단어 문서의 맨 처음에 묻혀 있더라도요. 그들은 이후 수백 개의 조각을 읽은 후에도 첫 번째 조각의 정확한 세부 사항을 회상할 수 있었습니다.

이것이 중요한 이유 (전문 용어 없이)

재학습 불필요: 사서에게 새로운 사고 방식을 가르칠 필요가 없습니다. 단지 그들에게 책을 전달하는 방식만 바꾸면 됩니다. 사서는 이미 이를 수행할 만큼 똑똑합니다; 우리는 단지 그들에게 더 나은 업무 흐름을 제공했을 뿐입니다.
메모리 트레이드오프: 사서는 여전히 모든 메모 (KV 캐시) 를 책상에 보관해야 합니다. 따라서 책이 길어질수록 책상도 커집니다. 그러나 이는 현재 컴퓨터에게는 불가능한 책 전체를 한 번에 머릿속에 담으려 하는 것보다 훨씬 낫습니다.
정확한 회상: 요약하거나 오래된 페이지를 버리는 방법과 달리, KV-Fold 는 모든 세부 사항을 접근 가능하게 유지합니다. 만약 첫 번째 문장에 대한 것을 물어본다면, 사서는 여전히 그것을 찾을 수 있습니다.

요약 비유

친구에게 긴 이야기를 들려준다고 상상해 보세요.

기존 방식: 당신은 이야기의 마지막 5 분만 기억합니다. 내가 시작 부분에 대해 물어보면, 당신은 "모르겠다"고 말합니다.
KV-Fold 방식: 당신은 지금까지 언급한 모든 등장인물과 줄거리에 대한 실행 목록을 유지합니다. 이야기의 다음 부분을 말할 때, 당신은 그 목록을 훑어보며 모든 사람이 누구인지 기억합니다. 목록이 길어지더라도 당신은 그것에 혼란을 느끼지 않습니다. 당신은 여전히 "맨 첫 번째 문장의 개 이름이 뭐였지?"라고 답할 수 있습니다. 왜냐하면 그 이름은 목록에 완벽하게 보존되어 있기 때문입니다.

이 논문은 AI 모델들이 이미 이러한 "목록" 능력을 내장하고 있음을 보여줍니다. 우리는 단지 이를 무한한 길이의 책을 컴퓨터의 메모리를 깨뜨리지 않고 읽기 위한 반복 루프로 사용할 수 있음을 깨달아야 할 필요가 있었습니다.

기술 요약: KV-Fold

문제 제기

대규모 사전 훈련된 트랜스포머는 전체 어텐션의 이차적 메모리 비용과 단일 순전파의 고정된 컨텍스트 윈도우에 의해 제약받습니다. 최근 모델들은 수십만 개의 토큰까지 컨텍스트 윈도우를 지원하지만, 실제 워크로드 (예: 저장소 규모의 코드, 장기 의료 기록) 는 종종 이러한 한계를 초과합니다. 기존 해결책들은 지속적인 트레이드오프에 직면해 있습니다:

스트리밍 방법 (예: StreamingLLM) 은 최근 토큰과 "어텐션 싱크 (attention sinks)"만 유지함으로써 메모리를 경계화하지만, 슬라이딩 윈도우 밖으로 사라진 정보를 검색할 수 있는 능력을 상실합니다.
KV 캐시 압축 및 순환 메모리 방법은 종종 모델 수정, 미세 조정 (fine-tuning) 을 요구하거나 검색 충실도를 저하시키는 손실 근사치를 도입합니다.
전체 어텐션은 어텐션 점수 행렬의 막대한 크기 (예: 40GB GPU 에서 128K 시퀀스의 경우 약 1TB) 로 인해 표준 하드웨어에서 극도로 긴 시퀀스에 대해 계산적으로 불가능합니다.

본 논문은 구조 변경이나 훈련 없이 순차적 청크를 거쳐 내부 상태를 전달하여 재귀적으로 긴 컨텍스트 추론을 수행할 수 있는 고정된 사전 훈련된 트랜스포머가 존재하는지 질문합니다.

방법론: KV-Fold

저자들은 시퀀스 청크에 대한 왼쪽 폴드 (foldl) 에서 어큐뮬레이터로 Key-Value(KV) 캐시를 취급하는 훈련 없는 추론 프로토콜인 KV-Fold를 제안합니다.

메커니즘: 길이 $T$ $T$ 인 긴 시퀀스는 길이 $C$ $C$ 인 청크들로 나뉩니다. 청크 $t$ $t$ 를 처리할 때, 모델은 다음과 같이 순전파를 수행합니다:
1. 쿼리 ( $Q$ ) 는 현재 청크의 토큰에서 생성됩니다.
2. 키 ( $K$ ) 와 값 ( $V$ ) 은 이전 모든 청크 ($0 $부터$ t-1$까지) 에서 축적된 KV 캐시와 현재 청크의 KV 상태를 연결하여 형성됩니다.
3. 위치 임베딩 (RoPE) 은 절대 시퀀스 정렬을 유지하기 위해 청크 경계를 가로질러 연속적으로 적용됩니다.
4. 확장된 KV 캐시는 다음 청크 $t+1$ 로 전달됩니다.
상태: 모델 파라미터는 고정된 채 유지됩니다. 특수 메모리 토큰이나 미세 조정이 도입되지 않습니다. KV 캐시는 시퀀스 길이에 따라 선형적으로 증가하며, 모델의 과거 계산을 구조화되고 압축되지 않은 기록으로 작용합니다.
유사성: 이 과정은 함수형 프로그래밍의 왼쪽 폴드와 유사하며, 여기서 KV 캐시는 각 청크 경계에서 단일 단계 재귀 함수 $F_\theta$ 에 의해 업데이트되는 어큐뮬레이터 상태로 기능합니다.

주요 기여

KV-Fold 프로토콜: 축적된 KV 캐시를 청크 간에 전달함으로써 표준 트랜스포머를 재귀적 긴 컨텍스트 모델로 변환하는 단순하고 실용적인 전환입니다.
재귀의 안정성: 유도된 재귀가 무한한 오차 누적을 겪지 않음을 보여주는 경험적 증거입니다. 대신 "드리프트" (전체 어텐션 대비 부정 로그 가능도 차이) 는 잠시 상승한 후 깊은 체인 전반에 걸쳐 지속되는 평탄한 포화 상태에 도달합니다.
구조적 대 수치적 드리프트: 이 포화 상태는 수치적 인공물이 아니라 어텐션 역학의 구조적 특성임이 입증되었습니다. 이는 수치 정밀도가 10,000 배 증가 (bf16 에서 fp32 로) 하더라도 안정적이며, 다양한 모델 계열 (OLMoE, Qwen, Llama) 과 청크 크기에서도 견고합니다.
정확한 장거리 검색: 이 방법은 장거리에서 정확한 사실 정보를 보존합니다. "Haystack 속의 바늘 (needle-in-a-haystack)" 벤치마크에서 KV-Fold 는 최대 128K 토큰의 컨텍스트와 최대 511 의 체인 깊이에서 전체 어텐션 성능과 일치하는 100% 정확 일치 검색을 달성합니다.
실용적 트레이드오프: 이 논문은 메모리 대 검색 스펙트럼 상에서 이 방법의 위치를 규명합니다. 경계화된 메모리 스트리밍과 달리 선형 메모리 증가가 필요하지만, 스트리밍 방법이 실패하는 임의의 깊이에서 검색을 가능하게 하여 단일 모놀리식 순전파를 지원하지 않는 하드웨어에서도 전체 어텐션과 동등한 검색을 실행할 수 있게 합니다.

주요 결과

드리프트 포화: Qwen2.5-7B-Instruct 에서 드리프트는 깊이 7 에서 포화되며 깊이 63 까지 평탄하게 유지되고, 깊이 15 와 60 사이에서 총 변화량은 -0.0003 nats 에 불과합니다.
검색 성능:
- 단일 바늘: Llama-3.1-8B 에서 16K 에서 128K 토큰까지의 컨텍스트와 최대 511 의 체인 깊이를 아우르는 152 번의 시도에 걸쳐 100% 검색 정확도를 달성했습니다.
- 다중 바늘: 여러 개의 서로 다른 사실을 동시에 검색할 때 99.4% (175/176) 의 검색 정확도를 달성했습니다.
하드웨어 실행 가능성: 40GB A100 GPU 에서 128K 시퀀스에 대한 단일 전체 어텐션 순전파는 어텐션 점수를 위해 약 1TB 가 필요하여 불가능합니다. KV-Fold 는 같은 시퀀스를 171 초에 처리하며 피크 메모리 사용량은 35.6GB 로 하드웨어 한계 내에 머뭅니다.
StreamingLLM 과의 비교: 128K 컨텍스트에서 StreamingLLM 은 경계화된 메모리 (16.6GB) 와 빠른 런타임 (22 초) 을 유지하지만, "바늘"이 1024 토큰 윈도우를 벗어나면 검색률이 0% 로 떨어집니다. KV-Fold 는 모든 테스트 거리에서 100% 검색을 유지하지만 더 높은 메모리 (35.6GB) 와 더 긴 런타임이 필요합니다.

중요성과 주장

본 논문은 고정된 사전 훈련된 트랜스포머가 이미 안정적인 형태의 KV 캐시 재귀를 지원한다고 주장합니다. 주요 중요성은 충실도 높은 검색을 달성하기 위해 반드시 구조 변경, 훈련, 또는 손실 압축이 필요하지 않음을 입증하는 데 있습니다.

저자들은 KV-Fold 가 모델이 특정 과거 토큰에 접근하는 능력을 저하시키지 않으면서 정보를 재귀적으로 처리할 수 있는 "약간 이동되었지만 안정적인 어텐션 영역"을 드러낸다고 주장합니다. 이는 기존 하드웨어에서 컨텍스트 윈도우를 확장하기 위한 실용적인 경로를 제공하며, 그렇지 않으면 잘리거나 근사화되었을 시퀀스에 대한 정확한 검색 능력을 위해 선형 메모리 증가를 교환하는 것입니다. 논문은 이 방법이 총 FLOPs 나 전체 어텐션 이하의 메모리를 줄이지는 않지만, 계산을 처리 가능한 단계로 재구성하여 이전에 불가능했던 긴 컨텍스트 추론을 가능하게 한다고 결론지었습니다. 향후 과제로는 잔여 드리프트를 줄이기 위한 경미한 미세 조정과 네이티브 컨텍스트 한계를 넘어서기 위해 이 방법을 위치 확장 기술과 결합하는 것이 제안되었습니다.