🤖 AI

KV-Rescue: Recovering Reasoning Language Model KV Eviction Loss via Stepwise Interleaving

KV-Rescue는 공격적인 KV 캐시 제거 예산 하에서 추론 언어 모델의 정확도 손실과 급격한 퇴행을 완화하기 위해, 경량화된 전체 컨텍스트 헬퍼 모델의 단계를 기본 모델과 인터리빙하고 비정상적인 생성을 종료하기 위한 온라인 탐지기를 사용하는 학습이 필요 없는 추론 프레임워크이다.

원저자: Minsoo Cheong, Woosang Lim, Vincent-Daniel Yun, Sungjoo Yoo

게시일 2026-08-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Minsoo Cheong, Woosang Lim, Vincent-Daniel Yun, Sungjoo Yoo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 거대 언어 모델은 복잡한 수학 문제를 풀거나 정교한 과업을 계획할 수 있는 강력한 추론 엔진 역할을 합니다. 이를 위해 모델은 대화 속에서 지금까지 말하고 생각한 모든 것의 이력을 담고 있는 '메모리 캐시(memory cache)'라고 불리는 방대한 내부 작업 공간에 의존합니다. 이 메모리는 필수적입니다. 이것이 없다면 모델은 자신의 이전 단계들을 잊어버리고 논리의 흐름을 놓치게 될 것이기 때문입니다. 하지만 이러한 대화가 길어짐에 따라, 이 메모리 요구량은 엄청난 부담이 되어 컴퓨터 자원을 너무 많이 소모함으로써 시스템을 느려지게 하거나 충돌을 일으킵니다. 이를 계속 운영하기 위해 엔지니어들은 가장 중요해 보이는 것들만 남기고 이 메모리의 오래된 부분들을 버리는 방법들을 개발해 왔습니다. 그러나 정보를 버리는 이 행위는 위험합니다. 모델이 과거의 정보를 너무 많이 잊어버리면, 단순히 사소한 실수를 하는 데 그치지 않고 혼란에 빠져 같은 말을 반복하거나, 자신이 말할 수 있는 한계치에 도달할 때까지 횡설수설을 생성하는 등의 악순환에 빠질 수 있습니다.

서울대학교와 남가주대학교(USC)의 연구진은 이 과정에서 특정 약점을 발견하였고, 모델을 다시 학습시키지 않고도 이를 해결할 방법을 고안해 냈습니다. 그들은 메모리를 버림으로써 발생하는 문제가 모델 자체의 지능 부족이 아니라, 단순한 정보의 공백이라는 점을 발견했습니다. 역사의 일부를 잊어버린 거대하고 강력한 모델이 어려움을 겪는 이유는 사고 능력을 상실했기 때문이 아니라 맥락(context)이 부족하기 때문입니다. 기발한 반전으로, 연구진은 모든 것을 기억하는 훨씬 작고 덜 강력한 모델이 거대하고 망각하는 모델이 놓치는 빈칸을 종종 채워줄 수 있다는 것을 발견했습니다. 큰 모델은 필요한 특정 숫자를 잊어버릴 수 있지만, 작은 모델은 그것을 완벽하게 기억합니다. 반대로, 작은 모델은 문제를 해결할 깊은 추론 능력은 부족할 수 있지만, 큰 모델은 기억력은 부족해도 그 능력은 갖추고 있습니다.

이 간극을 메우기 위해 연구팀은 'KV-Rescue'라고 불리는 새로운 시스템을 만들었습니다. 거대 모델이 불완전한 메모리를 가지고 홀로 고군분투하게 두는 대신, 이 시스템은 전체 이력을 마음속에 간직하고 있는 작고 가벼운 조력자를 결합합니다. 두 모델이 문제를 단계별로 해결하기 위해 함께 작업하면서, 그들은 아이디어를 번갈아 가며 생성합니다. 매 단계마다 점수 산정 시스템이 어떤 아이디어가 더 나은지를 평가하여 그 아이디어를 앞으로 진행시키며, 하나의 공유된 추론 경로를 만들어냅니다. 만약 거대 모델이 너무 많은 것을 잊어버려 횡설수설하거나 반복적인 루프에 빠지기 시작하면, 시스템은 이를 조기에 감지하고 즉시 해당 경로를 중단시킨 뒤, 조력자에게 의지하여 사고의 흐름이 궤도를 벗어나지 않도록 유지합니다. 이 과정은 거대 모델이 자신의 우수한 추론 능력을 희생하지 않으면서도 작은 모델의 완벽한 기억력으로부터 혜택을 받을 수 있게 해줍니다.

이 접근 방식의 결과는 놀랍습니다. 강력한 70억 파라미터 모델을 사용하여 다섯 가지 서로 다른 수학 벤치마크에서 테스트했을 때, 이 새로운 방법은 메모리를 공격적으로 버렸을 때 손실되었던 정확도의 거의 90%를 회복했습니다. 메모리 예산이 극도로 제한적인 상황에서, 단순히 여러 가지 답을 시도하는 전통적인 방식은 모델이 자신을 반복하거나 횡설수설하게 만들어 실패하곤 했습니다. 그러나 새로운 시스템은 이러한 실패를 방지했으며, 평균적으로 43%의 컴퓨터 작업 낭비를 줄였습니다. 연구진은 작은 조력자가 전체 과업을 장악하는 것이 아니라, 가장 어려운 시나리오에서 약 3분의 1의 단계에 참여하며, 거대 모델이 과거의 기억을 필요로 하는 바로 그 순간에 개입한다는 것을 관찰했습니다. 거대 모델의 깊은 사고력과 작은 모델의 완벽한 회상 능력을 결합함으로써, 연구진은 컴퓨터 메모리가 심하게 제한된 상황에서도 긴 추론 과업을 정확하고 효율적으로 유지하는 것이 가능하다는 것을 보여주었습니다.

기술 요약: KV-Rescue

문제 정의

긴 문맥 추론(long-context reasoning)을 수행하는 대규모 언어 모델(LLM)은 Key-Value(KV) 캐시의 선형적 증가로 인해 심각한 메모리 병목 현상에 직면합니다. 이를 완화하기 위해, KV 제거(KV eviction) 기술은 고정된 메모리 예산 내에 맞추기 위해 덜 중요한 과거 토큰들을 버립니다. 그러나 이 과정은 본질적으로 정보 손실을 수반하며, 모델은 전체 문맥이 아닌 부분적인 과거의 관점에서 디코딩을 수행하게 됩니다.

저자들은 공격적인 제거 예산 하에서 이러한 손실이 단순히 정확도의 저하를 넘어, **통제 불능의 퇴행(runaway degeneration)**으로 나타난다는 점을 식별했습니다. 이 상태에서 모델은 일관된 추론을 유지하지 못하고, 최대 길이 제한에 도달할 때까지 무의미한 기호 시퀀스를 생성하거나 반복적인 루프에 빠지게 됩니다. 논문은 이러한 퇴행이 모델의 지능 부족(capability gap)이 아니라, 주로 정보 격차(information gap)(누락된 문맥)에서 비롯된다고 주장합니다. 결과적으로, 캐시가 제거된 대형 모델과 전체 문맥을 가진 소형 모델은 서로 보완적인 오류를 범하게 됩니다. 즉, 대형 모델은 역사적 데이터가 부족하고, 소형 모델은 추론 능력이 부족한 것입니다.

방법론: KV-Rescue

저자들은 재학습 없이 이 정보 격차를 메우기 위해, 제거된 베이스 모델과 경량화된 전체 문맥 헬퍼(helper) 모델 사이에서 추론 단계를 교차시키는 KV-Rescue를 제안합니다.

1. 단계별 교차 추론 (Stepwise Interleaved Reasoning)

표준적인 Best-of-N(최적의 최종 답변 선택) 방식과 달리, KV-Rescue는 매 추론 단계마다 선택을 수행합니다:

이중 샘플링 (Dual Sampling): 각 단계 $t$ 에서, 시스템은 제거된 베이스 모델( $\pi_b$ , 제한된 캐시 작동)으로부터 $N$ 개의 후보를 샘플링하고, 전체 문맥 헬퍼( $\pi_h$ , 전체 이력 작동)로부터 $N$ 개의 후보를 샘플링합니다.
프로세스 보상 모델 (PRM) 선택: PRM은 현재 확정된 문맥을 바탕으로 $2N$ 개의 모든 후보에 점수를 매깁니다. 가장 높은 점수를 받은 후보가 공유된 궤적(trajectory)에 확정됩니다.
상태 관리 (State Management): 베이스 후보가 선택되면 베이스 모델의 캐시가 업데이트됩니다. 헬퍼 후보가 선택되면, 베스 모델은 새로운 토큰을 처리하고 제거(eviction)를 재적용하는 한편, 헬퍼는 다음 단계를 위해 전체 문맥을 유지합니다. 이를 통해 두 모델은 동일한 궤적에서 계속 진행하면서도 서로 다른 역사적 관점을 유지할 수 있습니다.

2. 온라인 퇴행 탐지 (Online Degeneration Detection)

베이스 모델이 퇴행하는 경로에 계산 자원을 낭비하는 것을 방지하기 위해, KV-Rescue는 PRM 점수 산출 전 단계에서 특정 실패 모드를 보이는 후보를 중단시키는 온라인 탐지기를 사용합니다:

비일관적 생성 (Incoherent Generation): 높은 토큰 수준 엔트로피를 통해 탐지됩니다. 이동 평균 엔트로피가 임계값( $\tau_{ent}$ )을 초과하면 해당 후보는 중단됩니다.
반복 루프 (Repetition Loops): 높은 압축률(낮은 엔트로피 및 높은 중복성)을 통해 탐지됩니다. 시스템은 슬라이딩 윈도우의 원본 크기 대비 gzip 압축 크기의 비율을 계산합니다. 이 비율이 임계값( $\tau_{cmp}$ ) 미만으로 떨어지면 해당 후보는 중단됩니다.
선택 로직: 제거된 베이스 후보들은 헬퍼 후보들과 함께 PRM 선택을 위해 고려됩니다. 이는 베이스 후보들이 모두 거부되더라도 선택 풀이 비어 있지 않도록 보장합니다.

주요 기여

제거 손실의 특성화: 본 논문은 제거로 인한 실패가 정보 격차임을 입증하였으며, 제거된 대형 모델과 전체 문맥을 가진 소형 모델 사이의 오라클 선택(oracle choice)이 전체 KV를 가진 대형 모델과의 정확도 격차를 79% 회복함을 보여주었습니다.
KV-Rescue 프레임워크: PRM과 온라인 퇴행 탐지기에 의해 가이드되어, 제거된 베이스와 전체 문맥 헬퍼를 교차시키는 새로운 학습 불필요(training-free) 추론 방법을 제안했습니다.
포괄적 평가: Qwen2.5-Math 모델(7B 및 72B)과 두 가지 제거 정책(R-KV 및 SnapKV)을 사용하여 다섯 가지 수학 벤치마크(MATH500, AIME24, AMC23, GSM8K, OlympiadBench)에 대해 광범위한 실험을 수행했습니다.

실험 결과

저자들은 KV-Rescue를 표준 Best-of-N(제거된 모델에서만 샘플링) 및 전체 KV 베이스라인과 비교 평가했습니다.

정확도 회복: 공격적인 제거 예산( $B=64$ )에서, KV-Rescue는 다섯 가지 벤치마크 전반에 걸쳐 제거로 인해 손실된 정확도의 평균 **87%**를 회복했습니다. 특정 사례(예: $N=4$ 인 MATH500)에서는 전체 KV 베이스 모델의 pass@1 성능을 상회했습니다.
퇴행 억제: 본 프레임워크는 통제 불능의 생성을 효과적으로 방지합니다. 7B 모델의 $B=64$ 환경에서, 퇴행 경로를 조기에 종료함으로써 베이스 모델이 생성한 평균 토큰 수가 제거 전용 Best-of-N 대비 43% 감소했습니다.
절제 연구 (Ablation Studies):
- 교차 (Interleaving): 전체 문맥 헬퍼를 추가함으로써, $B=64$ 에서 퇴행률을 13.4%(제거 전용)에서 2.8%로 낮추고 정확도를 52.8%에서 81.8%로 높였습니다.
- 조기 종료 (Early Exit): 생성 중 퇴행하는 후보를 종료함으로써 정확도를 희생하지 않고도 베이스 모델의 토큰 생성을 20% 더 줄였습니다.
- 헬퍼의 기여: 헬퍼 모델은 확정된 단계의 17~34%를 기여하며, 제거 예산이 감소함에 따라 그 비중이 증가합니다. 이는 헬퍼가 단순한 백업이 아니라 문맥을 보완하는 파트너임을 확인시켜 줍니다.

의의 및 주장

본 논문은 KV-Rescue가 모델 재학러나 구조적 변경 없이 긴 문맥 추론의 메모리 병목 현상을 해결하는 실용적인 솔루션을 제공한다고 주장합니다. 제거 손실을 정보 격차로 재정의함으로써, 저자들은 경량화된 전체 문맥 모델이 더 큰 메모리 제약 모델을 효과적으로 "구조(rescue)"할 수 있음을 입증했습니다.

이 연구의 의의는 엄격한 메모리 제약 하에서도 높은 추론 정확도를 유지하는 동시에, 퇴행적 생성으로 인한 계산 낭비를 줄일 수 있다는 점에 있습니다. 저자들은 이러한 회복 능력이 다양한 모델 규모(7B vs 72B)와 제거 정책 전반에 걸쳐 지속된다는 점을 언급하며, 이 접근 방식이 에이전트 시스템 및 장기적 추론 작업에 있어 견고하고 확장 가능함을 시사합니다.