🤖 AI

Fewer Tokens, Smaller Cache: Reward-Coordinated Efficient Reasoning

이 논문은 KV 캐시 압축을 동적으로 조정하고, 불필요한 성찰을 억제하며, 프로세스 보상에 기반한 조기 종료를 가능하게 함으로써 정확도를 유지하면서도 추론 비용과 지연 시간을 크게 줄이는 방식으로 대규모 추론 모델을 최적화하는 보상 협응 프레임워크인 ReCo를 소개한다.

원저자: Qiyuan Zhu, Dezhi Li, Pengyu Cheng, Tianle Chen, Jiacheng Wang, Ruijie Shen, Hao Gu, Sida Lin, Zirui Liu, Jiacheng Liu, Sirui Han

게시일 2026-08-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qiyuan Zhu, Dezhi Li, Pengyu Cheng, Tianle Chen, Jiacheng Wang, Ruijie Shen, Hao Gu, Sida Lin, Zirui Liu, Jiacheng Liu, Sirui Han

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑한 로봇이 스스로에게 말을 걸며 어려운 퍼즐을 푸는 모습을 상상해 보세요. 이 로봇은 단순히 추측하는 것이 아니라, 최종 답을 내놓기 전에 자신의 사고 과정을 단계별로 상세하게 기록하며 긴 이야기를 써 내려갑니다. 이것이 현대의 '대규모 추론 모델(Large Reasoning Models)'이 작동하는 방식입니다. 이들은 마치 모든 단서와 막다른 길, 그리고 '아하!' 하는 깨달음의 순간까지 하나하나 모두 기록하기 전에는 사건을 해결하기를 거부하는 명석한 탐정과 같습니다. 문제는 이 탐정이 너무 말이 많다는 점입니다. 때로는 "2+2는 무엇인가?"와 같은 간단한 질문에 대해 "4"라고 답하기 전, 수학의 역사에 관한 소설 분량의 에세이를 쓰기도 합니다. 이러한 '과잉 사고(overthinking)'는 엄청난 양의 컴퓨터 메모리와 시간을 소모하며, 로봇을 느리고 비싸게 만듭니다.

이를 해결하기 위해 과학자들은 로봇의 메모리를 더 효율적으로 만드는 방법을 시도해 왔습니다. 로봇의 메모리를 자신이 생각을 적어 내려가는 화이트보드라고 생각해 보세요. 로봇이 더 오래 생각할수록 화이트보드는 가득 차게 됩니다. 흔히 쓰이는 기술 중 하나는 공간을 만들기 위해 가장 오래된, 즉 '덜 중요한' 메모를 지우는 것입니다. 이를 'KV 캐시 압축(KV-cache compression)'이라고 부릅니다. 하지만 이 논문의 연구자들은 이 지우는 방식에 결함이 있다는 것을 발견했습니다. 만약 잘못된 메모를 지우게 되면, 로봇은 혼란에 빠져 상황을 파악하기 위해 오히려 더 많이 말을 하기 시작하며, 이는 메모를 지워서 아끼려 했던 시간을 모두 상쇄해 버린다는 사실을 발견했습니다. 이는 요리법의 몇 단계를 건너뛰어 시간을 아끼려다가, 핵심 재료를 빠뜨린 것을 깨닫고 결국 요리 전체를 처음부터 다시 시작해야 하는 것과 같습니다.

이 논문은 이 복잡한 문제를 해결하기 위해 ReCo(Reward-Coordinated Compression, 보상 협응 압축)라는 새로운 시스템을 소개합니다. 단순히 무작위로 오래된 메모를 지우거나 모두에게 동일한 고정된 규칙을 적용하는 대신, ReCo는 로봇 옆에 서 있는 현명한 코치처럼 행동합니다. 로봇이 한 단계를 내디딜 때마다 코치는 이렇게 묻습니다. "네가 올바른 길로 가고 있다고 얼마나 확신하니?" 만약 로봇이 잘하고 있고 탄탄한 경로 위에 있다면(즉, "높은 보상" 단계라면), 코치는 말합니다. "아주 잘하고 있어, 모든 옛날 메모를 다 가지고 있을 필요는 없어. 공간을 아끼기 위해 몇 개 지우자." 하지만 로봇이 헤매고 있거나 새로운 아이디어를 탐색 중이라면(즉, "낮은 보상" 단계라면), 코치는 말합니다. "잠깐, 지금은 모든 메모가 필요해. 아무것도 지우지 마."

영리한 점은 이 동일한 '확신 점수'가 두 가지 역할을 동시에 수행한다는 것입니다. 첫째, 이 점수는 메모를 얼마나 유지하거나 삭제할지를 결정합니다. 둘째, 이 점수는 로봇이 과잉 사고를 하지 않도록 제어합니다. 만약 로봇이 확신을 갖고 올바른 길을 가고 있다면, 코치는 로봇이 말을 길게 늘어놓는 것을 멈추고 그냥 답을 내놓도록 부드럽게 유도합니다. 반면 로봇이 여전히 혼란스러워한다면, 코치는 계속해서 생각하고 탐색할 수 있도록 허용합니다. 이렇게 메모를 정리하는 것과 로봇이 얼마나 말할지를 제어하는 두 가지 동작을 조율함으로써, 시스템은 로봇이 혼란에 빠져 이를 보완하기 위해 더 긴 이야기를 쓰는 것을 방지합니다.

결과는 인상적입니다. 연구진이 세 가지 서로 다른 추론 모델을 여섯 가지 유형의 퍼즐(수학 문제부터 과학 질문까지)에 대해 ReCo로 테스트했을 때, 로봇은 훨씬 빨라졌고 사용되는 단어 수도 크게 줄었습니다. 구체적으로, 이 시스템은 로봇이 생성하는 단어 수를 **37%에서 65%**까지 줄였으며, 표준적인 최적화되지 않은 방식보다 2.08배에서 2.35배 더 빠르게 전체 과정을 완료했습니다. 결정적으로, 이 모든 과정에서 로봇이 눈에 띄게 멍청해지지 않았으며 정확도는 거의 동일하게 유지되었습니다. 이 논문은 단순히 메모를 줄이려고 노력하는 것만으로는 충분하지 않으며, 진정한 속도 향상을 얻기 위해서는 로봇의 사고 과정도 동시에 관리해야 한다는 점을 시사합니다.

기술 요약: ReCo (Reward-Coordinated Efficient Reasoning)

문제 정의

OpenAI-o1 및 DeepSeek-R1과 같은 대규모 추론 모델(LRM)은 긴 사고 사슬(Chain-of-Thought, CoT)을 통해 복잡한 작업에서 높은 성능을 달 수 있습니다. 그러나 이러한 패러다임은 빈번하게 "과잉 사고(overthinking)"를 유발하며, 이는 단순한 입력에 대해서도 모델이 지나치게 긴 추론 사슬을 생성하게 만들어, 추론 비용 증가, 지연 시간 상승, 그리고 Key-Value(KV) 캐시 누적으로 인한 상당한 메모리 오버헤드를 초래합니다.

KV-캐시 압축은 메모리와 어텐션 비용을 줄이기 위한 표준적인 해결책이지만, 기존의 추론 중심 방법들은 두 가지 결정적인 한계를 가집니다:

균일한 압축 정책: 현재의 방법들은 전체 추론 궤적에 걸쳐 균일한 압축 전략을 적용하며, 서로 다른 추론 상태가 문맥 손실에 대해 서로 다른 허용도를 가진다는 점을 간과합니다.
분리된 생성 제어: 이러한 방법들은 캐시에서 무엇을 제거할지에만 집중하며, 압축이 더 긴 생성 길이를 유발할 수 있다는 사실을 고려하지 못합니다. 본 논문은 캐시를 압축하면 모델이 손실된 문맥을 보완하기 위해 더 많은 토큰을 생성하게 되어, 효율성 이득을 부분적으로 또는 완전히 상쇄하는 현상(이른바 "길이 팽창(length inflation)")이 발생함을 관찰했습니다.

방법론: ReCo 프레임워크

저자들은 경량화된 **프로세스 보상(process reward)**이라는 단일 신호 아래 KV-캐시 압축과 생성 제어를 조율하는 단계별 프레임워크인 **ReCo (Reward-Coordinated Compression)**를 제안합니다.

1. 핵심 신호: 프로세스 보상 추정

완료된 각 추론 단계 $c_i$ 이후, Skywork-o1-Open-PRM-7B로부터 증류된 30M 파라미터 규모의 경량 추정기가 스칼라 보상 $v_i \in [0, 1]$ 를 할당합니다. 이 보상은 현재의 추론 경로가 올바른 방향으로 가고 있는지, 그리고 유망한지를 나타냅니다. 이 단일 신호는 세 가지 조율된 구성 요소를 구동합니다.

2. 보상 적응형 KV-캐시 압축

정적 또는 균일한 압축과 달리, ReCo는 단계별 보상 $v_i$ 에 따라 유지 비율 $\lambda_i$ 를 동적으로 조정합니다:

고보상 단계: 모델이 신뢰할 수 있는 경로에 있을 때(높은 $v_i$ ), 프레임워크는 축적된 KV 캐시를 공격적으로 프루닝(pruning)합니다. 이는 해당 추론 상태가 더 많은 문맥 손실을 견딜 수 있기 때문입니다.
저보상 단계: 모델이 탐색 중이거나 불확실할 때(낮은 $v_i$ ), 프레임워크는 추론 사슬이 끊어지는 것을 방지하기 위해 더 많은 문맥을 유지합니다.
메커니즘: 유지 비율은 $\lambda_i = \lambda - \delta \frac{v_i - \bar{v}}{v_{max} - v_{min}}$ 로 계산됩니다 (여기서 $\lambda$ 는 기본 비율, $\delta$ 는 조정을 제한하는 값). 할당된 예산 내에서, 최근 토큰들의 어텐션 점수를 기반으로 토큰이 선택됩니다.

3. 보상 밴드 기반 성찰 제어 (Reward-Banded Reflection Control)

압축으로 인한 "길이 팽창"을 방지하기 위해, ReCo는 디코딩 중 불필요한 자기 성찰 토큰(예: "Wait", "Hmm", "Alternatively")을 억제합니다:

동일한 보상 $v_i$ 가 성찰 토큰에 적용될 로짓 페널티 $\beta_i$ 를 결정합니다.
저보상 ( $v_i \le \tau_\ell$ ): 페널티 없음 (탐색 장려).
중보상 ( $\tau_\ell < v_i < \tau_h$ ): 절반의 페널티 적용.
고보상 ( $v_i \ge \tau_h$ ): 전체 페널티 적용 (새로운 분기를 여는 것을 강력히 억제하여 모델이 결론에 도달하도록 유도).

4. 신뢰 기반 조기 종료

ReCo는 추론이 신뢰할 수 있다고 판단될 때 트리거되는 조기 종료 메커니즘을 구현합니다:

보상이 두 단계 연속으로 높은 밴드에 머물러 있으면, 잠정적인 답변을 이끌어내기 위해 "종결 프롬프트(closing prompt)"가 삽입됩니다.
모델의 답변에 대한 신뢰도는 퍼플렉서티(Perplexity, PPL)를 통해 측정됩니다. 만약 $PPL(a) \le \tau_p$ 라면 추론 사슬이 종료되지만, 그렇지 않으면 추론이 계속됩니다. 이는 유창하지만 틀린 답변에 대해 성급하게 종료되는 것을 방지합니다.

주요 기여

압축과 생성의 결합: 본 논문은 KV-캐시 압축만으로는 LRM에서 효과적이지 않다고 주장합니다. 왜냐하면 압축이 오히려 더 긴 추론 사슬을 유발하여 효율성을 저해할 수 있기 때문입니다. ReCo는 단일 보상 신호 하에 캐시 압축과 생성 길이를 공동으로 제어하는 최초의 방법입니다.
압축 허용 신호로서의 보상: 저자들은 프로세스 보상이 추론 상태의 문맥 손실 허용도를 안정적으로 추적함을 입증했습니다. 고보상 단계는 공격적인 프루닝에 강한 반면, 저보상 단계는 전체 문맥을 필요로 합니다. 이는 기존의 균일한 정책과 대조됩니다.
통합 단계별 프레임워크: ReCo는 KV-캐시 압축, 성찰 제어, 조기 종료를 하나의 프레임워크로 통합하여, 여러 모델과 벤치마크 전반에서 정확도를 유지하면서 토큰 수와 지연 시간을 줄입니다.

실험 결과

이 프레임워크는 세 가지 추론 모델(DeepSeek-R1-Distill-Llama-8B, DeepSeek-R1-Distill-Qwen-7B, Qwen3-8B)을 대상으로 여섯 가지 벤치마크(GSM8K, MATH-500, AMC2023, AIME24, AIME25, GPQA)에서 평가되었습니다.

토큰 감소: ReCo는 Full CoT 대비 생성 토큰을 37%~65% 감소시켰습니다. 반면, 캐시 전용 베이스라인(예: SnapKV, R-KV)은 길이 팽창으로 인해 토큰 수가 증가하는 경우가 많았습니다.
지연 시간 단축: ReCo는 Full CoT 대비 종단 간(end-to-end) 지연 시간을 2.08배~2.35배 단축했습니다.
정확도 보존: ReCo는 모든 압축 방법 중 Full CoT 베이스라인에 가장 근접한 정확도를 유지했습니다. 예를 들어, Llama-8B에서 ReCo는 평균 60.2%의 정확도를 달성한 반면, KV 전용 베이스라인(예: SnapKV 37.5%)은 정확도가 크게 하락했습니다.
메모리 효율성: ReCo는 피크 GPU 메모리 사용량을 37.7% 감소시켰으며(AIME25 기준 17.92 GB vs 28.78 GB), 이는 KV 전용 및 길이 전용 베이스라인보다 우수한 성능입니다.

의의 및 주장

본 논문은 KV-캐시 압축이 효과적이려면 생성 제어와 결합되어야 한다고 주장합니다. 저자들은 캐시를 압축하면서 후속 생성 길이를 제어하지 않으면, 더 긴 추론 사슬을 유발하여 효율성 이득을 갉아먹을 수 있다고 단언합니다.

단일 프로세스 보상을 사용하여 양측을 조율함으로써, ReCo는 추론이 생산적일 때만 연산을 수행하고 모델이 안착했을 때는 연산을 억제하는 균형을 달 수 있습니다. 저자들은 이 방법이 추론 모델의 재학습이나 태스크별 프롬프트 엔지니어링을 요구하지 않으며, 대신 경량화된 보상 추정기에 의존하여 추론 궤적의 요구 사항에 동적으로 적응한다고 강조합니다.