🤖 machine learning

HMPO: Hybrid Median-length Policy Optimization for Chain-of-Thought Compression

HMPO는 기존 방식들의 수동 튜닝 및 다단계 학습의 한계를 극복하여, 다양한 작업과 모델 규모에 걸쳐 정확도 손실을 거의 없이 사고 사슬(chain-of-thought) 추론을 19%~46%까지 효율적으로 압축하는 비용 효율적인 단일 단계 강화 학습 프레임워크입니다.

원저자: Minghui Zheng, Hongxu Chen, Huimin Ren, Hongsheng Xin, Xiaoyang Qu, Ze Wang, Shuling Yang, Ziyu Peng, Kaike Zhang, Pan Zhou, Kun Zhan

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Minghui Zheng, Hongxu Chen, Huimin Ren, Hongsheng Xin, Xiaoyang Qu, Ze Wang, Shuling Yang, Ziyu Peng, Kaike Zhang, Pan Zhou, Kun Zhan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 천재적이지만 말이 너무 많은 학생이 있다고 상상해 보세요. 당신이 수학 문제를 내면, 그 학생은 단순히 정답만 말하는 것이 아니라, 머릿속을 스쳐 지나간 모든 생각, 즉 잘못된 길로 빠졌던 순간, "만약에"라는 가정, 그리고 장황한 설명들을 담은 50페이지짜리 소설을 써 내려갑니다. 이 "사고 과정"(Chain-of-Thought)은 정답을 맞히는 데 도움이 되지만, 매우 느리고, 비용이 많이 들며, 엄청난 에너지를 낭비합니다.

이 논문은 이 학생에게 지능을 잃지 않으면서도 간결하게 말하는 법을 가르치는 새로운 방법인 HMPO(Hybrid Median-length Policy Optimization)를 소개합니다.

HMPO가 어떻게 작동하는지, 쉬운 비유를 통해 설명하겠습니다.

1. 문제점: "생각이 너무 많은" 학생

현재의 AI 모델들은 추론 능력이 뛰어나지만, "과잉 사고(overthinking)"를 합니다. 하나의 질문에 대해 수천 단어(토큰)를 생성하죠. 이는 마치 시간을 묻는 사람에게 시계의 역사에 대해 강의를 늘어놓는 것과 같습니다. 이는 많은 비용(컴퓨팅 파워)과 긴 시간을 소모합니다.

이를 해결하기 위한 기존 방식들은 투박합니다:

경직된 규칙을 사용합니다 (예: "1,000단어 뒤에는 말을 멈춰라"). 이는 어려운 문제를 풀 때 필요한 설명을 중간에 끊어버릴 수 있습니다.
비싼 다단계 훈련이 필요합니다 (마치 튜터, 코치, 매니저를 차례로 고용하는 것과 같아서, 시간이 오래 걸리고 비용이 엄청나게 듭니다).
매우 크고 복적인 모델에 적용할 경우 제대로 작동하지 않는 경우가 많습니다.

2. 해결책: HMPO (스마트한 코치)

HMPO는 AI에게 간결하면서도 정확하게 말하도록 가르치는 효율적인 단일 훈련 세션입니다. 여기에는 세 가지 영리한 기술이 들어 있습니다.

A. "골디락스" 예산 (Adaptive Median)

고정된 단어 제한(예: "최대 500단어")을 두는 대신, HMPO는 최근의 성공적인 답변들을 살펴봅니다.

비유: 코치가 러너 그룹을 지켜보고 있다고 상상해 보세요. 코치가 "정확히 10분 동안 달려"라고 말하는 대신, 실제로 경주를 성공적으로 마친 러너들의 중앙값(median) 시간을 관찰하는 것입니다.
도움이 되는 이유: 문제가 어려우면 "성공적인" 답변은 자연스럽게 길어지므로 예산이 완화됩니다. 문제가 쉬우면 성공적인 답변이 짧아지므로 예산이 타이트해집니다. AI는 사람이 숫자를 추측할 필요 없이 스스로 "딱 적당한" 길이를 목표로 삼는 법을 배웁니다.

B. "부드러운 착륙" 보상 (Cosine Decay)

보통 AI에게 "짧게 말해"라고 하면, 보상을 받기 위해 짧지만 틀린 답을 내놓는 식으로 속임수를 쓸 수 있습니다. HMPO는 이를 방지합니다.

비유: 비디오 게임에서 스테이지를 빨리 클리어하면 점수를 받는다고 가정해 봅시다. 하지만 만약 스테이지를 틀리게 클리어했다면, 아무리 빨랐더라도 점수는 0점입니다.
도움이 되는 되는 이유: HMPO는 **"정확성이 가장 중요하다"**라고 말하는 특수한 수학 공식(곱셈 보상)을 사용합니다. 만약 틀렸다면, 길이에 상관없이 0점을 받습니다. 만약 맞았다면, 그때서야 간결함에 대한 추가 점수를 받습니다. 이는 AI가 게으르거나 틀린 답을 내놓으며 속임수를 쓰는 것을 막아줍니다.

C. "원스톱 숍" (Single-Stage Training)

기존 방식은 복잡한 과정을 거쳐야 했습니다: 먼저 AI에게 짧게 말하는 법을 가르치고(1단계), 그다음 맞게 말하는 법을 가르치고(2단계), 마지막으로 이를 혼합하는 식입니다.

비유: 집을 3년에 걸쳐 벽돌을 하나씩 쌓아 올리는 대신, HMPO는 3D 프린터로 집 전체를 한 번에 뽑아내는 것과 같습니다.
도움이 되는 이유: 이는 기존 방식보다 훈련 시간과 비용을 1.5배에서 2.5배까지 단축합니다.

3. 결과: 더 똑똑하고, 빠르고, 저렴하게

연구진은 90억(9B) 파라미터의 작은 모델부터 1,220억(122B) 파라미터의 거대 모델까지 테스트했습니다.

마법 같은 효과: 연구진은 수학 문제만을 대상으로 AI를 훈련시켰습니다.
놀라운 사실: 비록 수학을 통해 간결함을 배웠지만, AI는 코딩, 과학, 지시 이행에서도 간결해졌습니다. 이는 마치 학생에게 수학 에세이를 짧게 쓰는 법을 가르쳤더니, 갑자기 다른 과목의 이메일이나 코드를 짧고 명확하게 쓰기 시작한 것과 같습니다.
수치: AI는 정확도를 거의 그대로 유지하면서도 "사고" 길이를 19%에서 46%까지 줄였습니다 (단어 수를 대폭 절감).
비교: HMPO로 훈련된 압축된 1,220억 파라미터 모델은 훨씬 더 큰 미최적화 모델만큼의 성능을 보여주면서도, 훨씬 적은 단어와 적은 컴퓨팅 파워를 사용했습니다.

요약

HMPO는 AI가 "과잉 사고"를 하지 않도록 훈련하는 새로운 방법입니다. 이는 간결함과 정확성 사이의 완벽한 균형을 찾기 위해 스스로 조절되는 스마트한 시스템을 사용합니다. 훈련 비용이 저렴하고, 거대 모델에도 적용 가능하며, 놀랍게도 수학 연습만으로도 다양한 분야에서 간결하게 말하는 법을 배웁니다.

이 논문이 주장하지 않는 것:

이 방법이 멀티 턴 대화(AI가 이전 대화 내용을 기억하며 이어가는 긴 채팅)에서 작동한다고 주장하지 않습니다.
이 방법이 의료 진단이나 법률 자문에 바로 사용될 수 있다고 주장하지 않습니다.
이 방법이 복잡한 루프를 사용하여 도구(웹 브라우징이나 계산기 사용 등)를 사용하는 AI 에이전트에게 작동한다고 주장하지 않습니다.

기술 요약: HMPO – 연쇄 사고(Chain-of-Thought) 압축을 위한 하이브리드 중앙값 길이 정책 최적화

1. 문제 정의

OpenAI o1, DeepSeek-R1, Qwen-3와 같은 모델에서 볼 수 있듯이, 대규모 언어 모델(LLM)은 확장된 연쇄 사고(Chain-of-Thought, CoT) 과정을 통해 놀라운 추론 능력을 입증했습니다. 그러나 이러한 "사고(thinking)" 패러다임은 쿼리당 수천 개의 토큰을 생성함에 따라 높은 지연 시간과 상당한 자원 소비라는 과도한 추론 비용을 초래합니다.

기존의 CoT 압축 방법들은 세 가지 결정적인 한계에 직면해 있습니다:

유연하지 못한 제약 조건: 현재의 접근 방식은 수동으로 조정된 정적 길이 예산이나 경직된 이진 "사고 또는 건너뛰기(think-or-skip)" 결정에 의존하며, 이는 특정 도메인(주로 수학)에 국한된 적용성을 갖게 하고 다양한 문제 복잡성에 적응하는 데 실패합니다.
과도한 훈련 비용: 효과적인 압축을 위해서는 데이터 증류(distillation), 지도 미세 조정(SFT) 웜업, 또는 점진적 반복 프루닝(pruning)을 포함하는 계산 집약적인 다단계 파이프라인이 필요한 경우가 많습니다.
취약한 확장성: 평가는 주로 소규모 밀집 모델(≤32B)에 국한되어 있어, 최첨단 대규모 및 혼합 전문가(Mixture-of-Experts, MoE) 아키텍처에 대한 적용 가능성이 검증되지 않았습니다.

2. 방법론: HMPO

저자들은 GRPO(Group Relative Policy Optimization)를 기반으로 구축된 비용 효율적인 단일 단계 강화 학습 프레임워크인 **HMPO (Hybrid Median-length Policy Optimization)**를 제안합니다. HMPO는 다음 세 가지 시너지 구성 요소를 통해 이전 연구의 한계를 해결합니다.

A. 적응형 중앙값 기반 예산 (Adaptive Median-Based Budget)

HMPO는 정적이고 수동으로 정의된 토큰 예산을 사용하는 대신, 훈련 배치 내의 성공적인(정답인) 롤아웃(rollout)의 중앙값 길이로부터 예산 $b$ 를 동적으로 도출합니다.

메커니즘: $G$ 개의 롤아웃 그룹에 대해, 정답을 포함하는 서브셋 $C$ 를 식별합니다. 예산은 $b = \text{median}(\{n_i \mid i \in C\})$ 로 계산되며, 여기서 $n_i$ 는 토큰 길이입니다.
이점: 이 방식은 노이즈가 섞인 실패한 시도로부터 길이 신호를 분리하고 난이도 인지형 제약 조건을 생성합니다. 복잡한 쿼리는 자연스럽게 더 긴 정답 롤아웃을 생성하여 예산을 완화하는 반면, 단순한 쿼리는 더 엄격한 제약을 받게 됩니다. 정책이 개선됨에 따라 예산은 수동 개입 없이 자동으로 감소하며, 스스로 조여지는 커리큘럼(self-tightening curriculum)을 형성합니다.

B. 코사인 감쇠 토큰 보상 (Cosine-Decay Token Reward)

정확도를 저하시키지 않으면서 장황함을 억제하기 위해, HMPO는 **성공적인 궤적(trajectory)**에 대해서만 길이 선호도를 적용합니다.

메커니즘: 길이 $n < b$ 인 정답 롤아웃에 대해 매끄러운 코사인 감쇠 함수를 사용하여 토큰 보상 $R_{token}$ 을 정의합니다:
$R_{token} = \min\left(1, \cos\left(\frac{\pi n}{2b}\right) + \lambda\right)$
오답 또는 빈 응답은 $R_{token} = 0$ 을 받습니다. 스칼라 $\lambda$ 는 길이 유도 이득의 크기를 조절합니다.
이점: 이는 "부드러운 착륙(soft landing)" 페널티를 제공하여, 필수적인 추론 단계는 보존하면서도 더 짧은 정답 응답을 권장하며, 이진 임계값의 가혹한 페널티를 피합니다.

C. 곱셈적 보상 공식 (Multiplicative Reward Formulation)

정답 여부를 엄격하게 우선시하고 "보상 해킹(reward hacking, 모델이 길이 보상을 극대화하기 위해 짧지만 틀린 답을 생성하는 현상)"을 방지하기 위해, 최종 보상은 곱셈 방식으로 구성됩니다:
$R_{final} = R_{acc} \cdot R_{token}$

메커니즘: $R_{acc}$ 는 정답일 경우 1, 오답일 경우 0입니다.
이점: 이는 "정확성 우선, 길이 차선"의 계층 구조를 강제합니다. 수학적으로, 오답(즉, $R_{acc}=0$ )은 길이에 관계없이 최종 보상이 0이 됩니다. 이는 오답에 대한 효율성 그래디언트를 제거하여 훈련이 보상 해킹에 빠지는 것을 방지합니다.

3. 주요 기여

방법론적 혁신: HMPO는 적응형 중앙값 예산, 코사인 보상 셰이핑, 그리고 곱셈적 보상 인자화를 도입합니다. 이러한 구성 요소들은 결합되어 기존의 RL 기반 압축 방식에서 나타나는 수동 예산의 경직성, 정적 페널티의 공격성, 그리고 보상 해킹에 대한 취약성을 해결합니다.
교차 도메인 일반화: 본 논문은 9B에서 122B 규모의 밀집 및 MoE 모델에 걸친 광범위한 평가를 제시합니다. 결정적으로, HMPO는 오직 수학 데이터로만 훈련되었음에도 불구하고, 도메인 특화 튜닝 없이 코드, 과학 및 지시 이행 작업에서 견고한 일반화 성능을 보여줍니다.
전례 없는 확장성: HMPO는 거대 MoE 아키텍처(최대 122B 파라미터)에서 최초로 성공적인 CoT 압축을 달성했습니다. 이는 거의 완벽한 정확도 패리티를 유지하면서도 토큰 사용량을 크게 줄여, 훨씬 적은 토큰을 사용하여 훨씬 더 큰 활성화 규모(예: 700B+ MoE)를 가진 프런티어 모델과 경쟁할 수 있게 합니다.

4. 실험 결과

실험은 DeepMath-103K의 6.5K 인스턴스를 사용하여 훈련된 Qwen3.5 시리즈 모델(9B, 35B-A3B, 122B-A10B)을 대상으로 수행되었습니다.

압축 대 정확도: HMPO는 다양한 모델 규모에서 무시할만한 수준의 정확도 저하와 함께 19%~46%의 토큰 압축을 달성했습니다.
- Qwen3.5-9B의 경우, 평균 정확도 하락이 0.02 퍼센트 포인트(pp)에 불과하면서 출력 토큰을 46% 줄였습니다.
- Qwen3.5-122B의 경우, 0.10 pp의 정확도 하락과 함께 19% 압축을 달성했습니다.
베이스라인과의 비교:
- ThinkPrune: 더 높은 압축률(64–72%)을 달성하지만 심각한 정확도 저하(11–22 pp 하락)를 겪습니다.
- Thinkless: SFT로 인한 모드 붕괴(mode collapse)로 인해 소규모 모델(<15% 정확도)에서 파멸적인 실패를 보입니다.
- AdaptThink: 미미한 이득을 제공하지만 대규모 모델에서 효과적인 압축에 실패하며, 때로는 토큰 길이를 팽창시키기도 합니다.
훈련 효율성: 증류 및 SFT 단계를 제거함으로써, HMPO는 다단계 베이스라인 대비 GPU 훈련 시간을 1.5배~2.5배 단축합니다.
토큰 효율성: AIME 2026에서 HMPO로 훈련된 122B 모델은 훨씬 더 큰 프런티어 모델(예: Nemotron-3-Super-120B, Kimi-K2.5-1T)에 대해 경쟁력 있는 정확도를 유지하면서도 토큰 소비량을 23% 절감했습니다.

5. 의의 및 주장

본 논문은 HMPO가 단일 단계의 드롭인(drop-in) 최적화 전략을 제공함으로써 효율적인 추론의 패러다임 전환을 나타낸다고 주장합니다. 그 의의는 다음과 같습니다:

수동 튜닝 제거: 적응형 중앙값 예산은 번거롭고 도메인 특화적인 길이 예산 튜닝의 필요성을 없앱니다.
수학적 견고성: 곱셈적 보상 공식은 모델이 정확성을 희생하면서 간결해지는 법을 배우는 것을 수학적으로 방지합니다.
실제 배포 가능성: 다양한 아키텍처와 도메인(수학 전용 훈련에도 불구하고)에서 무시할 만한 정확도 손실과 함께 높은 압축을 달성함으로써, HMPO는 복잡한 다단계 훈련 파이프라인 없이도 고급 추론 LLM의 효율적인 실무 배포를 가능하게 합니다.

저자들은 멀티 턴 추론(multi-turn reasoning) 및 **에이전트 작업(agentic tasks)**에 관한 한계를 인정하며, 현재 프레임워크가 단일 턴 설정에 설계되었음을 명시했습니다. 이를 인터랙티브하거나 도구 기반의 시나리오로 확장하는 것이 향후 연구 과제로 남아 있습니다.