💬 NLP

ConPress: Learning Efficient Reasoning from Multi-Question Contextual Pressure

ConPress는 모델이 여러 질문을 받았을 때 추론 과정을 자연스럽게 단축하는 "자기 압축(Self-Compression)" 현상을 활용하여, 외부 교사나 강화 학습 없이도 대규모 추론 모델이 단일 질문 작업에 대해 간결하고 정확한 솔루션을 생성하도록 훈련함으로써 추론 오버헤드를 크게 줄이는 가벼운 자기 지도 미세 조정 방법입니다.

원저자: Jie Deng, Shining Liang, Jun Li, Hongzhi Li, Yutao Xie

게시일 2026-06-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jie Deng, Shining Liang, Jun Li, Hongzhi Li, Yutao Xie

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하지만 나쁜 습관 하나를 가진, 지나치게 열정적인 학생이 있다고 상상해 보세요. 이 학생은 매우 영리하지만 생각이 너무 많은(overthinking) 버릇이 있습니다.

당신이 이 학생에게 "2 + 2는 뭐야?"라는 간단한 수학 질문을 던지면, 학생은 그냥 "4"라고 답하지 않습니다. 대신 50페이지짜리 에세이를 써 내려갑니다. 학생은 자신이 덧셈을 제대로 기억하고 있는지 의심하는 것부터 시작해서, 사과를 시각화하고, 손가락 개수를 확인하고, 숫자의 철학적 본질에 대해 논쟁을 벌인 뒤에야, "잠깐, 다시 한번 확인해 볼게"라며 20페이지를 더 넘긴 후에야 마침내 정답에 도달합니다.

이것이 바로 현대의 "대규모 추론 모델(Large Reasoning Models, AI)"이 작동하는 방식입니다. 그들은 문제를 해결하기 위해 방대한 양의 텍스트(이를 "사고의 사슬(Chain-of-Thought)"이라고 부릅니다)를 생성합니다. 이러한 방식은 종종 정답을 도출해 내지만, 매우 느리고 비용이 많이 들며 불필요한 내용(fluff)으로 가득 차 있습니다.

ConPress라는 논문은 이 학생에게 지능을 잃지 않으면서도 간결하게 말하는 법을 가르치는 영리한 기술을 소개합니다. 그 작동 원리를 쉬운 개념들로 나누어 설명하면 다음과 같습니다.

1. 발견: "붐비는 방" 효과

연구진은 게임의 규칙을 바꿨을 때 일어나는 재미있는 현상을 발견했습니다.

기존 방식 (단일 질문): 조용한 방에서 AI에게 질문 하나를 던지면, AI는 시간이 무한정 있다고 느낍니다. 그래서 모든 가능한 사고 경로를 훑으며 장황하게 늘어놓습니다.
새로운 방식 (다중 질문 압박): 만약 하나의 프롬프트에 세 개 또는 네 개의 서로 다른 질문을 넣고 "이것들을 지금 당장 모두 답하라"고 명령하면, 마법 같은 일이 일도 일어납니다. AI는 갑자기 장황한 말을 멈춥니다.

비유: 저녁 식사 모임에 있다고 상상해 보세요.

당신이 호스트에게 혼자 이야기를 하고 있다면, 세세한 디테일을 섞어 길고 구불구불한 이야기를 할 수도 있습니다.
하지만 호스트가 "자, 여기 10명이 있으니, 디저트를 먹기 전에 모두 짧게 이야기를 들려줘야 합니다"라고 말한다면, 당신은 갑자기 핵심만 말하게 됩니다. "음...", "잠시 생각 좀 해볼게요", "잠깐, 이거 다시 확인해 볼게요" 같은 표현을 생략하고, 핵심적인 이야기만 전달하게 됩니다.

연구진은 이를 **"자기 압축(Self-Compression)"**이라고 부릅니다. 여러 질문에 동시에 답해야 한다는 압박감이 AI로 하여금 불필요한 내용을 걷어내고 논리에 집중하게 만드는 것입니다.

2. 해결책: ConPress (문맥적 압박)

연구진은 이 "붐비는 방" 효과를 사용하여 AI가 영구적으로 효율적이 되도록 훈련할 수 있다는 것을 깨달았습니다. 그들은 ConPress라는 방법론을 만들었습니다.

그들이 사용한 단계별 과정은 다음과 같습니다.

스트레스 테스트: 수학 문제들을 모아 배치(예: 한 번에 3개씩)로 묶었습니다. 그리고 AI에게 한 번에 이 문제들을 모두 풀라고 요청했습니다.
필터링: AI가 서두르는 과정에서 실수를 할 수도 있었기에, 연구진은 100% 정답인 답변만을 남겼습니다. 틀린 답변은 모두 버렸습니다.
학습: 그 짧고 정확한 답변들(압축된 추론)을 가져와서, 향에 AI가 단일 질문에 어떻게 답해야 하는지를 가르치는 데 사용했습니다.

비유: 이는 무거운 배낭을 메고 경주를 하는 단거리 선수를 관찰하는 코치와 같습니다(다중 질문 압박). 선수는 무게를 견디기 위해 효율적으로 달리는 법을 배웁니다. 그 후 코치는 선수의 배낭을 벗기고 이렇게 말합니다. "이제 배낭이 없을 때도 방금처럼 달려봐." 선수는 배낭이 없어도 그 효율적인 보폭을 유지하게 됩니다.

3. 결과: 더 빠르고, 더 저렴하며, 여전히 똑똑함

결과는 인상적이었습니다. 이 방법을 사용함으로써 AI 모델은 현저히 효율적으로 변했습니다.

말수가 줄어듦: 모델은 동일한 문제를 해결하는 데 **30%에서 60% 적은 단어(토큰)**를 사용했습니다.
지능 유지: 훨씬 적게 말했음에도 불구하고, 이전과 거의 비슷하게 높은 정답률을 유지했습니다.
외부 교사 없음: 답변을 재작성하거나 복잡한 보상 체계를 요구하는 다른 방법들과 달리, 이 방법은 AI가 자신의 행동을 통해 스스로를 가르쳤습니다. 이는 "자기 지도 학습(self-supervised)" 방식이었습니다.

이 논문이 주장하지 않은 것

논문의 실제 내용을 정확히 전달하는 것이 중요합니다.

이 방법이 의료 진단이나 법률 자문에 효과적이라고 주장하지 않았습니다.
이 방법이 AI의 근본적인 지능(raw intelligence)을 더 "똑똑하게" 만든다고 주장하지 않았습니다. 단지 이미 가진 지능을 사용하는 데 있어 더 빠르고 저렴하게 만들 뿐입니다.
단순히 답변하는 순간에 AI에게 "짧게 말해"라고 명령하는 방식으로 작동한다고 제안하지 않았습니다. 논문은 이 방식이 잘 작동하지 않는다는 것을 명시적으로 테스트했으며, 효율성을 유지하기 위해서는 반드시 훈련(ConPress)을 통해 습관을 '학습'해야 한다고 밝혔습니다.

요약

ConPress 논문은 만약 질문을 한꺼번에 던져서 추론형 AI를 압박한다면, AI가 자연스럽게 과도한 생각을 멈추고 간결해진다는 사실을 발견했습니다. 그들은 이 "압박"을 이용해, 나중에 단 하나의 질문만 받았을 때도 효율적으로 답할 수 있도록 AI를 훈련했습니다. 그 결과, 불필요한 말을 늘어놓으며 시간을 낭비하지 않는, 더 똑똑하고 빠르며 비용 효율적인 AI를 얻을 수 있었습니다.

기술 요약: ConPress – 다중 질문 문맥 압박을 통한 효율적 추론 학습

문제 정의

OpenAI-O1, DeepSeek-R1, Qwen3와 같은 대규모 추론 모델(LRM)은 복잡한 과업을 수행하기 위해 방대한 사고 사슬(Chain-of-Thought, CoT) 흔적을 생성하며 높은 성능을 달성한다. 그러나 이러한 장황함은 종종 "과잉 사고(overthinking)"로 이어져, 모델이 불필요한 중간 단계들을 생성하게 함으로써 추론 지연 시간, 토큰 비용 및 배포 오버헤드를 크게 증가시킨다. 이를 완화하기 위한 기존 방법들, 예를 들어 교사 모델을 활용한 지도 미세 조정(SFT)이나 길이 패널티를 적용한 강화 학습(RL)은 높은 훈련 비용, 외부 감독에 대한 의존성, 또는 보상 설계의 민감도라는 문제를 안고 있다. 본 논문은 LRMs가 자연스럽게 더 짧은 추론 흔적을 생성할 수 있는지, 그리고 외부 교사나 RL 없이 어떻게 이러한 동작을 단일 질문 추론에 내재화할 수 있는지에 대한 근본적인 질문을 다룬다.

방법론: ConPress

저자들은 경량화된 자기 지도 미세 조정 프레임워크인 ConPress(Contextual Pressure로부터의 학습)를 제안한다. 이 방법은 **자기 압축(Self-Compression)**이라 명명된 재현 가능한 추론 시점 현상에 기반한다.

1. 자기 압축 현상

저자들은 LRM이 여러 개의 독립적이고 답변 가능한 질문( $N > 1$ )을 포함하는 프롬프트를 받았을 때, 단일 질문 프롬프트( $N=1$ )에 비해 각 개별 질문에 대해 현저히 짧은 추론 흔적을 자발적으로 생성한다는 점을 확인했다.

메커니즘: 이 압축은 "다중 질문 문맥 압박(multi-question contextual pressure)"에서 기인한다. 모델은 공유된 응답 내에서 여러 추론 과정을 완료해야 하므로, 핵심 추론 구조는 유지하면서도 중복된 단계를 제거하는 간결한 경로로 로컬 연속(local continuations)을 편향시킨다.
특징: 이 현상은 다양한 모델(예: DeepSeek-R1-Distill-Qwen, Qwen3)과 데이터셋에서 재현 가능하다. 압축 강도는 질문의 수( $N$ )에 따라 규모가 커지며, 보조 질문들이 사소하더라도 구조적으로 견고하게 유지된다.

2. ConPress 파이프라인

ConPress는 이 현상을 활용하여 세 단계의 과정을 통해 효율적인 추론을 표준 단일 질문 설정으로 증류(distill)한다.

다중 질문 샘플링: 데이터셋에서 $N$ 개의 독립적인 질문을 샘플링하여 하나의 프롬프트로 묶는다. 모델은 이 문맥 내에서 모든 질문에 대한 추론 흔적과 정답을 생성한다.
압축된 흔적 추출: 저자들은 거절 샘플링(rejection sampling)을 적용하여, 예측된 정답( $\hat{o}_i$ )이 실제 정답( $o_i$ )과 일치하는 추론 흔적( $r_i$ )만을 남긴다. 이를 통해 증류된 데이터가 간결하면서도 정확한 궤적(trajectory)으로 구성되도록 보장한다.
단일 질문 전이: 필터링된 간결하고 정확한 흔적 데이터셋을 사용하여 단일 질문 입력에 대한 표준 지도 미세 조정(SFT)을 수행한다. 모델은 다중 질문 압박 하에서 관찰된 압축된 추론 동작을 재현하도록 학습하며, 이를 표준 추론 시에도 내재화한다.

결정적으로, 이 과정은 외부 교사 모델, 수동 프루닝(pruning) 휴리스틱, 또는 강화 학습을 필요로 하지 않는다.

주요 기여

자기 압축의 식별: 명시적인 길이 제약 없이 다중 질문 문맥 하에서 LRM이 더 짧은 per-question CoT 흔적을 생성하는 재현 가능한 추론 시점 현상을 체계적으로 규명했다.
ConPress 프레임워크: 다중 질문에서 단일 질문 설정으로 이러한 압축된 추론 동작을 추출하고 전이하는 경량화된 자기 지도 학습 방법을 제안했다.
실증적 검증: 저자들은 ConPress가 도전적인 벤치마크에서 경쟁력 있는 정확도를 유지하면서도 추론 토큰 사용량을 실질적으로 감소(30–60%)시킨다는 것을 입증하여, 유리한 정확도-효율성 트레이드오프를 보여주었다.

실험 결과

저자들은 MATH500, AIME25, GSM8K, Olympiad, AMC 등 다양한 벤치마크에 걸쳐 세 가지 추론 모델(Qwen3-4B-Thinking, R1-Distill-Qwen-7B, R1-Distill-Qwen-1.5B)을 대상으로 ConPress를 평가했다.

토큰 감소: Qwen3-4B-Thinking 모델의 경우, ConPress는 **MATH500에서 59%, AIME25에서 33%**의 추론 토큰 사용량 감소를 달성했다. 모든 모델에 걸쳐 평균 토큰 감소율은 33.9%에서 48.7% 사이였다.
정확도 보존: 공격적인 압축에도 불구하고 정확도 저하는 미미했다. Qwen3-4B-Thinking의 경우 평균 정확도 하락은 단 0.6 포인트였으며, R1-Distill-Qwen-7B의 경우 정확도가 사실상 유지되었다.
베이스라인과의 비교:
- RFTshortest (여러 샘플 중 가장 짧은 정답 선택)는 미미한 토큰 감소만을 보였다.
- DPOshortest는 상당한 압축을 달성했으나, 종종 눈에 띄는 정확도 하락을 동반했다.
- RL 기반 방법들 (예: LC-R1, AdaptThink)은 강력한 압축을 달성했지만, 복잡한 훈련 파이프라인이 필요하며 더 큰 정확도 하락을 겪었다.
- 테스트 타임 압축 (추론 시 직접 다중 질문 프롬프트 사용)은 토큰을 줄였으나 심각한 정확도 저하를 유발했다 (예: MQ-N3에서 평균 -31.3 포인트).
일반화: 이 방법은 분포 외(out-of-distribution) 과업인 MMLU-STEM에서도 약간의 정확도 손실과 함께 약 33–36%의 토큰 감소를 보이며 일반화 가능성을 입증했다.
절제 연구(Ablation Studies): 샘플링 프롬프트 내의 질문 수( $N$ )를 늘리면 압축 강도는 높아졌으나, $N=3$ 또는 $N=4$ 를 초과하면 토큰 절감 효과가 점차 둔화되었다. 이 방법은 다중 질문 프롬프트 내 타겟 질문의 위치에 관계없이 견고했다.

의의 및 주장

본 논문은 추론 시점에 유도된 자기 압축된 추론 동작이 모델 자체에 의해 체계적으로 내재화될 수 있음을 보여준다고 주장한다. 다중 질문 문맥의 구조적 압박을 활용함으로써, 이 방법은 명시적인 길이 제약, 외부 교사, 수동 프루닝 또는 강화 학습에 의존하지 않고도 더 토큰 효율적인 추론을 가능하게 한다.

저자들은 이를 효율성을 달성하는 방식의 근본적인 변화로 규정한다. 즉, 외부 패널티나 복잡한 RL을 통해 모델에게 간결함을 강요하는 대신, 모델 고유의 문맥 적응성을 활용하여 효율적으로 추론하도록 "가르칠" 수 있다는 것이다. 이 접근법은 기존의 압축 전략에 대한 단순하고 확장 가능하며 비용 효율적인 대안으로 제시되며, 최소한의 성능 손실로 효율성을 극대화하는 명확한 트레이드오프를 제공한다.