💬 NLP

Think Silently, Think Fast: Dynamic Latent Compression of LLM Reasoning Chains

이 논문은 지도 미세 조정(supervised fine-tuning)과 강화 학습(reinforcement learning)을 활용하여 LLM의 추론 체인을 잠재 공간(latent space)으로 동적으로 압축함으로써, 복잡한 수학적 과제에 대한 정확도를 유지하거나 심지어 향상시키면서도 계산 비용과 추론 시간을 크게 줄이는 프레임워크인 Compressed Latent Reasoning (CoLaR)을 소개한다.

원저자: Wenhui Tan, Jiaze Li, Jianzhong Ju, Zhenbo Luo, Ruihua Song, Jian Luan

게시일 2026-02-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wenhui Tan, Jiaze Li, Jianzhong Ju, Zhenbo Luo, Ruihua Song, Jian Luan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 수학 문제를 풀려고 노력 중이라고 상상해 보세요. 예를 들어, 7개의 숟가락이 21달러라면 5개의 숟가락은 얼마인지 계산하는 문제 말이죠.

기존 방식 (단어 하나하나 걷는 방식)
현재 대부분의 AI 모델은 이 문제를 한 번에 한 단어씩, 스스로에게 소리 내어 말하며 해결합니다. 그들은 이렇게 말할 것입니다: "좋아, 21 나누기 7은 3이야. 그러니까 숟가락 하나는 3달러네. 그럼 3 곱하기 5는 15야. 정답은 15야."
이것을 "사고의 사슬(Chain of Thought)"이라고 부릅니다. 이 방식은 잘 작동하지만, 느리고 비용이 많이 듭니다. 이것은 마치 우유를 사러 가게에 가는데, 그냥 걷는 것이 아니라 다음 발걸음을 내딛기 전에 카메라 앞에서 자신의 모든 걸음걸이를 설명해야 하는 것과 같습니다. 만약 당신이 한 번에 백만 명의 사람을 위해 이 일을 해야 한다면, 서버는 막히게 되고 시간이 너무 오래 걸릴 것입니다.

새로운 방식: CoLaR ("순간이동"하는 사고가)
이 논문은 CoLaR(압축된 잠재 추론, Compressed Latent Reasoning)이라는 새로운 방법을 소개합니다. CoLaR를 걷는 사람이 아닌, 순간이동을 하는 사람이라고 생각해보세요.

모든 단어를 말하는 대신, CoLaR는 여러 단어를 하나의 보이지 않는 "사고 패킷(thought packet, 잠재 변수)"으로 묶습니다.

압축: 당신이 *"21 나누기 7은 3이다"*라는 긴 문장을 가지고 있다고 가정해 봅시다. CoLaR는 그 문장 전체를 하나의 작고 밀도 높은 정보 점으로 압축합니다. 의미를 잃지 않으면서도 정보를 더 빽빽하게 채워 넣는 것입니다.
속도 조절 다이얼: 가장 멋진 점은 당신이 CoLaR에게 얼마나 빨리 생각할지 알려줄 수 있다는 것입니다.
- 만약 당신이 *"단계별로 생각해"*라고 말하면, AI는 시간을 들여서 한 점당 몇 개의 단어를 담습니다.
- 만약 당신이 *"5배 더 빠르게 생각해!"*라고 말하면, AI는 한 점에 다섯 개의 단어를 담습니다. 불필요한 미사여구를 건너뛰고 핵심 논리로 바로 뛰어듭니다.

어떻게 학습하는가 (훈련 체육관)
AI에게 이렇게 하는 법을 가르치는 것은 까다롭습니다. 단순히 "빨리 해"라고만 하면, AI가 게을러져서 틀린 답을 낼 수도 있기 때문입니다. 그래서 연구자들은 두 단계의 훈련 과정을 사용했습니다.

숙제 (지도 미세 조정, Supervised Fine-Tuning): 연구자들은 AI에게 수천 개의 수학 문제를 보여주었습니다. 때로는 천천히 생각하도록 요청했고, 때로는 빠르게 생각하도록 요청했습니다. 그들은 AI에게 특별한 기술을 가르쳤습니다: "단어 묶음을 보면, 다음 단어 묶음을 하나의 단위로서 예측하라." 이것은 학생에게 문단을 한 문장으로 요약한 뒤 다음으로 넘어가도록 가르치는 것과 같습니다.
게임 (강화 학습, Reinforcement Learning): 여기서 AI는 정말 똑똑해집니다. 연구자들은 AI가 다양한 방식으로 문제를 풀 수 있도록 했습니다.
- 만약 AI가 길고 구불구불한 경로를 거쳐 정답을 맞혔다면, 작은 보상을 주었습니다.
- 만약 AI가 짧고 영리한 지름길을 찾아 정답에 도달했다면, 큰 보상을 주었습니다.
- 만약 답이 틀렸다면, 벌점을 주었습니다.
- 시간이 흐르면서, AI는 이러한 압축된 패킷 속에서 "조용히 생각하는" 법을 배웠으며, 불필요한 단어에 에너지를 낭비하지 않고 해결책을 향한 가장 짧고 효율적인 경로를 찾아냈습니다.

결과
이 논문은 이 새로운 "순간이동" 방식이 엄청난 승리라고 주장합니다:

더 똑똑합니다: 다른 압축 방식들과 비교했을 때, CoLaR는 약 14% 더 정확합니다.
더 빠릅니다: 표준적인 단어 단위 방식에 비해 추론 사슬의 길이(AI가 밟는 단계 수)를 50% 이상 줄였으며, 정확도 손실은 거의 없습니다.
더 유연합니다: 매우 어려운 수학 문제의 경우, 특별한 "속도 조절 다이얼" 설정을 사용하면 AI가 정확도를 유지하면서도 추론 사슬을 83% 더 짧게 만들며 문제를 5% 더 잘 해결했습니다.

요약하자면
CoLaR는 벽 위의 벽돌 하나하나를 설명하는 느리고 수다스러운 관광 가이드에서, 필요한 모든 지식을 하나의 작고 컴팩트한 배낭에 담아 목적지로 즉시 당신을 순간이동 시켜주는 조용하고 효율적인 전문가로 업그레이드하는 것과 같습니다. 이를 통해 AI는 "조용히 생각"함으로써 훨씬 더 빠르게 작동할 수 있으며, 불필요한 단어에 에너지를 쓰는 대신 컴퓨터 자원을 절약하면서도 문제를 더 잘 해결할 수 있게 됩니다.

기술 요약: 압축된 잠재 추론 (Compressed Latent Reasoning, CoLaR)

문제 정의

대규모 언어 모델(LLM)은 사고 사슬(Chain-of-Thought, CoT) 프롬프팅을 통해 명시적인 토큰 수준의 추론 사슬을 생성함으로써 수학적 추론에서 우수한 성능을 달ей합니다. 그러나 이러한 긴 시퀀스는 계산 비용이 많이 들고 비효율적이며, 특히 고동시성 조건에서 상당한 서버 부하를 발생시키고 확장성을 저해합니다. 기존의 효율화 방법들은 중복된 토큰을 건너뛰거나 압축된 표기법을 사용하려고 시도하지만, 여전히 희소한(sparse) 토큰 기반 표현에 국한되어 있습니다. 또한, 최근의 잠재 기반 추론 방식(예: Coconut, CODI)은 종종 고정된 길이의 추론 사슬과 결정론적인 잠재 변수 생성에 의존하여 적응성과 탐색 능력을 제한합니다.

방법론: 압축된 잠재 추론 (CoLaR)

CoLaR는 다양한 추론 경로를 탐색할 수 있는 능력을 보존하면서, 추론 과정을 밀집된 잠재 공간(dense latent space)으로 동적으로 압축하도록 설계된 새로운 프레임워크입니다. 이 방법은 두 단계의 학습 과정을 통해 작동합니다.

1. 보조 목적 함수를 포함한 지도 미세 조정 (SFT)

CoLaR는 표준적인 다음 토큰 예측을 넘어, **다음 압축 임베딩 예측(next compressed embedding prediction)**이라는 보조 목적 함수를 도입하여 이를 확장합니다.

동적 압축: 학습 중에 압축 계수 $c$ 가 사전 정의된 범위 $[1, c_{max}]$ 에서 무작위로 샘플링됩니다. $c$ 개의 연속된 추론 토큰의 임베딩은 임베딩 압축(Embedding Compress) 모듈을 사용하여 하나의 압축된 임베딩으로 병합됩니다. 이 모듈은 단순 평균 풀링(mean pooling)으로 인한 왜곡을 피하기 위해 임베딩의 합에 $1/\sqrt{c}$ 를 곱하여 원래의 분포 특성을 보존합니다.
이중 헤드 구조: 모델은 두 개의 헤드를 사용합니다:
- 잠재 헤드(Latent Head): 다음 압축 임베딩 분포의 평균( $\mu$ )과 표준 편차( $\sigma$ )를 예측하는 확률적 헤드(two-headed MLP)입니다. 이를 통해 결정론적인 값이 아닌 밀집된 잠재 변수를 자기회귀적으로 예측할 수 있습니다.
- 언어 헤드(Language Head): 최종 정답을 예측하며, 결정적으로 압축된 임베딩에 대응하는 원래의 추론 토큰을 예측함으로써 밀집된 감독(dense supervision)을 제공합니다. 이는 모델이 압축된 그룹의 의미론을 학습할 수 있도록 다중 레이블 분류 작업에 근사하게 만듭니다.
손실 함수: 학습 손실은 언어 모델링 손실(토큰 예측용)과 잠재 손실을 결합합니다. 잠재 손실은 평균 제곱 오차(MSE)와 엔트로피 정규화 항을 결합한 소프트 MSE(soft-MSE) 공식을 사용합니다. 이는 모델이 데이터를 적합시키는 동시에 탐색 능력(다양한 잠재 변수)을 유지하도록 유도하여, 더 단순한 데이터셋에서 관찰되는 표준 NLL(Negative Log-Likelihood) 손실의 과소 적합 문제를 해결합니다.

2. 탐색과 활용을 위한 강화 학습 (RL)

CoT 교사를 모방하는 수준을 넘어 잠재 추론의 잠재력을 끌어내기 위해, CoLaR은 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 채택합니다.

확률적 샘м플링: 잠재 헤드가 확률 분포를 출력하기 때문에, 모델은 동일한 입력에 대해 다양한 잠재 추론 사슬을 샘플링할 수 있습니다.
보상 메커니즘: 각 질문에 대해 출력 세트(잠재 사슬 + 정답)가 생성됩니다. 보상은 정답 여부(정답 시 1, 오답 시 0)에 따라 할당됩니다.
균형 전략: GRPO 목적 함수는 그룹 정규화된 보상을 계산합니다. 결정적으로, 보상은 사슬 내의 토큰/잠재 변수 수로 나누어 평균을 냅니다. 이 설계는 모델이 짧고 정확한 추론 경로를 **활용(exploit)**하도록(토큰당 보상이 더 높으므로) 자연스럽게 유도하는 동시에, 올바른 솔루션을 찾기 위해 다양한 경로를 **탐색(explore)**하도록 합니다.

주요 기여

동적 속도 잠재 추론: CoLaR은 여러 단어 토큰의 의미를 담고 있는 잠재 변수를 자기회귀적으로 예측하는 프레임워크를 도입합니다. 이를 통해 추론 시점에 원하는 압축 계수를 프롬프트하는 것만으로 추론 속도를 동적으로 조절할 수 있습니다.
확률적 잠재 헤드 및 RL 통합: 결정론적인 기존 잠재 방식과 달리, CoLaR은 확률적 잠재 헤드를 사용합니다. 이를 강화 학습과 결结合하여, 모델이 다양한 추론 경로를 탐색하고 더 압축된 솔루션을 활용할 수 있게 함으로써 정확도를 희생하지 않고도 효율성을 크게 향상시킵니다.
새로운 학습 목적 함수: 다음 압축 임베딩 예측 작업과 소프트 MSE 잠재 손실의 도입은 모델이 효과적으로 밀집된 표현을 학습하고 탐색-활용 트레이드오프를 균형 있게 조절할 수 있도록 합니다.

실험 결과

GSM8k, GSM8k-hard, SVAMP, MultiArith와 같은 4개의 초등 수학 데이터셋과 더 까다로운 MATH 데이터셋에 대해 광범위한 평가가 수행되었습니다.

잠재 베이스라인 대비 성능: 초등 수학 데이터셋에서 CoLaR은 유사한 압축 비율에서 최첨단 잠재 기반 베이스라인(예: Coconut)보다 14.1% 더 높은 정확도를 달േ했습니다.
명시적 CoT 대비 효율성: 명시적 CoT와 비교했을 때, CoLaR은 단 4.8%의 성능 저하만으로 추론 사슬 길이를 53.3% 감소시켰습니다.
도전적인 과제에서의 RL 강화 효과: MATH 데이터셋에서 CoLaR에 RL을 적용하면 추론 사슬 길이를 82.8% 줄이면서도 비-RL 버전보다 5.36%의 정확도 향상을 보였습니다.
스케일링: 1B에서 8B 파라미터까지 스케일링하는 실험을 통해 CoLaR의 효율성과 정확도 이점이 더 큰 모델 용량에서도 지속됨을 확인했습니다. CoLaR-8B-RL은 GPQA 벤치마크에서 CoT 교사를 능가했습니다 (37.5% vs 35.7%).
일반화: 모델은 보지 못한 압축 계수와 도메인 외 데이터셋(예: MultiArith, GPQA)에 대해 강력한 일반화 능력을 보여주었습니다.

의의

본 논문은 Co-LaR이 희소한 토큰 수준 처리를 밀집된 잠재 공간 추론으로 전환함으로써 LLM 추론의 핵심 병목 구간인 계산 비용 문제를 해결한다고 주장합니다. 그 의의는 다음과 같습니다:

동적 적응성: 추론 시점에 추론 속도(압축 계수)를 조절할 수 있는 능력은 다양한 실제 애플리케이션 제약 조건에 적합한 유연한 지연 시간-정확도 트레이드오프를 제공합니다.
희생 없는 효율성: 확률적 잠재 추론과 RL을 활용함으로써, CoLaR은 복잡한 과제에서 정확도를 유지하거나 심지어 향상시키면서도 추론 사슬 길이를 대폭(최대 82.8%) 줄일 수 있음을 입증하여, 효율성이 반드시 성능 저하를 수반한다는 통념에 도전합니다.
잠재 공간에서의 탐색-활용: 이 연구는 잠재 추론 과정에 확률성과 강화 학습을 도입하는 것이 결정론적이고 고정된 길이의 방식이 놓칠 수 있는 더 효율적인 추론 경로를 발견할 수 있게 함을 보여줍니다.

저자들은 현재의 성능이 일부 벤치마크에서 명시적 CoT를 지속적으로 능가하기보다는 근사하는 수준이라는 점과, 이산적 토큰화 제약으로 인해 정수가 아닌 압축 계수로 일반화하는 데 어려움이 있다는 점 등 한계점을 인정합니다. 그러나 이 프레임워크는 효율적이고 확장 가능하며 적응 가능한 LLM 추론을 위한 유망한 방향을 제시합니다.