🤖 machine learning

SuperThoughts: Reasoning Tokens in Superposition

이 논문은 연속적인 사고 사슬(Chain-of-Thought) 토큰을 다중 토큰 예측 모듈을 통해 디코딩되는 단일 잠재 표현으로 압축함으로써, 복잡한 수학 및 추론 벤치마크에서 경쟁력 있는 정확도를 유지하면서도 추론 길이를 20~30% 줄이고 추론 처리량을 두 배로 높이는 방법론인 SuperThoughts를 소개한다.

원저자: Zheyang Xiong, Shivam Garg, Max Yu, Vaishnavi Shrivastava, Haoyu Zhao, Anastasios Kyrillidis, Dimitris Papailiopoulos

게시일 2026-06-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zheyang Xiong, Shivam Garg, Max Yu, Vaishnavi Shrivastava, Haoyu Zhao, Anastasios Kyrillidis, Dimitris Papailiopoulos

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 어려운 수학 문제를 풀려고 노력하고 있다고 상상해 보세요. 보통 똑똑한 컴퓨터(대규모 언어 모델이라고 불리는)는 사람이 긴 생각의 목록을 적어 내려가는 것처럼, 최종 답을 내기 전에 스스로 단계별로 대화하며 문제를 해결합니다. 이것을 "사고의 사슬(Chain-of-Thought, CoT)"이라고 부릅니다.

이 사고 과정의 각 단계를 컴퓨터가 쓰는 단어 하나하나라고 생각해 보세요. 어려운 문제를 풀기 위해 컴퓨터는 500단어를 써야 할 수도 있습니다. 이 단어 하나하나를 쓸 때마다 컴퓨터는 멈춰서 생각하고 거대한 계산을 수행해야 합니다. 이는 정확하지만, 마치 1미터마다 엔진을 끄고 다시 켜야 하는 자동차를 운전하는 것처럼 느리고 많은 에너지를 사용합니다.

문제점: 너무 많은 멈춤
이 논문의 연구자들은 이렇게 질문했습니다. "왜 우리는 단어 하나마다 멈추고 다시 시작해야 할까요? 컴퓨터가 두 단어를 동시에 생각할 수는 없을까요?"

컴퓨터가 (글자로 내뱉는 대신) '보이지 않는' 생각만 하도록 만들려 했던 이전의 시도들은 실패했습니다. 왜냐하면 명확한 피드백 없이 컴퓨터가 길을 잃고 혼란에 빠졌기 때문입니다. 이는 마치 새로운 언어를 배울 때 머릿속으로만 생각하고 절대 입 밖으로 내뱉지 않는 것과 같습니다. 생각을 소리 내어 말하기 전까지는 자신의 생각이 맞는지 알 수 없기 때문에 길을 잃을 수 있습니다.

해결책: 슈퍼소트(SuperThoughts)
이 논문은 SuperThoughts라는 새로운 방법을 소개합니다. 작동 방식은 다음과 같은 간단한 비유를 들어 설명할 수 있습니다.

당신이 요리를 준비하는 요리사라고 상상해 보세요.

기존 방식 (표준): 채소를 하나 썰고, 익히고, 맛을 본 다음, 그다음 채소를 썰고, 익히고, 맛을 봅니다. 하나씩 차례대로 진행합니다. 시간이 오래 걸립니다.
SuperThoughts 방식: 두 개의 채소를 동시에 썰어서 특별한 "슈퍼 볼"(이것이 압축기/Compressor입니다)에 담습니다. 그런 다음 이 슈퍼 볼을 요리합니다. 요리가 끝난 후 꺼내면, 단순히 익은 채소 하나가 나오는 것이 아니라, 완벽하게 조리된 두 개의 채소가 준비되어 나옵니다(이것이 메인 모듈/Main Module과 MTP 모듈/MTP Module이 함께 작동하는 것입니다).

두 개의 생각을 하나의 "슈퍼 생각"으로 묶음으로써, 컴퓨터는 동일한 결과를 얻기 위해 절반의 계산 단계(순전파/forward passes)만 거치면 됩니다. 이론적으로 이는 속도를 두 배로 높여줍니다.

안전망: "신뢰도 체크"
하지만 문제가 하나 있습니다. 때때로 두 개의 생각을 하나로 묶는 것이 너무 어려울 수 있습니다. 만약 컴퓨터가 문제의 정말 까다로운 부분을 풀려고 한다면, 한 번에 두 단계를 진행하다가 혼란에 빠질 수 있습니다.

이를 해결하기 위해 연구자들은 신뢰도 체크(Confidence Check) 기능을 추가했습니다.

이것은 마치 운전자가 도로 상황을 확인하는 것과 같습니다. 길이 넓고 쉬운 경우("쉬운" 생각), 운전자는 속도를 높여 한 번에 두 단계를 밟습니다.
하지만 길이 안개 낀 것처럼 위험해지면("어려운" 생각), 운전자는 속도를 줄이고 예전 방식처럼 한 번에 한 단계씩 진행합니다.

이 과정은 자동으로 일어납니다. 만약 컴퓨터가 다음 두 단어를 정확하게 예측할 자신이 없다면, "아니야, 지금은 그냥 한 단어만 할게"라고 말하고, 그다음 단계에서 다시 시도합니다. 이를 통해 컴퓨터가 속도를 높이려다 실수를 저지르는 일을 방지합니다.

연구 결과
연구진은 여러 가지 어려운 수학 및 과학 퍼즐(MATH500 및 OlympiadBench 등)을 통해 테스트를 진행했습니다. 결과는 다음과 같았습니다.

속도: 컴퓨터는 문제를 해결하는 데 약 20%에서 30% 적은 단계를 거쳤습니다. 이는 마치 지름길을 이용해 긴 자동차 여행 시간을 절반으로 줄인 것과 같습니다.
정확도: 놀랍게도 컴퓨터가 크게 똑똑함을 잃지는 않았습니다. 정확도는 느리고 신중한 방식에 비해 아주 미미하게(100점 만점에 약 1~2점 정도) 떨어졌을 뿐입니다.
크기의 중요성: 더 큰 컴퓨터(더 많은 "뇌 용량"을 가진 컴퓨터)가 작은 컴퓨터보다 "한 번에 두 개씩" 하는 기술을 더 잘 다루었습니다.

요약
SuperThoughts는 AI가 지능을 잃지 않으면서 더 빠르게 생각하게 만드는 방법입니다. 한 번에 한 단계씩 가는 대신, 한 번에 두 단계를 밟으려고 시도합니다. 만약 확신이 서지 않으면, 정답을 맞히기 위해 자동으로 속도를 늦추고 한 번에 한 단계씩 진행합니다. 이는 답변의 정확성을 거의 유지하면서도 시간과 계산 능력을 절약해 줍니다.

기술 요약: SuperThoughts: 중첩된 추론 토큰 (Reasoning Tokens in Superposition)

문제 정의

거대 언어 모델(LLM)은 명시적인 사고 사슬(Chain-of-Thought, CoT) 시퀀스를 생성함으로써 복잡한 문제를 해결하며, 여기서 각 토큰은 하나의 순전파(forward pass)를 나타내는 계산 단위가 됩니다. OpenAI o1 및 DeepSeek-R1과 같은 최신 모델들은 테스트 시간 연산량(test-time compute)을 늘리는 것이 성능을 크게 향상시킨다는 것을 보여주었지만, 이러한 순차적인 토큰 생성 방식은 계산 비용이 매우 높습니다.

이산적인 토큰 생성을 우회하여 연속적인 잠재 공간(latent space)에서 추론하려는 기존의 접근 방식들(예: COCONUT, latent reasoning)은 결정적인 문제에 직면해 있습니다. 바로 중간 감독(intermediate supervision)의 부재입니다. 표준 CoT 훈련은 모든 단계에서 토큰 수준의 교차 엔트로피 손실(cross-entropy loss)에 의존하여 조밀한 그래디언트 신호를 제공합니다. 반면, 추론이 제약 없는 잠재 공간에서 발생할 경우 이러한 감독 신호가 사라져, 훈련의 불안정성, 표현 드리프트(representational drift), 그리고 장기적 과업(long-horizon tasks)에서의 성능 저하를 초래합니다. 반대로, 단순히 컨텍스트를 압축하거나 파인튜닝을 통해 이산적 토큰 수를 줄이는 방식은 필요한 순전파 횟수 자체를 줄이지는 못하므로 추론 처리량(inference throughput) 개선에 한계가 있습니다.

본 연구가 다루는 핵심 질문은 다음과 같습니다: 모델이 이산적 토큰 생성의 중간 감독 신호를 유지하면서도, 더 풍부하고 중첩된(superposed) 잠재 공간에서 추론하도록 훈련될 수 있는가?

방법론

저자들은 두 개의 연속된 CoT 토큰 쌍을 단일 잠재 표현으로 압축하여, 모델이 한 번의 스텝에서 두 개의 토큰을 디코딩할 수 있게 하는 SuperThoughts 프레임워크를 제안합니다. 이 방식은 길이 $L$ 인 추론 사슬에 필요한 순전파 횟수를 절반( $L/2$ 스텝)으로 줄이면서도 이산적 토큰 감독을 보존합니다.

아키텍처

모델은 세 가지 주요 구성 요소로 이루어집니다:

압축기 (Compressor): 토큰 임베딩 쌍 $(c_{2i-1}, c_{2i})$ $(c_{2 i - 1}, c_{2 i})$ 를 단일 잠재 벡터 $x_i$ $x_{i}$ 로 인코딩합니다. 저자들은 두 가지 구현 방식을 탐구했습니다:
- 선형 투영 (Linear Projection): 임베딩을 결합(concatenate)한 후 학습 가능한 행렬을 통해 투영합니다.
- 트랜스포머 블록 (Transformer Block): 작은 트랜스포머 레이어를 통해 쌍을 처리하고, 두 번째 토큰의 은닉 상태(hidden state)를 추출합니다.
메인 모듈 (Main Module): 주요 추론 백본(사전 훈련된 LLM에서 초기화됨)입니다. 압축된 벡터 $x_i$ 를 처리하여 은닉 상태 $h_i$ 를 생성하고 다음 홀수 인덱스 토큰( $c_{2i+1}$ )을 예측합니다.
다중 토큰 예측 (MTP) 모듈: 그 다음 짝수 인덱스 토큰( $c_{2i+2}$ )을 예측하는 경량 모듈입니다. 이전 짝수 토큰, 새로 예측된 홀수 토큰, 그리고 메인 모듈의 은닉 상태를 입력으로 받아 이들을 벡터 $x'_i$ 로 투영하여 다음 예측을 생성합니다. 두 모듈은 동일한 출력 언어 모델링 헤드를 공유합니다.

훈련 전략

잠재 추론의 불안정성을 해결하기 위해 두 단계의 훈련 프로토콜이 사용됩니다:

잠재 증류 (Latent Distillation, 1단계): 압축기가 사전 훈련된 언어 매니폴드(language manifold)와 정렬되도록 훈련합니다. "교사(teacher)" 모델은 이산 토큰 시퀀스를 처리하고, "학생(student)" 모델은 압축된 쌍을 처리합니다. 압축기는 학생의 은닉 상태(압축된 $x_i$ 를 처리한 후)와 교사의 은별 상태(해당 토인 쌍을 처리한 후) 사이의 Smooth-L1 거리를 최소화하도록 최적화됩니다. 이를 통해 압축된 표현이 원래의 이산 시퀀스가 가진 추론 상태를 보존하도록 보장합니다.
결합 엔드 투 엔드 훈련 (Joint End-to-End Training, 2단계): 메인 모듈, MTP 모듈, 압축기를 모든 예측 토큰(메인 및 MTP 출력 모두)에 대해 표준 교차 엔트로피 손실을 사용하여 공동으로 훈련합니다.

적응형 추론 (Adaptive Inference)

모든 추론 단계가 동일하게 어렵지는 않다는 점을 인식하여, 저자들은 신뢰도 기반 적응 메커니즘을 도입했습니다. 각 단계에서 MTP 모듈의 예측 신뢰도(최대 확률)가 임계값 $\tau$ 보다 낮으면, 모델은 MTP 예측을 거부합니다. 그 후 해당 단계에 대해 표준 디코딩 방식으로 회귀하여, 단일 토큰을 메인 모듈에 직접 입력합니다. 이를 통해 모델은 "어려운" 토큰에는 더 많은 연산을 할당하고, "쉬운" 토큰에서는 효율성을 유지할 수 있습니다.

주요 기여

SuperThoughts 아키텍처: 토큰 쌍을 중첩된 임베딩으로 융합하고 메인 모듈과 MTP 모듈을 사용하여 두 개의 토큰을 한 번에 디코딩함으로써, 필요한 순전파 횟수를 실질적으로 절반으로 줄이는 새로운 프레임워크를 제안합니다.
2단계 훈련 프로토콜: 이산적 감독을 통한 증류를 먼저 수행한 후 공동 엔드 투 엔드 훈련을 진행함으로써 잠재 추론을 안정화하는 방법을 제시합니다.
적응형 추론 메커니즘: 불확실한 추론 단계에서 정확도를 위해 처리량을 희생하는 동적 회귀 시스템을 통해 복잡한 과업에서의 성능 저하를 방지합니다.
실증적 평가: 수학 및 과학 추론 벤치마크(MATH500, AMC23, OlympiadBench, GPQA-Diamond)에서 종합적인 평가를 수행하여, 이산적 CoT 대비 최소한의 정확도 손실만으로 상당한 CoT 길이 감소를 달성함을 입증했습니다.

결과

저자들은 Qwen2.5-Math 모델(1.5B, 7B, 14B 변체)을 대상으로 여러 벤치마크에서 SuperThoughts를 평가했습니다:

길이 감소: 적응형 메커니즘을 사용할 때, SuperThoughts는 CoT 길이를 20~35% 감소시킵니다.
정확도: 대부분의 과업에서 표준 이산 CoT 베이스라인과 1~2 포인트 내외의 정확도를 유지합니다. 예를 들어, $\tau=0.999$ 인 1.5B 모델의 경우, MATH500 정확도는 73.0%에 도달했습니다(베이스라인 72.4% 대비), 이때 CoT 길이는 36% 감소했습니다.
규모 효과 (Scale Effects): 큰 모델(7B)이 작은 모델(1.5B)보다 공격적인 압축을 더 잘 견뎌냅니다. 적응형 추론이 없을 때 1.5B 모델은 정확도가 14~~21포인트 급락한 반면, 7B 모델은 5~~12포인트만 하락했습니다.
HAMburger와의 비교: SuperThoughts는 모든 압축 수준에서 HAMburger(Liu & Zhang, 2025) 베이스라인보다 우수한 성능을 보였으며, 동일한 정확도에서 더 짧은 CoT 길이를 달성하거나 동일한 CoT 길이에서 더 높은 정확도를 달립했습니다.
추론 속도 향상: 이론적인 속도 향상은 길이 감소에 비례하지만, 실제 벽시계 시간(wall-clock time) 속도 향상은 압축기 및 MTP 모듈의 오버헤드로 인해 약간 낮습니다. 그러나 이 오버헤드는 모델 크기가 커질수록 줄어듭니다. 14B 모델의 경우, 약 33%의 길이 감소가 약 28%의 생성 시간 감소로 이어졌습니다.

의의

본 논문은 SuperThoughts가 이산적 토큰 감독이 제공하는 안정성을 희생하지 않으면서도, 모델이 중첩된 잠재 공간에서 추론할 수 있음을 성공적으로 보여주었다고 주장합니다. 토큰 쌍을 압축하고 적응형 추론을 활용함으로써, 이 프레임워크는 장기적 추론 과업의 계산 비용을 줄이는 실질적인 경로를 제시합니다. 이 연구는 더 큰 모델이 중첩된 토큰을 안정적으로 처리할 수 있는 충분한 단계별 용량을 가지고 있음을 시사하며, 이는 향후 스케일링을 통해 더 높은 압축(예: 3개 이상의 토큰 중첩)이 가능할 수 있음을 암시합니다. 또한, 저자들은 네이티브 MTP 모듈이 미래의 LLM(예: Qwen3-Next, MiMo)에서 표준이 됨에 따라, SuperThoughts의 적용이 더욱 간단하고 효과적이 될 것이라고 언급했습니다.