💬 NLP

Training Continuous Chain of Thought Models: A Tale of Two Regimes

이 논문은 연속적인 사고 사슬(Chain-of-Thought) 모델을 학습시키기 위한 더 빠른 직접 감독 방법인 C-MTP를 소개하며, 이는 기존의 직접적인 방식들보다 우수한 성능을 보이고 짧은 추론 흔적에서는 더 느린 간접적인 방식들과 대등한 성능을 보여주는 동시에, 현재의 연속적 CoT 기술들이 긴 추론 사슬을 가진 복잡한 작업에 적용될 때 상당히 어려움을 겪는다는 점을 밝혀낸다.

원저자: Varun Yerram, He He, Eunsol Choi

게시일 2026-07-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Varun Yerram, He He, Eunsol Choi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 로봇에게 까다로운 퍼즐을 푸는 법을 가르치려 한다고 상상해 보세요. 과거에 로봇은 그냥 답을 내뱉곤 했는데, 충분히 생각하지 않았기 때문에 자주 틀리곤 했습니다. 그러다 과학자들이 마법 같은 비책을 발견했습니다. 만약 로봇에게 먼저 "생각을 소리 내어 말하라"고 지시하여, 자신의 추론 과정을 아주 작은 단계 하나하나까지 모두 적게 한다면, 로봇이 문제를 훨씬 더 잘 풀게 된다는 사실을 알아낸 것입니다. 이것을 "사고의 사슬(Chain-of-Thought)"이라고 부릅니다. 이는 마치 학생이 수학 시험에서 풀이 과정을 보여주는 것과 같습니다. 단계를 더 많이 적을수록 정답을 맞힐 확률이 높아집니다.

하지만 여기에는 함정이 있습니다. 모든 단계를 일일이 적는 것은 많은 시간과 컴퓨터 자원을 소모합니다. 이는 마치 달리기 선수가 한 걸음 내디딜 때마다 멈춰 서서 일기를 쓰라고 요구하는 것과 같습니다. 이는 속도를 엄청나게 늦춥니다. 그래서 연구자들은 이렇게 질문하기 시작했습니다. "로봇이 비밀스럽고 압축된 언어로 생각하게 할 수는 없을까? 긴 문장 대신 짧고 밀도 높은 메모를 사용하여 머릿속으로 모든 생각을 처리할 수 있을까?" 이 아이디어가 바로 "연속적 사고의 사슬(Continuous Chain-of-Thought)"입니다. 목표는 똑똑한 사고 능력은 유지하면서, 느리고 장황한 말하기는 버리는 것입니다. 하지만 진짜 문제는 이것입니다. 과연 우리는 로봇에게 똑똑함을 잃지 않으면서도 이 비밀스러운 메모로 생각하도록 가르칠 수 있을까요?

"연속적 사고의 사슬 모델 학습하기: 두 가지 체제의 이야기(Training Continuous Chain of Thought Models: A Tale of Two Regimes)"라는 제목의 이 논문은 그 질문을 깊이 파고듭니다. 저자인 Varun Yerram, He He, Eunsol Choi는 로봇에게 이 비밀 언어를 가르치는 두 가지 다른 방법을 테스트하는 탐정 역할을 합니다. 그들은 이 두 가지 방법을 "직접 감독(Direct Supervision)"과 "간접 감독(Indirect Supervision)"이라고 부릅니다.

**간접 감독(Indirect Supervision)**은 마치 선생님이 학생이 화이트보드에 단계별로 문제를 푸는 모습을 지켜보는 것과 같습니다. 이 과정에서 로봇은 중간 단계의 생각(잠재 변수, latents)을 하나씩 **자기회귀적으로 예측(autoregressively predicts)**합니다. 이 느린 순차적 예측을 안내하기 위해, (전체 텍스트를 사용하여 이미 문제를 해결한) 교사 모델은 자신의 내부 "뇌 상태(활성화 값)"를 학생 로봇과 공유합니다. 로봇은 이 내부 상태를 모방하여 자신만의 생각의 흐름을 하나씩, 마치 도미노가 차례로 넘어지는 것처럼 생성하는 법을 배웁니다. 이는 정확하지만 느립니다.

저자들이 새로운 방법으로 소개한 직접 감독(Direct Supervision), 즉 C-MTP는 선생님이 학생에게 인덱스 카드 한 뭉치를 건네주는 것과 같습니다. 각 카드는 생각하는 과정의 한 덩어리를 나타냅니다. 선생님은 이렇게 말합니다. "여기 이 생각 덩어리에 대한 답이 있다. 너는 그저 이 카드에 들어갈 단어들을 예측하는 법을 배우기만 하면 된다." 이를 통해 로봇은 한 글자씩 읽는 대신 책의 한 페이지를 통째로 읽는 것처럼, 여러 단계를 동시에 학습할 수 있습니다. 이는 훨씬 빠르고 효율적입니다.

연구자들은 이 방법들을 세 가지 난이도, 즉 세 개의 캠프가 있는 산을 오르는 것처럼 테스트했습니다.

캠프 1: 쉽고 구조화된 경로.
생각의 과정이 짧고 깔끔한 간단한 수학 문제(예: "18 곱하기 12는 216이다")에서, 새로운 직접 감독(C-MTP) 방식은 슈퍼스타였습니다. 이 방식은 학습 속도가 더 빨랐고, 배우는 데 필요한 예시도 더 적었으며, 기존의 느린 간접 방식보다 처음 보는 문제를 해결하는 능력이 실제로 더 뛰어났습니다. 그것은 마치 마라톤 선수만큼 빠르게 달릴 수 있으면서도 훈련량은 훨씬 적은 단거리 선수와 같았습니다.

캠프 2: 장황하고 수다스러운 경로.
문제가 조금 더 복잡해져서 매 단계마다 긴 문장 형태의 설명이 필요한 경우(예: 모든 단계에 대해 완전한 문장을 쓰는 것), 상황은 역전되었습니다. 간접 감독 방식이 우위를 점했습니다. 왜냐하면 이 방식은 긴 생각을 몇 개의 짧은 메모로 압축하도록 설계되었기 때문입니다. 직접 방식은 긴 설명을 예측하려고 노력하다가 단 하나의 작은 실수만 해도 전체 사고의 사슬이 무너졌기 때문에 어려움을 겪었습니다. 이는 마치 긴 이야기를 한 단어씩 추측하며 베껴 쓰는 것과 같아서, 오타 하나가 문단 전체를 망쳐버리는 것과 같았습니다.

캠프 3: 현실적이고 혼란스러운 정상.
마지막으로, 연구자들은 가장 어렵고 현실적인 문제, 즉 인간이 쓰는 것처럼 수백 단어의 추론이 포함된 복잡한 수학 퍼즐을 대상으로 두 방식을 테스트했습니다. 여기서 이야기는 슬픈 방향으로 흐릅니다. 빠른 직접 방식과 신중한 간접 방식 모두 무너졌습니다. 두 방식 모두 일반적인 방식(그저 로봇이 자신의 생각을 글로 다 쓰게 하는 방식)에 비해 성능이 약 65% 급락했습니다.

연구자들은 현실적인 긴 작업에서 두 방식 모두 복잡성을 감당하지 못한다는 것을 발견했습니다. 직접 방식은 작은 수학적 오류를 계속 만들어내어 그것이 쌓여갔고, 간접 방식은 길고 복잡한 생각을 충분히 정확하게 압축하지 못했습니다. 결국, 현재의 "연속적 사고의 사슬"이라는 비밀 언어는 아직 현실 세계에 적용될 준비가 되지 않은 듯합니다. 논문은 우리가 로봇을 테스트하는 데 사용하는 쉬운 벤치마크들이 우리를 속이고 있을 수 있으며, 실제의 복잡하고 혼란스러운 문제에 직면했을 때 로봇이 실제보다 더 똑똑해 보이게 만든다고 시사합니다.

결론적으로, 이 논문은 단 하나의 승자를 선언하지 않습니다. 대신, 새로운 직접 방식이 단순하고 구조화된 작업에는 환상적이고 빠른 도구이지만, 복잡한 현실 세계의 문제를 해결하기 위해 비밀 코드로 생각하는 로봇을 만들기까지는 아직 갈 길이 멀다는 것을 알려줍니다. 모든 것을 글로 쓰지 않고도 빠르고 똑똑하게 생각하는 로봇의 꿈은 여전히 진행 중입니다.

문제 정의
대규모 언어 모델(LLM)은 긴 사고 사슬(Chain-of-Thought, CoT) 트레이스를 생성함으로써 복잡한 추론 작업에서 높은 성능을 달나합니다. 그러나 이러한 장황한 토큰 시퀀스를 자기회귀적(autoregressively)으로 생성하는 것은 추론 과정에서 상당한 계산 비용을 발생시킵니다. 연속적 사고 사슬(Continuous Chain-of-Thought, ContinuousCoT) 방식은 이 문제를 완화하기 위해 이산적인 추론 토큰을 짧은 밀집 잠재 표현(dense latent representations) 시퀀스로 대체하는 것을 목표로 합니다. 기존의 접근 방식은 크게 두 가지 범주로 나뉩니다. 하나는 잠재 표현을 자기회귀적으로 예측한 후 이를 디코딩하거나 증류(distillation)하는 간접 감독(indirect supervision) 방식(예: COCONUT, CODI)이며, 다른 하나는 추론 트레이스를 잠재 공간으로 직접 매핑하려는 직접 감독(direct supervision) 방식(예: CoLaR)입니다.

간접 방식은 자기회귀적 잠재 생성으로 인해 느린 순차적 학습의 문제를 겪으며, 종종 복잡한 증류 파이프라인에 의존합니다. 직접 방식은 병렬 학습을 가능하게 하지만, 잠재 공간에 대한 복잡한 분포 모델링과 같은 최적화 문제로 어려움을 겪어 왔으며, 표준 CoT 미세 조정(fine-tuning)에 비해 장황하거나 실제적인 추론 트레이스에서 성능 저하를 보이기도 했습니다.

방법론: C-MTP
저자들은 더 효율적으로 연속적 잠재 추론을 시뮬레이션하기 위해 설계된 새로운 직접 감독 프레임워크인 **C-MTP (Multi-Token Prediction을 통한 Continuous Chain-of-Thought)**를 소개합니다.

핵심 개념: 잠재 표현을 매개변수화된 가우시안 분포로 모델링하거나(CoLaR의 경우) 자기회귀적으로 예측하는(간접 방식의 경우) 대신, C-MTP는 중간 잠재 표현을 원래 CoT 트레이스의 특정 토큰 구간(span)의 **집계된 토큰 임베딩(aggregated token embedding)**으로 취급합니다.
학습 목표: 모델은 **다중 토큰 예측(Multi-Token Prediction, MTP)**을 사용하여 학습됩니다. 추론 트레이스 $y$ 가 주어지면, 이를 중복되지 않는 $s$ 개의 토큰 구간으로 분할합니다. 각 구간은 토큰 임베딩의 평균을 통해 단일 잠재 벡터 $z_i$ 로 압축됩니다. 그 후 모델은 입력 프롬프트와 이전 잠재 표현들에 조건화되어 각 잠재 구간을 구성하는 $s$ 개의 토큰을 병렬적으로 예측하도록 학습됩니다.
손실 함수: 목적 함수는 다중 토큰 예측 손실(각 구간 내의 토큰 예측)과 표준 정답 생성 손실을 결합합니다. 저자들은 학습을 가이드하기 위해 지식 증류를 위한 CoT 교사(teacher)를 사용하지만, 절제 연구(ablation studies)를 통해 C-MTP가 교사 없이도 효과적임을 보여줍니다.
추론: 추론 단계 동안, 모델은 각 단계에서 $s$ 개의 토큰을 샘플링하고, 이들의 임베딩을 집계하여 다음 잠재 표현을 형성하며, end-of-thinking 토큰이 생성될 때까지 이 과정을 반복합니다. 그 후 모델은 최종 정답을 위해 표준 자기회귀 생성으로 전환합니다.

주요 기여

C-MTP 프레임워크: MTP를 사용하여 연속적 잠재 추론을 표준 사전 학습 목적 함수와 정렬함으로써, 교사 강제(teacher forcing)를 통한 완전한 병렬 학습을 가능하게 하는 새로운 직접 감독 방법입니다.
체계적인 체제 비교: 세 가지 뚜렷한 CoT 트레이스 체제에 대한 포괄적인 경험적 평가를 수행했습니다:
- 구조적(Structured): 압축된 수학적 표현 (예: GSM8k-Aug).
- 준자연적(Semi-Natural): 장황한 자연어 설명 (예: GSM8k-Aug-NL).
- 실제적(Realistic): 강력한 LLM에 의해 생성된 길고 복잡한 트레이스 (예: MATH 데이터셋).
한계점 식별: 본 논문은 C-MTP가 구조적 설정에서는 뛰어나지만, 직접 및 간접 감독 방식 모두 실제적이고 긴 호흡의 추론 작업에서는 표준 CoT 미세 조정(CoT-SFT)의 성능을 따라잡지 못한다는 점을 입증합니다.

실험 결과

구조적 트레이스 (GSM8k-Aug): C-MTP는 모든 압축률에서 기존의 직접 감독 방식(CoLaR)보다 성능이 유의미하게 우수합니다. 또한 간접 감독 방식(CODI)과 대등하거나 더 높은 정확도를 보이면서도 학습 속도는 더 빠르며(약 2배 빠른 학습 속도), 샘플 효율성도 높습니다. C-MTP는 간접 방식의 순차적 학습에 비해 분포 외(out-of-distribution) 문제 구조에 대해 우수한 일반화 능력을 보여줍니다.
준자연적 트레이스 (GSM8k-Aug-NL): 장황한 트레이스에서는 간접 감독(CODI)이 직접 방식보다 우세합니다. 저자들은 이를 간접 방식의 "압축" 특성 때문이라고 설명하는데, 간접 방식은 불필요한 토큰(filler tokens)을 버리도록 강제하는 반면, 직접 방식은 교사 강제를 통해 전체 장황한 트레이스를 예측하도록 강제될 때 오류 누적 문제로 어려움을 겪습니다.
실제적 트레이스 (MATH): 수백 개의 추론 토큰이 포함된 복잡한 작업의 경우, 직접 및 간접 감독 체제 모두 붕괴되어 표준 CoT-SFT 정확도의 약 30~35%만을 달성하는 데 그쳤습니다. 분석 결과, 초기 추론 단계(특히 산술 표현)에서의 오류가 회복 불가능하게 연쇄적으로 작용하여 잘못된 최종 정답으로 이어진다는 것이 밝혀졌습니다.

의의 및 주장
본 논문은 구조적이거나 준자연적인 트레이스에 의존하는 현재의 벤치마크들이 ContinuousCoT 방식의 실질적인 유용성을 과장하고 있다고 주장합니다. C-MTP가 구조적 추론 작업을 위한 더 효율적이고 효과적인 솔루션을 제공하기는 하지만, 길고 복잡한 추론 트레이스를 고정된 잠재 예산(latent budgets)으로 압축하는 근본적인 한계는 여전히 해결되지 않은 상태로 남아 있습니다. 저자들은 향후의 발전이 단순히 하나의 감독 체제에 의존하기보다는, 토큰 기반 추론과 연속적 추론 사이를 적응적으로 전환하는 하이브리드 접근 방식을 필요로 할 것이라고 제안합니다. 이 연구는 연속적 잠재 추론의 생존 가능성을 진정으로 평가하기 위해서는 실제적인 긴 호흡의 작업에 대한 평가가 필요함을 강조합니다.

유사한 논문