이 논문은 입력 토큰을 처리하는 과정에서 중간 사고 상태(Thinking States)를 생성하고 이를 임베딩 공간에 통합함으로써, 추론 비용을 줄이면서도 기존 Chain-of-Thought(CoT) 방식에 근접하거나 특정 작업에서 이를 능가하는 효율적인 잠재 추론(Latent Reasoning) 방법을 제안합니다.
원저자:Ido Amos, Avi Caciularu, Mor Geva, Amir Globerson, Jonathan Herzig, Lior Shani, Idan Szpektor
지금까지 AI가 어려운 수학 문제를 풀 때는 **'생각의 사슬(Chain-of-Thought, CoT)'**이라는 방식을 썼습니다. 이건 마치 수학 천재가 시험 문제를 풀 때, 연습장에 "1단계: 10 더하기 5는 15... 2단계: 15 곱하기 2는 30..." 하고 풀이 과정을 하나하나 길게 적으면서 푸는 것과 같습니다.
장점: 풀이 과정을 적으니까 정답률이 엄청나게 올라갑니다.
단점: 풀이 과정이 길어질수록 종이(메모리/컨텍스트)를 너무 많이 쓰고, 쓰는 시간(연산 비용)도 오래 걸립니다. 즉, **"똑똑하긴 한데 너무 느리고 비효율적"**인 거죠.
2. 이 논문의 해결책: "머릿속으로 요약하며 푸는 전략가" (Thinking States)
이 논문에서 제안하는 'Thinking States(사고 상태)' 방식은 마치 숙련된 전략가가 문제를 읽으면서 중간중간 머릿속으로 핵심만 딱딱 요약하며 넘어가는 것과 같습니다.
비유를 들어볼까요? 여러분이 아주 긴 요리 레시피를 읽는다고 해봅시다.
기존 방식(CoT): 레시피의 모든 문장을 다 받아 적으면서 읽습니다. "양파를 썬다. 양파를 5mm 두께로 썬다. 팬을 달군다..." (너무 길고 느림)
새로운 방식(Thinking States): 레시피를 읽다가 중간에 **'머릿속 메모'**를 합니다.
(레시피 읽는 중...) →[메모: 양파 준비 완료]
(다음 문장 읽는 중...) →[메모: 팬 가열 중]
이 '메모'는 종이에 길게 적는 게 아니라, **아주 작은 포스트잇(압축된 데이터)**에 핵심만 적어서 다음 단계로 넘기는 것과 같습니다. 덕분에 전체 문장은 길어지지 않으면서도, 방금 읽은 핵심 내용을 잊지 않고 다음 단계에 반영할 수 있습니다.
3. 이 기술의 3가지 핵심 포인트 (쉬운 요약)
압축된 사고 (Compression): 긴 문장으로 생각하는 대신, 핵심 정보를 아주 작은 '상태(State)'로 압축합니다. 덕분에 AI의 기억 공간을 낭비하지 않습니다.
병렬 학습 (Fast Training): 기존의 다른 방식들은 AI가 생각을 하나하나 이어가야 해서 학습이 매우 느렸습니다. 하지만 이 방식은 마치 '모범 답안지'를 미리 보고 공부하는 학생처럼, 정답 풀이 과정을 한꺼번에 빠르게 학습할 수 있어 효율적입니다.
속도와 정확도의 조화: 기존 방식(CoT)만큼 똑똑하면서도, 속도는 훨씬 빠릅니다. 마치 **"풀이 과정을 다 쓰지 않는데도, 머릿속으로 완벽하게 정리하며 푸는 천재"**를 만든 셈입니다.
4. 결론: 무엇이 좋아지나요?
이 기술이 적용되면, 우리는 앞으로 더 적은 비용(전기, 컴퓨팅 자원)으로, 더 빠르게, 하지만 여전히 똑똑한 AI를 만날 수 있게 됩니다. AI가 문제를 풀 때 불필요하게 말을 길게 늘어놓지 않고도, 핵심적인 '생각의 흐름'을 유지하며 정답을 척척 내놓게 되는 것이죠.
[기술 요약] Supervised Thinking States를 이용한 잠재적 추론 (Latent Reasoning)
1. 문제 정의 (Problem Statement)
최근 대규모 언어 모델(LLM)의 추론 능력을 높이기 위해 Chain-of-Thought (CoT) 방식이 널리 사용되고 있습니다. CoT는 중간 추론 단계를 텍스트로 생성하여 복잡한 문제를 해결하게 하지만, 다음과 같은 치명적인 단점이 있습니다.
높은 추론 비용: 긴 추론 과정을 생성해야 하므로 토큰 생성량이 늘어나고 추론 시간(Latency)과 계산 비용이 증가합니다.
컨텍스트 길이 증가: 추론 토큰이 모두 컨텍스트에 포함되어 모델의 입력 제한을 빠르게 소모합니다.
기존의 잠재적 추론(Latent Reasoning) 연구들은 추론 과정을 연속적인 임베딩(Continuous Embeddings)으로 압축하려 시도했으나, 이는 학습이 매우 어렵고(BPTT 필요), 추론 과정의 **해석 가능성(Interpretability)**이 떨어진다는 한계가 있었습니다.
2. 제안 방법론 (Methodology: Thinking States)
본 논문은 입력 토큰을 처리하는 과정에서 실시간으로 추론을 수행하되, 컨텍스트 길이를 늘리지 않는 Thinking States 아키텍처를 제안합니다.
핵심 아키텍처 구성 요소
Thinking Block (T): 경량 Transformer 디코더로, 현재 입력 토큰의 표현(Representation)으로부터 자연어 형태의 추론 시퀀스(Z)를 생성합니다.
Compression Block (C): 가변 길이의 자연어 추론 시퀀스를 고정된 크기의 상태 벡터(Fixed-size State, S)로 압축하는 Transformer 인코더입니다.
작동 원리 (Recurrent Process)
Chunk-Recurrent 방식: 입력 시퀀스를 여러 개의 청크(Chunk)로 나눕니다.
상태 주입 (State Injection): 이전 청크에서 생성된 압축된 상태(Si)를 다음 청크의 입력 임베딩에 더해줍니다(X~i=Xi+Si). 이때 상태는 모델의 **얕은 레이어(Shallow Layer)**에 주입되어, 이후 깊은 레이어들을 통과하며 효과적으로 추론 정보를 전달합니다.
계산 공유 (Compute Sharing): 별도의 토큰을 생성하여 컨텍스트에 붙이는 대신, 기존 토큰의 표현을 활용해 상태를 생성하므로 컨텍스트 길이가 늘어나지 않습니다.
학습 전략 (Supervised Training)
Teacher-Forcing 기반 병렬 학습: 기존의 잠재 추론 방식이 필요로 했던 복잡한 BPTT(Backpropagation Through Time) 대신, 자연어 CoT 데이터를 활용합니다.
학습 시에는 정답 추론 시퀀스(Z∗)를 사용하여 상태(S∗)를 미리 계산하고 이를 모델에 주입합니다. 이를 통해 모든 청크를 **한 번의 병렬 포워드 패스(Parallel Forward Pass)**로 학습할 수 있어 학습 속도가 매우 빠릅니다.
3. 주요 기여 (Key Contributions)
효율적인 재귀적 추론: 컨텍스트 길이를 늘리지 않으면서도 CoT와 유사한 재귀적 추론 메커니즘을 구현했습니다.
병렬 학습 가능성: 자연어 감독(Natural Language Supervision)을 통해 Teacher-forcing을 적용함으로써, BPTT 없이도 대규모 병렬 학습이 가능하게 하여 학습 효율성을 극대화했습니다.
해석 가능성 유지: 추론 과정이 임베딩이 아닌 '자연어 토큰'으로 생성되므로, 모델이 어떤 생각을 하는지 인간이 확인할 수 있습니다.
4. 실험 결과 (Results)
다양한 벤치마크를 통해 성능과 효율성을 검증했습니다.
상태 추적(State Tracking) 작업: Parity, Variable Assignment 등의 작업에서 CoT보다 뛰어난 길이 일반화(Length Generalization) 능력을 보였습니다. (CoT는 학습보다 긴 시퀀스에서 성능이 급락하지만, Thinking States는 안정적임)
일반 추론(GSM8K, 2-Hop QA):
2-Hop QA: CoT의 성능에 근접하면서도 훨씬 빠른 속도를 기록했습니다.
GSM8K (수학): 기존의 잠재 추론 모델(Coconut, iCoT)보다 높은 정확도를 보였으며, CoT 대비 약 2.66배의 속도 향상을 달성했습니다.
학습 효율성: BPTT를 사용하는 방식에 비해 학습 시간이 비약적으로 단축됨을 확인했습니다.
5. 의의 및 결론 (Significance)
본 논문은 **"추론의 정확도"와 "추론의 효율성" 사이의 트레이드오프(Trade-off)**를 효과적으로 해결할 수 있는 새로운 경로를 제시했습니다.
실용적 가치: 추론 비용을 낮추면서도 고성능 추론 모델을 구축할 수 있어, 실제 서비스 환경에서의 LLM 배포 비용을 절감할 수 있습니다.
연구적 가치: 자연어 감독을 통한 잠재 상태 학습이라는 방법론은 향후 강화 학습(RL)의 초기화 단계(Warm-start)로 활용되어, 모델이 스스로 최적의 내부 추론 과정을 학습하도록 돕는 기초가 될 수 있습니다.