💬 NLP

Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens

이 논문은 문맥-예측-융합 메커니즘과 점진적인 3단계 커리큘럼 학습 파이프라인을 통해 문맥적 은닉 상태와 예측적 의미 가이드를 결합함으로써, 연속적인 잠재 추론에서의 특징 붕괴와 불안정성을 완화하는 사후 학습 프레임워크인 잠재 사고 튜닝(Latent Thoughts Tuning, LT-Tuning)을 소개한다.

원저자: Weihao Liu, Dehai Min, Lu Cheng

게시일 2026-07-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Weihao Liu, Dehai Min, Lu Cheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 수학 퍼즐을 사랑하는 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 보통 이 로봇은 생각할 때, 사람처럼 일기를 쓰듯 단계별로 자신의 생각을 밖으로 "말하며" 내뱉어야 합니다. 이것을 **연쇄 사고(Chain-of-Thought, CoT)**라고 부릅니다. 이것은 효과적이긴 하지만, 마치 복잡한 수수께끼를 풀기 위해 모든 생각을 확성기에 대고 소리치는 것과 같습니다. 공간을 많이 차지하고, 시간이 오래 걸리며, 때로는 로봇이 같은 단어를 계속 반복하며 막히기도 합니다.

최근에 과학자들은 로봇이 말로 내뱉지 않고 오직 머릿속에서만 생각하는 **'침묵의 사고'**를 사용하는 새로운 기술을 시도했습니다. 이 기술은 로봇의 뇌 속에만 존재하는 '유령 생각'(잠재 토큰/latent tokens라고 불림)을 사용합니다. 이는 로봇이 아무것도 적지 않고 암산을 하는 것과 같습니다. 아주 좋아 보이죠, 그렇죠? 하지만 문제는 이전의 '침묵의 사고' 시도들이 다소 엉망이었다는 점입니다.

문제점: 로봇의 '유령' 생각이 붕괴되다

로봇이 긴 이야기를 기억하려고 노력하는데, 그저 방금 말한 마지막 단어만을 붙잡고 계속해서 자신에게 속삭인다고 상상해 보세요. 결국 그 속삭임은 너무 희미하고 뭉개져서 로봇은 이야기 전체를 잊어버리게 됩니다. 논문에서 저자들은 이를 **특징 붕괴(feature collapse)**라고 부릅니다.

그들은 기존의 '침묵의 사고' 방식에 두 가지 큰 결함이 있다는 것을 발견했습니다:

"재활용"의 실수: 어떤 방식은 로봇의 가공되지 않은 뇌 신호(은닉 상태/hidden state)를 가져와서 다음 생각으로 다시 입력했습니다. 하지만 이 신호는 로봇의 뇌에서 나온 '완제품'이지, 다음 단계를 위한 '원재료'가 아니었습니다. 이는 마치 완성된 케이크를 다시 믹서기에 넣고 굽는 것과 같았습니다. 특히 더 크고 똑똑한 로봇(80억 파라미터 모델 같은)에게는 잘 작동하지 않았으며, 오히려 생각을 밖으로 말할 때보다 더 혼란스러워하고 성능이 떨어지는 결과를 초래했습니다.
"조수" 문제: 다른 방식은 두 번째의 더 작은 로봇을 사용하여 메인 로봇에게 유령 생각을 속삭이게 했습니다. 하지만 두 번째 로봇은 약간 다른 언어를 사용했기 때문에, 메인 로봇이 잘못된 이해를 하게 되어 불일치가 발생했습니다.

해결책: LT-Tuning ("문맥-예측 융합" 샌드위치)

저자 Weihao Liu와 그의 팀은 **잠재 사고 튜닝(Latent Thoughts Tuning, LT-Tuning)**이라는 새로운 훈련 프레임워크를 구축했습니다. 그들은 단순히 로봇에게 침묵하며 생각하라고 말한 것이 아니라, 유령 생각이 붕괴되지 않도록 그 생각들을 어떻게 만들어야 하는지 가르쳤습니다.

이것은 로봇의 뇌를 위한 완벽한 샌드위치를 만드는 것과 같습니다:

빵 (문맥/Context): 이것은 방금 생각한 것에 대한 로봇의 기억(은닉 상태)입니다. 이는 이야기가 계속 이어지도록 유지해 줍니다.
속재료 (예측/Prediction): 이것은 로봇의 어휘 목록에서 가져온, 다음에 올 단어에 대한 최선의 추측입니다. 이는 생각에 명확한 방향을 부여합니다.

이전의 방식들은 '빵'만 사용하거나(그래서 금방 상해버림), 혹은 '속재료'만 사용했습니다(그래서 역사가 없었죠). LT-Tuning은 이 둘을 **융합(fuse)**합니다. 그들은 과거의 기억과 미래의 예측을 섞어서, 근거가 확실하면서도 앞을 내다보는 '유령 생각'을 만들어냅니다.

로봇을 가르치는 법: 3단계 체육관 루틴

로봇에게 그냥 "침묵하며 생각하라"고 말한다고 해서 제대로 작동하는 것은 아닙니다. 저자들은 로봇을 준비시키기 위해 3단계 커리큘럼(체육관 훈련 계획과 같은)을 사용했습니다:

1단계: 워밍업 (명시적 CoT): 먼저, 로봇이 일반적인 텍스트로 모든 단계를 직접 써 내려가며 문제를 푸는 법을 가르쳤습니다. 이를 통해 강력한 기초를 쌓았습니다.
2단계: 자신감 확인 (동적 전환): 다음으로, 로봇이 자신의 자신감을 듣도록 가르쳤습니다. 만약 로봇이 정답에 대해 100% 확신한다면, 그냥 단어를 바로 말하면 됩니다. 하지만 확신이 없을 때(낮은 자신감)는, 말을 하기 전에 추가적인 정신적 작업을 수행하기 위해 "유령 생각"(<thinking>)을 삽입합니다. 즉, 로봇은 실제로 필요할 때만 '침묵 모드'를 사용하여 에너지를 아낍니다.
3단계: 융합 (비법 소스): 마지막으로, 그들은 뇌의 기억과 예측을 섞어(샌드위치 방식) 붕괴되지 않는 고품질의 유령 생각을 만드는 법을 가르쳤습니다.

결과: 더 큰 로봇, 더 나은 사고

팀은 다양한 크기의 로봇(10억, 30억, 80억 파라미터)을 대상으로 테스트했습니다.

80억의 문제: 기존 방식에서 가장 큰 로봇(8B)은 침묵의 사고를 사용할 때 오히려 수학 실력이 떨어졌습니다. 정확도가 일반적인 말하기 방식의 **61.7%**에서 침묵의 사고를 시도했을 때 **41.5%**로 급락했습니다. 재앙이었습니다.
LT-Tuning의 해결: 새로운 방식과 함께, 8B 로봇은 단순히 회복된 것을 넘어 비상했습니다. 4가지 수학 테스트에서 평균 **68.8%**의 정확도를 기록했습니다. 이는 최고의 말하기 방식보다 7.1 퍼센트 포인트 높은 수치입니다.
효율성: 더 좋은 점은, 로봇이 더 똑똑해졌을 뿐만 아니라 더 빨라졌다는 것입니다. 로봇은 모든 단계를 소리 높여 외치는 대신 머릿속에서 무거운 작업을 처리함으로써, 동일한 문제를 해결하는 데 24.1% 적은 텍스트 단어를 사용했습니다.

그들이 배제한 것들

이 논문은 무엇이 작동하지 않는지를 매우 명확하게 밝히고 있습니다:

가공되지 않은 뇌 신호를 단순히 재활용하는 것: 마지막 뇌 신호를 다음 생각으로 다시 입력하는 것(Coconut 방식)은 로봇이 정신을 놓게 만듭니다(특징 붕괴). 특히 더 큰 모델에서 더욱 그렇습니다.
정적인 스케줄: 문제의 난이도와 상관없이 항상 정확히 5개의 침묵의 생각을 사용하도록 지정하는 것은 비효fer적입니다. 로봇은 자신이 얼마나 혼란스러운지에 따라 침묵하여 생각할 때를 스스로 결정해야 합니다.
보조 로봇: 별도의 로봇이 생각을 생성하게 하는 것은 언어 장벽을 만들어 성능을 저하시킵니다.

얼마나 확신하나요?

저자들은 단순한 시뮬레이션이 아니라 실제 실험을 수행했기 때문에 이 결과에 매우 자신감이 있습니다. 그들은 4가지 수학 벤치마크(GSM8K-NL, ASDiv-Aug, MultiArith, SVAMP)에서 그들의 방식을 테스트했으며, 모든 곳에서 일관된 개선을 확인했습니다.

그들은 또한 자신의 방식에서 특정 부분을 제거하여 어떤 일이 일어나는지 보는 **절제 연구(ablation study)**라는 "스트레스 테스트"를 실시했습니다. 8B 로봇에 대해 "융합" 부분(샌드위치 섞기)을 제거했을 때, 정확도가 **23.5%**나 폭락했습니다. 이는 융합 부분이 특징 붕괴를 막는 핵심 요소임을 입증합니다.

결론

LT-Tuning은 로봇에게 노이즈 캔슬링 헤드폰과 비밀 노트를 주는 것과 같습니다. 이를 통해 로봇은 자신의 기억과 예측을 섞고, 시간을 낭비하며 모든 생각을 소리 높여 외치는 대신, 진지한 정신적 체조를 할 수 있습니다. 이는 이전의 침묵 사고 방식들을 망가뜨렸던 "특징 붕괴" 문제를 해결하여, 심지어 가장 크고 똑똑한 로봇들도 깊고 효율적으로 생각할 수 있게 해줍니다.

저자들은 이것이 AI를 더 빠르고 견고하게 만드는 기초가 될 수 있다고 제안하지만, 이것이 모든 문제에 대한 마법의 해결책이라고 주장하지는 않습니다. 그들은 단지 수학적 추론에 있어서 이 "융합된 침묵 사고"가 기존 방식보다 엄청난 업그레이드라는 것을 보여줄 뿐입니다.

기술 요약: 잠재 사고 튜닝 (Latent Thoughts Tuning, LT-Tuning)

1. 문제 정의

명시적인 사고 사슬(Chain-of-Thought, CoT) 추론은 대규모 언어 모델(LLM)의 능력을 크게 향상시켰지만, 추론 과정을 이산적인 어휘 공간으로 강제합니다. 이러한 제약은 모델이 장황한 텍스트를 생성하지 않고도 "두 번 생각하는" 능력을 제한하며, 높은 계산 비용과 추 inference 지연을 초래합니다.

추론을 연속적인 잠재 공간(latent spaces)으로 이동시키려는 최근의 노력들(예: Coconut, Soft-Thinking)은 내부적 사고와 명시적 텍스트 생성을 분리하는 것을 목표로 합니다. 그러나 이러한 기존 패러다임은 두 가지 근본적인 문제에 직면해 있습니다:

특징 붕괴 및 분포 불일치 (Feature Collapse and Distribution Mismatch): 가공되지 않은 은닉 상태(raw hidden states)를 입력 임베딩으로 직접 재사용하는 방식(예: Coconut)은 출력된 문맥화된 공간과 입력 임베딩 매니폴드 사이의 분포 격차로 인해 어려움을 겪습니다. 이는 특히 입력/출력 임베딩이 결합되지 않은(untied) 대규모 모델에서, 서로 다른 샘플의 잠재 토큰이 동일한 지점으로 수렴하는 특징 붕괴 현상을 유발합니다.
정적 추론 비용 (Static Reasoning Costs): 대부분의 잠재 추론 방법은 잠재 단계의 수를 고정된 스케줄로 사용하므로, 추론 문제의 다양한 난이도에 적응하지 못합니다. 이는 사소한 단계에서는 계산을 낭비하거나, 복잡한 작업에서는 추론 깊이가 부족한 결과를 초과합니다.
정렬 문제 (Alignment Issues): 외부 어시스턴트 모델을 사용하여 잠재 토큰을 생성하는 방식은 어시스턴트의 출력 공간과 추론 모델의 임베딩 공간 사이의 표현 정렬 불일치 문제를 겪는 경우가 많습니다.

2. 방법론: LT-Tuning

저자들은 아키텍처 변경이나 외부 어시스턴트 없이도 견고하고 적응 가능한 잠재 추론을 가능하게 하도록 설계된 포스트 트레이닝 프레임워크인 **잠재 사고 튜닝 (LT-Tuning)**을 제안합니다. 이 프레임워크는 점진적인 3단계 커리큘럼 학습 파이프라인을 통해 작동합니다.

1단계: 명시적 추론 워밍업 (Explicit Reasoning Warm-up)

기본 모델은 사고 사슬(CoT) 데이터에 대해 표준 지도 미세 조정(SFT)을 거칩니다. 이는 모델이 잠재 메커니즘을 도입하기 전에 복잡한 문제를 단계별로 분해할 수 있는 데 필요한 논리적 역량을 갖추도록 하여 기초를 확립합니다.

2단계: 동적 잠재 토큰 생성 (Dynamic Latent Token Generation)

정적 추론 스케줄의 비효전성을 해결하기 위해, 모델은 예측 신뢰도(confidence)를 기반으로 언제 잠재 추론을 수행할지 동적으로 결정하도록 학습됩니다.

신뢰도 기반 삽입 (Confidence-Driven Insertion): 학습 과정 중 모델의 예측 신뢰도가 임계값 $\tau$ 미만으로 떨어지는 위치는 <thinking> 플레이스홀더로 표시됩니다.
잠재 초기화 (Latent Initialization): 이러한 <thinking> 토큰의 입력 임베딩은 특정 레이어 $I$ 의 은닉 상태( $h_{t-1}$ )를 사용하여 초기화됩니다. 이를 통해 잠재 추론이 불확실한 단계에만 할당되도록 보장하며, 모델이 사소한 토큰에 대해 가짜 패턴을 학습하는 것을 방지합니다.

3단계: 문맥-예측 융합 (Context-Prediction Fusion)

가공되지 않은 은닉 상태를 사용하는 데서 발생하는 분포 불일치와 특징 붕괴 문제를 해결하기 위해, 이 단계에서는 문맥-예측 융합(Context-Prediction Fusion) 메커니즘을 도입합니다. 잠재 토큰 임베딩( $z_t$ )은 은닉 상태에만 의존하거나 순수 확률 벡터에 의존하는 대신, 다음 두 소스를 융합하여 구축됩니다:

문맥적 이력 (Contextual History): 이전 단계의 은닉 상태 $h_{t-1, I}$ .
예측적 의미 가이드 (Predictive Semantic Guidance): 모델의 어휘 분포(Top- $p$ 필터링 및 온도 조절 적용)로부터 유도된 확률 가중 임베딩 ( $e_{pred}$ ).

융합은 다음과 같이 정의됩니다:
$e_{fusion} = \alpha \cdot h_{t-1, I} + (1 - \alpha) \cdot e_{pred}$
여기서 $\alpha$ 는 균형 계수입니다. 이 융합은 출력 공간과 입력 임베딩 매니폴드 사이의 간극을 메워, 잠재 토큰이 문맥적 이력을 유지하면서도 모델이 학습한 입력 공간과 호환성을 유지하도록 보장합니다.

입력/출력 임베딩이 결로되지 않은 모델(예: Llama-3.1-8B)을 위해, 표현 격차를 더욱 좁히는 경량 어댑터가 추가됩니다.

3. 주요 기여

통합된 잠재 추론 프레임워크: LT-Tuning은 외부 어시스턴트 없이도 적응 가능하고 안정적인 연속 추론을 가능하게 합니다. 이는 신뢰도 기반의 동적 전환, 문맥-예측 융합, 그리고 잠재 공간 최적화를 안정화하기 위한 점진적 커리큘럼을 통합합니다.
특징 붕괴 완화: 문맥적 은닉 상태와 예측적 의미 가이드를 융합함으로써, 가공되지 않은 은닉 상태 재귀를 사용하는 대규모 모델에서 관찰되는 핵심 실패 모드인 특징 붕괴를 효과적으로 완화합니다.
동적 자원 할당: 신뢰도 기반 메커니즘을 통해 모델이 문제 난이도에 따라 잠재 계산 노력을 조절할 수 있게 하여, 정적 할당 대비 효율성을 높입니다.

4. 실험 결과

저자들은 1B에서 8B 파라미터 규모(Llama-3.2 및 Llama-3.1 제품군)의 모델에 대해 수학적 추론 벤치마크(GSM8K-NL, ASDiv-Aug, MultiArith, SVAMP)에서 LT-Tuning을 평가했습니다.

성능 향상: LT-Tuning은 모든 규모에서 기존 베이스라인(Coconut, Soft-Thinking, SoftCoT, SemCoT)보다 일관되게 우수한 성능을 보였습니다. 가장 강력한 이전 방법론 대비 평균 최대 **4.3%**의 성능 향상을 달성했습니다.
스케일링 동작: 특징 붕패로 인해 8B 모델에서 성능이 크게 저하되었던 Coconut(평균 정확도 약 50%에서 41%로 하락)과 달리, LT-Tuning은 견고한 스케일링을 보여주며 8B 모델에서 **68.8%**의 평균 정확도를 달성했습니다.
절제 연구 (Ablation Studies):
- 융합 메커니즘(3단계)을 제거했을 때 8B 모델에서 심각한 성능 저하(-23.5%)가 발생하여, 융합이 임베딩이 결합되지 않은 대규모 모델에 필수적임을 확인했습니다.
- 동적 할당(2단계)을 제거하면 성능이 감소하여, 신뢰도 기반 삽입의 필요성을 입증했습니다.
- 융합 없이 잘못 구성된 잠재 토큰은 잠재 추론을 아예 하지 않는 것보다 더 나쁠 수 있음을 보여주었습니다.
효율성: LT-Tuning은 정확도를 개선하면서도 평균 생성 텍스트 토큰 수를 24.1% 줄여, 효과적인 추론 압축을 입증했습니다.
일반화: 프레임워크는 비수학적 작업(GPQA-Diamond) 및 다양한 모델 제품군(Qwen2.5)에서도 일관된 이득을 보여 광범위한 적용 가능성을 나타냈습니다.

5. 의의 및 주장

본 논문은 LT-Tuning이 **효율적이고, 견고하며, 확장 가능한 잠재 인지(latent cognition)**의 토대를 마련한다고 주장합니다. LLM이 역사적 문맥과 예측적 구조를 모두 사용하여 "생각"할 수 있게 함으로써, 이 방법은 이산적 토큰 생성의 한계와 가공되지 않은 잠재 재귀의 불안정성을 극복합니다.

저자들은 다음과 같은 점을 강조합니다:

계산 비용 절감: 추론을 잠재 토큰으로 압축함으로써 추론 지연 시간과 토큰 생성 오버헤드를 낮춥니다.
견고성 향 향상: 대규모 모델의 잠재 추론 확장을 가로막았던 특징 붕괴 문제를 해결합니다.
해석 가능성 제공: <thinking> 토큰의 동적 삽입은 모델의 불확실성 위치를 명시적으로 표시하여, 모델의 행동을 이해하는 신호를 제공합니다.

이 연구는 문맥과 예측 사이의 간극을 융합을 통해 메우는 것이, 특히 임베딩이 결합되지 않은 모델 구조가 진화함에 따라 안정적인 잠재 추론에 필수적이라는 결론을 내립니다. 향-후 연구로는 융합된 잠재 경로를 더욱 정교하게 만들기 위해 프로세스 기반 감독(process-based supervision) 또는 강화 학습을 통합하는 방안이 제시되었습니다.