SPOT: Span-level Pause-of-Thought for Efficient and Interpretable Latent Reasoning in Large Language Models

이 논문은 고정된 템플릿을 강요하지 않고 Sinkhorn 최적 수송 기반의 스펀 차원 의미 정렬과 프리즈드 헤드 디코딩 제약을 통해, 대규모 언어 모델의 추론 정확도를 높이고 토큰 생성량을 줄이면서도 해석 가능한 잠재 추론을 가능하게 하는 SPOT 프레임워크를 제안합니다.

핵심

SPOT: 거대한 AI 의 '숨은 생각'을 압축하는 마법

이 논문은 거대한 인공지능 (LLM) 이 문제를 풀 때, 너무 길고 지루하게 설명하는 것을 줄이면서도 똑똑한 사고력은 유지하는 방법을 소개합니다.

기존의 AI 는 복잡한 문제를 풀 때 "Step 1, Step 2, Step 3..."처럼 모든 생각 과정을 말로 다 꺼내놓습니다. 이렇게 하면 정확도는 높지만, 시간과 비용이 너무 많이 듭니다. 마치 친구에게 길을 설명할 때 "왼쪽으로 10 걸음, 그다음 빨간 간판 보고 5 걸음, 그다음..."이라고 아주 디테일하게 다 말해주는 것과 비슷하죠.

이 문제를 해결하기 위해 제안된 SPOT(Span-level Pause-of-Thought) 라는 기술을 쉽게 설명해 드릴게요.

---

1. 핵심 아이디어: "생각은 속으로, 말은 간결하게"

SPOT 의 핵심은 **"중간 과정을 말로 다 하지 않고, AI 의 머릿속 (잠재 공간) 에만 간직하게 한다"**는 것입니다.

• 기존 방식 (CoT): AI 가 문제를 풀 때, 모든 생각을 다 말로 적어냅니다. (예: "10 더하기 20 은 30 이고, 30 에서 5 를 빼면 25 가 됩니다.")
• SPOT 방식: AI 가 중요한 중간 계산 단계에 도달하면, 그 부분을 **""(잠시 멈춤)**라는 특수한 마법 토큰 하나로 대체합니다.
  • 사용자는 "10 더하기 20, , 5 빼기"만 보게 됩니다.
  • 하지만 AI 의 머릿속에서는 가 들어간 순간, 10+20=30 이라는 계산 결과와 그 의미를 완벽하게 기억하고 다음 단계로 넘어갑니다.

2. 왜 기존 방법들은 부족했을까요? (과거의 실패 사례)

기존 연구들은 AI 의 생각을 줄이려고 했지만, 두 가지 큰 문제가 있었습니다.

1. 너무 딱딱한 연결 (Point-to-Point):

   • 마치 한 장의 사진으로 긴 영화를 요약하려는 시도였습니다. "이 장면의 마지막 프레임만 기억해"라고 시키면, 영화의 전체적인 흐름이나 감정을 놓치기 쉽습니다.
   • SPOT 은 이를 한 편의 영화 (전체 문단) 를 하나의 핵심 키워드로 요약하는 방식으로 바꿨습니다. "이 문단 전체의 의미"를 한 번에 담게 한 거죠.

2. 해독 불가능한 암호 (Interpretability):

   • 기존 방식은 AI 의 머릿속 생각을 줄였지만, 그 내용이 외계어처럼 변해버려서 사람이 이해할 수 없었습니다. "AI 가 뭐라고 생각했는지 알 수 없다"는 거죠.
   • SPOT 은 ""를 AI 가 원래 쓰는 언어 (단어) 로도 해석할 수 있게 설계했습니다. 그래서 를 보면 "아, AI 가 여기서 '계산'이나 '결합' 같은 단어를 생각하고 있었구나"라고 알 수 있습니다.

3. SPOT 의 마법 도구 3 가지

이 기술이 어떻게 작동하는지 세 가지 비유로 설명해 드릴게요.

① '스핀들' 같은 정렬 (Sinkhorn Optimal Transport)

• 비유: AI 의 머릿속 생각 (하나의 ) 과 실제 긴 설명 (문단 전체) 을 완벽하게 매칭시키는 기술입니다.
• 설명: 기존에는 "문단의 끝부분"만 보고 맞췄다면, SPOT 은 문단 전체의 모든 단어들을 골고루 고려해서 가 그 문단의 의미를 얼마나 잘 담고 있는지 계산합니다. 마치 퍼즐 조각을 맞추듯, 가 그 문단의 '영혼'을 완벽하게 흡수하도록 훈련시킵니다.

② '해독 가능한 암호' (Frozen-Head Decoding)

• 비유: AI 가 머릿속으로 생각할 때, 그 생각이 사람이 읽을 수 있는 '키워드'로 변환되도록 고정해 둡니다.
• 설명: AI 의 두뇌 구조를 건드리지 않고, 기존에 알고 있던 언어 능력을 그대로 활용하게 합니다. 그래서 를 보면 AI 가 "어떤 단어를 떠올렸는지"를 바로 알 수 있어, 어떤 생각을 했는지 투명하게 볼 수 있습니다.

③ '조절 가능한 리모컨' (Inference-time Control)

• 비유: 사용자가 "를 얼마나 자주 넣을지"를 직접 조절할 수 있습니다.
• 설명:
  • "빨리 끝내고 싶어?" → 를 자주 넣어서 설명을 줄입니다. (정확도는 약간 떨어질 수 있음)
  • "정확도가 중요해?" → 를 적게 넣어서 더 자세히 설명하게 합니다.
  • 사용자의 필요에 따라 속도와 정확도 사이의 균형을 마음대로 조절할 수 있습니다.

4. 실제 효과는 어떨까요?

실험 결과, SPOT 은 놀라운 성과를 냈습니다.

• 생성된 글자 수 37.5% 감소: AI 가 말하는 내용이 훨씬 짧아져서 시간과 비용이 대폭 절약됩니다.
• 정확도 2.3% 향상: 오히려 더 짧게 말하면서도 정답을 맞히는 비율이 높아졌습니다. (불필요한 수다를 줄였기 때문)
• 투명한 사고: AI 가 를 통해 무엇을 계산했는지, 어떤 단어를 떠올렸는지 사람이 이해할 수 있게 보여줍니다.

5. 결론: "생각은 깊게, 말은 짧게"

SPOT 은 AI 에게 **"너는 머릿속으로 깊이 생각하되, 사용자에게는 필요한 결과만 간결하게 전달하라"**는 새로운 규칙을 가르친 기술입니다.

이제 AI 는 길고 지루한 설명 대신, 핵심만 쏙쏙 뽑아낸 '요약본'을 보여주면서도, 그 이면에 숨겨진 복잡한 사고 과정을 투명하게 검증할 수 있게 되었습니다. 이는 AI 가 더 빠르고, 저렴하며, 신뢰할 수 있는 파트너가 되는 중요한 한 걸음입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 추론 능력을 향상시키기 위해 명시적 연쇄 사고 (Explicit Chain-of-Thought, CoT) 가 널리 사용되지만, 이는 다음과 같은 한계를 가집니다.

• 높은 추론 비용: 상세한 토큰 수준의 추론 과정을 생성하는 것은 계산 오버헤드를 크게 증가시키고, 불필요한 "과도한 사고 (Overthinking)"를 유발하여 효율성을 떨어뜨립니다.
• 잠재적 추론 (Latent Reasoning) 의 한계: 최근 연구들은 추론을 숨겨진 상태 (Hidden states) 나 잠재 토큰으로 내재화하여 비용을 줄이려 시도했으나, 두 가지 주요 문제가 존재합니다.
  1. 경직된 정렬 (Rigid Alignment): 기존 방법들은 대부분 잠재 토큰을 추론 단계의 '끝점 (Endpoint)'만 맞추도록 훈련시킵니다. 이는 긴 추론 구간 (Span) 전체의 밀집된 의미와 가변적인 길이를 충분히 포착하지 못합니다.
  2. 해석 가능성 부족 (Lack of Interpretability): 잠재 상태가 제약 없는 최적화나 임베딩 혼합을 통해 생성되면, 사전 훈련된 언어 모델 헤드 (LM Head) 로 해독하기 어려워 의미 있는 키워드로 변환되지 않거나 불안정해집니다.

2. 제안 방법: SPOT (Methodology)

저자들은 SPOT(Span-level Pause-of-Thought) 라는 새로운 프레임워크를 제안합니다. 이는 명시적 CoT 를 소수의 잠재 <pause> 토큰으로 압축하되, 고정된 템플릿을 강제하지 않는 유연한 구조를 가집니다.

핵심 구성 요소

1. Span-level Semantic Alignment (구간 수준 의미 정렬)

   • 문제 해결: 기존 '점 - 대 - 점 (Point-to-point)' 정렬을 넘어, 하나의 <pause> 토큰이 전체 추론 구간 (Span) 의 의미와 정렬되도록 설계합니다.
   • 기술적 구현: Sinkhorn 최적 수송 (Optimal Transport, OT) 목적 함수를 사용합니다. 이는 잠재 토큰과 해당 구간에 포함된 여러 교사 (Teacher) 토큰 상태 간의 '연성 (Soft) 매칭'을 가능하게 하여, 가변 길이의 추론 구간을 효과적으로 압축합니다.

2. Frozen-Head Decoding Constraint (동결 헤드 해독 제약)

   • 해석 가능성 확보: 잠재 상태가 사전 훈련된 언어 모델의 헤드 (LM Head) 와 호환되도록 유지합니다.
   • 기술적 구현: <pause> 토큰의 숨겨진 상태를 고정된 LM 헤드를 통해 토큰 분포로 해독할 수 있도록 강제합니다. 이를 통해 잠재적인 사고 과정을 가독성 있는 키워드 (Top-K 토큰) 로 직접 해석할 수 있게 됩니다.

3. Two-Stage Training Paradigm (2 단계 훈련)

   • Stage I (OT 정렬 훈련): 'SpanDrop' 데이터를 사용하여, 교사 모델의 특정 추론 구간을 <pause> 로 대체한 후, Sinkhorn OT 손실 함수를 통해 <pause> 상태가 해당 구간의 의미와 정렬되도록 학습합니다.
   • Stage II (RFT 안정화): 거부 샘플링 미세 조정 (Rejection-Sampled Fine-Tuning, RFT) 을 수행합니다. 외부에서 삽입된 <pause> 토큰 패턴에 대해 모델이 안정적으로 작동하도록, 정답을 산출하고 더 짧은 길이를 가진 생성물을 선호하도록 추가 학습합니다.

4. 추론 시 제어 (Inference-time Control)

   • 훈련 중 고정된 템플릿을 강제하지 않으므로, 추론 시 외부에서 <pause> 토큰을 임의의 간격 (예: 매 N 개의 구간마다) 으로 삽입하여 명시적/잠재적 추론의 강도를 조절할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 유연한 프레임워크: 고정된 응답 템플릿 없이 명시적 CoT 를 컴팩트한 잠재 <pause> 토큰으로 압축하는 새로운 방식 제시.
2. 구간 수준 정렬: Sinkhorn 최적 수송을 활용한 'Span-level Semantic Alignment'로, 기존 점 단위 정렬의 한계를 극복하고 가변 길이 추론 구간에 대한 강력한 정렬 달성.
3. 해석 가능한 잠재 사고: Frozen-Head Decoding Constraint 를 통해 잠재 상태가 사전 훈련된 언어 모델 헤드로 직접 해독 가능하도록 하여, '생각'을 읽을 수 있는 키워드로 변환.
4. 광범위한 평가: 수학 추론 및 과학 QA 벤치마크에서 정확도 향상과 토큰 생성 길이 감소, 그리고 해석 가능성 분석을 통한 검증.

4. 실험 결과 (Results)

DeepSeek-R1-Distill-Qwen-7B 백본을 기반으로 한 실험 결과, SPOT 은 다음과 같은 성과를 보였습니다.

• 정확도 향상: 5 개 벤치마크 (GSM8K, MATH500, AIME 2024/2025, GPQA-Diamond) 에서 평균 정확도 2.3 포인트 향상.
  • 특히 AIME 2025 에서 +3.3 포인트, GPQA-Diamond 에서 +4.5 포인트 향상.
• 생성 길이 단축: 생성된 토큰 수를 평균 37.5% 감소 (GSM8K 기준 52.1% 감소).
• 비교 우위: 기존 효율성 기법 (Concise Prompting, Step Pruning 등) 이나 완전 잠재적 방법 (Latent-SFT 등) 보다 정확도 저하 없이 더 큰 압축률을 달성.
• 해석 가능성: LLM-as-a-Judge 평가를 통해 <pause> 토큰이 의미 있는 추론 도약 (Compression Gap) 을 수행하면서도 국소적 일관성 (Local Continuity) 을 유지함을 확인.

5. 의의 및 결론 (Significance)

SPOT 은 효율성 (Efficiency) 과 해석 가능성 (Interpretability) 이라는 상충되는 목표를 동시에 달성하는 중요한 진전을 이룹니다.

• 비용 효율성: "과도한 사고"를 줄이면서도 복잡한 추론 능력을 유지하여 LLM 의 추론 비용을 획기적으로 절감합니다.
• 신뢰성: 잠재적 사고 과정을 블랙박스로 남기지 않고, 고정된 헤드를 통해 가독성 있는 형태로 해석할 수 있게 하여 모델의 의사결정 과정을 감사 (Audit) 할 수 있는 기반을 마련합니다.
• 유연성: 추론 시점에 외부에서 <pause> 삽입 빈도를 조절함으로써, 사용자는 정확도와 계산 비용 간의 트레이드오프를 상황에 맞게 제어할 수 있습니다.

결론적으로 SPOT 은 대규모 언어 모델의 추론 과정을 내재화하면서도 인간의 이해를 돕는 새로운 패러다임을 제시하며, 향후 복잡한 계획 및 의사결정 작업에 적용될 수 있는 잠재력을 가집니다.