1. 문제 정의 (Problem)

기존의 대형 언어 모델 (LLM) 은 추론 능력이 아키텍처의 고정된 깊이 (Transformer 레이어 수) 에 의해 근본적으로 제한받고 있습니다.

• 수평적 추론 (Horizontal Chain-of-Thought) 의 한계: 현재 CoT(Chain-of-Thought) 프롬프팅은 intermediate reasoning(중간 추론) 을 토큰으로 생성하여 수평적으로 확장하는 방식입니다. 이는 다음과 같은 치명적인 단점이 있습니다.
  1. 컨텍스트 창 소모: 각 추론 단계가 토큰을 소비하므로 유한한 컨텍스트 창을 빠르게 소모합니다.
  2. 고정된 계산 깊이: 문제의 난이도와 관계없이 입력 토큰당 처리되는 레이어 수는 고정되어 있어, 복잡한 재귀적 계산이나 다단계 추론에 비효율적입니다.
  3. 누적 오류: 자연어 토큰으로 생성된 중간 추론 단계는 할루시네이션이나 논리적 실수가 누적될 위험이 있습니다.

이 논문은 이러한 한계를 극복하기 위해 토큰 생성을 늘리는 대신, 잠재 공간 (Latent Space) 에서 재귀적으로 깊게 추론하는 '수직적 추론 (Vertical Chain-of-Thought)' 패러다임을 제안합니다.

2. 방법론 (Methodology)

저자는 가중치를 공유하는 단일 Transformer 블록을 잠재 공간에서 반복 적용하여 계산 깊이를 파라미터 수나 컨텍스트 길이와 분리하는 Depth-Recurrent Transformer를 제안합니다. 20 단계 이상의 깊은 재귀를 안정적으로 수행하기 위해 세 가지 핵심 메커니즘을 도입했습니다.

A. Silent Thinking Objective (침묵의 사고)

• 개념: 중간 단계 (Intermediate steps) 에서는 손실 (Loss) 을 계산하지 않고, 최종 단계 (Final step) 에만 교차 엔트로피 손실을 적용합니다.
• 목적: 모델이 각 단계마다 정답을 맞추기 위한 휴리스틱 단축키 (Heuristic shortcuts) 를 학습하는 것을 방지하고, 진정한 다단계 추론 경로를 개발하도록 강제합니다.

B. LayerScale Initialization

• 구현: 어텐션 및 피드포워드 서브레이어 이후에 채널별 스케일링 인자 (LayerScale) 를 적용하며, 초기값을 $10^{-4}$로 설정합니다.
• 목적: 초기 학습 단계에서 무작위 가중치로 인한 잡음이 취약한 논리적 상태 (예: 불리언 상태) 를 파괴하는 것을 방지합니다. 초기에는 거의 항등 매핑 (Identity mapping) 으로 작동하게 하여 신호를 보호하고, 학습이 진행됨에 따라 추론 능력을 점진적으로 활성화합니다.

C. Identity-Biased Gated Recurrence (항성 편향 게이트 재귀)

• 구현: GRU 와 유사한 게이트 메커니즘을 사용하며, 게이트 편향 (Bias) 을 $-2.0$으로 초기화합니다. 시그모이드 함수를 통과하면 게이트 값이 약 0.12 가 되어, 이전 상태 (Hidden State) 를 약 88% 유지하게 됩니다.
• 목적: 20 단계 이상의 깊은 재귀에서 발생하는 기울기 소실 (Vanishing Gradient) 문제를 해결합니다. 이전 상태를 강력하게 유지하는 '기울기 고속도로 (Gradient Highway)'를 만들어 안정적인 신호 전파를 가능하게 합니다.

D. 태스크별 지각 인터페이스 (Perception Interfaces)

모델의 추론 코어는 불변 (Invariant) 이지만, 입력을 인코딩하는 인터페이스는 태스크에 따라 다릅니다.

1. 위상적 마스킹 (Graph Reachability): 인접 행렬을 사용하여 비인접 노드 간의 어텐션을 물리적으로 차단 (Strict Adjacency Masking).
2. 상대적 위치 인코딩 (Nested Boolean Logic): RoPE(Rotary Position Embeddings) 를 사용하여 위계적 구조를 상대적 거리로 표현.
3. 표준 시퀀스 어텐션 (Unstructured Text): 구조적 힌트를 제거하고 무작위로 섞인 텍스트에서 모델이 스스로 잠재적 경로 (Latent Routing) 를 발견하도록 함.

3. 주요 기여 (Key Contributions)

1. 안정적인 심층 재귀 아키텍처: 100 만 개 미만의 파라미터로 20 단계 이상의 재귀를 안정적으로 수행하는 Depth-Recurrent Transformer 를 제안했습니다.
2. 강력한 OOD 일반화: 그래프 도달성, 중첩 불리언 논리, 비구조적 텍스트 관계 조합 등 세 가지 다른 인덕티브 바이어스를 가진 태스크에서 훈련 분포보다 훨씬 깊은 (OOD) 추론 깊이에 대해 강력한 일반화 성능을 입증했습니다.
3. 계산 프론티어 (Computational Frontier) 현상 발견: 사고 단계 (Thinking Steps) 와 태스크 복잡도 간의 정확도 히트맵에서, 성능이 무작위 수준에서 거의 완벽하게 급격히 전환되는 대각선 경계를 발견했습니다.
4. 중간 감독의 위험성 규명: 중간 단계에 손실을 부과하면 모델이 실제 알고리즘 학습 대신 통계적 단축키를 학습하여 OOD 일반화가 붕괴됨을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

세 가지 태스크에서 다음과 같은 결과를 도출했습니다.

• 그래프 도달성 (Graph Reachability):
  • 특징: 엄격한 위상적 마스킹 적용.
  • 결과: "1 홉 = 1 단계"의 물리적 제약이 명확하게 나타남. 정확도가 계단 함수처럼 급격히 전환됨. 8 홉 (OOD) 까지 완벽하게 일반화되나, 10 홉에서는 급격히 무너짐.
• 중첩 불리언 논리 (Nested Boolean Logic):
  • 특징: RoPE 를 사용한 위계적 구조.
  • 결과: 완만한 계산 프론티어를 보임. 훈련 분포 (깊이 1~8) 를 넘어 깊이 14 에서도 90% 이상의 정확도를 유지하며 점진적으로 일반화됨. 24 단계까지 과도한 계산이 성능을 저하시키지 않음 (안정성 입증).
• 비구조적 텍스트 관계 조합 (Unstructured Text):
  • 특징: 구조적 힌트 제거 (샤프플링된 문장).
  • 결과: 모델이 명시적 구조 없이도 '포인터 체이싱 (Pointer Chasing)' 경로를 자율적으로 발견함. 사고 단계가 증가함에 따라 정확도가 단조롭게 향상되며, 훈련 깊이 (25) 를 넘어 67 깊이에서도 OOD 일반화가 성공적으로 이루어짐.

Ablation Study (중간 감독 비교):

• 중간 단계마다 손실을 계산하는 방식은 1 단계 만에 12 홉 경로에서 73% 의 정확도를 내는 등 통계적 단축키를 학습하게 함.
• 반면, Silent Thinking(최종 단계만 감독) 을 적용한 모델은 초기 단계에서 무작위 추측 (50%) 을 하더라도 깊은 추론 알고리즘을 학습하여 OOD 태스크에서 완벽한 성능을 보임.

5. 의의 및 결론 (Significance)

이 논문은 "더 길게 (토큰 생성) 가 아니라 더 깊게 (잠재 공간 재귀) 생각하라" 는 새로운 패러다임을 제시합니다.

• 계산 효율성: 컨텍스트 창을 소모하지 않으면서 추론 깊이를 동적으로 조절할 수 있어, 복잡한 알고리즘적 추론 작업에 이상적입니다.
• 메커니즘적 통찰: 태스크에 불변인 재귀적 추론 코어와 태스크 특화적 지각 인터페이스의 상호작용이 어떻게 OOD 일반화 형태 (정확하지만 취약함 vs 근사적이지만 견고함) 를 결정하는지 보여줍니다.
• 미래 방향: 이 아키텍처는 기존 LLM 에 통합되어, 토큰 생성 없이도 복잡한 논리적 추론을 수행할 수 있는 차세대 언어 모델의 핵심 구성 요소가 될 수 있습니다.

요약하자면, 이 연구는 고정된 Transformer 레이어의 한계를 넘어, 재귀적 메커니즘을 통해 계산 깊이를 태스크 난이도에 맞춰 동적으로 확장함으로써 구성적 일반화 (Compositional Generalization) 를 달성하는 새로운 길을 제시했습니다.