1. 문제 정의 (Problem Statement)

루프형 Transformer (Looped Transformers) 는 파라미터 공유를 통해 깊은 네트워크 구조를 효율적으로 구현하며, 언어 모델링과 추론 작업에서 강력한 성능을 보여왔습니다. 기존 연구들은 이러한 모델이 명시적인 사고 과정 (Chain-of-Thought) 없이도 잠재 공간 (Latent Space) 내에서 추론 능력을 내재화하는 '잠재 추론 (Latent Reasoning)'의 경향성을 가지고 있음을 시사합니다.

그러나 기존 접근법에는 다음과 같은 근본적인 한계가 존재했습니다:

• 고정된 반복 횟수: 기존 모델들은 훈련 및 추론 시 고정된 루프 반복 횟수 (Unroll depth) 만을 사용했습니다.
• 가변적 컴퓨팅 예산의 부재: 사용자의 컴퓨팅 예산 (Budget) 이 변할 때 모델이 유연하게 적응하지 못했습니다. 훈련된 특정 깊이 (예: 8 회 반복) 에서 벗어나 더 짧거나 긴 깊이로 추론을 수행하면, 모델의 표현력이 급격히 저하되거나 (Representation Collapse) 정체되는 문제가 발생했습니다.
• 유연한 컴퓨팅의 상실: 이는 루프형 모델이 가진 핵심 장점인 '유연한 컴퓨팅 (Flexible Compute)'을 포기하고, 비루프형 동등 FLOP(Floating Point Operations) 모델과 동일한 예산을 소비하게 만드는 결과를 초래했습니다.

따라서, 재훈련 없이 다양한 컴퓨팅 예산 (루프 횟수) 에 따라 고품질의 표현을 생성할 수 있는 '탄성 깊이 (Elastic Depth)'를 가진 루프형 Transformer를 개발하는 것이 주요 과제였습니다.

2. 방법론 (Methodology)

저자들은 LoopFormer라는 새로운 아키텍처를 제안하며, 이를 위해 다음과 같은 핵심 기법들을 도입했습니다.

A. 아키텍처: 샷컷 변조 (Shortcut Modulation) 및 조건부 루프

• 시간 및 단계 크기 조건부 (Time & Step Size Conditioning): 각 루프 단계 $i$에서 모델은 현재 누적 정규화된 시간 $t_{i-1}$과 단계 크기 $\Delta_i$ (점프 크기) 에 조건을 받습니다.
• 조건부 인코딩: $t$와 $\Delta$는 사인 - 코사인 주파수 임베딩과 작은 MLP 를 통해 인코딩되어, RMSNorm 레이어의 스케일링 인자 ($\gamma$) 와 MHSA/FFN 잔차 연결의 게이트 ($\alpha$) 를 변조합니다.
• 효과: 이를 통해 모델은 루프의 위치와 궤적의 세밀함 (Coarse vs. Fine) 을 인지하게 되어, 짧은 궤적과 긴 궤적 모두에서 일관된 행동을 유지할 수 있습니다.

B. 훈련 전략: 샷컷 일관성 (Shortcut Consistency)

• 다양한 궤적 샘플링: 훈련 시 최대 길이 $L$의 궤적뿐만 아니라, 무작위로 샘플링된 짧은 궤적 (단축 경로, $S < L$) 도 함께 사용합니다.
• 일관성 손실 함수 (Consistency Loss): 짧은 궤적의 최종 표현이 긴 궤적 (전체 $L$ 단계) 의 최종 표현과 일치하도록 유도합니다. 이는 Stop-Gradient 기법을 사용하여 긴 궤적을 고정된 타겟으로 삼고, 짧은 궤적이 이를 모방하도록 하는 자기 증류 (Self-distillation) 형태입니다.
• 목적: 짧은 루프에서도 유익한 표현이 생성되도록 하고, 긴 루프에서는 추가적인 정제가 이루어지도록 하여 깊이 변화에 따른 표현의 붕괴를 방지합니다.

C. 추론: 탄성 깊이 (Elastic Depth)

• 사용자는 추론 시 원하는 컴퓨팅 예산 $M$ ($M \le L$) 과 단계 스케줄 $\Delta_M$을 지정할 수 있습니다.
• 모델은 재훈련 없이 지정된 예산에 맞춰 $M$번만 루프를 실행하며, 이 과정에서 표현이 자연스럽게 진화하여 고품질 출력을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 루프형 Transformer 클래스 제안: 내부 시간 ($t$) 과 단계 크기 ($\Delta t$) 에 조건을 받아 각 패스를 변조하는 샷컷 변조 루프형 Transformer 를 제안했습니다.
2. 재훈련 없는 컴퓨팅 예산 기반 추론: 다양한 단계 스케줄을 대상으로 한 샷컷 일관성 훈련 프로토콜을 통해, 재훈련 없이도 사용자의 컴퓨팅 예산에 맞춰 유연하게 작동하는 '탄성 깊이'를 실현했습니다.
3. 표현 역학 분석: 아노이소트로피 (Anisotropy), 곡률 (Curvature), 엔트로피 (Entropy), CKA(Centered Kernel Alignment) 등 다양한 기하학적 및 정보 이론적 지표를 통해 루프 반복에 따른 표현 역학을 분석했습니다. 기존 조기 종료 (Early Exit) 기반 모델들은 표현이 정체되는 경향을 보인 반면, LoopFormer 는 깊이에 따라 지속적으로 진화하는 비퇴화 (Non-degenerate) 상태를 유지함을 입증했습니다.
4. 성능 입증: 다양한 언어 벤치마크에서 퍼플렉시티 (Perplexity) 와 제로샷 추론 성능을 측정하여, 컴퓨팅 예산이 감소하더라도 성능이 급격히 떨어지지 않고, 예산이 증가함에 따라 매끄럽게 확장됨을 보여주었습니다.

4. 실험 결과 (Results)

• 퍼플렉시티 및 추론 성능:
  • LoopFormer 는 고정된 깊이의 루프형 모델 (Base-Loop, TMLT) 보다 낮은 퍼플렉시티를 기록하며, 비루프형 베이스라인 (Base) 과의 격차를 크게 줄였습니다.
  • 특히 컴퓨팅 예산이 제한된 상황 (예: 최대 24 회 반복 중 6 회만 사용) 에서도 다른 루프형 모델들이 성능이 급격히 떨어지는 것과 달리, LoopFormer 는 높은 성능을 유지했습니다.
• 스케일링 법칙:
  • 블록 수 ($k$) 와 루프 횟수 ($L$) 가 증가함에 따라 퍼플렉시티와 추론 정확도가 모두 향상되었습니다.
  • LoopFormer 는 예산이 제한된 상황에서도 이러한 향상 추세를 유지하며, 추가적인 루프가 추가될 때 성능이 매끄럽게 증가하는 것을 확인했습니다.
• 표현 역학 분석:
  • 정체 현상 부재: 기존 조기 종료 모델들은 루프 단계가 깊어질수록 표현 간 유사도 (CKA) 가 높게 유지되어 (정체), 추가 계산이 무의미한 것을 보였습니다. 반면 LoopFormer 는 초기 단계에서는 유사도가 높다가 중후반부로 갈수록 표현이 점차 변화하며 정제되는 것을 확인했습니다.
  • 궤적 선택의 중요성: 고정된 예산 내에서 단계 스케줄 (Step Schedule) 을 어떻게 배분하느냐에 따라 성능 차이가 발생했으며, 초기에는 큰 단계 크기를, 후반부에는 작은 단계 크기를 할당하는 전략이 가장 효과적이었습니다.

5. 의의 및 결론 (Significance)

이 논문은 루프형 Transformer 가 가진 잠재 추론 능력을 제어 가능하고 예산을 인지하는 (Budget-aware) 방식으로 확장했다는 점에서 의의가 큽니다.

• 유연한 컴퓨팅의 실현: 사용자의 컴퓨팅 제약에 따라 모델이 재훈련 없이도 최적의 깊이를 선택하여 추론할 수 있게 함으로써, 효율적인 대규모 언어 모델 (LLM) 배포의 새로운 길을 열었습니다.
• 표현의 안정성: 단순한 루프 반복이 아닌, 시간과 단계 크기에 대한 조건부 학습을 통해 표현 공간에서의 안정적인 진화를 유도함으로써, 깊이 변화에 따른 성능 저하 문제를 해결했습니다.
• 미래 방향: 본 연구는 루프형 모델의 궤적 (Trajectories) 을 추론의 새로운 렌즈로 제시하며, 인스턴스별 (Instance-level) 적응형 예산 할당 및 더 깊은 이론적 분석을 위한 기초를 마련했습니다.

요약하자면, LoopFormer는 고정된 깊이 의존성을 탈피하여, 컴퓨팅 자원에 따라 유연하게 적응하면서도 높은 추론 능력을 유지하는 차세대 루프형 언어 모델의 새로운 패러다임을 제시합니다.