기술 요약: CART (Context-Anchored Recurrent Transformer)

문제 정의

언어 모델링의 지배적인 패러다임인 스택형 트랜스포머(stacked transformer)는 고유한 레이어의 수($L$)에 따라 파라미터 수를 선형적으로 증가시켜, 제약된 하드웨어 배포 시 메모리 병목 현상을 야기합니다. 깊이-재귀(depth-recurrent 또는 looped) 트랜스포머는 공유 블록을 통해 여러 번($R$) 통과하며 단일 파라미터 세트를 재사용함으로써 이를 해결하고자 합니다. 그러나 단순한 가중치 공유(naive weight-sharing)는 깊이가 일치하는 고유 모델(depth-matched unique models)보다 성능이 떨어지는 경우가 많은데, 이는 동일하게 적용되는 단일 블록이 반복적인 루프 과정에서 동작을 적응시킬 수 없기 때문입니다. 하이퍼 커넥션(hyper-connections), 루프 인덱스 임베딩(loop-index embeddings), 명시적 안정성 제약(explicit stability constraints)과 같은 기존 솔루션들이 이를 완화하려고 시도했으나, 결정적인 구조적 간극이 남아 있습니다. 대부분의 동시적 루프 아키텍처(예: Hyperloop, Parcae, OpenMythos)는 진화하는 은닉 상태(hidden state)로부터 매 반복마다 키-값(K, V) 표현을 재계산하며, 이는 컨텍스트 인코딩과 반복적 정제(iterative refinement)를 분리하지 못한다는 한계가 있습니다.

방법론: CART 아키텍처

CART는 단일 공유 코어 블록을 깊이에 따라 $R$번 재사용하는 파라미터 효율적 아키텍처를 도입하며, 세 가지 구체적인 아키텍처적 기여로 차별화됩니다:

1. 단일 계산 KV 앵커(Once-Computed KV Anchor): 매 루프 단계마다 K와 V를 재계산하는 이전 연구들과 달리, CART는 멀티 레이어 "프렐류드(prelude)"(고유한 $P$개의 트랜스포머 레이어 세트)로부터 K와 V를 단 한 번 계산하고 이를 고정된 상태로 유지합니다. 재귀 코어는 이 고정된 텐서들에 대해 교차 주의 집중(cross-attention)을 수행합니다. 이는 컨텍스트 인코딩(prelude)과 반복적 정제(core)를 분리하여, 불필요한 KV 프로젝션을 제거함으로써 루프당 FLOPs를 줄여줍니다.
2. Sigmoid-Gated LTI를 통한 학습된 안정성: 재귀 계산의 수렴을 보장하기 위해, CART는 학습 가능한 선형 시불변(Linear Time-Invariant, LTI) 게이트를 채택합니다: $h_{\ell} = \sigma(a) \odot h_{in} + f_{transformer}(h)$. 다른 연구들에서 사용되는 구조적 제약(예: zero-order hold 이산화)과 달리, 이 게이트는 데이터로부터 직접 수렴 속도(스펙트럼 반지름 $\varrho$)를 학습하며, 구조적 경직성 없이 $\varrho < 1$을 보장합니다.
3. 인과적 교차 주의 집중 제약(Causal Cross-Attention Constraint): 본 논문은 자기회귀적 재귀 모델을 위한 중요한 제약을 식별했습니다: 프렐류드(prelude)로부터 코어(core)로 향하는 교차 주의 집중은 반드시 인과적(causal)이어야 합니다. 비인과적 주의 집중은 프렐류드의 컨텍스트로부터 미래의 토큰을 재귀 상태로 유출시켜 손실 붕괴(loss collapse)를 일으킵니다.

아키텍처는 "prelude $\to$ anchor $\to$ core $\to$ coda" 토폴로지를 따릅니다. 프렐류드($P$개의 고유 레이어)는 컨텍스트 앵커 $e$를 생성합니다. 코어(공유 가중치, $R$회 반복)는 $e$로부터 추출된 고정된 K, V를 사용하여 상태를 정제합니다. 단일 고유 "코다(coda)" 레이어가 최종 로짓(logits)을 생성합니다.

실험 설정

저자들은 소비자급 GPU(RTX 3050 및 RTX 3090)에서 약 1B 토큰의 단일 패스 코퍼스(TinyStories, Wikipedia, FineWeb-Edu)를 사용하여 두 단계로 CART를 평가했습니다.

• 단계 1: 64개의 하이퍼파라미터 구성($d \in \{256, 512, 768, 1024\}$, $R \in \{2, 4, 6, 8\}$, $P \in \{2, 3, 4, 6\}$)에 대한 하이퍼파라미터 스크리닝을 3,000 스텝($\sim$49M 토큰) 동안 수행했습니다.
• 단계 2: 36개 구성($P=6$, $R \in \{6, 8, 10\}$, 3개 시드 각각)에 대해 30,500 스텝($\sim$1B 토큰) 동안 전체 학습을 진행했습니다.
• 베이스라인: 결합 규모($d=1024$)에서, CART는 저장된 파라미터(7-레이어) 및 유효 파라미터(12-레이어)가 일치하는 Dense 트랜스포머와 비교되었습니다.

주요 결과

1. 안정성 및 스펙트럼 반지름

36개 모든 단계 2 구성에서, 학습된 LTI 게이트의 스펙트럼 반지름 $\varrho$는 $[0.79, 0.83]$의 좁은 대역 내에 안착했습니다. 이 값은 고정된 설계 목표가 아니라 훈련으로부터 도출된 것입니다. $\varrho$는 모델 너비($d$)에 따라 단조 증가하며, 루프 횟수($R$)에 따라 약하게 증가합니다. 단계 1에서 관찰된 "보편적" $\varrho \approx 0.893$은 전체 훈련 중에 감소하는 중간 훈련 단계의 과도기적 현상으로 확인되었습니다.

2. 재귀 이득의 역전 ($R$)

단계 1과 단계 2 사이의 추세가 역전되는 결정적인 발견이 있었습니다:

• 단계 1 (3k 스텝): 재귀 깊이($R$)가 모델 너비($d$)가 증가함에 따라 더 가치 있어짐을 시사했습니다 ($d=1024$에서 $R=8$이 $R=2$보다 크게 우세).
• 단계 2 (30.5k 스텝): 이 추세가 역전되었습니다. 전체 훈련 시, $d \ge 512$인 모든 규모에서 $R=6$이 가장 좋은 구성이었습니다. $R$을 8 또는 10으로 늘리면 성능 저하(Perplexity에서 최대 1% 퇴보)가 발생했습니다.
• 추론 스케일링: 최적의 $d=1024$ 모델(R=6으로 훈련됨)에 대한 가변-$R$ 추론 실험 결과, 훈련된 것보다 더 많은 반복을 실행하는 것이 HellaSwag, LAMBADA, PIQA 성능을 지속적으로 저하시켰습니다. 이는 현재의 훈련 레시피 하에서 테스트 타임 컴퓨팅 스케일링에 대한 명확한 부정적 결과(negative result)를 나타냅니다.

3. 파라미터 효율성 주장

결합 테스트($d=1024$, $\sim$1B 토큰) 결과:

• 저장 파라미터 동등성(Stored-Parameter Parity): CART의 저장된 파라미터와 일치하는 Dense 7-레이어 모델이 Perplexity 지표에서 CART($P=6, R=6$)보다 1~2% 우세했습니다.
• 유효 파라미터 동등성(Effective-Parameter Parity): CART의 유효 파라미터와 일치하는 Dense 12-레이어 모델이 자연어 세트에서 CART보다 약 10% 우세했습니다.
• 결론: 공유 가중 재귀가 $R$배의 유효 용량을 제공한다는 가설은 이 규모와 훈련 예산에서는 성립하지 않았습니다.

4. 진단적 절제 실험 (Ablations)

저자들은 CART와 Dense 베이스라인 사이의 성능 격차를 분해했습니다:

• Frozen K, V: K, V를 언프리징(unfreezing)하여 매 단계 재계산해도 성능이 크게 개선되지 않았으며, 이를 통해 Frozen Anchor가 주요 병목이 아님을 입증했습니다.
• 재귀 깊이: $R$을 1로 줄이면(재귀 제거) 약 1%의 하락만 발생하여, 재귀 코어가 첫 번째 반복 이후에는 미미하게 기여함을 보여주었습니다.
• 가중치 공유: 코어 가중치를 언셰어링(unsharing, 각 반복에 고유한 파라미터 부여)했을 때 성능이 약 5% 향상되었으며, 이는 가중치 공유가 중요한 용량 병목임을 확인시켜 줍니다.
• 기계적 구성 요소: HyperConnection, LTI 게이트, Loop Index Embedding(LIE)에 대한 절제 실험 결과, 공유 가중치 구성에서 이들은 잔존하는(vestigial) 요소임이 드러났습니다. 즉, 이들을 개별적으로 제거해도 Perplexity에 측정 가능한 영향을 주지 않았습니다.
• 잔여 격차: Dense 베이스라인과의 남은 약 5%의 격차는 특정 메커니즘보다는 "prelude $\to$ anchor $\to$ core $\to$ coda"라는 이질적인 프레임워크 자체에 기인합니다.

의의 및 주장

본 논문은 CART를 다음과 같은 세 가지 주요 기여를 제공하는 깊이-재귀 트랜스포머에 대한 엄격한 경험적 조사라고 주장합니다:

1. 아키텍처적 차별성: CART는 프렐류드로부터 K, V를 한 번만 계산하고 이를 고정된 앵커로 재사용하여 컨텍스트 인코딩과 정제를 분리하는 최초의 모델입니다.
2. 학습된 안정성: 시그모이드 게이트를 가진 LTI 필터가 구조적 제약 없이 안정적인 수렴 속도($\varrho \in [0.79, 0.83]$)를 학습할 수 있음을 보여주며, 모델 너비와 루프 횟수에 적응합니다.
3. 경험적 실태 점검: 본 논문은 공유 가중 재귀의 파라미터 효율성에 대한 "명확한 부정적 결과"를 제공합니다. 이는 다음을 입증합니다:
   • 재귀 깊이($R$)의 이득이 전체 훈련 시 모델 너비와 함께 반드시 증가하는 것은 아니며, 오히려 역전될 수 있습니다.
   • 테스트 타임 컴퓨팅 스케일링(추론 시 $R$ 증가)은 훈련 시와 일치하지 않으면 해롭습니다.
   • "공유 가중 레버리지"(즉, $R$번의 반복이 $R$개의 고유 레이어와 같다는 가설)는 $d=1024, \sim$1B 토큰 규모에서 실패하며, 아키텍처가 파라미터가 일치하는 Dense 베이스라인에 패배함을 보여줍니다.

저자들은 CART가 결정론적 지연 시간(latency)과 고정된 메모리 사용량을 제공하여 배포에 유리하지만, 현재의 구성으로는 테스트된 규모에서 표준 Dense 트랜스포머를 능가하는 데 필요한 파라미터 효율성을 제공하지 못한다고 결론지었습니다. 이러한 결과는 특정 재귀 메커니즘(HyperConnection, LTI, LIE)보다는 이질적인 아키텍처 프레임워크와 가중치 공유가 주요 병목임을 시사합니다.