1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 일반적으로 깊은 계층 구조 (예: 80 개의 레이어) 를 통해 복잡한 추론 능력을 얻지만, 이는 높은 계산 비용과 메모리 소모를 초래합니다. 이를 해결하기 위해 재귀적 (Recursive) 또는 루프형 (Looped) Transformer이 제안되었는데, 이는 동일한 가중치 블록을 여러 단계 (depth steps) 에 걸쳐 재사용하여 파라미터 수를 줄이는 방식입니다.

하지만 기존 재귀적 Transformer 의 근본적인 한계는 **균일성 (Uniformity)**입니다:

• 모든 단계에서 동일한 가중치가 적용되므로, 모델이 입력에 따라 각 단계에서 서로 다른 연산을 수행할 수 없습니다.
• 기존 연구 (Static Adapters, Huginn 등) 는 단계별 고정된 어댑터를 사용하지만, 이는 학습 시점에 고정되어 입력 데이터에 따라 동적으로 변하지 않습니다. 즉, 수학 문제와 시를 처리할 때 동일한 단계별 수정이 적용됩니다.

핵심 질문: "모델이 현재까지 계산한 내용을 관찰하여, 다음 단계의 가중치 수정을 동적으로 생성할 수 있는가?"

2. 방법론 (Methodology)

OUROBOROS는 재귀적 Transformer 블록에 컴팩트한 컨트롤러 (Controller) 하이퍼네트워크를 부착하여 입력 조건부 (Input-Conditioned) 동적 가중치 생성을 가능하게 합니다.

2.1 아키텍처 구조

기존 사전 학습된 모델 (예: Qwen2.5-3B, 36 레이어) 을 세 부분으로 분할합니다:

1. Prelude (프렐류드): 초기 8 개 레이어 (동결). 토큰 임베딩을 잠재 추론 공간으로 매핑.
2. Recurrent Block (재귀 블록): 중간 1 개 레이어만 사용되지만 $N$번 반복 실행. 여기서 동적 변조가 일어남.
3. Coda (코다): 마지막 8 개 레이어 (동결). 잠재 공간에서 다음 토큰 예측으로 디코딩.

2.2 핵심 메커니즘

1. SVD 초기화된 고정 LoRA 베이스 (SVD-Initialized Fixed LoRA Bases):

   • 제거된 레이어들의 가중치 잔차 (Residuals) 를 평균화하고 **SVD(특이값 분해)**를 수행합니다.
   • 이를 통해 제거된 레이어의 주요 방향성 (Principal Directions) 을 $A$와 $B$ 행렬로 추출하여 **동결 (Freeze)**시킵니다.
   • 컨트롤러는 이 방향성 자체를 학습하는 것이 아니라, 각 방향의 **크기 (Magnitude)**를 조절하는 것만 학습합니다.

2. 컨트롤러 하이퍼네트워크 (Compact Controller):

   • 현재 은닉 상태의 평균 풀링된 벡터 ($\bar{h}$) 와 단계 임베딩 ($e_t$) 을 입력받습니다.
   • 7 개의 LoRA 타겟 (Q, K, V, O, 게이트, FFN 등) 에 대해 **대각선 변조 벡터 ($\delta_k$)**를 동적으로 생성합니다.
   • 가중치 업데이트 공식: $\Delta W_k = \frac{\alpha}{r} \cdot B_k \cdot \text{diag}(\delta_k) \cdot A_k$
   • 초기화 시 가중치가 0 이 되도록 설정하여 학습 시작 시에는 변조가 없게 (Identity) 만듭니다.

3. 게이트드 재귀 (Gated Recurrence):

   • 깊은 재귀 반복 시 표현의 드리프트 (Drift) 를 방지하기 위해 **식별 게이트 (Identity-biased gate)**를 도입합니다.
   • 초기 게이트 편향 ($b_g = -2.0$) 을 통해 88% 의 이전 상태를 유지하도록 설정합니다.
   • 학습 과정에서 게이트가 열리면서 필요한 경우에만 새로운 정보를 추가합니다.

4. 단계별 레이어 정규화 (Per-Step LayerNorm):

   • 각 반복 단계마다 고유한 RMSNorm 스케일 파라미터 ($\gamma_t$) 를 사용하여 단계별 차이를 명확히 합니다.

3. 주요 기여 (Key Contributions)

1. 입력 조건부 동적 변조: 재귀적 블록의 LoRA 변조를 고정된 파라미터가 아닌, 현재 은닉 상태를 관찰하는 하이퍼네트워크 (Controller) 를 통해 동적으로 생성합니다.
2. SVD 기반 고정 베이스: 제거된 레이어의 지식을 SVD 로 추출된 고정 베이스에 담아, 컨트롤러가 파라미터 수를 늘리지 않고도 방향성을 조절하게 합니다.
3. 게이트드 재귀의 필수성 증명: 게이트 메커니즘 없이는 재귀적 레이어 적용이 성능을 오히려 저하시킨다는 것을 실험적으로 입증했습니다.
4. 성능 우위: 정적 (Static) LoRA 보다 모든 깊이 (Depth) 에서 우수한 성능을 보였으며, 특히 깊이 1 에서 1.44 포인트의 큰 격차를 기록했습니다.
5. 오픈소스 구현: 9.2M 개의 학습 가능한 파라미터 (전체 모델의 0.6%) 만으로 구현된 전체 시스템의 코드와 체크포인트를 공개했습니다.

4. 실험 결과 (Results)

실험은 Qwen2.5-3B 모델을 17 개 레이어 (Prelude 8 + Recurrent 1 + Coda 8) 로 축소하여 수행했습니다.

• 학습 손실 감소: 수정되지 않은 17 레이어 베이스라인 (Loss 8.975) 대비 43.4% 손실 감소 (Loss 약 5.08) 를 달성했습니다. 이는 전체 36 레이어 모델과 17 레이어 모델 간의 성능 격차의 51.3% 를 회복한 것입니다.
• Controller vs Static LoRA:
  • Depth 1: 컨트롤러 (5.082) 가 정적 LoRA (6.519) 보다 1.44 포인트 더 낮았습니다. (가장 큰 격차)
  • Depth 4, 8, 16: 모든 깊이에서 컨트롤러가 정적 LoRA 를 능가했습니다.
  • 파라미터 효율성: 컨트롤러, 게이트, 레이어노름을 포함한 학습 가능 파라미터는 총 9.2M에 불과합니다.
• 하이퍼파라미터 강건성: 깊이 (116), 랭크 (864), 학습률 (3e-41e-3) 을 변경해도 최종 손실이 5.0735.082 로 거의 동일하게 수렴하여 매우 강건한 시스템임을 보였습니다.
• 게이트의 중요성: 게이트가 없는 경우 재귀 적용 시 모델 성능이 저하되었으나, 게이트가 있을 때만 3.49 포인트의 손실 감소를 기록했습니다.

5. 한계점 및 의의 (Limitations & Significance)

한계점 (Generalization Gap)

• 학습 분포 내 (In-distribution) vs 유지 분포 (Held-out): 컨트롤러는 학습 데이터 (FineWeb-edu) 에서는 성능을 크게 향상시켰으나, 보지 못한 텍스트 (Held-out text) 에서는 베이스라인보다 성능이 떨어졌습니다.
• 원인: 재귀 블록의 출력 분포가 변경되었음에도, 동결된 Coda(하위) 레이어가 이에 적응하지 못해 발생하는 분포 이동 (Distribution Shift) 문제입니다.
• 해결 방향: Coda 레이어를 동결하지 않거나 어댑터를 추가하여 하위 레이어가 적응할 수 있게 해야 함.

의의 및 의의 (Significance)

1. 효율적인 재귀 학습: 고정된 가중치 재사용의 한계를 동적 변조로 극복하여, 적은 파라미터로 깊은 추론 능력을 회복할 수 있음을 증명했습니다.
2. 깊이 불변성 (Depth Invariance): 컨트롤러는 단일 단계 (Depth 1) 에서도 깊은 재귀만큼의 성능을 낼 수 있음을 보였습니다. 이는 추론 시 계산 비용을 최소화하면서도 높은 성능을 유지할 수 있는 실용적인 가능성을 제시합니다.
3. 미래 연구 방향: 동결된 하위 레이어를 적응시키는 것, 입력에 따른 동적 중단 (Adaptive Halting) 학습, 그리고 다양한 벤치마크 (GSM8K 등) 로의 일반화 검증이 향후 과제로 제시되었습니다.

결론적으로, OUROBOROS 는 재귀적 Transformer 에 '입력에 따른 동적 적응'을 도입하여 파라미터 효율성과 성능을 동시에 개선한 획기적인 접근법입니다.