1. 문제 제기 (Problem)

기존의 대규모 언어 모델 (LLM) 은 RoPE (Rotary Positional Embedding) 와 같은 위치 인코딩과 표준적인 어텐션 메커니즘에 의존합니다. 그러나 다음과 같은 한계가 존재합니다:

• 위치 정보의 분리 부재: RoPE 는 상대적 위치 (relative position) 를 인코딩하지만, 절대적 위치 (absolute position) 에 대한 명시적이고 직교하는 (orthogonal) 신호를 제공하지 않습니다.
• 구조적 비효율성: 잔여 스트림의 표현 공간이 무작위로 섞여 있어, 특정 기하학적 구조를 명시적으로 부여하지 않으면 모델이 이를 스스로 발견하는 데 많은 학습 비용이 소모됩니다.
• 파라미터 효율성: 성능 향상을 위해 새로운 모듈을 추가하는 방식은 파라미터 수와 계산 비용을 증가시키는 경향이 있습니다.

2. 방법론 (Methodology)

3PT 는 표준적인 SwiGLU + RMSNorm + RoPE + GQA 백본 위에 잔여 스트림의 기하학적 구조를 재정의하는 5 가지 주요 수정 사항을 적용합니다. 핵심 아이디어는 모델 차원 (hidden dimension) 을 $N$개의 동등한 크기의 '위상 (phase)'으로 분할하고, 이를 교류 (AC) 시스템의 3 상 (three-phase) 전력 시스템과 유사하게 처리하는 것입니다.

주요 구성 요소:

1. 3 상 채널 분할 (Three-phase channel partition):
   • $d_{model}$ 차원의 잔여 스트림을 3 개의 연속된 스트립 (위상 A, B, C) 으로 나눕니다.
   • 각 위상은 $120^\circ$ ($2\pi/3$) 간격으로 배치된 성분으로 해석됩니다. 이는 3 개의 정현파가 합쳐질 때 0 이 되는 (zero-sum) 물리적 성질을 모방합니다.
2. Gabriel's Horn DC 주입 (Gabriel's Horn DC Injection):
   • 3 상 분할로 인해 생성된 1 차원 'DC 서브스페이스' (모든 위상이 동일한 값을 갖는 방향) 에 고정된 분석적 프로파일 $r(p) = 1/(p+1)$을 주입합니다.
   • 이는 Gabriel's Horn (무한한 표면적을 가지지만 유한한 부피를 가지는 기하학적 도형) 에서 영감을 얻었으며, 절대적 위치 신호로 작용합니다.
   • RoPE 의 상대적 위치 인코딩과 직교하여 상호 보완적으로 작동하며, 학습 가능한 파라미터 없이 버퍼 (buffer) 로만 구현됩니다.
3. PhaseRotationLayer:
   • 어텐션과 FFN 사이에 삽입되는 레이어로, 각 위상을 $2D$ Givens 회전 (Givens rotation) 을 통해 회전시킵니다.
   • 회전 각도는 층 (layer) 깊이에 따라 선형적으로 초기화되며, 학습 과정에서 각 위상 쌍이 독립적으로 조정됩니다.
   • 이 레이어는 비잔여 (non-residual) 방식으로 적용되지만, 직교 변환 (orthogonal map) 이므로 기울기 소실이나 폭발 없이 정보를 보존합니다.
4. 위상 정렬 GQA (Phase-aligned GQA):
   • Grouped-Query Attention 의 헤드 수를 위상 수 ($N=3$) 로 나누어 떨어지도록 구성합니다. 각 위상 내에서 Query 와 Key/Value 헤드가 매칭되도록 구조화합니다.
5. Phase-aware RMSNorm:
   • 전역 RMSNorm 대신 각 위상별로 독립적인 RMSNorm 을 적용한 후 합칩니다. 이는 파라미터 수를 증가시키지 않으면서 위상별 정규화를 가능하게 합니다.

3. 주요 기여 (Key Contributions)

• 새로운 아키텍처 패러다임: 3PT 는 새로운 모듈을 추가하는 것이 아니라, 잔여 스트림을 읽는 '관례 (convention)'를 바꾸어 기하학적 균형을 유지하는 **구조적 균형 (structural equilibrium)**을 제시합니다.
• RoPE 와의 직교적 구성: 3 상 구조가 RoPE 와 경쟁하지 않고, 서로 다른 부분 공간에서 작동하여 성능을 시너지 효과로 높인다는 것을 증명했습니다.
• Gabriel's Horn 의 활용: 절대적 위치 정보를 위한 새로운 메커니즘으로, $1/(p+1)$ 형태의 감쇠 함수가 초기 단어의 중요성과 후기 단어의 블러링을 자연스럽게 인코딩함을 보였습니다.
• 자기 안정화 (Self-stabilization): 명시적인 제약을 두지 않아도, 3 상 회전과 위상별 정규화가 결합되어 잔여 스트림의 평균이 자동으로 0 에 수렴하는 **보존 법칙 (conservation law)**이 작동함을 발견했습니다.
• 매우 낮은 오버헤드: 123M 파라미터 모델에서 학습 가능한 파라미터는 **1,536 개 (전체의 0.00124%)**만 증가시켰습니다.

4. 실험 결과 (Results)

실험은 5.5M 파라미터 (TinyStories) 에서 123M 파라미터 (WikiText-103) 까지 확장하여 수행되었습니다.

• 성능 향상 (123M 기준):
  • Perplexity (PPL): RoPE 만을 사용하는 베이스라인 대비 7.20% 감소 (17.31 $\to$ 16.06).
  • Bits-Per-Byte (BPB): 2.62% 감소 (1.1148 $\to$ 1.0855).
  • 수렴 속도: 단계 수 (step-count) 기준 1.93 배, 월클락 시간 기준 1.64 배 빠른 수렴을 보였습니다.
• 5.5M vs 123M 스케일링:
  • 5.5M 규모에서는 위상 수 $N=1$ (단일 위상) 이 $N=3$보다 성능이 좋았으나, 123M 규모에서는 $N=3$과 $N=1$이 통계적으로 유의미한 차이가 없거나 $N=3$이 약간 우세한 경향을 보였습니다. 이는 위상 공유 (parameter sharing) 가 스케일에 따라 정규화 역할을 한다는 것을 시사합니다.
• 기하학적 발견:
  • U 자형 드리프트: 12 층 모델에서 회전 각도의 학습 드리프트가 층 2 에서 최소가 되고, 얕은 층과 깊은 층으로 갈수록 증가하는 U 자형 프로파일을 보였습니다.
  • DC 서브스페이스의 독립성: Gabriel's Horn 이 주입된 DC 채널은 위상 간 간섭 없이 수학적으로 엄격하게 0 으로 유지됨을 확인했습니다.

5. 의의 및 결론 (Significance)

• 효율적인 구조적 개선: 3PT 는 거대한 파라미터 증가 없이, 기하학적 구조를 재배열하는 것만으로도 모델의 표현 능력을 크게 향상시킬 수 있음을 입증했습니다.
• 위치 인코딩의 재해석: 절대적 위치 (Horn) 와 상대적 위치 (RoPE) 를 분리된 직교 공간에 배치함으로써, 위치 정보 처리의 한계를 극복하는 새로운 설계 축을 제시했습니다.
• 확장성: 작은 규모 (5.5M) 에서 발견된 메커니즘이 대규모 (123M) 에서도 유효하며, 실제 데이터셋 (WikiText-103) 에서 검증되었습니다.
• 미래 연구 방향:
  • 층 깊이에 따른 회전 각도 초기화 스케줄 (U 자형 패턴) 을 학습하거나 최적화할 필요성 제기.
  • DC 서브스페이스에 주입할 함수의 형태 (Horn 대신 다른 함수) 를 다양한 작업에 맞게 탐색.
  • 더 큰 규모 (1B 이상) 에서 위상 수 $N$의 최적값이 어떻게 변하는지 연구.

결론적으로, Three-Phase Transformer 는 "모듈 추가"가 아닌 "구조적 재해석"을 통해 Transformer 의 성능 한계를 돌파할 수 있는 가능성을 보여주며, 매우 적은 비용으로 큰 성능 향상을 이룰 수 있는 새로운 아키텍처 클래스를 정립했습니다.