기술 요약: 고정된 유니버설 트랜스포머 (Fixed Universal Transformers)

문제 정의

본 논문은 적절하게 수정된 입력 임베딩이 제공된다면, 단일한 고정 파라미터 트랜스포머 아키텍처가 주어진 클래스 내의 다른 모든 트랜스포머를 시뮬레이션할 수 있는지에 대한 문제를 다룹니다. 이 개념은 계산 이론의 유니버설 튜링 머신(Universal Turing Machine) 및 **유니버설 회로(Universal Circuits)**와 유사한 유추를 활용합니다. 이는 보편적 근사(universal approximation) (모델 파라미터를 조정하여 임의의 함수를 근사하는 것)나 튜링 완전성(Turing-completeness) (특정 파라미터를 가진 네트워크 패밀리가 모든 튜링 머신을 시뮬레이션할 수 있는 능력)과는 다릅니다. 본 연구는 더 엄격한 의미에서의 **유니버설리티(universality)**를 조사합니다. 즉, "유니버설" 트랜스포머의 내부 가중치(어텐션 및 밸류 행렬)는 고정되어 있으며(명시적으로 구축되거나 무작위로 초기화됨), 대상 트랜스포머의 시뮬레이션은 오직 입력 임베딩 행렬 $E$를 변경함으로써 달성됩니다.

저자들은 많은 언어 모델의 능력이 무작위로 초기화된 트랜스포머에도 존재하며, 학습된 임베딩 및 언임베딩 레이어만을 필요로 한다는 최근의 경험적 발견(Zhong and Andreas, 2024)에 동기를 얻었습니다. 이 논문은 이러한 현상을 이론적으로 공식화하고, 이러한 유니버설리티가 성립하는 조건을 결정하고자 합니다.

방법론

1. 공식적 정의

저자들은 $H$-헤드, $L$-레이어, 임베딩 차원 $m$을 가진 트랜스포머를 **유니버설 트랜스포머(UT)**로 정의합니다. 이는 고정된 행렬 $\{R^l_{Q}, R^l_{K}, R^l_{V}\}$와 언임베딩 행렬 $U$에 의해 파라미터화됩니다. 파라미터 $\{W^l_{Q}, W^l_{K}, W^l_{V}, W^l_{O}\}$와 임베딩 차원 $d$를 가진 대상 트랜스포머 $T$가 주어졌을 때, UT는 모든 입력 시퀀스 $X$에 대해 다음을 만족하는 임베딩 행렬 $E \in \mathbb{R}^{d \times m}$가 존재하면 $T$를 시뮬레이션한다고 합니다:
$$\text{UT}(X, E) = T(X)$$
여기서 임베딩 $E$는 대상의 파라미터를 인코딩하는 "프로그램" 역할을 합니다.

2. 이론적 구축

본 논문은 이러한 유니버설 트랜스포머의 존재에 관한 두 가지 주요 이론적 결과를 제공합니다:

• 명시적 희소 구축 (Explicit Sparse Construction): 저자들은 $\{0, 1\}$ 값을 갖는 고정된 UT를 구축합니다. 단일 헤드($H=1$)의 경우 $m = O(Ld)$이고, 멀티 헤드($H \ge 2$) 설정의 경우$m = O(HLd)$라면 임베딩 차원$m$이 충분함을 보여줍니다. 이 구축 방식은 대상 트랜스포머의 가중치를 임베딩$E$에 인코딩하고, 고정된 UT 파라미터를 사용하여 트리 구조의 어텐션 경로를 통해 이 가중치들을 라우팅하고 읽어들입니다. 이 구축 방식은 파라미터가 레이어 간에 공유되는 루프형(가중치 결합) 트랜스포머로도 확장됩니다.
• 무작위 유니버설리티 (Random Universality): 저자들은 유니버설리티가 **일반적인 속성(generic property)**임을 증명합니다. 만약 트랜스포머의 파라미터가 절대 연속 분포(예: i.i.d. 가우시안)에서 추출된다면, 임베딩 차원이 동일한 경계($m = O(HLd)$)를 만족할 때 확률 1로 결과 트랜스포머는 유니버설합니다. 이 증명은 시뮬레이션에 필요한 대수적 조건이 특정 행렬이 계수 부족(rank-deficient) 상태가 되는 측도-영(measure-zero) 집합에서만 실패함을 보여주는 것에 기반합니다.

3. 하한선 (Lower Bounds)

본 논문은 유니버설 트랜스포머가 대상의 정확한 어텐션 행렬을 재현해야 하는 "어텐션 매칭(attention-matching)" 접근 방식에 대한 임베딩 차원 $m$의 하한선을 설정합니다. 정리 4.1은 가장 단순한 케이스인 입력 차원이 1인 경우에도, $H \ge 2$일 때 $m$이 깊이 $L$에 따라 지수적으로 성장해야 함($m \ge HL/2$)을 보여줍니다. 이는 멀티 헤드 어텐션에 의해 유도되는 기하급수적으로 많은 계산 경로를 표현하는 데 따르는 복잡성을 강조합니다.

4. 경험적 평가

저자들은 두 가지 알고리즘 태스크를 통해 이론을 검증합니다:

1. 괄호 균형 맞추기 (Dyck-1): 괄호 시퀀스가 균형을 이루는지 판단합니다.
2. $k$-hop 유도 헤드 (Induction Heads): 토큰의 재귀적 검색을 요구하는 유도 헤드 메커니즘의 일반화입니다.

저자들은 세 가지 모델을 비교합니다:

• 희소 유니버설 트랜스포머 (Sparse Universal Transformer): 정리 3.1의 명시적 구축을 사용합니다.
• 무작위 유니버설 트랜스포머 (Random Universal Transformer): 무작위로 초기화된 고정 파라미터를 사용합니다.
• 전체 학습된 트랜스포머 (Fully-trained Transformer): 엔드 투 엔드로 학습된 표준 트랜스포머입니다.

모든 실험에서 오직 임베딩 행렬 $E$와 언임베딩 행렬 $U$만이 학습되며, 모든 내부 어텐션 및 밸류 파라미터는 고정된 상태를 유지합니다.

주요 결과

이론적 발견

• 존재성: 명시적 희소 파라미터 및 무작위 초기화 파라미터를 가진 유니버설 트랜스포머가 존재합니다.
• 차원성: 요구되는 임베딩 차원은 레이어 수와 헤드 수에 선형적으로 비례합니다($O(HLd)$).
• 일반성: 무작위로 초기화된 트랜스포머는 거의 확실하게(almost surely) 유니버설하며, 이는 트랜스포머의 "표현력"이 특정 학습된 가중치보다는 그 구조 자체에 내재되어 있음을 시사합니다.
• 하한선: 어텐션 매칭 전략의 경우, 임베딩 차원은 깊이에 따라 지수적으로 증가해야 하며, 이는 어텐션 패턴을 일치시키지 않고 모든 가능한 트랜스포머의 공간을 저차원 임베딩으로 압축하는 데 근본적인 한계가 있음을 나타냅니다.

실험적 발견

• 괄호 균형 맞추기: 두 유니버설 트랜스포머 모두 어텐션 전용 설정에서 (희소 모델은 100%, 무작위 모델은 94.4%)의 정확도를 달성하여, 전체 학습된 모델과 대등한 성능을 보였습니다.
• 유도 헤드 (Induction Heads): 어텐션 전용 설정에서는 성능이 최적에 미치지 못했습니다 (예: $k$-hop 태스크에서 전체 학습된 모델의 ~99% 대비 ~30-40%). 그러나 표준 구성 요소를 추가하면 성능이 크게 향상되었습니다:
  • **잔차 연결(residual connections)**과 **레이어 정규화(layer normalization)**를 추가함으로써, 희소 유니버설 트랜스포머는 모든 유도 태스크에서 100% 정확도를 달성했고, 무작위 유니버설 트랜스포머는 **85.7%–96.1%**에 도달했습니다.
  • MLP 레이어(고정 및 무작위 초기화된)를 추가하는 것은 무작위 유니버설 트랜스포머의 성능을 더욱 개선했습니다.
• 최적화: 결과는 잔차 연결 및 레이어 정규화와 같은 안정화 구성 요소가 포함된 경우, 표준 경사 하강법 기반 최적화가 복잡한 알고리즘 태스크를 해결하기 위한 필요한 임베딩을 성공적으로 학습할 수 있음을 입증합니다.

의의 및 주장

본 논문은 트랜스포머의 표현력 중 상당 부분이 학습된 내부 가중치보다는 **입력 표현(임베딩)**에 존재한다고 주장합니다. "유니버설 트랜스포머"라는 개념을 공식화함으로써, 저자들은 다음을 위한 이론적 토대를 제공합니다:

1. 모델 재프로그래밍 (Model Reprogramming): 임베딩 레이어만을 수정함으로써 사전 학습된(또는 고정된) 모델을 새로운 태스크에 적응시키는 능력.
2. 무작위 초기화 (Random Initialization): 무작위로 초기화된 트랜스포머가 왜 놀라운 능력을 보이는지에 대한 설명. 이들은 적절한 임베딩이 주어진다면 본질적으로 태스크 특화 트랜스포머를 시뮬레이션할 수 있기 때문입니다.
3. 효율성 (Efficiency): 특정 클래스의 문제에 대해서는 트랜스포머의 전체 파라미터를 학습할 필요 없이, 고정된 유니버설 백본을 "프로그래밍"하는 압축된 임베딩을 학습하는 것만으로도 충분할 수 있음을 시사합니다.

저자들은 자신들의 이론적 하한선이 특히 "어텐션 매칭" 전략에 적용된다는 점을 언급하며 신중한 태도를 유지합니다. 또한, MLP 및 정규화를 포함한 더 현실적인 아키텍처에서 (경험적으로는 유망하지만) 이론적으로 확장하는 것은 여전히 열려 있는 연구 방향임을 밝힙니다. 마지막으로, 이 작업이 트랜스포머 아키텍처 자체를 변경하는 것이 아니라 입력 임베딩의 역할을 재해석하는 것임을 명확히 합니다.