기술적 요약: 트랜스포머를 이용한 정확한 시퀀스 보간

1. 문제 정의

본 논문은 시퀀스-투-시퀀스 매핑의 맥락에서 트랜스포머의 정확한 보간 (exact interpolation) 문제를 다룹니다. 구체적으로, $X_j \in (\mathbb{R}^d)^{n_j}$ 및 $Y_j \in (\mathbb{R}^d)^{m_j}$ ($m_j \le n_j$) 인 $N$ 개의 입력 - 출력 시퀀스 쌍 $\{(X_j, Y_j)\}_{j=1}^N$ 데이터셋이 주어졌을 때, 모든 $j$에 대해 $T(X_j) = Y_j$가 되도록 트랜스포머 아키텍처 $T$를 구성하는 것이 목표입니다.

문제 정의의 중요한 측면은 시퀀스 간의 동등성 정의입니다. 저자들은 시퀀스를 **순서가 없는 집합 (unordered sets, 치환 공변성)**으로 간주하며, 이는 출력 시퀀스의 토큰 집합이 타겟 시퀀스 $Y_j$의 토큰 집합과 일치할 때 (하우스도르프 거리를 통해 측정됨) $T(X_j) = Y_j$가 성립함을 의미합니다. 이러한 정의는 출력 길이가 입력 길이보다 엄격하게 작은 작업 (예: 마스크된 언어 모델링 또는 이미지 인페인팅) 을 수용하며, 길이를 보존하는 표준 시퀀스-투-시퀀스 모델이 불일치를 겪는 상황을 해결합니다.

본 연구는 다음을 가정합니다:

1. 입력 시퀀스들은 쌍별로 서로 다릅니다.
2. 각 입력 시퀀스 내의 토큰들은 쌍별로 서로 다릅니다.
3. 각 출력 시퀀스 내의 토큰들은 쌍별로 서로 다릅니다.

분석은 차원 $d \ge 2$ (주요 구성 증명에서는 구체적으로 $d \ge 20$) 에 대해 수행되며, 하드맥스 (hardmax) (온도 $\tau \to 0$일 때의 소프트맥스 극한) 와 소프트맥스 자기 어텐션 메커니즘 모두를 고려합니다.

2. 방법론

저자들은 특정 트랜스포머 아키텍처가 그러한 임의의 데이터셋을 정확하게 보간할 수 있음을 보여주는 **구성적 증명 (constructive proof)**을 제공합니다. 방법론은 토큰 위치를 기하학적으로 조작하기 위해 피드포워드 (FF) 레이어와 자기 어텐션 (SA) 레이어를 교대로 사용하는 데 기반합니다.

2.1 아키텍처

트랜스포머는 $L$개의 블록으로 구성되며, 각 블록은 FF 레이어와 SA 레이어의 합성입니다.

• 피드포워드 레이어: $FF(x) = \eta x + W\sigma(Ux + b)$로 정의되며, 여기서 $\sigma$는 ReLU 활성화 함수입니다. 저자들은 조절 가능한 잔차 매개변수 $\eta$의 중요성과 저폭 네트워크 ($d' \le 4$) 를 사용할 수 있는 능력을 강조합니다.
• 자기 어텐션 레이어: $SA_i(X) = \rho x_i + V \sum_{\ell} \pi_{i\ell}(X, A) x_\ell$로 정의됩니다.
  • 하드맥스 설정: 어텐션 가중치 $\pi_{i\ell}$는 $\langle A x_i, x_\ell \rangle$ 내적의 최댓값을 갖는 토큰을 선택합니다. 저자들은 특정 클러스터링 행동을 유도하기 위해 행렬 $A$에 대한 특정 구조 (랭크 1 행렬 또는 단위 행렬의 스칼라 배수) 를 활용합니다.
  • 소프트맥스 설정: 표준 소프트맥스 어텐션이 사용됩니다. 저자들은 소프트맥스가 하드맥스와 달리 단일 단계에서 정확한 "붕괴 (collapse)"를 허용하지는 않지만, 특정 FF 레이어 구성과 결합하여 정확한 보간을 달성할 수 있음을 보여줍니다.

2.2 기하학적 전략

구성은 토큰 구성을 조작하기 위한 특정 보조정리를 활용하여 네 가지 구별되는 기하학적 단계를 거쳐 진행됩니다:

1. 분리 (Separation): $O(N)$개의 블록을 사용하여, 초기 구성에서 중첩될 수 있는 서로 다른 입력 시퀀스의 토큰들을 분리합니다. 이는 시퀀스들이 쌍별로 서로소 집합이 되도록 토큰을 이동시키는 과정을 포함합니다.
2. 리더 선택 (Leader Selection): 트랜스포머는 모든 토큰을 특정 기하학적 영역 (양수 사분면) 으로 이동시킵니다. 그런 다음 각 시퀀스 $X_j$에 대해 $m_j$개의 "리더" 토큰을 선택하고 신중하게 배치합니다:
   • 하나의 리더는 원점에서 멀리 떨어진 특정 영역 $P$에 배치됩니다.
   • 나머지 $m_j - 1$개의 리더는 음수 사분면의 초구 (hypersphere) 위에 배치됩니다.
   • 비리더 토큰들은 리더들에게 끌리도록 배치됩니다.
3. 붕괴 (Collapse):
   • 하드맥스: 특정 매개변수를 가진 단일 SA 레이어가 하드맥스 어텐션의 클러스터링 효과로 인해 모든 비리더 토큰이 각각의 리더 위에 정확하게 붕괴되도록 합니다.
   • 소프트맥스: 소프트맥스는 엄격한 볼록 결합을 산출하므로, 단일 단계에서 정확한 붕괴는 불가능합니다. 저자들은 ReLU 활성화 함수를 가진 비잔차 FF 레이어를 사용하여 $O(N)$개의 추가 블록을 도입함으로써 토큰의 작은 이웃을 리더 위로 반복적으로 붕괴시킵니다.
4. 보간 (Interpolation): 시퀀스가 $m_j$개의 고유한 토큰으로 붕괴되면, 표준 FF 레이어 ("햇 함수"로 작용) 가 이러한 토큰들을 개별적으로 $Y_j$의 최종 타겟 위치로 이동시킵니다.

3. 주요 기여

3.1 실수 값 출력을 통한 정확한 보간

본 논문은 트랜스포머가 임의의 실수 벡터 값 시퀀스-투-시퀀스 매핑을 정확하게 보간할 수 있음을 증명합니다. 이는 이전 문헌의 제한점 (이산 출력으로 제한되거나 근사 보간만 제공됨) 을 극복한 것입니다.

3.2 입력 길이에 독립적인 복잡도

핵심 발견은 필요한 트랜스포머 크기가 **총 출력 길이 ($\sum m_j$)**와 임베딩 차원 $d$에만 의존하며, 입력 시퀀스 길이 ($n_j$) 에는 의존하지 않는다는 점입니다.

• 매개변수 수: $P = O(d \sum_{j=1}^N m_j)$.
• 블록 수: $L = O(\sum m_j + N)$.
  이는 복잡도가 일반적으로 입력 길이 $n$에 비례하는 기존 접근법 (예: ResNet) 과 대조됩니다. 이는 $m_j \ll n_j$인 요약과 같은 작업에서 트랜스포머의 효율성을 설명합니다.

3.3 저랭크 어텐션을 통한 매개변수 효율성

구성은 자기 어텐션 메커니즘에서 저랭크 매개변수 행렬 (구체적으로 $A$는 랭크 1 행렬과 단위 행렬의 배수의 합) 을 활용합니다. 이는 실제 효율적인 트랜스포머 설계와 부합하며, 매개변수 수가 $d$에 선형적으로 증가하도록 보장합니다.

3.4 정규화 훈련에 대한 함의

정확한 보간 트랜스포머의 존재는 정규화 훈련을 위한 이론적 기준선을 제공합니다. 저자들은 틱호노프 정규화 목적 함수에 대한 전역 최소해가 존재할 경우, 훈련 손실이 $\varepsilon \to 0$일 때 정규화 매개변수 $\varepsilon$에 선형적으로 비례함을 보여줍니다. 이러한 스케일링에서의 편차는 최적화가 전역 최소점인지 국소 최소점에 도달했는지에 대한 진단 도구로 활용될 수 있습니다.

4. 주요 결과

정리 1.6 (하드맥스 트랜스포머)

상호 구별성 가정을 만족하는 임의의 데이터셋에 대해, 다음을 갖는 하드맥스 트랜스포머가 존재합니다:

• 폭 $d' \le 4$.
• 블록 수 $L = 2 \sum_{j=1}^N m_j + 2N + 1$.
• 매개변수 수 $P = O(d \sum_{j=1}^N m_j)$.
  이러한 트랜스포머는 모든 $j$에 대해 $T_0(X_j) = Y_j$를 만족합니다.

정리 1.8 (소프트맥스 트랜스포머)

동일한 데이터셋에 대해, 모든 $0 < \tau < \tau^*$에 대해 다음을 갖는 소프트맥스 트랜스포머가 존재하는 온도 $\tau^* > 0$가 존재합니다:

• 폭 $d' \le 4$.
• 블록 수 $L = 2 \sum_{j=1}^N m_j + 3N$.
• 매개변수 수 $P = O(d \sum_{j=1}^N m_j)$.
  이러한 트랜스포머는 모든 $j$에 대해 $T_\tau(X_j) = Y_j$를 만족합니다.
  참고: 어텐션 레이어에서 정확한 붕괴가 부재하기 때문에 소프트맥스에 대한 증명은 하드맥스보다 $N-1$개의 추가 블록을 필요로 합니다.

5. 의의 및 주장

본 논문은 시퀀스-투-시퀀스 작업에서 실수 값 출력을 갖는 심층 소프트맥스 트랜스포머에 대한 첫 번째 정확한 보간 결과를 제공한다고 주장합니다.

• 이론적 통찰: 결과는 자기 어텐션의 이중적 역할을 명확히 합니다: 클러스터링을 통한 토큰 붕괴로 차원 축소 메커니즘으로 작용하고, 서로 다른 시퀀스 간의 토큰을 분리하기 위해 비국소성을 활용합니다.
• ResNet 과의 비교: 저자들은 출력 시퀀스가 입력 시퀀스보다 짧은 작업 ($m_j < n_j$) 의 경우, 트랜스포머가 ResNet 보다 엄격하게 매개변수 효율적임을 보여줍니다. ResNet 은 입력 길이 $n$에 비례하는 매개변수 (예: $O(d N n)$) 를 필요로 하는 반면, 트랜스포머는 출력 길이에 비례 ($O(d \sum m_j)$) 합니다.
• 실제적 관련성: 이 구성은 FF 와 SA 레이어의 교번 및 저랭크 어텐션 사용과 같은 실제적 특징을 반영하여, 트랜스포머의 이론적 용량이 이상화된 아키텍처의 단순한 산물이 아니라 표준 설계에 내재되어 있음을 시사합니다.

저자들은 그들의 구성이 최악의 경우 상한선이며, 실제 모델들은 훨씬 적은 수의 블록으로도 좋은 성능을 달성할 수 있음을 인정합니다. 또한 자기 어텐션의 계산 비용 (입력 길이의 제곱에 비례) 은 매개변수 복잡도 분석에서 다루지 않은 트레이드오프임을 지적합니다. 향후 연구 방향으로는 블록 수 최적화, 매개변수 노름 분석, 그리고 멀티헤드 어텐션 및 마스크된 인과적 설정으로의 결과 확장이 포함됩니다.