기술적 요약: 트랜스포머가 생성할 수 있는 서로 다른 출력의 수는 얼마인가?

문제 제기

자연어 처리 및 컴퓨터 비전에서 트랜스포머의 경험적 성공에도 불구하고, 이러한 모델은 입력 길이가 특정 임계값을 초과하면 복사나 시퀀스 반복과 같은 간단한 알고리즘 작업에서 근본적인 실패를 보입니다. 이전 연구들은 이러한 실패를 학습 데이터나 최적화 문제 때문이라고 여겼으나, 본 논문은 이것이 내재적인 아키텍처 제약에서 비롯된다고 주장합니다. 구체적으로 저자들은 출력 시퀀스의 **접근성 (accessibility)**을 조사합니다. 즉, 어떤 프롬프트 (최적화된 소프트 프롬프트 포함) 와 임의의 컨텍스트 길이가 주어졌을 때 트랜스포머가 생성할 수 있는 모든 토큰 시퀀스의 집합입니다. 핵심 질문은 다음과 같습니다: 트랜스포머가 실제로 생성할 수 있는 서로 다른 시퀀스는 몇 개이며, 이 용량이 프롬프트 길이와 모델 아키텍처에 따라 어떻게 확장되는가?

방법론

저자들은 트랜스포머 아키텍처 내의 유한한 수치 정밀도와 유계된 내부 표현의 본질이 부과하는 기하학적 제약을 분석함으로써 이 문제에 접근합니다.

1. 평균장 (Mean-Field) 공식화: 임의의 프롬프트 길이를 처리하기 위해 저자들은 유한한 시퀀스 대신 확률 측도 간의 매핑 (평균장 확장) 으로 트랜스포머를 해석합니다. 이는 어텐션 레이어의 치환 등변성 (permutation equivariance) 을 활용합니다.
2. 임베딩 공간 분할: 디코더의 출력 투영에 기반하여 다음 토큰 (또는 토큰 시퀀스) 이 가장 가능성 높은 영역에 대응하는 영역 ($E_t$) 으로 임베딩 공간을 분할합니다.
3. 패킹 수 (Packing Number) 분석: 저자들은 트랜스포머가 구별할 수 있는 서로 다른 입력의 수를 정량화하기 위해 패킹 수 (주어진 반지름을 가진 서로소인 공을 공간에 채울 수 있는 최대 개수) 개념을 활용합니다.
   • 유한 정밀도 가정: 트랜스포머는 정밀도 $\epsilon$을 가지며, 이는 $\epsilon$보다 가까운 입력들을 구별하지 못한다는 가정입니다 (축 정렬된 입방체나 공로 모델링됨).
   • 유계된 지지 (Bounded Support): 임베딩 지지 (support) 가 유계 영역 (예: 반지름 $r$인 공) 내에 포함되어 있다고 가정합니다.
4. 이론적 유도: 입력 공간의 패킹 수를 임베딩 지지의 부피에 대해 상한을 두어 접근 가능한 시퀀스 수에 대한 상한을 유도합니다.
5. 경험적 검증: 이론적 예측은 "크래밍 (Cramming)" 작업 (Kuratov et al., 2025) 을 사용하여 테스트됩니다. 이는 고정된 트랜스포머가 최적화된 소프트 프롬프트에 조건부 되어 특정 목표 시퀀스를 생성하는 작업입니다. 또한 복사 작업을 평가하여 길이에 의존하는 일반화 실패를 관찰합니다.

주요 기여

1. 시퀀스의 유한한 접근성

본 논문은 프롬프트 길이나 추론 전략과 무관하게 트랜스포머가 생성할 수 있는 서로 다른 시퀀스는 유한한 집합뿐임을 증명합니다.

• 정리 4.5: 정밀도 $\epsilon$, 임베딩 반지름 $r$, 프롬프트 길이 $m$을 가진 트랜스포머의 경우, 접근 가능한 서로 다른 시퀀스의 수는 $(1 + 2r/\epsilon)^{dm}$으로 상한이 잡힙니다.
• 함의: 대부분의 시퀀스는 근본적으로 접근 불가능합니다. 어떤 프롬프트를 선택하더라도 모델이 이를 생성하게 할 수 없습니다.

2. 선형 확장 및 지수적 감소

저자들은 프롬프트 길이와 접근 가능한 시퀀스의 최대 길이 간의 정밀한 관계를 확립합니다:

• 선형 성장: 접근 가능한 시퀀스의 최대 길이 $n$은 프롬프트 길이 $m$에 비례하여 선형적으로 증가합니다 ($n \propto m$).
• 지수적 감소: 임계값 $N$을 넘어서면 길이 $n$인 접근 가능한 시퀀스의 비율은 $n$에 따라 지수적으로 감소합니다.
• 이론적 임계값: 저자들은 이 임계값에 대한 명시적 공식을 유도합니다: $n^* \approx C \cdot m$. 여기서 $C$는 임베딩 차원 $d$, 어휘 크기 $|V|$, 정밀도 $\epsilon$, 지지 반지름 $r$에 의존합니다.

3. 경험적 실패에 대한 설명

이 분석은 실제에서 관찰되는 "갑작스러운 실패 (abrupt failure)"에 대한 이론적 설명을 제공합니다 (예: 길이 $L$까지는 완벽한 복사, 그 이후 완전한 실패). 본 논문은 이것이 점진적인 저하가 아니라 임계값을 넘어서는 접근 가능한 시퀀스의 지수적 감소의 결과라고 주장합니다.

4. 기하학을 통한 정제된 상한

저자들은 균일한 구형 임베딩 지지라는 가정을 완화하여 이론적 상한을 정제합니다. 그들은 다음을 제안합니다:

• 이방성 지지 (Anisotropic Supports): 임베딩의 실제 분포를 더 잘 포착하기 위해 임베딩 지지를 원뿔이나 타원체로 모델링합니다.
• 비균일 셀 부피: 공통 토큰이 드문 토큰보다 임베딩 공간에서 더 큰 영역을 차지한다는 사실을 고려합니다.
  이러한 정제들은 이론적 상한과 경험적 관찰 사이의 격차를 약 10 배에서 약 5~6 배로 줄입니다.

결과

이론적 예측

• 계 4.6: 고정된 프롬프트 예산 $m$에 대해 접근성은 길이 $n^*(m)$까지 높게 유지된 후 지수적으로 떨어집니다. 이 선형 관계의 기울기는 $C \leq \frac{d \ln(1 + 2r/\epsilon)}{\ln(|V|)}$로 상한이 잡힙니다.
• 계 4.10: 무제한의 컨텍스트와 연산이 있더라도 거의 모든 시퀀스가 접근 불가능해지는 임계값 $N$이 존재합니다.

경험적 검증

• 크래밍 작업: Pythia, Qwen-2.5, Llama-3.2, Gemma-3 모델에 대한 실험 결과, 접근성이 50% 로 떨어지는 길이 $n_{50}$은 학습 가능한 메모리 벡터의 수 $m$에 비례하여 선형적으로 증가함을 보였습니다 ($R^2 > 0.99$).
• 기울기 비교: 경험적으로 관찰된 기울기는 이론적 상한보다 일관되게 낮았으며, 모델과 사용된 기하학적 가정에 따라 이론과 실험 간의 비율은 4.5 에서 20.4 사이였습니다.
• 복사 작업: 길이 50 까지의 시퀀스 복사로 훈련된 모델은 더 긴 시퀀스로 테스트될 때 갑자기 실패하여 프롬프트 길이와 무관한 날카로운 접근성 임계값의 존재를 확인시켜 주었습니다.
• 셀 부피 분포: 분석 결과 디코더 셀 부피는 매우 편향되어 있음을 보여주었습니다. 소수의 빈번한 토큰 (예: 공백, 구두점) 이 임베딩 공간의 불균형한 부분을 차지하여 균일한 가정에 비해 접근성 상한을 더 좁게 만듭니다.

중요성 및 주장

본 논문은 시퀀스 생성 작업에서 트랜스포머의 내재적 한계에 대한 첫 번째 엄밀한 이론적 설명을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 아키텍처 한계: 긴 시퀀스를 복사하지 못하는 능력이 단순한 학습 산물이 아니라 유한 정밀도와 유계된 표현을 가진 아키텍처의 근본적 속성임을 입증합니다.
2. 예측력: 전체 매개변수 세트를 검사할 필요 없이 임베딩 공간의 기하학 (차원, 어휘 크기, 정밀도, 지지 형태) 만을 기반으로 트랜스포머의 성능 한계를 예측할 수 있는 공식을 제공합니다.
3. 일반화 가능성: 이 결과는 트랜스포머를 넘어 유계된 내부 표현과 유한 정밀도를 가진 모든 아키텍처 (예: Mamba 와 같은 상태 공간 모델, 비록 숨겨진 상태의 발산이 과제를 제기하지만) 로 확장됩니다.

저자들은 모델의 매개변수 중 일부만을 나타내는 임베딩 공간이 모델의 근본적인 능력과 한계에 대한 의미 있는 정보를 담고 있다고 결론지었습니다.