기술 요약: 트랜스포머 언어 모델의 표현 용량 (Representational Capacity)

문제 정의

본 논문은 트랜스포머 기반 언어 모델 내의 특징 표현(feature representation)에 대한 기하학적 한계를 이해하는 데 있어 존재하는 근본적인 간극을 다룬다. 모델 차원($d_{model}$)은 파라미터 수와 잠재 공간(latent space)의 크기를 제어하는 주요 하이퍼파라미터이지만, 표현 가능한 특징의 최대 개수를 결정하는 구체적인 역할에 대해서는 아직 충분히 탐구되지 않았다.

기존 이론, 특히 선형 표현 가설(특징이 잠재 공간 내의 방향으로 존재한다는 가설)과 중첩 가설(모델이 근사 직교 방향을 사용하여 차원보다 더 많은 개념을 표현한다는 가설)은 표현 가능한 특징의 수가 잠재 공간의 기하학적 구조에 의해 제한된다고 제안한다. 그러나 존슨-린덴스트라우스(Johnson-Lindenstrauss, JL) 정리와 같은 표준 이론적 경계는 무작위 투영(random projections)을 가정한다. 본 논문은 이러한 표준 경계가 학습된 표현의 패킹 효율성을 크게 과소평가한다고 주장하며, 수천 차원의 모델이 어떻게 수만 또는 수백만 개의 어휘 및 특징 집합을 수용할 수 있는지 설명하지 못한다고 지적한다.

방법론

1. 임베딩을 통한 허용 편차($\epsilon$) 추정

저자들은 임베딩 행렬을 전체 잠재 공간의 근사 직교성 제약을 측정할 수 있는 측정 가능한 대리 지표(proxy)로 사용할 것을 제안한다.

• 근거: 초기화 단계에서 무작위 가중치는 직교하는 원-핫 토큰 벡터를 $R^{d_{model}}$로 매핑하며, 고차원 기하학 덕분에 근사 직교하는 임베딩을 생성한다. 학습 과정은 이러한 구조를 유지하면서도, 의미 있는 어휘적 및 의미적 관계에 해당하는 코사인 유사도 분포의 "오른쪽 꼬리(right tail)"를 발달시킨다.
• 지표 정의: 저자들은 $\epsilon$(완전 직교로부터의 허용 편차)을 우연한 유사성과 의미 있는 관계 사이의 경계로 정의한다. 이 임계값은 임베딩 행렬의 쌍별 코사인 유사도 분포의 평균($\mu$)과 표준편차($\sigma$)를 이용하여 $\mu + 2\sigma$로 휴리스틱하게 추정한다.
• 분류: 이 지표는 수십 개의 오픈 소스 모델에 적용되어 근사 직교성 준수 여부에 따라 모델을 분류하는 데 사용된다.

2. 조정된 용량 공식 도출

본 논문은 $k$개의 근사 직교 벡터가 $k \leq \exp(d \cdot \epsilon^2 / C)$의 관계로 스케일링된다고 상정하는 표준 JL 정리를 비판한다.

• 경험적 실패: (심지어 경험적으로 강화된 상수를 적용하더라도) Llama 2 7B와 같은 학습된 모델에 표준 공식을 적용하면, 실제 어휘 크기인 32,000보다 몇 자릿수나 낮은 용량(예: 약 277개 방향)이 산출된다.
• 최적화 시뮬레이션: 최적화된 벡터의 패킹 효율성을 특성화하기 위해, 저자들은 무작위 단위 벡터를 초기화하고 그람 행렬(Gram matrix)의 비대각 요소에 대해 높은 지수 형태의 페널티를 최소화한다(이는 경사 하강법을 시뮬레이션하는 것이다).
• 공식 조정: 시뮬레이션 데이터에 적합(fitting)시킴으로써, 저자들은 용량이 단순히 원시 개수 $k$가 아니라 **벡터와 차원의 비율($k/d$)**에 의존하는 수정된 관계를 도출한다. 새로운 관계식은 다음과 같다:
  $$\epsilon = \sqrt{\frac{C \cdot \ln(k/d)}{d}} \implies k \leq d \cdot \exp\left(\frac{d \cdot \epsilon^2}{C}\right)$$
  이 단일 파라미터 수정은 표준 JL 경계에 비해 예측 오차를 두 자릿수 감소시킨다.

3. 표현 용량의 정의

임베딩에서 추정된 $\epsilon$과 조정된 공식을 결합하여, 본 논문은 **표현 용량(Representational Capacity)**을 임베딩, 언임베딩(unembeddings), 그리고 특징들을 위해 사용 가능한 구별 가능한 근사 직교 방향의 정량적 상한으로 정의한다.

주요 결과

1. 두 가지 뚜렷한 모델 클래스

수십 개의 모델 분석 결과, $\epsilon$에 따라 두 가지 클래스로 양분됨이 밝혀졌다:

• 클래스 1 (높은 $\epsilon$): $d_{model}$이 낮고 유사도 분포가 넓은($\epsilon > 0.2$) 모델들이다. 이 모델들은 임베딩 수준에서 근사 직교 구조가 부족하며, 중첩(superposition)을 동일한 방식으로 활용하지 않는 것으로 보인다. 이 클래스의 많은 모델은 임베딩과 언임베딩 행렬을 공유(tied)한다.
• 클래스 2 (낮은 $\epsilon$): $d_{model}$이 높고 분포가 0 근처에 밀집된($\epsilon < 0.1$) 모델들이다. 이 모델들은 엄격한 근사 직교 제약을 유지하며, 이는 중첩을 능동적으로 사용하는 것과 일치한다.

2. 용량 추정 및 민감도

• 규모: 클래스 2 모델의 경우, 표현 용량은 $\sim 10^5$에서 $\sim 10^{10}-10^{11}$에 달한다. 예를 들어, Llama 2 7B ($d_{model}=4096, \epsilon=0.0645$)는 약 4,000만 개의 방향을 가진 용량을 가진 것으로 추정되며, 이는 어휘 집합과 희소 오토인코더(SAE)를 통해 추출된 수백만 개의 특징을 충분히 수용할 수 있는 수준이다.
• 민감도: 용량은 $\epsilon$에 지수적으로 민감하다. 편차 허용치(예: 0.05에서 0.09로)가 약간만 증가해도 용량은 6자릿수만큼 급증할 수 있으며, 이는 $\epsilon$이 $d_{model}$ 자체보다 더 지배적인 레버(lever)임을 의미한다.
• 스케일링 트렌드: 클래스 2 내에서, 더 큰 모델은 원시 용량을 극대화하기보다는 더 타이트한 직교 제약(낮은 $\epsilon$)을 선호하는 경향이 있다. 이는 더 큰 모델이 원시적인 기하학적 공간 확보보다 내부 안정성과 신뢰할 수 있는 특징 추출을 우선시한다는 트레이드오프를 시사한다.

의의 및 주장

본 논문은 트랜스포머의 특징 표현에 대한 기하학적 한계를 추정하는 최초의 정량적 프레임워크를 제공한다고 주장한다. 주요 기여는 다음과 같다:

1. 이론적 경계의 경험적 교정: 표준 기하학적 경계(JL 정리)가 학습된 모델에는 불충분함을 입증하고, 관찰된 패킹 효율성과 일치하는 경험적으로 조정된 공식을 제공한다.
2. 공유 자원의 정량화: "표현 용량"을 임베딩, 언임베딩, 특징들이 공유하는 유한한 기하학적 자원으로 정의하며, 이는 편차 허용치($\epsilon$)에 의해 제어된다.
3. 진단적 통찰: 이 프레임워크는 모든 모델이 중첩을 동일하게 활용하는 것은 아님을 보여준다. 고-$\epsilon$ 모델과 저-$\epsilon$ 모델의 구분은 이들이 잠재 공간을 조직하는 방식에 있어 근본적인 구조적 차이가 있음을 시사한다.
4. 설계 함의: 저자들은 현재 휴리스틱(2의 거듭제곱 등)에 의존하는 $d_{model}$ 선택이 이론적으로 용량 목표에 의해 가이드될 수 있다고 제안한다. 또한, 유용한 용량에는 "천장(ceiling)"이 존재하여 기하학적 공간을 늘려도 수익 체감이 발생할 수 있으며, 더 큰 모델은 안정성을 유지하기 위해 자연스럽게 더 타이트한 직교성으로 수렴할 것이라고 가설을 세운다.

한계 및 주의사항

논문은 다음과 같은 몇 가지 한계점을 명시한다:

• 가설적 일반화: 임베딩 기하학이 (중간 단계의 특징을 포함한) 더 넓은 잠재 공간을 반영한다는 가정은 동기화된 가설이지 증명된 사실은 아니다.
• 휴리스틱 임계값: $\epsilon$을 결정하는 $\mu + 2\sigma$ 임계값은 휴리스틱이다. 용량이 $\epsilon^2$에 지수적으로 민감하기 때문에 절대적인 용량 값은 신뢰하기 어려울 수 있으나, 모델 간의 상대적 비교는 유익하다.
• 기하학적 vs 계산적: 도출된 용량은 기하학적 가능성에 대한 경계이지, 계산적 활용에 대한 것이 아니다. 이는 모델의 아키텍처(깊이, 어텐션 헤드 등)가 사용 가능한 최대 방향을 효과적으로 학습하거나 처리할 수 있는지 여부를 고려하지 않는다.
• 데이터 부족: 더 큰 모델이 더 타이트한 직교성을 선호한다는 관찰 결과는 $d_{model} > 6000$인 제한된 데이터 포인트에 기반하고 있다.