기술적 요약: 앙상블로서의 나다라야-왓슨 추정기를 활용한 멀티헤드 어텐션

1. 문제 제기

트랜스포머 아키텍처에서 단일 헤드 어텐션에 비해 멀티헤드 어텐션 (MHA) 이 경험적으로 우월하다는 사실은 잘 알려져 있지만, 이러한 성능 차이를 뒷받침하는 통계적 메커니즘은 이론적으로 충분히 탐구되지 않은 상태입니다. 기존 문헌은 단일 헤드 소프트맥스 어텐션과 나다라야 - 왓슨 (NW) 커널 회귀 간의 대수적 동등성을 규명했습니다. 그러나 이러한 동등성이 왜 여러 헤드가 성능을 향상시키는지를 설명하기 위해 멀티헤드 설정으로 확장되지 못했습니다.

구체적으로, 표준 앙상블 학습 이론은 추정기를 평균화하면 분산이 감소한다고 제안합니다. 그러나 MHA 에 있어 이러한 정당화는 불충분합니다.

1. 단일 헤드 어텐션 (NW 추정기로서) 은 이미 분산이 높은 기본 학습기 (예: 결정 트리) 와는 달리 낮은 분산을 가진 커널 스무더입니다. 따라서 앙상블을 통한 분산 감소가 가장 극적으로 나타나는 경우와 다릅니다.
2. MHA 의 분산 감소는 헤드의 **비상관성 (decorrelation)**에 달려 있습니다. 헤드가 동일하다면 평균화하는 것은 아무런 이점을 주지 않으며, 헤드가 다양할수록 그 이점은 극대화됩니다.

본 논문은 MHA 가 오류를 감소시키는 조건, 헤드의 다양성이 수행하는 역할, 그리고 고정된 계산 예산 하에서의 최적 아키텍처 구성 (헤드 수 대 헤당 차원) 을 설명하는 엄밀한 통계 이론의 부재를 해결합니다.

2. 방법론

본 논문은 MHA 를 구조화된 NW 추정기 앙상블로 간주함으로써 엄밀한 통계적 프레임워크를 개발합니다. 방법론은 다음과 같은 단계를 거쳐 진행됩니다.

• 대수적 기초: 단일 어텐션 헤드가 대수적으로 $h = 1/\sqrt{d_k}$인 대역폭을 가진 지수 커널을 사용하는 NW 추정기와 동일하다는 확립된 항등식에 기반합니다. 여기서 $d_k$는 투영 차원입니다.
• 앙상블 분해: MHA 출력은 $H$개의 NW 추정기의 가중 합으로 공식화되며, 각 추정기는 $W_K^h$ 행렬로 정의된 키 공간의 서로 다른 학습된 투영 부분공간에서 작동합니다.
• 편향 - 분산 - 공분산 분석: 저자들은 MHA 앙상블의 평균 제곱 오차 (MSE) 에 대한 정확한 분해를 유도합니다. 이 분해는 앙상블 편향, 개별 헤드 분산의 가중 합, 그리고 헤드 간 공분산 항을 명시적으로 분리합니다.
• 다양성의 기하학적 분석: 헤드 간의 관계를 정량화하기 위해, 본 논문은 키 투영 행렬 ($Range(W_K^h)$) 이 span 하는 부분공간 사이의 **주요 각 (principal angles)**을 활용합니다. 이러한 부분공간 간의 중첩은 교차 그람 행렬 $G_{hh'} = (W_K^h)^\top W_K^{h'} / d_k$를 통해 측정됩니다.
• 제약 하의 최적화: 총 차원 예산 제약 ($H \cdot d_k = D$) 하에서 유도된 MSE 상한을 최소화함으로써 최적 아키텍처를 해결합니다. 이는 대역폭에 영향을 받는 편향과 헤드 수에 영향을 받는 분산 사이의 트레이드오프를 균형 있게 다룹니다.

3. 주요 기여 및 결과

A. 앙상블 NW 분해 (정리 3.1)

본 논문은 MHA 의 MSE 가 세 가지 항으로 구성됨을 증명합니다:
$$MSE_H = (\text{앙상블 편향})^2 + \sum \alpha_h^2 V_h + \sum_{h \neq h'} \alpha_h \alpha_{h'} C_{hh'}$$
중요하게도, 분석은 헤드 간 공분산 ($C_{hh'}$) 이 통계적 효율성을 지배하는 결정적 요소임을 보여줍니다. 분산 감소는 자동적으로 발생하지 않으며, 공분산 항이 충분히 작을 때 (즉, 헤드가 비상관적일 때) 만 발생합니다.

B. 헤드 다양성 지수 (HDI) 및 정리 4.2

저자들은 교차 그람 행렬의 특이값으로부터 계산 가능한 스펙트럴 측정치인 **헤드 다양성 지수 (HDI)**를 도입합니다:
$$HDI = 1 - \frac{2}{H(H-1)} \sum_{h < h'} \|G_{hh'}\|_F^2$$

• 결과: 통합 MSE 는 HDI 에 대해 **단조 비증가 (monotonically non-increasing)**합니다.
• 함의: 투영 부분공간이 직교할 때 (HDI = 1) 최대 분산 감소가 달성되며, 동일한 투영 (HDI = 0) 은 분산 감소가 없습니다. 이는 어텐션 헤드의 "다양성"에 대한 이론적 지표를 제공합니다.

C. 비상관성 - 최적성 정리 (정리 5.1)

본 논문은 MSE 를 최소화하는 최적 투영 행렬의 특성을 규명합니다.

• 결과: MSE 는 키 투영 행렬이 $h \neq h'$에 대해 $(W_K^h)^\top W_K^{h'} \approx 0$인 근사적 직교 조건을 만족할 때 최소화됩니다.
• 의의: 이는 서로 다른 헤드가 구문이나 의미와 같은 서로 다른 언어적 특징에 주의를 기울이는 경험적으로 관찰된 헤드 전문화 (head specialization) 현상에 대한 첫 번째 엄밀한 이론적 설명을 제공합니다. 본 논문은 학습 압력이 헤드를 최대 HDI 와 최소 앙상블 오차를 달성하기 위해 직교 부분공간을 향해 유도한다고 주장합니다.

D. 최적 아키텍처 스케일링 법칙 (정리 6.1)

고정된 예산 $D = H \cdot d_k$ 하에서, 본 논문은 헤드 수 ($H$) 와 헤당 차원 ($d_k$) 간의 차원 할당 최적화를 유도합니다.

• 결과: 최적의 헤당 차원 $d_k^*$는 샘플 크기 $n$에 대해 로그적으로만 증가합니다 ($d_k^* \sim (\log n)^{2/(4+d)}$), 반면 최적의 헤드 수 $H^*$는 예산 $D$에 대해 거의 선형적으로 증가합니다.
• 함의: 이 이론은 헤드를 비상관적으로 만들 수 있다면, 몇 개의 큰 헤드보다 많은 작은 헤드를 사용하는 설계 철학을 지지합니다.

E. 구조화된 가중치 (정리 7.1)

균일한 평균화 ($\alpha_h = 1/H$) 를 넘어, 본 논문은 일반 앙상블 가중치 이론을 적용합니다.

• 결과: 헤드를 품질 (일관성 비율) 순으로 정렬할 경우, 기하학적 가중치 (또는 피보나치 가중치) 는 특히 헤드의 품질이 이질적일 때 균일한 평균화보다 빠른 MSE 감소를 달성할 수 있습니다.

4. 의의 및 주장

본 논문은 앙상블 학습과 커널 회귀의 관점을 통해 멀티헤드 어텐션의 효능을 설명하는 첫 번째 엄밀한 통계 이론을 제공한다고 주장합니다. 그 주요 의의는 다음과 같습니다:

1. 통합 이론: 단일 헤드 NW 회귀 이론, 일반 앙상블 가중치 이론, 그리고 생물학적 시스템 (개미 집단) 과 랜덤 포레스트에서 발견된 비상관성 - 분산 감소 동형성이라는 세 가지 이전 연구 흐름을 통합합니다.
2. 전문화 메커니즘: "헤드 전문화"를 규모의 우연한 부산물이 아니라, 공분산을 최소화하는 직교 투영이라는 통계적 최적성 조건의 경험적 발현으로 재해석합니다.
3. 아키텍처 지침: 총 차원 예산이 고정되어 있다면 대규모 데이터셋의 경우 개별 헤드의 차원을 늘리는 것보다 헤드 수를 늘리는 것이 더 유익하다는 스케일링 법칙을 유도합니다.
4. 보편적 원리: 본 논문은 MHA 가 보편적 원리의 트랜스포머 구현체라고 가정합니다: 무작위화된 동일한 에이전트 + 다양성 강제 메커니즘 (직교 투영) $\rightarrow$ 분산 감소를 통한 발현적 최적성.

저자들은 개미 집단, 랜덤 포레스트, 그리고 트랜스포머가 집단 지성과 비상관성을 통한 분산 감소에 관한 동일한 수학적 진리의 세 가지 실현이라고 결론짓습니다.