기술 요약: 어텐션의 라우팅 및 필터링 구조

문제 제기

표준 트랜스포머 아키텍처는 모든 레이어에 걸쳐 어텐션 자원을 균일하게 할당하며, 해당 레이어가 수행하는 특정 기능과 무관하게 모든 레이어에 동일한 헤드 차원과 계산 복잡도 ($O(N^2)$) 를 부여합니다. 이러한 균일성은 비균일 할당을 안내할 수 있는 원칙적인 측정 기준이 부재하기 때문에 지속됩니다. 최근의 하이브리드 아키텍처 (예: Nemotron-H, Jamba, Griffin) 는 2 차 레이어와 선형 레이어의 최적 비율을 찾기 위해 광범위한 하이퍼파라미터 스윕을 시도하여 이를 해결하려 하지만, 이러한 비율은 규모에 특화되어 있으며 이전 (transferability) 이 불가능합니다.

식별된 핵심 문제는 어텐션 상호작용 행렬 $QK^\top$이 단일 제약 없는 행렬 내에서 두 가지 구별된 계산 기능을 얽히게 (entangle) 한다는 점입니다:

1. 라우팅 (Routing): 위치 간 정보 흐름을 지시하는 비대칭 성분 (보수적 수송).
2. 필터링 (Filtering): 토큰 간 상호 관련성을 조절하는 대칭 성분 (이득 제어).

표준 어텐션에서 이러한 기능들은 동일한 행렬 용량을 위해 경쟁합니다. 5 개의 사전 훈련된 모델 (GPT-2 변형, BERT-base, Pythia-410M) 에 걸친 1,776 개의 헤드에 대한 실증 분석은 필터링이 스펙트럼 예산을 지배하는 반면, 라우팅은 가중 커널이 할당한 용량보다 훨씬 낮은 낮은 랭크에서 작동함을 보여줍니다. 또한, 모든 표준 어텐션 헤드는 동적으로 불안정 (양수 실수부를 가진 고유값 보유) 한 것으로 발견되었으며, 이는 레이어 정규화 (LN) 에 크게 의존하여 이러한 불안정성을 억제함으로써 라우팅 메커니즘의 진정한 스펙트럼 구조를 가립니다.

방법론

이러한 기능들을 분리하고 근본적인 스펙트럼 구조를 드러내기 위해, 저자들은 라우팅과 필터링을 구성상 분리하는 진단적 파라미터화인 S–D 어텐션을 도입합니다:

• 라우팅 ($S$): 학습된 반대칭 행렬 ($S = -S^\top$) 로 모델링됩니다. 이는 고유값이 순허수가 되도록 보장하여, 보존적인 제로섬 정보 수송 (모드 간 회전) 을 나타냅니다.
• 필터링 ($D$): 학습된 양의 대각 행렬 ($D = \text{diag}(d_1, \dots, d_N)$) 로 모델링됩니다. 이는 각 토큰이 스칼라 감쇠 계수를 갖는 소산성 필터링을 나타냅니다.

상호작용 행렬은 $L = S - D$로 정의됩니다. 저자들은 임의의 실수 반대칭 $S$와 양의 준정부호 대각 $D$에 대해 모든 고유값의 실수부가 $\text{Re}(\lambda) \le 0$을 만족함을 증명합니다. 이는 레이어 정규화 없이도 아키텍처 안정성을 보장합니다.

저자들은 얽힘이나 정규화로 인한 균등화에 의해 제약받지 않을 때 라우팅이 어떻게 자기 조직화하는지 관찰하기 위해, 레이어 정규화를 포함하거나 포함하지 않는 구성으로 OpenWebText 에서 7M 에서 355M 파라미터까지 다양한 규모로 S–D 모델을 훈련했습니다.

주요 발견 및 결과

1. 스펙트럼 캐스케이드

라우팅과 필터링이 분리되고 정규화가 제거될 때, 라우팅은 깊이에 걸쳐 스펙트럼 캐스케이드(랭크 계층 구조) 로 자기 조직화합니다:

• 레이어 0: 광범위한 정보 재분배를 위한 단일 회전 평면인 유효 랭크 2 로 수렴합니다.
• 중간 레이어: 낮은 랭크의 평탄 구간 (유효 랭크 $\approx 2$–$3$) 을 유지합니다.
• 최종 레이어: 더 높은 랭크 (최대 10 개 이상의 독립적인 회전 평면) 로 확장되며, 최종 랭크는 깊이가 아닌 헤드 차원에 의해 결정됩니다.
• 규모 불변성: 이 상승 캐스케이드 패턴은 모든 테스트된 규모 (7M 에서 355M) 에서 유효합니다. 모델 크기가 증가함에 따라 최소 스펙트럼 랭크에서 작동하는 레이어의 비율이 증가합니다 (18M 파라미터에서 33% 에서 355M 에서 92% 로).

2. 필터링 붕괴

분리된 S–D 아키텍처에서 필터링 구성 요소는 헤드당 단일 스칼라로 붕괴됩니다. 필터링 구성 요소를 헤드당 평균 스칼라로 잘라내도 퍼플렉시티 비용은 무시할 수 있을 정도로만 증가합니다 (+0.3 PPL), 반면 라우팅을 완전히 제거하면 치명적인 실패가 발생합니다. 이는 필터링이 지배적이고 라우팅이 낮은 랭크인 표준 어텐션과 대조적입니다.

3. 실행 가능한 스펙트럼 외과 수술

스펙트럼 캐스케이드는 아키텍처의 "외과적" 단순화를 가능하게 합니다:

• 선형화: 125M S–D 모델의 첫 7 개 레이어는 5% 미만의 퍼플렉시티 저하로 선형화 (ELU+1 인과적 선형 어텐션으로 교체) 될 수 있습니다. 반면, 표준 어텐션은 동일한 개입 하에 3 번째 레이어에서 붕괴됩니다.
• 파라미터 재할당: 헤드 차원 ($d_{head}$) 을 측정된 스펙트럼 랭크에 맞춤으로써 (예: 초기 레이어는 $d_{head}=8$, 최종 레이어는 $d_{head}=64$), 저자들은 퍼플렉시티가 +3.9% 에서 +8.4% 만 증가하는 동안 어텐션 파라미터를 47–65% 감소시켰습니다.
• 역전: 이 논문은 구조적 역전을 보여줍니다: 표준 어텐션에서는 필터링 잘라내기가 금지되고 라우팅 잘라내기가 저렴하지만, S–D 에서는 라우팅 잘라내기가 금지되고 필터링 잘라내기가 무료입니다.

중요성 및 주장

이 논문의 주요 기여는 아키텍처 자체가 아닌 측정이라고 주장합니다. 중요성은 어텐션의 "스펙트럼 예산"을 가시화하고 실행 가능하게 만드는 데 있습니다:

• 진단: S–D 파라미터화는 각 레이어에서 필요한 실제 라우팅 용량을 측정하는 진단 도구로 작용하며, 표준 어텐션이 낮은 랭크 레이어에 과도한 용량을 할당함을 드러냅니다.
• 하이브리드 아키텍처에 대한 지침: 스펙트럼 캐스케이드는 어떤 레이어가 완전한 2 차 어텐션을 필요로 하고 어떤 레이어가 선형 또는 낮은 랭크 메커니즘으로 대체될 수 있는지 결정하는 연속적이고 측정 가능한 지표를 제공합니다. 이는 하이브리드 아키텍처 설계를 "검색"(비율 스윕) 에서 "측정"(랭크 기반 처방) 으로 전환합니다.
• 선형 어텐션의 재평가: 결과는 단순한 선형 어텐션 (예: ELU+1) 의 역사적 실패가 내재적 용량 한계가 아니라 잘못된 할당 (높은 랭크 레이어에 적용) 으로 인한 것임을 시사합니다. 논문은 선형 어텐션이 캐스케이드가 식별한 낮은 랭크 "평탄 구간"에서 효과적으로 작동함을 보여줍니다.

저자들은 얽힘과 정규화가 제거되었을 때 스펙트럼 캐스케이드가 옵티마이저의 자연스러운 해결책이며, 이 구조가 더 효율적이고 비균일한 트랜스포머 아키텍처 구축을 안내할 수 있다고 결론지었습니다.