Massive Activations in Hybrid Linear Attention Large Language Models: Pre-Attention Spikes and Inter-Spike Plateaus

기술 요약: 하이브리드 선형 어텐션 대규모 언어 모델에서의 거대 활성화(Massive Activations)

문제 제기
하이브리드 선형 어텐션(Hybrid Linear Attention, HLA) 대규모 언어 모델(LLM)은 긴 문맥 모델링을 위해 풀 소프트맥스 어텐션(full softmax attention)의 이차 복잡도 계산 및 메모리 비용을 해결하는 방안으로 등장했습니다. 효율적인 선형 어텐션 레이어와 풀 어텐션 레이어를 교차 배치함으로써, HLA 아키텍처(예: Qwen3.5, Kimi Linear, Nemotron-H)는 효율성과 모델링 능력 사이의 균형을 맞추고자 합니다. 그러나 이러한 하이브리드 모델의 내부 활성화 역학은 여전히 제대로 이해되지 않고 있습니다. 특히, 일반적인 값보다 수 차례 더 큰 값을 가지며 어텐션 싱크(attention sinks)와 밀접하게 결합된 희소한 은닉 상태 엔트리인 **거대 활성화(Massive Activations, MAs)**의 동작은 레이어 간 교차 방식이 적용된 하이브리드 모델의 맥락에서 거의 탐구되지 않았습니다. 기존 연구는 MAs를 풀 어텐션 트랜스포머의 특징으로 확립했으나, 하이브리드화가 이러한 MAs의 출현, 진화 및 기능적 역할을 어떻게 재형성하는지는 불분번합니다.

방법론
저자들은 다각적인 접근 방식을 통해 레이어 간 교차형 HLA LLM에서의 MAs에 대한 첫 번째 체계적인 연구를 제시합니다:

1. 추론 시점 특성 분석: 본 연구는 다섯 가지 선형 어텐션 아키텍처(RetNet, HGRN, GLA, DeltaNet, Gated DeltaNet/GDN), 여섯 가지 하이브리드 구성(선형 어텐션과 풀 어텐션 레이어의 비율 변화), 그리고 다섯 가지 데이터 도메인(일반 산문, 과학적 글쓰기, 수학, 코드, 다국어 텍스트)을 대상으로 MAs를 분석합니다. 이 평가는 M-A-P 모델 제품군을 사용하여 340M에서 1.3B 파라미터 규모를 아우르며, 1.2B에서 397B 파라미터에 이르는 대규모 오픈 소스 모델(Kimi Linear, Qwen3.5, Nemotron-H, Zamba2)까지 포함합니다.
2. 어텐션 싱크 가이드 추적: 하이브리드 모델에서 크기 기반 순위 매기기의 취약성(최대 활성화 토큰이 빈번하게 바뀌는 현상)을 해결하기 위해, 저자들은 **합의 어텐션 싱크(consensus attention sinks)**를 사용하여 MAs를 추적하는 방법을 개발했습니다. 이들은 풀 어텐션 레이어와 헤드 전체에 걸쳐 어텐션 행렬을 평균하여 지배적인 싱크 토큰을 식별한 후, 모델 깊이에 따라 이 특정 토큰들의 최대 절대 활성화를 추적합니다.
3. 제어된 사전 학습: MAs 형태의 출현이 아키텍처적 인위성에 의한 것인지 격리하기 위해, 저자들은 통제된 조건 하에서 GDN 기반 하이브리드를 처음부터 학습시킵니다(340M 및 1.3B 규모). 저자들은 풀 어텐션 레이어의 배치와 출력 게이팅 메커니즘의 존재 여부를 조작하여 MAs가 최적화 과정에서 어떻게 발달하는지 관찰합니다.
4. 체계적 이상치 분석: 본 연구는 특정 이상치 특징의 부호 있는 역학을 추적하기 위해 고정 좌표 분석을 채택합니다. 이는 "쓰기(write)", "싱크(sink)", "취소(cancel)" 이벤트를 식별하기 위해 잔차 스트림 업데이트를 분해하는 과정을 포함하며, MAs의 진화를 어텐션 싱크 동작과 연결합니다.

주요 기여 및 발견

본 논문은 HLA 모델에서 아키텍처와 정렬된 두 가지 뚜렷한 MAs 형태를 식별합니다:

1. 프리-어텐션 스파이크(Pre-Attention Spikes, PAS): MAs는 풀 어텐션 레이어 직전에 일관되게 강해집니다. 이 현상은 모든 선형 어텐션 백본과 하이브리드 비율에서 관찰됩니다. 정량적 분석 결과, 높은 "싱크-스파이크 정렬률(sink-spike alignment rate)"을 보였는데, 이는 합의 싱크 토큰이 풀 어텐션 블록 바로 앞의 레이어에서 최대 활성화에 도달함을 의미합니다.
2. 인터-스파이크 플래토(Inter-Spike Plateaus, ISP): 풀 어텐션 레이어의 밀도가 높아짐에 따라(즉, 하이브리드 비율 $\rho$가 감소함에 따라), 연속적인 PAS 사이의 활성화는 기저 수준으로 감소하지 않고 오히려 높은 상태를 유지하며 '인터-스파이크 플래토'라고 명명된 지속적인 영역을 형성합니다.
   • 희소 하이브리드(예: 12:1 또는 24:1)의 경우, PAS는 날카롭게 국지화되며 골(trough)에 의해 분리됩니다.
   • 밀도가 높은 하이브리드(예: 3:1)의 경우, 이러한 골이 채워지면서 연속적인 스파이크를 연결하는 플래토를 형성합니다.
   • 풀 어텐션의 한계치($\rho=1$)에 도달하면, 스파이크와 플래토가 병합되어 기존 풀 어텐션 LLM의 특징인 안정적이고 지속적인 MA 형태를 띱니다.

메커니즘적 통찰
저자들은 MAs의 타이밍에 의해 제어되는 **공유된 생애 주기 설명(shared lifecycle account)**을 제안합니다:

• PAS 메커니즘: 국지적인 쓰기–싱크–취소(write–sink–cancel) 과정을 따릅니다. 프리-어텐션 레이어가 잔차 스트림에 큰 이상치를 쓰고, 이어지는 풀 어텐션 레이어가 과도한 어텐션을 받는 싱크 역할을 하며, 이후 반대 부호의 업데이트가 해당 이상치를 취소하여 스파이크를 소멸시킵니다.
• ISP 메커니즘: **지연된 취소(delayed cancellation)**의 영역을 나타냅니다. 풀 어텐션 레이어 전에 쓰여진 이상치는 취소 이벤트가 연기되기 때문에 중간의 선형 어텐션 레이어들을 통과하는 동안 지속됩니다.
• 게이팅의 역할: 제어된 사전 학습 결과, 풀 어텐션 출력 게이팅은 PAS와 ISP의 절대적 크기를 강력하게 감쇄시키지만, 레이어별 구조 자체를 제거하지는 않는 것으로 나타났습니다. 반대로, GDN 레이어의 고유 출력 게이트를 제거했을 때는 미미한 증폭만을 보였습니다. 이는 풀 어텐션이 MAs 역학을 조직하는 데 중심적인 역할을 하는 반면, GDN 게이팅은 주로 전파를 조절한다는 것을 시사합니다.

의의
본 논문은 이러한 발견이 MAs를 HLA 메커니즘을 이해하는 유익한 렌즈로 확립한다고 주장합니다. PAS와 ISP가 아키텍처와 정렬된 반복적인 현상이며, 학습 초기에 출현하고 게이팅에 예측 가능하게 반응한다는 것을 입증함으로써, 본 연구는 선형 어텐션에서 풀 어텐션에 이르는 스펙트럼 전반의 MAs 역학에 대한 통합된 설명을 제공합니다. 이 연구는 HLA 모델의 독특한 스파이크 기반 구조와 풀 어텐션 모델의 안정적인 형태 사이의 간극을 메우며, 이들 사이의 전이가 취소 타이밍에 의해 조절되는 이상치 지속성의 연속체임을 시사합니다.

한계 및 범위
저자들은 즉각적인 응용 방안을 제안하기보다는 형태의 존재와 메커니즘을 규명하는 데 집중하며 겸손한 범위를 유지합니다. 본 연구는 특정 모델 제품군(M-A-P)과 대표적인 오픈 소스 체크포인트에 의존합니다. 결과는 다양한 규모와 도메인에서 견고하지만, 본 논문은 왜 특정 취소 타이밍이 발생하는지에 대한 근본적인 원인을 해결한다고 주장하지 않으며, 이를 향후 연구 과제로 남겨두었습니다. 재현성을 보장하기 위해 코드와 체크포인트가 공개되어 있습니다.