The Spike, the Sparse and the Sink: Anatomy of Massive Activations and Attention Sinks

이 논문은 트랜스포머 모델에서 관찰되는 '거대 활성화'와 '어텐션 싱크'가 아키텍처적 산물로서 서로 다른 기능 (글로벌 암시적 파라미터 vs 로컬 어텐션 조절) 을 수행하며, 프리-노멀라이제이션 구성이 이 두 현상의 공존을 가능하게 한다는 것을 규명합니다.

핵심

🌟 핵심 비유: "폭발하는 스파크"와 "고장 난 신호등"

AI 모델은 수많은 단어들을 처리하며 문장을 만듭니다. 그런데 이상한 일이 발생합니다.

1. 거대한 활성화 (The Spike):

   • 비유: AI 의 뇌 속 신경 세포 중 아주 일부만 유독 **엄청나게 큰 전류 (스파크)**를 흘려보내는 현상입니다. 보통은 모든 세포가 고르게 일하지만, 특정 세포들만 "와아!" 하고 폭발하듯 큰 신호를 보냅니다.
   • 현상: 문장의 첫 번째 단어나 줄바꿈 기호 같은 특정 단어들이 이 '폭발'을 일으킵니다.

2. 주의의 싱크 (The Sink):

   • 비유: AI 가 문장을 읽을 때, 모든 단어에 골고루 주의를 기울여야 하는데, 특정 단어 (주로 첫 번째 단어) 에만 비정상적으로 많은 관심을 쏟는 현상입니다. 마치 신호등이 녹색이 되어야 할 때, 한쪽 방향만 계속 초록불을 켜고 다른 방향은 무시하는 것과 같습니다.
   • 현상: AI 는 문장의 의미와 상관없이 첫 단어를 "내 기준점"처럼 여기고 그쪽으로 주의를 집중합니다.

기존의 생각: 이 두 현상은 서로 연결되어 있어서, "폭발하는 신호 (스파크) 가 있기 때문에 신호등이 고장 난 것 (싱크)"이라고 생각했습니다.

이 논문의 발견: 아니요! 이 두 가지는 사실 별개의 문제입니다. 다만, AI 의 설계 방식 (특히 '정규화'라는 기술) 이 우연히 이 두 가지를 동시에 발생시켰을 뿐입니다.

---

🔍 상세 설명: 어떻게 작동할까요?

1. 스파크 (Spikes) 는 어떻게 생기나요?

AI 는 문장을 처리할 때 여러 층 (Layer) 을 거칩니다.

• 초기 층 (Step-up): 문장의 시작 부분에서, 특정 단어 (첫 단어 등) 가 지나치게 큰 신호를 만들어냅니다. 마치 폭죽을 터뜨리는 것과 같습니다.
• 중간 층: 이 거대한 신호는 AI 의 뇌를 통과하며 사라지지 않고 계속 유지됩니다.
• 후기 층 (Step-down): 문장의 끝부분에 다다르면, AI 는 이 거대한 신호를 상쇄시키기 위해 반대 방향의 신호를 보내서 평상시 크기로 되돌립니다.

결론: 이 '폭발'은 AI 가 문장의 시작을 강조하기 위해 만든 임시적인 '숨겨진 변수' 같은 역할을 합니다.

2. 싱크 (Sinks) 는 왜 생기나요?

여기서 **정규화 (Normalization)**라는 기술이 개입합니다.

• AI 는 거대한 신호 (스파크) 를 받으면, 이를 일정한 크기로 줄여주는 작업을 합니다.
• 그런데 이 작업을 하면, 폭발했던 신호가 사라진 자리에 '매우 단순하고 똑같은 모양'의 신호만 남게 됩니다.
• AI 는 이 '똑같은 신호'를 보고, "아, 이거는 문장의 기준점이구나!"라고 착각하게 됩니다. 그래서 모든 attention(주의) 을 이쪽으로 쏘아보냅니다. 이것이 주의의 싱크입니다.

핵심: 스파크가 싱크를 만드는 직접적인 원인은 아니지만, AI 의 설계 방식이 스파크를 처리하는 과정에서 우연히 싱크를 만들어낸 것입니다.

---

🛠️ 연구의 중요성: 왜 이걸 알아야 할까요?

이 논문의 가장 큰 공헌은 **"이 두 가지를 따로따로 해결할 수 있다"**는 것을 증명했다는 점입니다.

• 기존의 문제: AI 를 더 가볍게 만들거나 (압축), 더 빠르게 실행하려면 이 '폭발'과 '고장 난 신호등'을 모두 고쳐야 한다고 생각했습니다.
• 새로운 발견:
  1. 스파크 제거: 설계 방식을 조금만 바꾸면 (예: 신호를 줄이는 방법을 변경), 거대한 폭발 신호를 없앨 수 있습니다.
  2. 싱크 유지: 폭발 신호를 없애도, AI 는 여전히 문장의 시작을 잘 인식할 수 있는 다른 방법 (예: 문맥에 따라 스스로 게이트를 조절하는 방식) 을 찾아냅니다.
  3. 결과: AI 의 성능은 떨어지지 않으면서, 불필요한 '폭발'만 제거할 수 있게 되었습니다.

💡 요약: 일상적인 언어로 정리하면?

"AI 가 문장을 읽을 때, 첫 단어가 너무 크게 소리쳐서 (스파크) 다른 단어들을 무시하게 되는 줄 알았습니다. 하지만 실제로는 AI 가 그 큰 소리를 처리하는 과정에서 실수로 첫 단어를 '기준점'처럼 고정해버린 것 (싱크) 이었습니다.

이 연구는 **"우리는 그 큰 소리 (스파크) 를 줄여도, AI 가 여전히 문장을 잘 이해하게 만들 수 있다"**는 것을 증명했습니다. 마치 시끄러운 라디오 소리를 줄여도, 방송 내용을 잘 들을 수 있게 만드는 것과 같습니다. 이제 우리는 AI 를 더 효율적이고 가볍게 만들 수 있는 새로운 길이 열렸습니다."

이 논문은 AI 의 복잡한 내부 작동 원리를 단순히 "이상한 현상"으로 치부하지 않고, 왜 그런지, 그리고 어떻게 고칠 수 있는지에 대한 명확한 지도를 제공했습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

현대 Transformer 기반 LLM(특히 Decoder-only, Pre-norm 아키텍처) 에서는 두 가지 빈번하게 관찰되는 현상이 존재합니다.

1. 거대 활성화 (Massive Activations): 소수의 토큰이 특정 채널에서 극단적인 아웃라이어 (outlier) 값을 보이는 현상입니다.
2. 어텐션 싱크 (Attention Sinks): 의미적 관련성과 무관하게 특정 토큰 (주로 문장 시작 토큰) 이 어텐션 가중치의 대부분을 끌어당기는 현상입니다.

기존 연구는 이 두 현상이 종종 같은 토큰에서 동시에 발생한다고 보고했으나, 그들이 기능적으로 어떻게 연결되는지, 혹은 인과관계가 무엇인지는 명확하지 않았습니다. 이 논문은 이 두 현상의 공존이 Transformer 의 본질적인 속성이 아니라, 특정 아키텍처 설계와 학습 선택의 부산물임을 규명하고 그 메커니즘을 해부합니다.

2. 방법론 (Methodology)

저자들은 Llama 및 Qwen 모델 계열을 대상으로 다음과 같은 분석과 실험을 수행했습니다.

• 메커니즘 분석:
  • 거대 활성화의 수명 주기 추적: 잔여 연결 (Residual Connection) 을 통해 활성화 값이 어떻게 생성되고 전파되는지 분석하여 'Step-up 블록' (초기 블록에서 값 증폭) 과 'Step-down 블록' (후기 블록에서 값 상쇄) 을 식별했습니다.
  • 피드포워드 블록의 역할: SwiGLU 활성화 함수가 특정 토큰에 대해 '방향성 2 차 증폭기 (Directional Quadratic Amplifier)'로 작용하여 거대 활성화가 발생함을 수학적으로 증명했습니다.
  • 정규화 (Normalization) 의 역할: RMSNorm 이 거대 활성화 토큰을 어떻게 희소하고 거의 일정한 (near-constant) 벡터로 변환하여 어텐션 싱크 형성을 가능하게 하는지 분석했습니다.
• 실험적 검증 (Ablation Studies):
  • 학습 하이퍼파라미터: 학습률, 가중치 감소 (Weight Decay), AdamW 모멘텀 등을 변경하여 최적화 상태가 두 현상에 미치는 영향을 확인했습니다.
  • 아키텍처 변형:
    • 피드포워드 블록 설계 변경 (GeLU, Linear, Attention-only).
    • 정규화 구성 변경 (Sandwich Norm, QKNorm, DynamicTanh).
    • 어텐션 헤드 설정 변경 (헤드 수, 헤드 차원).
    • 문맥 길이 (Context Length) 분포 변경.
    • 게이트드 어텐션 (Gated Attention) 도입.

3. 주요 기여 및 발견 (Key Contributions & Findings)

A. 두 현상의 인과적 관계 규명

두 현상은 밀접하게 연관되어 있지만 기능적으로 독립적이며, 그 연결고리는 **정규화 (Normalization)**입니다.

• 거대 활성화 (Global): 초기 피드포워드 블록에서 생성된 극단적인 값이 잔여 스트림을 통해 중간의 레이어까지 전파됩니다. 이는 모델의 **암시적 매개변수 (Implicit Parameters)**처럼 작용하여 전체적인 표현을 일정한 상태로 유지합니다.
• 어텐션 싱크 (Local): RMSNorm 은 거대 활성화 토큰의 값을 제한하고 희소화 (Sparsification) 하여, 다양한 토큰이 거의 동일한 벡터로 수렴하게 만듭니다. 이로 인해 어텐션 키 (Key) 벡터가 저차원 서브스페이스에 고정되고, 쿼리 (Query) 가 이 고정된 키와 정렬되면서 어텐션 싱크가 발생합니다.

B. 핵심 발견 사항

1. 정규화가 연결고리: Pre-norm 구성과 RMSNorm 이 거대 활성화의 전파와 어텐션 싱크 형성을 가능하게 하는 핵심 요소입니다. 이를 제거하거나 변경 (예: Sandwich Norm, DynamicTanh) 하면 거대 활성화는 사라지지만, 어텐션 싱크는 다른 전략으로 유지될 수 있습니다.
2. 피드포워드 블록의 증폭 역할: SwiGLU 기반의 피드포워드 블록은 특정 방향 (Spike direction) 에 정렬된 입력에 대해 2 차 증폭을 일으켜 거대 활성화의 주원인입니다.
3. 어텐션 싱크의 본질: 어텐션 싱크는 학습된 게이트 메커니즘입니다. 명시적인 게이트가 없을 때, 모델은 문장 시작 토큰을 '수신기 (Dumping ground)'로 사용하여 불필요한 어텐션 헤드를 차단하고 **단거리 의존성 (Short-range dependencies)**을 포착합니다.
4. 문맥 길이의 영향: 어텐션 싱크는 주로 짧은 문맥 학습에서 발생합니다. 긴 문맥만 학습된 모델에서는 싱크 비율이 급격히 감소하며, 이는 싱크가 긴 문맥에서 불필요한 정보를 무시하기 위한 적응적 메커니즘임을 시사합니다.

4. 실험 결과 (Results)

• 정규화 제거 시: Sandwich Norm 이나 DynamicTanh 를 사용하면 거대 활성화 (Spike) 는 거의 사라지지만 (Magnitude 감소), 어텐션 싱크 비율 (Sink Ratio) 은 유지되거나 오히려 증가합니다. 이는 두 현상이 필연적으로 결합된 것이 아님을 증명합니다.
• 게이트드 어텐션: 조건부 게이트 (Conditional Gating) 를 도입하면 어텐션 싱크가 사라지고 성능 저하 없이 모델이 동적으로 라우팅을 수행할 수 있습니다. 이는 싱크가 게이트 부재 시의 우회 전략임을 보여줍니다.
• 헤드 차원: 어텐션 헤드의 차원 (Head Dimension) 이 커질수록 싱크가 더 명확하게 형성됩니다. 이는 헤드가 충분히 큰 공간적 여유를 가져야 싱크 키와 일반 키를 기하학적으로 분리할 수 있기 때문입니다.
• 성능 영향: 거대 활성화나 어텐션 싱크 중 하나를 억제하더라도 언어 모델링 성능 (Perplexity) 은 크게 저하되지 않습니다.

5. 의의 및 결론 (Significance)

이 연구는 거대 활성화와 어텐션 싱크가 LLM 의 필수적인 기능이 아니라, Pre-norm 아키텍처와 학습 데이터 분포의 부산물임을 규명했습니다.

• 실용적 함의:
  • 양자화 (Quantization) 및 프루닝: 거대 활성화는 양자화 오차를 유발하므로 이를 제거하는 아키텍처 (예: Sandwich Norm) 를 도입하더라도 어텐션 싱크의 기능적 이점 (단거리 의존성 처리) 은 유지할 수 있음을 보여줍니다.
  • 효율적 추론: KV 캐시 관리 및 긴 문맥 추론에서, 어텐션 싱크가 단순한 버그가 아니라 특정 문맥 길이에서 효율적인 라우팅 전략임을 이해함으로써 더 나은 최적화 전략을 수립할 수 있습니다.
• 이론적 기여: 두 현상의 인과적 관계를 명확히 하여, 향후 모델 설계 시 아키텍처 선택 (정규화 방식, 게이트 메커니즘 등) 이 내부 표현에 미치는 영향을 구조적으로 이해하는 토대를 마련했습니다.

요약하자면, 이 논문은 "Spike(거대 활성화)"와 "Sink(어텐션 싱크)"가 어떻게 아키텍처적 설계에 의해 공존하게 되었는지 해부하고, 이를 독립적으로 제어할 수 있는 방법을 제시하여 더 효율적이고 안정적인 LLM 설계의 길을 제시합니다.