Attention Sinks Are Provably Necessary in Softmax Transformers: Evidence from Trigger-Conditional Tasks

이 논문은 소프트맥스 기반의 트랜스포머 모델이 특정 조건부 작업을 수행하기 위해 반드시 '어텐션 싱크 (attention sink)'를 형성해야 함을 수학적으로 증명하고, 이는 정규화 제약 때문임을 비정규화 ReLU 어텐션 실험을 통해 입증했습니다.

핵심

이 논문은 인공지능, 특히 '트랜스포머 (Transformer)'라는 최신 AI 모델이 왜 항상 첫 번째 단어 (또는 토큰) 에 집중하는 이상한 버릇을 갖게 되는지 그 근본적인 이유를 수학적으로 증명했습니다.

이 현상을 **'어텐션 싱크 (Attention Sink, 주의력 함정)'**라고 부릅니다. 마치 모델이 "아무것도 안 할 때는 그냥 첫 번째 토큰을 바라보고 있다가, 중요한 신호 (트리거) 가 오기만 하면 그때부터 진짜 일을 시작한다"는 식으로 행동하는 것입니다.

이 논문은 이 현상이 단순한 실수나 훈련의 부작용이 아니라, **소프트맥스 (Softmax)**라는 수학적 규칙을 쓰는 한 피할 수 없는 필연이라고 말합니다.

---

🍕 쉬운 비유로 설명하기: "조용한 식당과 주문하는 손님"

이 논리의 핵심을 이해하기 위해 거대한 식당을 상상해 보세요.

1. 상황: 이 식당에는 수많은 손님 (데이터) 이 들어와서 테이블에 앉습니다.
2. 목표: 식당의 웨이터 (AI 모델) 는 특별한 주문 (트리거, 예: "요리사님, 이 테이블에서 모든 메뉴를 합쳐서 한 접시 만들어주세요!") 이 들어오기 전까지는 아무것도 하지 않고 조용히 있어야 합니다. 하지만 주문이 들어오면, 그전에 앉았던 모든 손님의 메뉴를 기억해서 평균을 내야 합니다.
3. 문제: 웨이터는 "아무것도 하지 않는 상태 (Zero)"를 어떻게 표현할까요?

🚫 소프트맥스 (Softmax) 방식: "무조건 100% 를 나눠줘야 하는 규칙"

이 식당의 규칙이 **"모든 손님의 주의를 100% 로 나누어 배분해야 한다"**라고 가정해 봅시다. (이게 바로 소프트맥스의 특징입니다. 확률의 합은 항상 1 이어야 하죠.)

• 주문이 없을 때: 웨이터는 아무것도 하지 않아야 합니다. 하지만 "주의를 100% 나누라"는 규칙 때문에, 아무도 주의를 기울이지 않는다면 100% 가 어디로 갈지 모호해집니다.
• 해결책: 웨이터는 혼란을 피하기 위해 가장 안전한 곳, 즉 문 앞에 서 있는 '첫 번째 손님 (BOS 토큰)'에게 100% 의 시선을 고정시킵니다.
  • "아무것도 안 할 때는 문 앞의 첫 번째 손님을 바라보는 게 내 임무야!"
  • 이렇게 하면 "아무것도 안 한다"는 상태를 "첫 번째 손님을 100% 집중해서 바라본다"는 식으로 표현할 수 있게 됩니다.
  • 결과: 웨이터는 주문이 오기 전까지 문 앞의 첫 번째 손님을 뚫어지게 쳐다보게 됩니다. 이것이 바로 어텐션 싱크입니다.

✅ ReLU 방식: "아무것도 안 할 때는 시선을 0% 로 줄 수 있는 규칙"

이제 식당 규칙을 바꿨습니다. "주의를 0% 로 줄 수도 있고, 100% 로 줄 수도 있어. 합이 100% 일 필요는 없어." (이게 ReLU 어텐션의 특징입니다.)

• 주문이 없을 때: 웨이터는 "아무것도 안 할 때는 시선을 0% 로 줄게. 누구도 안 봐."라고 할 수 있습니다.
• 주문이 왔을 때: 그때 가서야 필요한 손님들에게 시선을 돌리면 됩니다.
• 결과: 웨이터는 문 앞의 첫 번째 손님을 굳이 쳐다볼 필요가 없습니다. 싱크 (함정) 가 생기지 않습니다.

---

📝 이 논문의 주요 발견 (핵심 요약)

1. 왜 이런 버릇이 생길까?

   • AI 모델이 "아무것도 하지 않는 상태 (No-op)"를 구현하려 할 때, 소프트맥스라는 규칙 때문에 어쩔 수 없이 **첫 번째 토큰 (BOS)**을 '안전판'으로 삼아야 한다는 것을 수학적으로 증명했습니다.
   • 마치 "주머니에 돈을 100% 다 넣어야 하는데, 아무것도 사지 않을 때는 어디에 넣어야 할지 몰라서 가장 안전한 주머니 (첫 번째 토큰) 에 꽂아두는 것"과 같습니다.

2. 실제 AI 에서도 이런 일이 일어날까?

   • 네, 실제로 GPT 나 Llama 같은 최신 모델들을 분석해보니, 특정 신호 (예: 문장 부호나 코드 시작) 가 오기 전까지는 첫 번째 토큰을 집중해서 바라보는 '싱크' 현상이 정말로 관찰되었습니다. 이는 이 논문이 예측한 것과 정확히 일치합니다.

3. 이걸 고칠 수 있을까?

   • 소프트맥스 규칙을 바꾸지 않는 한, 이 버릇을 없애기는 어렵습니다. 만약 강제로 첫 번째 토큰을 보지 못하게 막으면, 모델은 "아무것도 안 하는 상태"를 표현할 수 없게 되어 성능이 떨어질 수 있습니다.
   • 해결책: 소프트맥스 대신 ReLU 같은 다른 수학적 규칙을 쓰면, 첫 번째 토큰을 보지 않아도 "아무것도 안 하는 상태"를 자연스럽게 표현할 수 있어 싱크 현상이 사라집니다.

💡 결론: 왜 이 연구가 중요한가?

이 연구는 AI 개발자들에게 중요한 메시지를 줍니다.

• "아, 우리 모델이 첫 번째 토큰을 너무 많이 봐서 성능이 나쁜가? 그냥 그 부분을 수정하면 되겠네!"라고 생각할 수 있지만, 그건 근본적인 해결책이 아닙니다.
• 오히려 소프트맥스라는 규칙 자체가 그 버릇을 만들어낸 원인입니다.
• 만약 AI 가 "아무것도 안 할 때"와 "무언가 할 때"를 명확하게 구분하고 싶다면, 규칙 자체 (소프트맥스) 를 바꾸거나 (ReLU 사용), 아예 새로운 방식의 어텐션을 설계해야 합니다.

즉, **어텐션 싱크는 AI 의 실수가 아니라, 소프트맥스라는 규칙을 쓰는 한 피할 수 없는 '필요한 악 (혹은 필수 장치)'**이라는 것이 이 논문의 핵심입니다.

기술 요약

1. 문제 정의 (Problem)

• Attention Sink 현상: Transformer 모델은 입력 시퀀스의 특정 고정된 위치 (주로 BOS 토큰이나 첫 번째 토큰) 에 확률 질량 (probability mass) 을 집중시키는 경향이 있습니다. 이는 입력 콘텐츠와 무관하게 발생하며, 작은 모델부터 대규모 LLM 까지, 다양한 위치 인코딩 방식에서 관찰됩니다.
• 기존 연구의 한계: 기존 연구들은 Attention Sink 가 최적화 과정 (training dynamics) 이나 인덕티브 바이어스 (inductive bias) 에 의해 발생한다고 보거나, 이를 완화하기 위한 실용적인 방법론을 제시했습니다.
• 핵심 질문: Attention Sink 는 모델이 특정 작업을 수행하는 데 본질적으로 필요한가, 아니면 단순히 제거 가능한 부작용인가?

2. 방법론 (Methodology)

저자는 이 질문에 답하기 위해 이론적 증명과 실험적 검증을 결합했습니다.

A. 이론적 설정: Trigger-Conditional Task

실제 LLM 에서 관찰되는 '활성 - 비활성 (Active-Dormant)' 헤드의 동작을 단순화한 합성 태스크를 정의했습니다.

• 입력: 시퀀스 내 특정 위치 j 에 'Trigger 토큰'이 존재합니다.
• 목표 출력:
  • Trigger 가 있는 위치 j 에서는 **이전 모든 비-BOS 토큰의 평균 (Mean)**을 출력합니다.
  • Trigger 가 없는 모든 다른 위치에서는 **영벡터 (Zero Vector, No-Op)**를 출력합니다.
• 모델 비교:
  1. Softmax Attention: 점수를 정규화하여 확률 분포 (단순형, Simplex) 를 만듭니다.
  2. ReLU Attention: Softmax 정규화를 제거하고 ReLU 를 적용하여 점수를 0 이상으로 유지하되, 합이 1 이 되도록 강제하지 않습니다.

B. 주요 증명 (Theoretical Proofs)

1. 단일 레이어 모델 (Theorem 1):

   • Softmax Attention 을 사용하여 위 태스크에서 오차를 0 에 수렴시키는 모델은, Trigger 가 없는 모든 위치에서 BOS 토큰에 거의 1 에 가까운 주의 (Attention) 를 집중해야 함을 증명했습니다.
   • 논리: Softmax 는 확률의 합이 1 이어야 하므로, 입력 콘텐츠에 의존하지 않는 "기본 상태 (Default State, 즉 0 출력)"를 구현하려면 가변적인 입력 토큰들에 대한 가중치를 0 으로 만들 수 없습니다. 따라서 안정된 고정점 (Anchor, 즉 Sink) 으로 확률 질량을 집중시켜 나머지 토큰들의 기여도를 0 으로 만드는 유일한 방법이 됩니다.

2. 다중 레이어 모델 (Theorem 2):

   • 레이어가 여러 개인 경우에도, 적어도 하나의 레이어에서 Trigger 가 아닌 위치 중 하나에 Sink 행동이 발생해야 함을 증명했습니다.

3. ReLU Attention 의 가능성 (Theorem 3):

   • 핵심 발견: Softmax 정규화 제약이 제거된 ReLU Attention 모델은 Sink 없이도 동일한 태스크를 완벽하게 해결할 수 있습니다.
   • Trigger 가 없는 위치에서는 모든 Attention 가중치를 0 으로 설정하여 0 을 출력할 수 있기 때문입니다. 이는 Sink 현상의 원인이 태스크 구조가 아니라 Softmax 정규화 제약임을 명확히 보여줍니다.

3. 주요 결과 (Key Results)

이론적 결과

• Softmax 의 본질적 한계: Softmax Attention 은 "입력에 무관한 0 출력 (No-Op)"과 "입력에 의존적인 계산"을 동시에 수행해야 할 때, 확률 단순형 (Probability Simplex) 제약 때문에 Sink 를 피할 수 없습니다.
• ReLU 의 우위: 정규화 제약이 없는 Attention 메커니즘은 Sink 없이도 No-Op 를 구현할 수 있어, Sink 현상이 모델의 구조적 필수조건이 아님을 보여줍니다.

실험적 결과

• 단일 레이어/다중 레이어 검증: 합성 태스크에 대해 Softmax 모델을 학습시켰을 때, Trigger 전의 모든 위치에서 BOS 토큰에 대한 Attention 가중치가 1 에 수렴하는 Sink 현상이 관찰되었습니다.
• ReLU 비교 실험: 동일한 태스크와 아키텍처에서 Softmax 를 ReLU 로 교체하자 Sink 현상이 완전히 사라졌으며, 태스크 정확도는 유지되었습니다.
• 실제 모델과의 일치: Gema 7B, Llama 2-7B 등 실제 모델에서 관찰된 'Apostrophe Head'나 'Active-Dormant Head'의 동작 패턴이 본 논문의 이론적 예측과 일치함을 확인했습니다.

4. 기여도 (Contributions)

1. Trigger-Conditional 태스크 도입: 실제 LLM 에서 관찰되는 Attention 헤드의 핵심 메커니즘 (트리거 시 컨텍스트 집계, 그 외 시 No-Op) 을 모델링한 새로운 태스크를 제안했습니다.
2. Sink 의 필요성 증명: Softmax Attention 모델이 위 태스크를 해결하기 위해서는 Sink 가 **필수적 (Provably Necessary)**임을 수학적으로 증명했습니다.
3. 원인 규명: Sink 형성의 주된 동인이 태스크나 최적화 과정이 아니라 Softmax 정규화 제약임을 ReLU Attention 모델을 통해 입증했습니다.
4. 실용적 통찰: Sink 를 완화하려는 시도가 (예: BOS Attention 패널티, 가중치 재분배 등) 오히려 모델의 No-Op 기능을 해칠 수 있음을 경고하고, 정규화 제약 완화 (Non-normalized attention) 가 근본적인 해결책임을 제시했습니다.

5. 의의 및 시사점 (Significance)

• 이론적 통찰: Attention Sink 는 모델의 결함이 아니라, Softmax 기반 Attention 이 "기본 상태 (Default State)"를 구현하기 위해 취할 수밖에 없는 구조적 필연임을 규명했습니다.
• 실무적 함의:
  • 압축 및 양자화: Sink 가 활성화 아웃라이어 (Massive Activations) 와 관련되어 양자화를 어렵게 만든다는 기존 관점을 넘어, Sink 를 제거하려는 시도가 모델의 기능적 필요성을 훼손할 수 있음을 경고합니다.
  • 해석 가능성: Attention 패턴 분석 시, Sink 가 단순한 노이즈가 아니라 특정 계산 회로 (Trigger-Conditional Circuit) 의 일부일 수 있음을 고려해야 합니다.
  • 아키텍처 설계: Sink 를 제거하거나 No-Op 를 효율적으로 구현하려면 Softmax 정규화를 완화하거나 (ReLU, Gated Attention 등), 명시적인 게이트 메커니즘을 도입하는 것이 효과적일 수 있습니다.

결론적으로, 이 논문은 Attention Sink 가 "피해야 할 병"이 아니라 Softmax 의 수학적 제약 하에서 "필요한 기능"일 수 있음을 증명하며, 이를 해결하기 위해서는 아키텍처의 근본적인 변화 (정규화 제약 완화) 가 필요함을 시사합니다.