기술 요약: 어텐션 싱크(Attention Sinks)에 대한 통합적 관점

문제 정의

어텐션 싱크(Attention sinks)—많은 쿼리에 대해 불균형적으로 높은 어텐션 질량을 끌어당기며, 어텐션 맵에서 수직 스트라이프 형태로 나타나는 토큰들—은 소프트맥스 기반 트랜스포머, 특히 비전 트랜스포머(ViT)와 대규모 언어 모델(LLM)에서 보편적으로 관찰된다. 이러한 패턴은 잘 문서화되어 있으나, 그 기저의 계산 메커니즘은 여전히 모호하다. 본 연구가 다루는 핵심 문제는 시각적으로 동일한 싱크 패턴이 근본적으로 서로 다른 알고리즘을 반영할 수 있다는 점이다. 게이팅 메커니즘이나 레지스터 토큰(register tokens)과 같은 현재의 완화 전략들은 왜 싱크가 존재하는지에 대한 통합된 프레임워크 없이 종종 휴리스틱하게 적용된다. 결과적으로, 싱크를 "수정"하기 위해 설계된 개입이 유용한 계산을 의도치 않게 제거하거나, 진정한 원인을 해결하지 못할 수도 있다.

방법론

저자들은 어텐션 싱크를 두 가지 구별된 계산 가설로 분해하고, 각 가설에 대한 구체적이고 측정 가능한 진단법을 도출하는 통합 프레임워크를 제안한다.

1. 어텐션 싱크에 대한 두 가지 가설

본 논문은 싱크가 다음 두 가지 메커니즘 중 하나로부터 발생한다고 가정한다:

• 적응형 NOP (No-Operation): 싱크는 억제(suppression) 메커니즘 역할을 한다. 특정 어텐션 헤드가 특정 토큰에 기여할 유용한 정보가 없을 때, 잔차 연결(residual stream)에 대해 효과적인 항등 연산(identity operation)을 수행하기 위해 어텐션을 "널(null)" 토큰으로 라우팅한다.
  • 시그니처: 싱크 토큰은 미미한 값 노름(negligible value norms) ($\|v_s\| \approx 0$)을 보인다.
  • 메커니즘: 이를 트리거하기 위해, 모델은 쿼리-키 상호작용 행렬($W_Q W_K^\top$)에서의 지배적인 특이값(singular value) 또는 싱크 위치에서의 거대한 활성화 노름을 통해 게이팅 메커니즘을 학습한다.
• 브로드캐스트 (Broadcast): 싱크는 통신 허브 역할을 한다. 이는 전역 정보를 집계하여 다른 토큰들에게 재분배한다.
  • 시그니처: 싱크 토큰은 무시할 수 없는 값 노름을 가지며, 저계수(근사적 rank-1) 어텐션 출력을 유도한다.
  • 메커니즘: 싱크 토큰은 잔차 연결에 공유된 페이로드(payload)를 기록하여, 시퀀스 내 토큰들의 표현 간 유사성을 높인다.

2. 합성 검증 (Synthetic Validation)

이러한 메커니즘을 격리하기 위해, 저자들은 두 가지 특정 작업에 대해 최소한의 합성 모델을 훈련시켰다:

• 조건부 댐핑 (Conditional Damping - NOP 작업): 특정 벡터와 정렬된 토큰에 대한 업데이트를 억제하도록 훈련된 단일 헤드 트랜스포머이다. 결과는 0에 가까운 값 노름과 상호작용 행렬에서의 스펙트럼 스파이크(spectral spike)를 가진 싱크로의 수렴을 보여주었다.
• 글로벌 브로드캐스트 (Global Broadcast 작업): 특정 토큰의 정보를 모든 위치로 분산시키도록 훈련된 2계층 트랜스포머이다. 결과는 한 계층이 브로드캐스트 허브(rank-1 업데이트, 높은 값 노름) 역할을 하고, 후속 계층이 항등 연산을 수행하는 모듈형 솔루션을 보여주었다.

3. 사전 학습된 모델에 대한 경험적 진단

저자들은 사전 학습된 ViT(DINOv2, OpenCLIP) 및 레지스터 토큰을 가진 모델들에 이 진단법을 적용하였다. 분석 항목은 다음과 같다:

• 값 노름 비율 (Value Norm Ratios): 싱크 토큰의 값 벡터 노름을 평균과 비교함.
• 안정적 계수 (Stable Rank): 어텐션 유도 업데이트 행렬의 계수를 측정함.
• 계층별 전이 (Layer-wise Transitions): 네트워크 깊이에 따라 어떤 토큰이 싱크 역할을 하는지 추적함.

주요 결과

1. 메커니즘의 공존

사전 학습된 ViT 분석 결과, 두 메커니즘은 동일한 모델 내에서 공존하며 전문화되어 있음이 밝혀졌다:

• 계층 특화 (Layer Specialization): 초기 계층에서는 [CLS] 토큰이 주로 싱크 역할을 한다. 깊은 계층으로 갈수록 이 역할은 특정 패치 토큰으로 전이된다.
• 헤드 특화 (Head Specialization): 싱크 동작은 모든 헤드에서 균일하지 않다. 특정 헤드는 입력의 거의 80%에 대해 싱크 역할을 수행하는 반면, 인접한 헤드는 그렇지 않다.
• 이중 체제 (Dual Regimes): 진단 축에 투영했을 때, 싱크는 두 개의 뚜렷한 클러스터로 구분된다:
  • NOP 싱크: 주로 초기-중기 계층에서 발견되며, 억제된 값 노름(< 0.2x 베이스라인)을 특징으로 한다.
  • 브로드캐스트 싱크: 주로 깊은 계층에서 발견되며, 표준적인 값 노름과 엄격한 rank-1 업데이트를 특징으로 한다.

2. 레지스터 토큰의 재해 해석

본 연구는 브로드캐스팅을 위해 어텐션 질량을 흡수하도록 원래 제안되었던 레지스터 토큰(입력 시퀀스에 학습된 토큰을 추가하는 방식)을 조사한다.

• 재용도 (Repurposing): 진단 결과, 레지스터 토큰은 배포(broadcasting)만을 위해 독점적으로 사용되지 않는다. 대다수의 레지하여 싱크는 NOP 시그니처(억제된 값 노름)를 보이며, 이는 모델이 이들을 글로벌 정보 전달을 위한 "커피 컵(coffee cups)"뿐만 아니라 업데이트를 억제하기 위한 "쓰레기통(trash cans)"으로 재용도화하고 있음을 나타낸다.
• 시사점: 게이팅(NOP 타겟팅)이나 레지스터(브로드캐스트 타겟팅) 중 어느 하나만으로는 모든 싱크 동작을 해결하기에 충분하지 않다.

3. 시너지적 완화 (Synergistic Mitigation)

저자들은 게이티드 어텐션 (Gated Attention) (헤드가 출력을 억제할 수 있게 하여 NOP를 해결함)과 레지스터 토큰 (브로드캐스팅을 위한 기질을 제공함)의 결합을 테스트하였다.

• 밀집 예측 성능 향상: LeJEPA로 훈련된 ViT-L 모델에서, 게이팅과 레지스터를 결합했을 때 밀집 공간 예측 작업(ADE20K 및 Pascal VOC 2012)에서 베이스라인 및 단일 완화 변형 모델보다 더 나은 성능을 보이며 최상의 결과를 얻었다.
• 분류 안정성: 글로벌 분류 정확도(ImageNet-1k)는 모든 변형 모델에서 크게 변하지 않았으며, 이는 싱크 완화가 글로벌 이미지 이해보다는 국소적인 패치 수준의 표현을 주로 개선함을 시사한다.
• 메커니즘 확인: 결합된 접근 방식은 NOP 싱크를 성공적으로 억제(토큰 노름 감소)하는 동시에 브로드캐스트 싱크를 레지스터 토큰으로 재지정하였다.

의의 및 주장

본 논문은 어텐션 싱크의 시각적 징후가 계산적으로 모호하며, 효과적인 개입을 위해서는 먼저 기저에 깔린 알고리즘을 식별해야 한다고 주장한다.

• 통합: 본 연구는 "NOP"와 "브로드캐스트" 가설을 분리하는 통합적 틀을 제공하며, 이를 구분하기 위한 운영적 진단법(값 노름 및 안정적 계수)을 제시한다.
• 상보성: 게이팅과 레지스터 토큰은 서로 다른 계산 체제를 타겟팅하기 때문에 상보적임을 입증한다. 이들을 결합하면 높은 충실도의 공간 표현을 요구하는 작업에서 더 강력한 안정성과 성능을 얻을 수 있다.
• 기계론적 통찰: 이러한 발견은 어텐션 싱크와 같은 "아티팩트(artifacts)"가 순수하게 병리적인 실패라기보다는, 억제 또는 글로벌 조정과 같은 실제적인 계산 프리미티브(computational primitives)인 경우가 많음을 시사한다.

저자들은 게이팅과 레지스터를 결합한 전략이 밀집 예측을 개선하지만, 브로드캐스팅을 지원하면서도 병리적인 싱크를 유발하지 않도록 어텐션을 설계하는 더 넓은 문제는 향후 연구를 위한 열린 과제로 남아있다고 결론짓는다.