📊 statistics

Sink vs. diagonal patterns as mechanisms for attention switch and oversmoothing prevention

본 논문은 어텐션 전환 및 과부드러짐 방지를 위한 메커니즘으로서 싱크와 대각선 패턴을 조사하여 이를 하드 어텐션 전환과 동등함을 증명하고, 사전 학습된 트랜스포머에서 싱크를 선호하는 비용 차이를 정량화하며, 이러한 메커니즘이 어텐션 레이어가 MLP 와 유사하게 작동하는 시점을 어떻게 결정하는지 명확히 한다.

원저자: Peter Súkeník, Cristina López Amado, Christoph H. Lampert, Marco Mondelli

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Peter Súkeník, Cristina López Amado, Christoph H. Lampert, Marco Mondelli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 AI 채팅봇의 두뇌인 트랜스포머 모델을 함께 퍼즐을 풀고 있는 대규모 교실의 학생들 (토큰) 로 상상해 보세요. 각 학생은 다른 학생을 바라보며 단서를 얻을 수 있습니다. 이러한 '바라보기'를 **어텐션 (attention)**이라고 부릅니다.

보통은 이 학생들이 정보를 공유하기 위해 서로를 바라봐야 한다고 생각하지만, 연구자들은 이상한 점을 발견했습니다. 종종 한 학생이 교실의 다른 누구도 무시한 채 교사의 책상 (시퀀스 시작 토큰인 'BOS') 을 멍하니 바라보거나, 자신의 노트만 바라보며 다른 사람을 무시한다는 것입니다.

이 논문은 AI 가 왜 이런 행동을 하는지, 이것이 버그인지 기능인지, 그리고 어떤 방법이 AI 에게 더 '저렴한'지 조사합니다.

간단한 용어로 정리하면 다음과 같습니다:

1. '싱크 (Sink)' 대 '대각선 (Diagonal)'

이 논문은 학생이 수업을 그만 집중하는 두 가지 방식을 비교합니다:

싱크 (The "Teacher Gaze"): 한 학생이 동료들을 바라보는 것을 멈추고 전체 수업 시간 내내 교사 (BOS 토큰) 를 멍하니 바라본다고 상상해 보세요. AI 에서 이를 **어텐션 싱크 (Attention Sink)**라고 합니다. 이 학생은 effectively "나는 다른 누구와도 대화하지 않는다. 시작 신호만 듣고 있다"라고 말합니다.
대각선 (The "Self-Gaze"): 한 학생이 거울을 통해 자신을 바라보고 다른 모든 사람을 무시한다고 상상해 보세요. AI 에서 이는 **대각선 어텐션 (Diagonal Attention)**입니다. 이 학생은 "나는 내 노트만 업데이트할 뿐, 누구와도 대화할 필요가 없다"라고 말합니다.

2. 왜 이런 행동을 할까요? (오버스무딩 문제)

교실의 모든 학생이 서로 끊임없이 대화하기 시작하면, 결국 모두 똑같은 소리를 하게 됩니다. 그들의 고유한 아이디어가 뒤섞여 결국 모두 같은 일반적인 문구만 반복하게 되는 것입니다. AI 용어로 이를 **오버스무딩 (Oversmoothing)**이라고 합니다. 이 경우 모델은 서로 다른 단어들을 구별하는 능력을 상실합니다.

이를 방지하기 위해 AI 는 일부 학생들의 통신을 '차단'할 수 있는 방법이 필요합니다. 논문은 질문합니다: 교사를 바라보는 것 (싱크) 이 자신을 바라보는 것 (대각선) 보다 더 나을까요?

3. '싱크'의 기하학

저자들은 먼저 한 학생이 교사를 바라보려면 교실의 기하학적 구조가 맞아야 함을 증명했습니다.

비유: 교사를 자석이라고 상상해 보세요. 한 학생이 교사로 끌려가려면, 학생의 '자성 (임베딩)'이 교사에 대해 특정 방식으로 정렬되어야 합니다.
발견: 이 논문은 실제 AI 모델에서 '학생들 (토큰)'이 실제로 교사를 바라보는 것이 기하학적으로 가장 쉬운 방식으로 배열되어 있음을 보여줍니다. 마치 교실 구조가 교사를 바라보는 것이 가장 자연스러운 일이 되도록 설계된 것과 같습니다.

4. '하드 스위치' 대 '소프트 스위치'

논문은 '차단'의 두 가지 유형을 정의합니다:

하드 스위치 (싱크): 학생은 **영 (zero)**의 출력을 생성합니다. 완전히 침묵하는 것입니다. 논문은 학생이 완전히 침묵해야 할 때 (출력 = 0), 교사를 바라보는 것 (싱크) 외에는 다른 방법이 없음을 증명합니다. 단순히 자신을 바라보면서 침묵할 수는 없습니다. 자신을 바라보면 여전히 자신과 대화하고 있기 때문입니다.
소프트 스위치 (대각선): 학생은 다른 사람과의 대화는 멈추지만 자신과는 계속 대화합니다. 그들은 침묵하는 것이 아니라 고립된 상태입니다. 이것이 바로 '대각선' 패턴입니다.

5. 큰 발견: 왜 '싱크'가 이기는가

이 논문의 가장 중요한 부분은 비용 비교입니다. AI 모델은 제한된 에너지 (컴퓨팅 자원) 예산을 가진 학생과 같습니다. 가능한 한 최소한의 에너지를 사용하여 퍼즐을 풀고 싶어 합니다.

저자들은 수학을 통해 다음과 같은 사실을 발견했습니다:

교사를 바라보는 것 (싱크) 은 저렴합니다. 한 중앙 지점을 바라보는 패턴을 설정하는 데는 매우 적은 에너지가 필요합니다. 이는 저랭크 (low-rank) 의 단순한 구조와 같습니다.
자신을 바라보는 것 (대각선) 은 비쌉니다. 모든 학생이 오직 자신만 바라보게 하려면 훨씬 더 복잡한 배선과 에너지가 필요합니다. 이는 각 학생마다 별도의 사적인 통신 회로를 구축하는 것과 같습니다.

결론:
AI 가 **싱크 (교사를 바라보기)**를 선호하는 것은 버그 때문이 아니라, 교실이 지루하고 동일한 덩어리 (오버스무딩) 가 되는 것을 막는 가장 효율적인 방법이기 때문입니다. 이는 학생 간의 통신을 차단하면서도 모델을 작동하게 유지하는 '가장 저렴한' 방법입니다.

한 줄 요약

문제: AI 토큰이 모두와 대화하면, 모두 똑같아집니다 (오버스무딩).
해결책: 서로 대화를 멈춰야 합니다.
옵션 A: 교사를 바라보기 (싱크).
옵션 B: 자신을 바라보기 (대각선).
판단: 교사를 바라보는 것이 수학적으로 더 저렴하고 효율적인 것으로 입증되었습니다. 이것이 실제 AI 모델에서 '싱크'가 어디에나 나타나는 이유입니다. AI 가 고장 난 것이 아니라, 에너지를 아끼고 있을 뿐입니다!

기술적 요약: 어텐션 전환 및 과평활화 방지를 위한 메커니즘으로서의 싱크 (Sink) 대 대각선 패턴

문제 제기
본 논문은 "어텐션 싱크 (attention sinks)" 현상, 즉 트랜스포머의 어텐션 헤드가 시퀀스 시작 (BOS) 토큰에 불균형적으로 집중하여 다른 토큰들을 효과적으로 격리시키는 현상의 기하학적 및 표현적 메커니즘을 조사합니다. 어텐션 싱크는 사전 훈련된 대규모 언어 모델 (LLM) 에서 보편적으로 관찰되지만, 그 정확한 역할은 여전히 논쟁의 여지가 있습니다. 기존 문헌은 싱크가 과평활화 (토큰 표현이 단일 점으로 수렴하는 현상) 를 방지하거나 "어텐션 전환 (attention switch)" (특정 토큰에 대해 헤드가 비활성화됨) 을 구현한다고 제안합니다. 그러나 현재 이론적 프레임워크에는 간극이 존재합니다: 종종 스킵 연결 (skip connections) 과 값 - 출력 변환 (value-output transformations) 과 같은 모든 아키텍처 구성 요소를 고려하지 못하며, 싱크가 어텐션을 끄는 유일한 메커니즘임을 엄격하게 증명하지 못하며, 토큰이 자기 자신에게만 어텐션하는 대각선 어텐션 (diagonal attention) 과 같은 대체 희소 패턴과 싱크를 비교하지 못합니다.

방법론
저자들은 GPT-2, Llama 3.1, Gemma, Mistral 등 여러 사전 훈련된 모델과 데이터셋을 대상으로 이론적 분석과 경험적 검증을 결합하여 사용합니다.

기하학적 분석: 싱크 패턴을 표현하기 위한 트랜스포머의 필요 조건을 유도하며, 싱크에 대한 임베딩 벡터의 정렬을 분석합니다.
과평활화 모델링: 저자들은 스킵 연결과 레이어 정규화를 포함한 단일 어텐션 단계를 모델링합니다. 어텐션 행렬이 희소 (단위 행렬) 에서 조밀 (균일) 로 전환될 때 토큰 코사인 유사도가 어떻게 진화하는지에 대한 이론적 근사치를 유도하며, 값 - 출력 변환 행렬 ( $W$ ) 과 토큰 분포 간의 상호작용을 고려합니다.
동등성 증명: 논문은 온화한 기하학적 가정 (경험적으로 검증됨) 하에서 "하드 어텐션 전환 (hard attention switch)" (특정 토큰에 대해 출력을 0 으로 함) 이 수학적으로 어텐션 싱크와 동등함을 증명합니다.
비용 분석: 저자들은 싱크와 대각선 어텐션 패턴을 표현하는 것 사이의 정량적 비교를 수립합니다. 빅그램 백카피 (bigram backcopy) 및 일반적 복사 - 붙여넣기 분포와 같은 작업을 고려하여 쿼리 - 키 ( $W_{QK}$ ) 및 값 - 출력 ( $W_{VO}$ ) 행렬 내에서 이러한 패턴을 표현하는 데 필요한 $\ell_2$ (프로베니우스) 비용과 핵 노름 (nuclear norm) 을 분석합니다.

주요 기여 및 결과

싱크의 기하학적 표현: 논문은 어텐션 레이어가 싱크를 표현하기 위해서는 싱크 임베딩과 모든 다른 컨텍스트 임베딩이 특정 반공간 (half-spaces) 에 위치해야 함 (즉, 정렬되거나 반정렬되어야 함) 을 확립합니다. 사전 훈련된 모델에 대한 경험적 측정은 중간 레이어에서 BOS 와 다른 토큰 간의 코사인 유사도가 음수가 아니라는 것을 확인하여 싱크가 표현 가능하기 위한 조건을 충족시킵니다.
과평활화 역학: 희소 어텐션만이 과평활화를 방지한다는 직관과 대조적으로, 이론적 분석은 스킵 연결과 값 - 출력 변환이 이론적으로 균일 어텐션의 혼합 효과를 상쇄할 수 있음을 보여줍니다. 그러나 훈련된 LLM 에 대한 경험적 결과는 실제로 이러한 구성 요소들이 혼합을 상쇄하는 데 거의 성공하지 못함을 드러냅니다. 대신, 더 조밀한 어텐션 패턴은 일관되게 토큰 코사인 유사도를 증가시켜 과평활화를 유발하는 반면, 희소 패턴은 이를 완화합니다.
싱크와 하드 어텐션 전환의 동등성: 저자들은 전역적으로 최적화된 트랜스포머에서 하드 어텐션 전환 (토큰의 일부에 대한 출력이 0 인 경우) 은 오직 어텐션 싱크를 통해서만 구현될 수 있음을 증명합니다. 값 임베딩을 혼합하여 0 으로 합산하는 것과 같은 다른 이론적 가능성은 입력 임베딩이 엄격한 반공간에 있거나 풀랭크 (full-rank) 라는 가정 하에 배제되며, 이러한 조건은 사전 훈련된 모델에서 성립합니다.
소프트 어텐션 전환 및 대각선 패턴: 논문은 토큰 간 통신을 금지하지만 토큰이 자신의 표현을 유지할 수 있게 하는 "소프트 어텐션 전환" 개념을 도입합니다. 이는 대각선 어텐션을 허용합니다. 대각선 어텐션이 실제로 관찰되기는 하지만, 저자들은 싱크가 일반적으로 선호되는 메커니즘임을 입증합니다.
비용 - 편익 분석: 이론적 경계와 경험적 비용 측정을 통해 논문은 광범위한 하이퍼파라미터와 데이터 분포에 대해 싱크를 표현하는 것이 대각선 어텐션 패턴을 표현하는 것보다 (매개변수 노름 측면에서) 증명 가능하게 더 저렴함을 보여줍니다. 구체적으로, 싱크의 비용은 컨텍스트 길이 ( $T$ ) 에 선형적으로 비례하는 반면, 대각선 패턴의 비용은 $T^{3/2}$ 로 비례합니다. 이 비용 우위가 사전 훈련된 트랜스포머에서 대각선 패턴보다 싱크가 우세한 이유를 설명합니다.

의의 및 주장
본 논문은 트랜스포머 내 어텐션 메커니즘에 관한 문헌의 여러 간극을 해소한다고 주장합니다:

관찰적 주장을 넘어 싱크가 어떻게 표현되는지에 대한 엄격한 기하학적 특성을 제공합니다.
희소 어텐션이 과평활화를 방지하기 위해 필요한 조건을 명확히 하여, 아키텍처 구성 요소가 이론적으로는 과평활화를 방지할 수 있으나 실제로는 그렇지 않음을 보여줍니다.
싱크가 단순히 가능한 메커니즘 중 하나라는 제안을 넘어, 하드 어텐션 전환을 구현하기 위한 싱크의 이론적 필요성을 확립합니다.
단순한 경험적 관찰이 아닌 표현 비용에 기반하여 싱크가 대각선 어텐션과 같은 다른 희소 패턴을 지배하는 이유에 대한 정량적 설명을 제공합니다.

저자들은 싱크가 단순한 인공물이나 실패 모드가 아니라, 토큰 통신을 관리하고 심층 트랜스포머 아키텍처에서 과평활화를 방지하기 위한 비용 효율적이고 기하학적으로 필수적인 메커니즘이라고 결론지었습니다. 또한 이 작업은 토큰 간 통신이 필요하지 않을 때 어텐션 레이어가 실제로 MLP(다층 퍼셉트론) 로 기능하며, 특정 패턴 (싱크 대 대각선) 은 표현의 상대적 비용에 의해 결정됨을 강조합니다.