기술 요약: 기여도 가중치: 셀프 어텐션 트랜스포머의 기하학적 분석

1. 문제 제기

어텐션 가중치($\alpha_{ij}$)를 분석하는 것은 대규모 언어 모델(LLM)의 정보 흐름을 해석하기 위한 표준적인 접근 방식이 되었습니다. 그러나 이러한 접근 방식은 큰 어텐션 질량(attention mass)이 곧 기능적 중요성으로 이어진다는 암묵적인 가정에 의존합니다. 저자들은 이러한 관점이 가중되는 값 벡터(value vectors)의 기하학적 특성을 간과하고 있기 때문에 불완전하다고 주장합니다. 구체적으로, 어텐션 가중치만으로는 다음 요소들을 설명할 수 없습니다:

1. 값 벡터의 크기(norm).
2. 값 벡터와 최종 레이어 출력 사이의 방향적 정렬(directional alignment).

이러한 요소들을 무시하면 "어텐션 싱크(attention sinks)"(높은 어텐션을 받지만 출력에는 거의 기여하지 않는 초기 토큰들)에 대한 오해나, 높은 어텐션을 받는 토큰의 중요성을 과대평가하는 등의 잘못된 결론에 도달하게 됩니다. 기존의 값 인식(value-aware) 척도들은 노름(norm)이나 거리(distance)를 포함하지만, 방향적 정렬에 의한 토큰 간 간섭(건설적 또는 파괴적 간섭)이라는 결정적인 효과는 놓치는 경우가 많습니다.

2. 방법론

2.1. 이론적 프레임워크

본 논문은 멀티 헤드 어텐션(MHA)을 단순히 원시 토큰의 가중 합이 아니라, **투영된 값 벡터(projected value vectors)**의 가중 합으로 재정의합니다.
입력 시퀀스가 주어졌을 때, 위치 $i$에서의 레이어 $l$의 출력은 다음과 같이 표현됩니다:
$$o^{(l)}_i = \sum_{h=1}^H \sum_{j=1}^i \alpha^{(l,h)}_{ij} \tilde{v}^{(l,h)}_j$$
여기서 $\tilde{v}^{(l,h)}_j = x_j W^{(l,h)}_V W^{(l,h)}_O$는 투영된 값 벡터를 나타냅니다. 저자들은 토큰의 영향력이 세 가지 요인에 달려 있다고 상정합니다:

1. 선택 강도(Selection Strength): 어텐션 가중치 $\alpha_{ij}$.
2. 크기(Magnitude): 투영된 값 벡터의 노름 $\|\tilde{v}_j\|$.
3. 방향적 정렬(Directional Alignment): 투영된 값과 출력 방향 사이의 코사인 유사도 $\cos(o_i, \tilde{v}_j)$.

2.2. 기여도 가중치 (Contribution Weights)

토큰의 중요성을 충실하게 정량화하기 위해, 저자들은 가중된 값 벡터와 출력 방향의 정규화된 내적으로 정의되는 투영 기반 척도인 기여도 가중치($c_{ij}$)를 도입합니다:
$$c_{ij} = \frac{\langle o_i, \alpha_{ij} \tilde{v}_j \rangle}{\|o_i\|^2} = \alpha_{ij} \frac{\|\tilde{v}_j\|}{\|o_i\|} \cos(o_i, \tilde{v}_j)$$
이 척도는 토큰의 영향을 어텐션 가중치, 상대적 크기, 그리고 방향적 정렬의 곱으로 분해합니다.

• 헤드 내부(Intra-head): 단일 헤드 내에서의 기여도를 측정합니다.
• 헤드 간(Inter-head): 헤드별 가중 벡터를 결합된 멀티 헤드 출력에 투영함으로써 모든 헤드에 걸친 기여도를 측정합니다.
• 특성: 어텐션 가중치(비음수이며 합이 1임)와 달리, 기여도 가权重은 음수일 수 있으며(파괴적 간섭을 나타냄) 시퀀스 차원에 대해 합이 1이 됩니다.

2.3. 실험적 평가

저자들은 언어 모델링 작업(GSM8K, FineWeb-Edu) 및 다운스트림 작업(MMLU, Winogrande, BoolQ)에서 중요도 순으로 정렬된 토큰의 투영된 값을 마스킹하고 퍼플렉시티 변화량($\Delta$PPL)을 측정하는 **인과적 개입(Causal Interventions)**을 사용하여 기존 척도들(원시 어텐션, 값 가중 어텐션, 값 가중 출력 정규화 어텐션)과 기여도 가중치의 충실도를 평가합니다.

• 측정 지표:
  • 포괄성(Comprehensiveness): 중요도가 높은 토큰을 제거했을 때의 성능 저하 (저하 폭이 클수록 더 나은 척도).
  • 충분성(Sufficiency): 중요도가 낮은 토큰을 제거했을 때의 성능 저하 (저하 폭이 작을수록 더 나은 척도).
• 모델: Mistral-7B, LLaMA-3.1-8B, Qwen3-8B, Deepseek-7B.

3. 주요 결과 및 기여

3.1. 기여도 가중치의 충실도

기여도 가중치는 의미론적으로 중요한 토큰을 식별하는 데 있어 어텐션 기반 척도보다 일관되게 우수한 성능을 보입니다.

• 포괄성: 기여도 가중치에 의해 중요하다고 식별된 토کن을 제거하면 원시 어텐션이나 값 가중 어텐션에 의해 식별된 토큰을 제거할 때보다 성능 저하($\Delta$PPL)가 훨씬 크게 나타납니다.
• 충분성: 중요도가 낮은 토큰(기여도 가중치에 의해 정의됨)을 제거하더라도 모델은 높은 정확도를 유지하며, 더 높은 제거율에서도 베이스라인 성능을 유지합니다.
• 기하학적 진행: 본 연구는 명확한 충실도 계층 구조를 보여줍니다: 원시 어텐션 < 값 가중 어텐션 < 값 가중 출력 정규화 어텐션 < 기여도 가중치. 이는 방향적 정렬(코사인 유사도)을 포함하는 것이 척도의 정확도를 개선하는 데 가장 중요한 요소임을 확인시켜 줍니다.

3.2. 값의 기하학적 역할 (Mechanistic Role of Value Geometry)

본 논문은 토큰 기여도를 분해하여 서로 다른 유형의 토큰에 대한 뚜렷한 동작을 밝혀냅니다:

• 싱크 토큰 (초기 토큰): 이들의 기여도는 어텐션 가중치에 의해 주도되지 않습니다. 대신, 값의 기하학(상대적 노름 및 코사인 유사도)에 의해 지배됩니다. 초기 토큰들은 후속 의미론적 토큰들과 역정렬(anti-alignment)(음의 코사인 유사도)되는 특성을 보입니다.
• 테일 토큰 (Tail Tokens): 이들의 기여도는 어텐션 가중치와 방향적 정렬에 의해 공동으로 결정됩니다.

3.3. 어텐션 싱크의 재해해석

저자들은 어텐션 싱크를 과잉 어텐션이 머무는 수동적인 "저장소"로 보는 견해에 도전합니다. 대신, 싱크를 **능동적인 정보 억제기(active information suppressors)**로 밝혀냈습니다:

• 파괴적 간섭: 싱크 토큰은 체계적으로 의미론적 토큰과 역정렬된 값 벡터를 가집니다. 이는 파괴적 간섭을 일으켜 출력 노름을 능동적으로 억제합니다.
• 볼록 관계(Convex Relationship): 싱크 비율(첫 번째 토큰에 대한 어텐션 질량)과 출력 노름 사이의 관계는 단조적이지 않고 **볼록(convex)**합니다. 최소 출력 노름은 싱크가 모든 어텐션을 차지할 때가 아니라, 중간 정도의 싱크 비율($\alpha < 1$)에서 발생합니다.
• 의미론적 표류(Semantic Drift) 대응: 싱크는 비-싱크 토큰들의 의미적 방향과 반대로 작음으로써, 중요도가 낮은 많은 작은 약한 어텐션 가중치들이 축적되어 발생하는 의미론적 표류을 무효화합니다. 싱크의 벡터 노름을 제거하는 개입은 저노름 헤드 출력들을 의미론적 원뿔(semantic cone)로 붕괴시켜 노이즈와 퍼플렉시티를 증가시킵니다.

4. 의의 및 주장

본 논문은 기여도 가중치가 어텐션 벡터 합의 전체 기하학을 고려함으로써 토큰의 기능적 중요성을 더 충실하게 측정한다고 주장합니다.

• 메커니즘적 통찰: 이 연구는 어텐션 싱크를 단순한 수동적 흡수체가 아니라, 방향적 대립을 통해 의미론적 표류에 대응함으로써 표현을 안정화하는 능동적 억제제로 이해하는 패러다임의 전환을 가져옵니다.
• 일반화 가능성: 실험은 디코더 전용 모델에 집중되어 있지만, 저자들은 기여도 가중치가 어텐션 메커니즘의 구조에만 의존하므로 인코더 전용 모델이나 ViT와 같은 모든 어텐션 기반 아키텍처에 적용 가능하다고 명시합니다.
• 한계: 본 연구는 디코더 전용 트랜스포머와 특정 데이터셋(GSM8K, FineWeb-Edu)에 초점을 맞추고 있습니다. 저자들은 기여도 가중치가 다양한 도메인에서 견고하지만, 싱크의 역정렬과 같은 구체적인 기하학적 동작은 평가된 모델들에서 관찰된 것임을 언급합니다.

저자들은 트랜스포머의 충실한 메커니즘적 이해를 위해서는 값의 기하학을 분석하는 것이 필수적이며, 이를 통해 "설명으로서의 어텐션" 패러다임을 넘어 "기하학을 인식하는(geometry-aware)" 해석으로 나아가야 한다고 결론짓습니다.