Self-attention vector output similarities reveal how machines pay attention

기술 요약: 셀프 어텐션 벡터 출력 유사성을 통한 기계의 주의 집중 메커니즘 규명

문제 정의
셀프 어텐션(self-attention) 메커니즘은 자연어 처리(NLP) 분야에 혁명을 일으켰으나, 그 고도화된 학습 능력의 기저에 깔린 정밀한 정량적 메커니즘은 여전히 미해결 연구 과제로 남아 있다. 기존 문헌은 주로 모델이 텍스트에 어떻게 집중하는지를 이해하기 위해 어텐션 맵(attention weights)을 분석하는 데 중점을 둔다. 그러나 선행 연구들은 어텐션 가중치만으로는 트랜스포머 아키텍처 내의 학습 과정을 설명하기에 불충분하다는 점을 지적해 왔다. 또한, 현재의 접근 방식들은 개별 어텐션 헤드(attention head)에 의해 생성되는 출력 벡터 공간에 대한 광범위한 탐색을 간과하는 경우가 많다. 각 레이어가 얼마나 잘 학습하는지를 측정하거나, 네트워크를 통해 토큰 표현이 진화하는 내부 메커니즘을 특징짓는 정량화 가능한 언어가 부족한 실정이다.

연구 방법론
본 연구는 어텐션 맵에만 의존하는 대신, 어텐션 헤드의 출력에서 발생하는 벡터 공간을 분석함으로써 셀프 어텐션 메커니즘 내의 정보 처리를 정량화하는 새로운 접근 방식을 도입한다. 본 연구는 고정된 입력 시퀀스 길이 128 토큰을 가진 BERT-12 아키텍처를 활용한다.

핵심 방법론은 다음과 같은 단계로 구성된다:

1. 문맥 유사도 행렬 구축: 어텐션 가중치를 분석하는 대신, 각 어텐션 헤드에 의해 생성된 모든 토큰 쌍(128개 토큰) 사이의 비정규화된 벡터 표현(unnormalized vector representations) 간의 내적(dot product)을 계산한다. 이를 통해 각 헤드별로 $128 \times 128$ 크기의 문맥 유사도 행렬(Context Similarity Matrix)을 생성한다.
2. 벡터 공간 분석: 서로 다른 토큰 쌍 간의 정렬 및 벡터 크기 관계를 밝히기 위해, 이 행렬의 대각 성분을 0으로 설정하여 오프-대각(off-diagonal) 문맥 유사성에 집중한다.
3. 레이어 및 헤드별 진행 과정 추적: BERT 아키텍처의 12개 레이어에 걸쳐 이러한 행렬의 진화를 추적한다.
4. 통계적 집계: 20,000개의 텍스트 샘플에 대해 데이터를 집계하여 토큰 거리, 문장 경계, 그리고 개별 헤드의 전문화 패턴을 식별한다. 높은 어텐션 영역(정규화된 어텐션 맵을 통해 식별됨)을 사용하여 높은 문맥 유사성을 가진 영역을 마스킹하고 구분한다.

주요 결과
문맥 유사도 행렬 분석을 통해 셀프 어텐션이 정보를 처리하는 방식에서 뚜렷한 패턴이 드러났다:

• 레이어 진화:
  • 초기 레이어: 행렬 전체에 걸쳐 비교적 균등한 분포를 보이며 상당히 긴 범위의 문맥 유사성을 나타낸다.
  • 중간 레이어: 대각선을 따라 높은 유사도 요소가 집중되는 단거리 상관관계(short-range correlations) 경향을 강하게 보인다.
  • 최종 레이어: 문맥 유사도가 동일 문장 내의 토큰들로 확장되는 반면, 문장 경계 외부에서는 유사도가 급격히 떨어진다. 이 레이어의 어텐션 맵은 문장 구분자 토큰(예: ".", ",")에 집중되어 있으며, 이는 의미론적 텍P 세그멘테이션(semantic text segmentation) 메커니즘을 시사한다.
• 헤드 전문화: 동일한 블록 내의 서로 다른 어텐션 헤드들은 뚜렷하게 다른 언어적 특성에 집중한다. 어떤 헤드는 토큰 반복을 식별하는 데 특화되어 있는 반가, 어떤 헤드는 특정 토큰과 그 주변 문맥을 인식하는 데 특화되어 있다.
• 고유 토큰 집중: 개별 헤드는 주어진 입력에 대해 고유한 "가장 흔한 토큰(most common token)"에 특화되는 경향이 있으며, 해당 특정 토큰을 중심으로 유사도 쌍을 형성한다. 이러한 전문화는 모든 헤드에 걸쳐 균일하게 나타나지 않으며, 각 헤드는 서로 다른 토큰으로 수렴한다.
• 거리 분포: 초기 레이어는 토큰 범위 전반에 걸쳐 무작위적인 유의성을 보이는 반면, 중간 및 최종 레이어는 단거리 상관관계에 의해 지배된다. 그러나 특정 헤드(예: 레이어 11의 헤드 8)는 여전히 전체 텍스트에서 동일한 토큰을 인식할 수 있다.
• 문장 경계: 헤드들이 동일 문장 내에서 강력한 문맥 유사성(33% 초과)을 생성하려는 명확한 선호도를 보이는데, 이는 통계적 우연이 아닌 학습 과정이 이러한 구문적 그룹화를 유도함을 나타낸다.

의의 및 주장
본 논문은 초점을 어텐션 맵에서 출력 벡터 공간으로 전환함으로써, 트랜스포머 아키텍처의 학습 성능을 평가하기 위한 새로운 정량적 언어를 제공한다고 주장한다. 주요 의의는 다음과 같다:

1. 메커니즘 설명: 벡터가 어휘적 표현에서 구문론적으로 유의미한 영역으로 어떻게 진화하는지를 입증함으로써, 아키텍처를 지배하는 내부 메커니즘에 대한 정량적 설명을 제공한다.
2. 어텐션 맵을 넘어서: 출력 벡터가 어텐션 가중치만으로는 포착할 수 없는 신호 전파 및 학습 역학에 관한 중요한 정보를 포함하고 있음을 확립한다.
3. 노이즈와 신호: 직접적인 언어적 이해 없이도 발생하는 노이즈 요소(높은 문맥 유사성)의 존재를 강조하며, 벡터 공간에서의 신호 대 잡음비(signal-to-noise ratio)를 이해하는 것이 더 효율적인 가지치기(pruning) 및 메모리 사용으로 이어질 수 있음을 시사한다.
4. 아키텍처적 통찰: 트랜스포머가 문장 내 중거리 상관관계에는 뛰어나지만, 더 큰 텍스트에 걸친 장거리 문맥 관계에는 어려움을 겪는다는 점을 시사한다. 본 논문은 향후 발전 방향이 생물학적 학습 시스템과 유사한 직접적인 장거리 상호작용이 가능한 아키텍처를 필요로 할 것이라고 상정한다.

본 연구는 이 방법론이 셀프 어텐션 메커니즘의 출력과 관련하여 그 역학을 이해하는 데 있어 기초적인 단계가 될 것이며, 트랜스포머 아키텍처가 언어를 처리하는 방식에 대해 더욱 포괄적인 관점을 제공한다고 결론짓는다.