🤖 AI

Geometric Analysis of Token Selection in Multi-Head Attention

이 논문은 토큰 분리 가능성을 정량화하기 위해 정밀도, 재현율, F-score 지표를 정의하고, 소규모 N(small-N) 체제에서의 최적 성능을 예측하는 비점근적 경계(non-asymptotic bounds)를 도출하며, 여러 모델에 걸쳐 이러한 발견을 경험적으로 검증하여 뚜렷한 헤드 특화 패턴을 밝히고 기하학적 인지 기반의 희소화(geometry-aware sparsification)에 정보를 제공함으로써 대규모 언어 모델의 멀티 헤드 어텐션을 분석하기 위한 기하학적 프레임워크를 소개한다.

원저자: Timur Mudarisov, Mikhal Burtsev, Tatiana Petrova, Radu State

게시일 2026-08-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Timur Mudarisov, Mikhal Burtsev, Tatiana Petrova, Radu State

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 디지털 도서관을 상상해 보세요. 로봇 사서가 당신의 질문에 답하기 위해 노력하고 있습니다. 이를 위해 사서는 책 한 권을 읽는 것이 아니라, 한 번에 수백만 페이지를 스캔합니다. 하지만 동시에 모든 것을 읽는 것은 혼란스럽고 느립니다. 그래서 사서는 '어텐션(attention)'이라는 특별한 기술을 사용합니다. 어텐션을 조명이라고 생각해 보세요. 사서가 질문 속의 특정 단어를 볼 때, 조명은 대화의 역사에서 가장 중요한 단어들을 비추어 답변을 형성하는 데 도움을 줍니다.

인공지능의 세계에서 이 조명 시스템은 '멀티 헤드 어텐션(Multi-Head Attention)'이라 불립니다. 이것은 현대 AI 모델의 엔진 역할을 하며, 모델이 문맥과 뉘앙스를 이해할 수 있게 해줍니다. 하지만 오랫동안 과학자들은 이 조명을 모든 재료를 똑같이 섞어버리는 스무디처럼, 단순한 평균화 기계로 취급해 왔습니다. 그러나 최근의 관찰은 이 조명이 특정 재료는 골라내고 다른 재고는 무시하는 선택적 필터에 더 가깝다는 점을 시사했습니다. 큰 의문은, 조명이 선택한 단어들의 집단이 실제로 일관성 있고 조직적인 팀인지, 아니면 그저 근처에 우연히 있는 단어들의 무작위 혼합인지 하는 것입니다. 이 기하학적 구조—선택된 단어들의 형태와 배치—를 이해하는 것은 AI 모델을 지능을 잃지 않으면서도 더 작고, 빠르고, 효율적으로 만드는 데 도움이 될 수 있습니다.

이 논문에서 저자인 티무르 무다리스(Timur Mudarisov)와 그의 팀은, 어텐션을 흐릿한 빛으로 보는 것을 멈추고 그것이 투사하는 개별적인 빛줄기를 조사하기로 했습니다. 그들은 AI 모델이 어떤 단어에 집중할지 결정하는 방식을 '기하학적 정렬(geometric sorting)' 게임처럼 다루며 새로운 방식으로 개발했습니다. 선택된 단어들이 언어적으로 말이 되는지를 묻는 대신, 그들은 더 단순하고 시각적인 질문을 던졌습니다. 선택된 단어들이 깔끔하고 촘촘한 그룹으로 뭉쳐 있는가, 아니면 사방에 흩어져 있는가?

이를 위해 그들은 '정밀도(precision)'와 '재현율(recall)'이라는 '기하학적 자(geometric rulers)'를 발명했습니다. 여러분이 구슬 바구니(AI가 선택한 단어들)와 자갈 바구니(AI가 무시한 단어들)를 가지고 있다고 상상해 보세요. 만약 구슬들이 방 한쪽 구석에 뭉쳐 있고 자갈들이 멀리 떨어져 있다면, 그것은 완벽한 점수입니다. 만약 구슬들이 자갈들과 뒤섞여 있다면 점수는 낮아집니다. 저자들은 AI 모델이 상위 단어들을 선택할 때, 그 단어들이 무작위로 단어들을 뽑았을 때보다 훨씬 더 조밀하고 조직적인 클러스터를 형성한다는 것을 발견했습니다. 이는 마치 AI가 배후의 수학적 원리만을 보고 있더라도, 관련된 아이디어들을 그룹화하는 비밀스러운 본능을 가진 것과 같습니다.

하지만 그들이 문장의 첫 번째 단어를 살펴보았을 때 이야기는 조금 이상해집니다. AI의 세계에서 이것은 '싱크 토큰(sink token)'으로 알려져 있습니다. 이것은 방 한가운데에 있는 독특한 닻과 같아서, 실제로는 유용한 정보를 담고 있지 않음에도 불구하고 엄청난 양의 어텐션을 받습니다. 저자들은 이 '싱크'가 기하학적 이상 현상임을 발견했습니다. 그것은 뚜렷하게 더 작은 크기(노름, norm)를 가지며, 다른 모든 단어와 반대 방향을 향하고 있습니다. AI가 이 싱크를 상위 선택 항목에 포함하면, 다른 단어들의 깔끔한 클러스터링을 망가뜨립니다. 이는 마치 팀 사진을 찍으려는데, 한 사람이 다른 차원에 서서 나머지 사람들의 균형을 무너뜨리는 것과 같습니다. 논문은 이 '싱크'를 선택에서 제거하면, 남은 단어들이 훨씬 더 완벽하고 조직적인 형태를 갖추게 된다는 것을 보여줍니다.

이러한 기하학적 관찰을 바탕으로, 팀은 AI 내부의 서로 다른 '조명'(또는 어텐션 헤드)을 분류하는 새로운 방법을 만들었습니다. 그들은 복잡한 수학 공식이나 추측을 사용하지 않고, 각 조명이 어떤 단어를 가장 좋아하는지를 살펴보았습니다. 이를 통해 AI 어텐션 헤드의 세 가지 뚜렷한 성격이 도출되었습니다.

리트리버(Retrievers, 검색가): 이들은 집중력 있는 탐정들입니다. 이들은 거의 항상 현재 논의되고 있는 단어를 자신들의 가장 중요한 정보원으로 선택합니다. 이들은 드물며, 팀의 약 6%에서 17%만을 차지합니다.
믹서(Mixers, 혼합가): 이들은 사교적인 사람들입니다. 이들은 '싱크'(첫 단어)를 사랑하며, 이를 기반으로 다른 단어들의 정보를 혼합합니다. Gemma나 LLaMA-3와 같은 일부 모델에서 매우 흔하게 나타납니다.
리셋(Resets, 초기화가): 이들은 방랑자들입니다. 이들은 선호하는 단어가 없으며, 사방에서 선택합니다. Mistral이나 LLaMA-2와 같은 모델에서 가장 흔한 유형입니다.

저자들은 이 새로운 분류 체계를 테스트하기 위해 AI의 일부를 '가지치기(pruning)'하거나 제거하여 모델이 여전히 작동할 수 있는지 실험했습니다. 그들은 헤드가 리트리버, 믹서, 또는 리셋인지 아는 것이 AI의 어떤 부분이 중요한지에 대한 유용한 힌트를 준다는 것을 발견했습니다. 이는 마치 스포츠 팀에서 어떤 선수가 득점원이고 어떤 선수가 수비수인지 아는 것과 같습니다. 그러나 그들은 이것이 만능 해결책은 아니라는 점을 주의 깊게 언급했습니다. 적당한 수준의 절단에서는 도움이 되지만, AI를 최소한으로 깎아내려고 할 때는 항상 다른 방법들보다 뛰어나지는 않았습니다. 또한, Gemma 모델에서 매우 결정적인 하나의 '슈퍼 헤드(super-head)'를 발견했는데, 이를 제거하면 전체 시스템이 망가졌습니다. 이는 이러한 깔끔한 카테고리가 있음에도 불구하고, 어떤 개별 부분들은 대체 불가능하다는 것을 증명합니다.

궁극적으로, 이 논문은 AI 모델이 정보를 선택하는 방식이 우리가 생각했던 것보다 훨씬 더 구조적이고 기하학적이라는 점을 시사합니다. 그것은 단순히 무작위적인 흐릿함이 아닙니다. 그것은 어떤 단어는 이끌고, 어떤 단어는 따르며, 하나의 작은 '싱크' 단어가 전체 그룹을 이상한 방향으로 끌어당기는 정교하게 조직된 춤입니다. 이러한 형태를 이해함으로써, 우리는 미래에 더 똑똑하고 가벼운 AI 모델을 구축할 수 있을 것입니다. 다만, 여전히 잘못된 조각을 잘라내지 않도록 주의해야 합니다.

기술 요약: 멀티 헤드 어텐션 내 토큰 선택의 기하학적 분석

문제 정의
어텐션 메커니즘은 현대 대규모 언어 모델(LLM)의 핵심이지만, 기존의 이론적 프레임워크는 종종 보편적 근사 능력에 초점을 맞추거나 어텐션을 정규화된 커널 스무더(kernel smoother)로 간주한다. 이러한 관점은 표현력을 명확히 해주지만, 학습된 어텐션 헤드가 선택하는 토큰의 구체적인 기하학적 구조를 설명하지는 못한다. 초기 토큰이 불균형적으로 많은 질량을 받는 "어텐션 싱크(attention sink)" 현상과 같은 경험적 관찰은, 어텐션이 확산된 평균화가 아닌 구조화된 선택을 포함하고 있음을 시사한다. 그러나 어텐션에 의해 선택된 토큰들이 밸류-스테이트(value-state) 공간에서 기하학적으로 분리 가능한 클래스를 형성하는지 여부를 결정하는 단순한 프레임워크는 부족한 실정이었다. 본 논문은 다음 질문을 다룬다: 상위 $N$ 개의 어텐션 선택 기여분은 밸류-스테이트 공간에서 일관된 분리 집합을 형성하는가, 그리고 어텐션 싱크는 이러한 기하학적 구조에 어떤 영향을 미치는가?

방법론
저자들은 단일 어텐션 헤드를 가공되지 않은 어텐션 가중치를 분석하는 대신, 어텐션으로 스케일링된 밸류 기여분( $y_i = \alpha_i v_i$ )에 대한 분류기로 취급하는 기하학적 프레임워크를 제안한다.

기하학적 지표: 고정된 쿼리 위치에 대해, 어텐션 가중치에 따른 상위 $N$ 개의 토큰이 선택된다. 저자들은 집계 벡터 $s_N = \sum_{i \in I_N} \alpha_i v_i$ 를 정의한다. 또한 선택된 기여 벡터가 $s_N$ 주변의 미선택 벡터들로부터 얼마나 잘 분리되는지를 측정하기 위해 **기하학적 정밀도(Geometric Precision)**와 **기하학적 재현율(Geometric Recall)**을 도입한다. 이들은 **극한 기하학적 F-스코어( $F_N$ )**로 요약된다.
이론적 경계: 저자들은 "선택-미선택 역전"(미선택 토큰이 선택된 토큰보다 집계 벡터에 더 가까운 경우)을 기반으로 정밀도와 재현율에 대한 결정론적 하한을 도출한다. 결정적으로, 저자들은 **싱크 인식 상수-노름 레짐(sink-aware constant-norm regime)**을 도입한다. 이 이론은 비-싱크(non-sink) 토큰들이 공통된 노름과 유계된 방향적 일관성을 공유하는 반면, 싱크 토큰(첫 번째 토크)은 구별되는 더 작은 노름과 비-싱크 토큰들과의 부호가 있는 방향 관계(종종 음의 정렬)를 가진다고 가정한다.
헤드 분류 체계: "소스-위너(source-winner)" 규칙에 기반한 파라미터 프리(parameter-free) 분류 체계가 도입된다. 각 헤드에 대해 기여도( $\alpha_j \|v_j\|$ $α_{j} ∥ v_{j} ∥$ )를 최대화하는 소스 위치가 식별된다. 헤드는 다음과 같이 분류된다:
- 리트리버(Retriever): 현재 토큰이 지배적인 소스인 경우.
- 믹서(Mixer): 싱크 토큰이 지배적인 소스인 경우.
- 리셋(Reset): 단일한 특권 소스가 지배적이지 않은 경우(승리하는 소스들이 분산되어 있음).
경험적 검증: 이 프레임워크는 WikiText-103 및 OpenWebText 코퍼스를 사용하여 LLaMA, Gemma, Mistral 모델에 대해 평가된다. 실험에는 상위 $N$ 선택과 무작위 부분 집합 간의 비교, 싱크 기하학(노름 및 코사인) 분석, 그리고 구조화된 헤드 희소화(sparsification)에서의 분류 체계 유용성 테스트가 포함된다.

핵심 기여

기하학적 분류기 관점: 본 논문은 상위 $N$ 어텐션을 밸류-스테이트 공간에서의 기하학적 분류 문제로 재구성하여, 정밀도, 재현율 및 극한 분리도 점수( $F_N$ )를 도입한다.
싱크 인식 경계: 싱크 토큰의 이례적인 기하학을 명시적으로 고려하여, 기하학적 분리도에 대한 결정론적 하한을 도출함으로써 분리성에 대한 보수적인 인증을 제공한다.
파라미터 프리 헤드 분류 체계: 기여도를 최대화하는 소스에만 기반하여 리트리버, 믹서, 리셋 레짐을 구축하며, 이는 별도의 적합된 임계값이나 마진을 필요로 하지 않는다.
경험적 특성화: 본 연구는 상위 어텐션 부분 집합이 무작위 부분 집합보다 기하학적으로 더 잘 분리되며, 싱크 토큰이 상위 $N$ 선택에 포함될 때 분리도를 저해하는 별개의 기하학적 구성 요소로 작다는 경험적 증거를 제공한다.

결과

분리도: 모든 모델(LLaMA, Gemma, Mistral)에서 상위 어텐션 부분 집합은 동일한 크기의 무작위 부분 집합보다 일관되게 더 높은 기하학적 분리도를 보인다. 특히 희소(sparse) 및 중간 단계의 $N$ 에서 두드러진다.
싱크 기하학: 싱크 토큰은 구별되는 기하학을 나타낸다: 싱크의 밸류 노름은 비-싱크 토큰보다 3~10배 작으며, 그 방향은 비-싱크 방향과 체계적으로 음의 정렬을 보인다. 상위 $N$ 선택에 싱크를 포함하면 기하학적 분리도 점수( $F_N$ )가 유의미하게 감소하며, 종종 2배까지 떨어진다.
분류 체계 분포: 리트리버 헤드는 모든 모델에서 일관되게 소수(5.8–17.2%)를 차지한다. 지배적인 레짐(믹서 vs 리셋)은 아키텍처마다 다르지만 코퍼스(OpenWebText vs WikiText)에 관계없이 안정적으로 유지된다. 믹서 헤드는 강한 싱크 정렬을 보이는 반면, 리트리버 헤드는 현재 토큰과 정렬된다.
희소화 유용성: 분류 체계는 구조화된 헤드 제거를 위한 유용한 조세 신호를 제공하며, 특히 중간 수준의 유지율에서 그러하다. 그러나 공격적인 프루닝(pruning) 상황에서는 단일 지표 베이스라인(예: 가중치 크기 또는 엔트로피)을 보편적으로 능가하지는 못한다. Gemma-7B(Layer 0, Head 12)에서 단 하나의 헤드 제거가 뚜렷한 실패 모드를 유발하는 임계적 예외 사례가 발견되었는데, 이는 레짐 수준의 평균치가 필수적인 개별 헤드의 중요성을 가릴 수 있음을 보여준다.

의의 및 주장
본 논문은 어텐션을 단순한 평균화로 보는 관점을 넘어, 구조화된 선택과 헤드 수준의 전문화를 밝혀내는 "단순한 프레임워크"를 제공한다고 주장한다. 그 의의는 다음과 같다:

진단 능력: 기하학적 지표와 싱크 인식 경계는 분리성에 대한 보수적인 인증 역할을 하며, 어텐션으로 선택된 토큰들이 단순히 의미적으로 순위가 매겨진 것이 아니라 기하학적으로 일관됨을 입증한다.
메커니즘적 통찰: 본 분류 체계는 어텐션 헤드를 "활성-휴면"이라는 이분법적 관점에서 세 가지 뚜렷한 메커니즘 레짐(리트리버, 믹서, 리셋)으로 정교화하며, 싱크를 통한 계산과 확산된 계산 사이의 균형이 보편적인 상수가 아닌 아키텍처적 속성임을 보여준다.
실질적 한계: 저자들은 분류 체계가 희소화를 위한 유용한 신호를 제공하지만, 보편적으로 최적화된 프루닝 규칙은 아니라고 겸허히 주장한다. 레짐 수준의 평균치가 은폐할 수 있는 필수적인 개별 헤드들이 존재하므로, 이를 헤드 수준의 민감도 분석과 결합된 진단 신호로 사용해야 한다.

유사한 논문