Understanding Transformers and Attention Mechanisms: An Introduction for Applied Mathematicians

1. 문제 제기 (Problem)

현대 대규모 언어 모델 (LLM) 은 '변환기 (Transformer)' 아키텍처를 기반으로 하며, 그 핵심은 어텐션 (Attention) 메커니즘입니다. 그러나 이러한 모델들의 내부 작동 원리, 특히 수학적 구조와 계산 복잡도는 응용 수학 커뮤니티에 명확하게 설명되지 않은 경우가 많습니다. 또한, 모델의 규모가 커짐에 따라 다음과 같은 주요 문제들이 대두되었습니다:

• 계산 및 메모리 병목 현상: 어텐션 메커니즘은 시퀀스 길이에 따라 계산 비용이 $O(N^2)$ 또는 $O(N^3)$으로 증가하며, 특히 대화형 AI 에서 이전 토큰의 키 (Key) 와 값 (Value) 벡터를 저장하는 **KV 캐싱 (KV Caching)**은 메모리 사용량을 급격히 증가시킵니다.
• 효율성 부족: 긴 컨텍스트 (Long-context) 를 처리하거나 실시간 스트리밍을 할 때, 모든 토큰에 대해 키/값 벡터를 매번 재계산하거나 모든 벡터를 메모리에 유지하는 것은 비효율적입니다.

2. 방법론 (Methodology)

이 논문은 응용 수학자의 관점에서 변환기 아키텍처를 수학적 프레임워크로 해부하고, 이를 최적화하는 최신 기법들을 체계적으로 설명합니다.

A. 기본 구성 요소의 수학적 정의

• 토큰화 및 임베딩: 텍스트를 토큰 시퀀스로 변환하고, 이를 저차원 벡터 공간으로 매핑하는 임베딩 행렬 ($E \in \mathbb{R}^{N_V \times d}$) 을 정의합니다.
• 어텐션 메커니즘 (Attention Mechanism):
  • 쿼리 (Query), 키 (Key), 값 (Value): 입력 벡터를 선형 변환하여 $Q, K, V$ 행렬을 생성합니다.
  • 점곱 및 커널: 쿼리와 키의 유사도를 계산하기 위해 커널 함수 $\kappa(v, w)$를 사용하며, 가장 일반적인 것은 스케일된 지수 커널 (Scaled Exponential Kernel) 입니다.
  • 가중 합: 정규화된 어텐션 가중치 (Softmax) 를 사용하여 값 ($V$) 의 가중 합을 계산하여 출력을 생성합니다.
  • 수식: $Y = Z^{-1} A V$, 여기서 $A = \exp(QK^T / \sqrt{d})$입니다.
• 멀티-헤드 어텐션 (Multi-Headed Attention): 여러 개의 병렬 어텐션 헤드를 사용하여 다양한 의미적 정보에 집중하도록 설계하며, 각 헤드의 출력을 선형 결합하여 최종 결과를 도출합니다.

B. 변환기 아키텍처 구조

• 인코더 (Encoder): 자기 어텐션 (Self-attention), 레이어 정규화 (Layer Norm), 피드포워드 네트워크 (Feed Forward) 를 반복하여 입력 시퀀스를 인코딩합니다.
• 디코더 (Decoder):
  • 마스크된 자기 어텐션 (Masked Self-attention): 미래 토큰을 보지 못하도록 제한하여 순차적 생성을 보장합니다.
  • 크로스 어텐션 (Cross-attention): 인코더의 출력을 키/값으로 사용하여 입력 문맥을 참조합니다.
• 변형 아키텍처: BERT(인코더 전용) 와 GPT(디코더 전용) 의 차이점과 사전 학습 (Pre-training) 및 파인튜닝 전략을 설명합니다.

C. 최적화 기법 (Optimization Strategies)

메모리 및 계산 효율성을 높이기 위한 세 가지 주요 기법을 제시합니다.

1. KV 캐싱 (KV Caching): 이전 단계에서 계산된 키와 값 벡터를 메모리에 저장하여, 새로운 토큰 생성 시 재계산 없이만 쿼리만 계산하도록 하여 계산 복잡도를 $O(N^3)$에서 $O(N^2)$로 줄입니다.
2. 그룹드 쿼리 어텐션 (Grouped Query Attention, GQA):
   • 여러 쿼리 헤드가 동일한 키/값 헤드를 공유하도록 설계합니다.
   • 메모리 사용량을 줄이면서도 멀티-헤드 어텐션 (MHA) 의 성능과 멀티-쿼리 어텐션 (MQA) 의 효율성 사이의 균형을 맞춥니다.
3. 잠재 어텐션 (Latent Attention, DeepSeek V2 등):
   • 핵심 아이디어: 키와 값 벡터를 직접 저장하는 대신, 더 낮은 차원의 **잠재 공간 (Latent Space)**을 공유하여 키/값을 생성합니다.
   • 수학적 구조: $K = X W_L W_{LK}$, $V = X W_L W_{LV}$와 같이 저랭크 분해 (Low-rank factorization) 를 적용합니다. 여기서 $W_L$은 모든 헤드가 공유하는 잠재 임베딩 행렬입니다.
   • 효과: 토큰당 하나의 잠재 벡터 ($L$) 만 캐싱하면 되므로 메모리 사용량이 획기적으로 감소합니다. 또한, 가중치 행렬을 병합하여 계산 비용을 줄입니다.

3. 주요 기여 (Key Contributions)

1. 응용 수학자를 위한 체계적인 가이드: 자연어 처리 (NLP) 의 복잡한 개념을 선형대수 및 확률론적 관점에서 엄밀하게 정의하여, 수학적 배경을 가진 연구자들이 변환기 모델을 이해할 수 있는 토대를 마련했습니다.
2. 최신 최적화 기법의 수학적 분석: KV 캐싱, GQA, 그리고 최근 DeepSeek V2 에서 도입된 **잠재 어텐션 (Latent Attention)**의 수학적 정의를 명확히 하고, 기존 MHA 와의 관계를 저랭크 분해 관점에서 설명했습니다.
3. 실제 모델 사양 비교: Llama 3 70B, Gemma 3 27B, DeepSeek V2 와 같은 최신 모델의 레이어 수, 헤드 수, 임베딩 차원 등을 표로 정리하여 실제 산업 적용 사례와 이론적 구조를 연결했습니다.

4. 결과 및 성능 (Results)

논문에 제시된 분석과 표 (Table 3) 를 통해 다음과 같은 결과를 도출할 수 있습니다:

• 메모리 효율성: 잠재 어텐션 (MLA) 은 GQA 나 기존 MHA 에 비해 KV 캐시 크기를 획기적으로 줄입니다. 예를 들어, DeepSeek V2 는 128 개의 어텐션 헤드를 가지지만, 키/값을 공유하는 잠재 벡터만 저장함으로써 메모리 부담을 최소화합니다.
• 계산 복잡도: KV 캐싱과 GQA/MLA 를 결합하면 긴 시퀀스 처리 시 $O(N^2)$의 선형적 메모리 증가와 효율적인 추론 속도를 달성할 수 있습니다.
• 모델 크기 비교: Llama 3 70B 와 Gemma 3 27B 는 GQA 를 사용하는 반면, DeepSeek V2 는 잠재 어텐션을 사용하여 더 높은 효율성을 보입니다.

5. 의의 (Significance)

이 논문은 다음과 같은 점에서 중요한 의의를 가집니다:

• 이론과 실전의 교량: 랜덤화 수치 선형대수 (RNLA) 워크숍의 일환으로 작성된 만큼, 확률론적 행렬 근사나 저랭크 분해와 같은 수치해석적 기법이 어떻게 최신 AI 모델의 효율성 향상에 기여하는지 보여줍니다.
• 차세대 모델 설계의 방향성 제시: 메모리 병목 현상을 해결하기 위해 단순한 캐싱 최적화를 넘어, 임베딩 공간의 구조적 변화 (잠재 공간 공유) 를 통해 모델 아키텍처 자체를 재설계해야 함을 시사합니다.
• 학제간 연구 촉진: 응용 수학, 컴퓨터 과학, 그리고 언어학의 경계를 넘어, 변환기 모델의 수학적 본질을 탐구함으로써 새로운 알고리즘 개발 (예: 더 효율적인 어텐션 메커니즘) 을 위한 기초를 제공합니다.

요약하자면, 이 논문은 현대 LLM 의 핵심인 어텐션 메커니즘을 수학적 언어로 해부하고, 메모리 및 계산 효율성을 극대화하기 위한 최신 기법들 (GQA, Latent Attention) 을 체계적으로 설명하여 응용 수학자들이 AI 모델의 내부 구조를 깊이 있게 이해하고 새로운 최적화 알고리즘을 개발하는 데 기여합니다.