On the Expressive Power of Contextual Relations in Transformers

이 논문은 텍스트를 의미 임베딩 공간의 확률 측도로, 단어 간 맥락적 관계를 결합 측도로 모델링하는 측도론적 프레임워크를 제시하고, 이를 기반으로 임의의 연속 결합 함수를 근사할 수 있는 범용 근사 정리를 증명하는 'Sinkhorn Transformer' 아키텍처를 제안합니다.

핵심

이 논문은 우리가 매일 사용하는 '트랜스포머 (Transformer)'라는 인공지능 모델이 왜 그렇게 똑똑한지, 그리고 그 내부에서 일어나는 일들을 수학적으로 얼마나 완벽하게 설명할 수 있는지에 대한 이야기를 담고 있습니다.

기존의 연구들은 "이 모델이 단어를 어떻게 연결하는지"를 대략적으로 설명했지만, 이 논문은 **"단어와 단어 사이의 관계 자체가 어떤 수학적 구조를 가질 수 있는지"**를 아주 정교하게 증명했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

---

1. 핵심 아이디어: "단어는 점 (Point) 이 아니라 구름 (Cloud) 입니다"

기존의 방식은 문장을 볼 때, 각 단어를 고정된 점으로 보았습니다. 예를 들어, "사과"라는 단어를 좌표 (1, 2) 에 있는 점처럼 취급하는 거죠. 하지만 이 논문은 이렇게 말합니다.

"아니요, 단어는 고정된 점이 아니라 구름처럼 퍼져 있어야 해요."

• 비유: "사과"라는 단어는 딱 하나만 있는 게 아니라, 빨간 사과, 초록 사과, 사과 맛의 아이스크림, 사과나무 등 다양한 의미와 뉘앙스를 가진 **작은 구름 (확률 분포)**으로 생각해야 합니다.
• 논문이 하는 일: 텍스트를 이 '구름'들의 집합으로 보고, 두 텍스트 사이의 관계를 **'구름과 구름을 연결하는 다리'**로 설명합니다.

2. 새로운 연결 고리: "싱크호른 (Sinkhorn) 다리를 놓다"

기존의 트랜스포머는 단어 A 와 단어 B 가 얼마나 비슷한지 계산할 때, 한쪽 방향 (A 가 B 를 봄) 으로만 가중치를 매겼습니다. 마치 한쪽만 보는 안경을 쓴 것과 같아요.

하지만 이 논문은 **'싱크호른 (Sinkhorn)'**이라는 새로운 도구를 마지막 단계에 도입합니다.

• 비유:
  • 기존 방식: A 팀이 B 팀을 얼마나 좋아하는지 투표하는 것 (한쪽만 투표).
  • 새로운 방식 (Sinkhorn): A 팀과 B 팀이 서로를 균형 있게 이해하고 연결하는 것. A 가 B 를 보는 만큼 B 도 A 를 봐야 하고, 전체적인 관계가 **이중 확률 (Double Stochastic)**이 되어야 합니다.
  • 마치 두 도시 (텍스트) 사이를 오가는 버스 노선을 설계할 때, A 도시에서 B 로 가는 버스만큼 B 에서 A 로 오는 버스도 균형 있게 배치하는 것과 같습니다.

3. 이 논문의 가장 큰 업적: "만능 연결사 (Universal Approximation)"

이 논문의 결론은 매우 강력합니다.

" Sinkhorn 트랜스포머는 어떤 복잡한 관계든, 어떤 연결 방식이든 완벽하게 흉내 낼 수 있다."

• 비유:
  • 상상해보세요. 두 사람 (두 텍스트) 사이에 존재할 수 있는 모든 종류의 대화, 감정, 유대 관계가 있다고 칩시다.
  • 기존 연구들은 "이 모델은 대부분의 대화를 잘해요"라고 말했지만, 이 논문은 **"Sinkhorn 트랜스포머는 두 사람 사이에 존재할 수 있는 모든 종류의 관계 (연결) 를 수학적으로 100% 완벽하게 재현할 수 있는 능력을 가지고 있다"**라고 증명했습니다.
  • 마치 **만능 키 (Universal Key)**처럼, 어떤 자물쇠 (복잡한 의미 관계) 가 있어도 그걸 열 수 있는 열쇠를 만들 수 있다는 뜻입니다.

4. 왜 이것이 중요한가요?

• 이해의 깊이: 단순히 "단어가 비슷하다"는 수준을 넘어, "두 문장 전체가 어떻게 서로의 의미를 공유하고 조화를 이루는지"를 수학적으로 설명할 수 있게 되었습니다.
• 미래의 AI: 이 이론은 AI 가 문맥을 더 자연스럽게 이해하고, 번역이나 대화에서 더 인간적인 '균형'을 잡을 수 있는 토대를 제공합니다.

요약하자면

이 논문은 **"인공지능이 단어를 연결하는 방식은 단순한 점과 점의 연결이 아니라, 복잡한 구름 (의미) 들을 균형 있게 연결하는 예술 (Sinkhorn) 이며, 이 방식은 이론상 어떤 관계든 완벽하게 표현할 수 있다"**고 선포한 것입니다.

마치 레고 블록을 쌓는 방식이 단순한 쌓기에서, 서로 맞물려 움직이는 정교한 기어 시스템으로 업그레이드된 것을 수학적으로 증명해낸 셈입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 트랜스포머 (Transformer) 아키텍처는 자연어 처리 및 구조화된 데이터에서 문맥적 관계를 모델링하는 데 있어 놀라운 실증적 성과를 거두었습니다. 특히 기존 순환 신경망 (RNN) 대비 문맥 이해 능력에서 큰 도약을 이루었습니다.
• 문제: 이러한 성공에도 불구하고, 어텐션 메커니즘이 표현할 수 있는 문맥적 관계의 클래스에 대한 정확한 수학적 특성화 (Mathematical Characterization) 는 아직 불완전한 상태입니다.
• 기존 연구의 한계: 기존 분석들은 주로 어텐션을 유한 차원 표현에 대한 휴리스틱 가중치 부여 scheme 으로 간주하며, $R^d$ 공간에서의 함수 근사 능력에 초점을 맞췄습니다. 그러나 이는 단어 간의 점대점 (pointwise) 유사성 스코어에 그쳐, 텍스트 간의 구조화된 확률적 관계 (structured probabilistic relations) 를 어떻게 근사하는지에 대한 깊은 이론적 이해를 제공하지 못했습니다.
• 핵심 질문: "트랜스포머 아키텍처가 임의의 가능한 문맥적 관계 시스템 (semantic contextual relations) 을 학습할 수 있는가?"

2. 방법론 (Methodology)

이 논문은 문맥적 관계를 모델링하기 위해 측도론적 프레임워크 (Measure-Theoretic Framework) 를 도입하고, 이를 근사하기 위한 새로운 아키텍처를 제안합니다.

2.1. 측도론적 프레임워크

• 텍스트를 확률 측도로 모델링: 가변 길이의 텍스트 시퀀스를 임베딩 공간 $X$ 위의 확률 측도 (Probability Measure) $\mu$로 표현합니다.
  • 텍스트 $w = (w_1, ..., w_n)$는 $\mu = \frac{1}{n}\sum \delta_{x_i}$로 정의됩니다.
• 문맥적 관계를 결합 측정 (Coupling Measure) 으로 정의: 두 텍스트 (또는 입력과 출력) 간의 문맥적 관계는 각 텍스트의 확률 측도 $\mu, \nu$를 한 쌍으로 만드는 결합 측정 (Coupling) $\pi \in \Pi(\mu, \nu)$로 모델링합니다.
  • 이는 단순한 유사성 스코어가 아니라, 한 텍스트의 단어가 다른 텍스트의 단어와 어떻게 의미적으로 연결되는지를 나타내는 공동 분포 (Joint Distribution) 입니다.
• 커플링 시스템 (Coupling System): 임의의 입력 측도 쌍 $(\mu, \nu)$에 대해 결합 측정 $\pi$를 매핑하는 연속 함수 $F: P(X) \times P(Y) \to P(X \times Y)$로 정의합니다.

2.2. Sinkhorn Transformer 아키텍처

• Sinkhorn 연산자 도입: 엔트로피 정규화 최적 수송 (Entropic Regularized Optimal Transport) 문제를 해결하는 Sinkhorn 알고리즘을 어텐션 메커니즘의 최종 단계에 도입합니다.
• 구조:
  1. 인코더: 입력 텍스트를 쿼리 (Query) 와 키 (Key) 임베딩으로 변환하는 기존 트랜스포머 스타일의 인코더 ($Q, K$) 를 사용합니다.
  2. 비용 함수 (Cost Function): 임베딩 간의 불일치를 기반으로 비용 함수 $c(x, y) = -\langle Q(x), K(y) \rangle$를 정의합니다.
  3. Sinkhorn 정규화: 기존 Softmax 어텐션 (조건부 확률, 행별 정규화) 대신 Sinkhorn 연산자를 적용하여 이중 확률 행렬 (Doubly Stochastic Matrix) 에 가까운 결합 측정 $\pi$를 생성합니다.
     • 이는 행과 열 모두에 대해 정규화를 강제하여 토큰 간의 균형 잡힌 상호작용을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 측도론적 프레임워크 정립: 어텐션 메커니즘을 확률 측도 간의 결합 측정 (Coupling-valued maps) 으로 모델링하는 새로운 이론적 틀을 제시했습니다. 이는 기존 벡터 값 함수 근사를 넘어 구조화된 관계 근사로의 패러다임 전환을 의미합니다.
2. Sinkhorn Transformer 제안: 최적 수송 이론을 기반으로 한 새로운 트랜스포머 변형 아키텍처를 설계했습니다. 이는 중간 레이어에서는 기존 트랜스포머를 유지하되, 최종 상호작용 단계에서 Sinkhorn 연산자를 적용하여 문맥적 관계를 결합 측정으로 해석합니다.
3. 보편적 근사 정리 (Universal Approximation Theorem) 증명:
   • 주요 결과: 연속적인 결합 측정 함수 (Continuous Coupling-valued maps) 의 공간에서 Sinkhorn Transformer 은 조밀 (Dense) 합니다.
   • 즉, 임의의 연속적인 문맥적 관계 시스템 (Semantic Coupling System) 은 적절한 파라미터를 가진 Sinkhorn Transformer 으로 균일하게 근사할 수 있음을 수학적으로 증명했습니다.

4. 주요 결과 및 증명 개요 (Results & Proof Sketch)

• Sinkhorn 연산자의 보편성: 임의의 운송 계획 (Transport Plan) 은 엔트로피 정규화 최적 수송 문제의 해 (Sinkhorn Plan) 로 근사할 수 있음을 보였습니다 (Lemma 5.4, Theorem 5.5).
• 비용 함수의 근사: Stone-Weierstrass 정리를 사용하여, 임의의 연속 비용 함수 $c(\mu, \nu)(x, y)$를 두 함수의 내적 $\langle Q(\mu, x), K(\nu, y) \rangle$로 근사할 수 있음을 보였습니다.
• 트랜스포머의 보편성 활용: Furuya et al. (2024) 의 결과를 인용하여, 위 내적 함수들을 $Q$와 $K$ 인코더로 구현하는 트랜스포머가 존재함을 증명했습니다.
• 최종 정리 (Theorem 7.1): 임의의 문맥적 결합 시스템 $F$와 오차 $\epsilon > 0$에 대해, Sinkhorn Transformer $T^*$가 존재하여 $W_1$ 거리 (Wasserstein distance) 에서 $F$를 $\epsilon$ 이내로 근사함을 증명했습니다.

5. 의의 및 중요성 (Significance)

• 이론적 엄밀성: 트랜스포머가 왜 그리고 어떻게 복잡한 문맥적 관계를 학습할 수 있는지에 대한 엄밀한 수학적 근거를 제공합니다. 단순히 "성공한다"는 실증적 관찰을 넘어, 어떤 함수 공간까지 표현 가능한지를 규명했습니다.
• 해석 가능성 (Interpretability): 어텐션 가중치를 단순한 유사성 점수가 아닌, 의미 분포 간의 구조화된 확률적 관계 (Coupling) 로 해석함으로써 모델의 의사결정 과정을 더 깊이 이해할 수 있는 틀을 마련했습니다.
• 실용적 적용 가능성:
  • 제안된 아키텍처는 기존 트랜스포머와 매우 유사하며 (중간 레이어는 동일), 최종 레이어의 정규화만 변경하므로 구현이 용이합니다.
  • Sinkhorn 알고리즘은 효율적으로 계산 가능하며, 훈련된 모델의 어텐션 행렬이 종종 이중 확률 행렬에 가깝다는 실증적 관찰과도 부합합니다.
• 미래 연구 방향: 이 프레임워크는 시퀀스 생성, 자기회귀 모델, 그리고 다양한 정규화 기법 (엔트로피 외) 을 적용한 문맥적 관계 학습 연구의 기초가 될 수 있습니다.

요약

이 논문은 트랜스포머의 표현력을 확률 측도 간의 결합 (Coupling) 관점에서 재정의하고, Sinkhorn Transformer를 통해 임의의 연속적인 문맥적 관계 시스템을 근사할 수 있음을 수학적으로 증명했습니다. 이는 자연어 처리 모델의 이론적 기반을 강화하고, 어텐션 메커니즘의 본질적인 능력을 구조화된 관계 학습의 관점에서 명확히 규명한 중요한 연구입니다.