Jordan-RoPE: Non-Semisimple Relative Positional Encoding via Complex Jordan Blocks

본 논문은 거리 조절 위상 상호작용을 모델링하기 위해 복소수 조르단 블록을 활용하여 진동-다항식 특징을 생성하는 비반단순 상대적 위치 인코딩인 조르단-RoPE를 소개하며, 이는 특정 맥락에서 표준 RoPE 및 ALiBi 기준 모델보다 구조적 이점과 구체적인 성능 향상을 입증합니다.

핵심

이야기에서 사건의 순서가 중요하다고 가정해 보세요. 트랜스포머라는 컴퓨터 모델에서 '어텐션' 메커니즘은 문장의 현재 단어를 이해하는 데 중요한 이전 단어들을 독자가 선택하는 것과 같습니다.

이를 위해 모델은 두 단어 사이의 거리를 알아야 합니다. 모델이 단순히 단어 자체만 본다면, 단어 A 가 단어 B 바로 앞에 왔는지 아니면 100 단어를 앞에 왔는지 알 수 없습니다. 여기서 위치 인코딩이 등장합니다. 이는 모델이 거리를 측정하는 데 사용하는 '자'와 같습니다.

문제: 낡은 자들

이 논문은 현재 모델들이 거리를 측정하는 두 가지 인기 있는 방식을 살펴봅니다:

1. RoPE(회전 위치 인코딩): 이는 회전하는 팽이와 같습니다. 단어의 위치에 따라 단어의 의미를 회전시킵니다. 문장의 리듬이나 위상(노래의 박자와 같은) 을 처리하는 데 탁월하지만, 거리를 단순한 회전으로만 다룹니다.
2. ALiBi: 이는 직선과 같습니다. 멀리 있을수록 단순한 페널티를 추가합니다. "가까울수록 좋다"는 점을 잘 표현하지만, 언어의 복잡하고 파동적인 패턴을 포착하지는 못합니다.

대부분의 모델은 회전용 자와 거리용 자처럼 이 두 가지를 별도로 사용합니다. 이를 단일하고 통합된 도구로 혼합하지는 않습니다.

새로운 아이디어: 조던 - 로페 (Jordan-RoPE)

저자 야오보 장은 이렇게 질문합니다: 회전하는 팽이와 거리 자를 하나의 더 복잡한 도구로 결합할 수 있을까요?

수학에는 조던 블록이라는 개념이 있습니다. 보통 수학 도구는 '깔끔하게' 분리되어 있습니다 (회전하는 팽이와 자처럼 명확히 구분됨). 하지만 '결함 있는' 또는 '비반단순' 조던 블록은 부품들이 붙어 있어 새로운 무언가를 만들어내는 도구입니다.

창의적인 비유: 흔들리는 회전 팽이
약간 불균형한 회전 팽이 (회전) 를 상상해 보세요. 팽이가 회전할 때 단순히 회전만 하는 것이 아니라 흔들립니다.

• 회전은 언어의 리듬 (위상) 을 나타냅니다.
• 흔들림은 거리를 나타냅니다.
• 새로운 조던 - 로페에서는 멀어질수록 흔들림이 커집니다. 단순한 회전이나 단순한 거리가 아니라, 거리에 의해 조절되는 회전입니다.

수학적으로 이는 다음과 같은 특징을 생성합니다:

거리 × (회전 × 코사인 + 회전 × 사인)

단순히 "5 단계 떨어져 있다"거나 "90 도 각도에 있다"는 것을 아는 대신, 모델은 "5 단계 떨어져 있으며, 그 거리 때문에 각도가 변하고 있다"는 것을 보게 됩니다. 이는 문장의 리듬이 얼마나 뒤로 거슬러 올라가느냐에 따라 변하는 특정 패턴을 포착합니다.

테스트 방법

저자는 이 도구를 단순히 만들지 않고, 특정 상황에서 실제로 도움이 되는지 테스트했습니다.

1. "합성" 테스트: 답변이 이 "거리에 의해 조절되는 회전" 패턴에 엄격하게 의존하는 가상의 언어 과제를 만들었습니다 (얼마나 뒤로 거슬러 올라가느냐에 따라 메시지가 변하는 비밀 코드와 같은).

   • 결과: 새로운 도구 (조던 - 로페) 는 기존 도구 (RoPE 또는 ALiBi) 보다 훨씬 잘 이 퍼즐을 해결했습니다. 이는 "흔들리는 회전" 패턴을 자연스럽게 이해한 유일한 도구였습니다.

2. "실제 세계" 테스트: 위키백과 텍스트 (WikiText-103) 로 훈련된 작은 언어 모델에서 이를 시도했습니다.

   • 결과: 표준 RoPE 도구보다 성능이 좋았지만, RoPE + ALiBi 의 "챔피언" 조합에는 미치지 못했습니다.
   • 주의점: 논문은 이것이 모든 언어에 대한 만능 해결책이 아니라고 조심스럽게 말합니다. 실제 인간 언어에서는 "흔들림"이 항상 가장 중요한 요소가 아닐 수 있습니다. 이 도구는 작업이 복잡하고 거리에 의존하는 리듬을 특히 요구할 때 가장 유용합니다.

"안정화" 버전

문제점이 있었습니다: 순수 수학 버전에서는 "흔들림" (멱영 부분) 이 거리가 증가함에 따라 무한히 커져 컴퓨터의 수학을 망가뜨릴 수 있었습니다.

• 해결책: 흔들림에 상한을 두는 "안정화" 버전을 만들었습니다. 이는 회전 팽이에 가변기를 장착하여 많이 흔들리게 하되, 결코 통제 불능으로 회전하지 않도록 하는 것과 같습니다. 이 버전은 테스트에서 매우 잘 작동했습니다.

결론

이 논문은 회전과 거리를 단일한 "붙어 있는" 수학 구조로 결합하는 AI 의 새로운 거리 측정 방식인 조던 - 로페를 소개합니다.

• 무엇을 하는가: AI 가 거리에 따라 텍스트의 리듬이 변하는 패턴을 보도록 합니다.
• 언제 가장 잘 작동하는가: 복잡하고 거리에 의존하는 진동이 포함된 작업 (예: 합성 테스트) 일 때.
• 무엇을 하지 않는가: 모든 언어 작업에 대한 절대적인 최고의 도구라고 주장하지는 않습니다. 실제로 표준 "RoPE + ALiBi" 조합이 일반 텍스트에서는 여전히 더 강력합니다.

이를 특수한 렌치라고 생각하세요. 특정 "흔들리는 회전"이 필요한 볼트를 풀어야 한다면 이 렌치가 완벽합니다. 하지만 표준 나사를 돌리는 것만 필요하다면 기존 도구가 여전히 최선의 선택일 수 있습니다. 이 논문은 이 특수한 렌치가 존재하며, 의도대로 작동하며, 특정 복잡한 작업에 유용함을 증명합니다.

기술 요약

기술적 요약: Jordan-RoPE

문제 제기
상대적 위치 인코딩 (RPE) 은 어텐션 메커니즘이 활용할 수 있는 쿼리 - 키 지연 (query-key lag) 의 기본 함수를 정의합니다. RoPE(회전 위상) 및 ALiBi(가산 거리 편향) 와 같은 성공적인 메커니즘은 선형, 병진 불변 연산자의 군론적 분류를 통해 잘 이해되고 있지만, 이들은 일반적으로 반단순 (semisimple)(대각화 가능) 생성자에 의존합니다. 이로 인해 분류의 비반단순 (non-semisimple) 영역은 아직 충분히 탐구되지 않았습니다. 구체적으로, 표준 접근법은 위상 (회전) 과 거리 (다항식/전단) 특성을 별도의 채널 또는 가산 편향으로 처리합니다. 본 논문은 단일 결함 있는 Jordan 블록 내에서 복잡한 회전 고유값과 멱영 (nilpotent) 응답을 결합하는 것이 단순한 직접 합 (direct sums) 과 구조적으로 구별되는 새로운 기본 상대적 위치 특성을 생성하는지 조사합니다.

방법론
저자들은 Jordan-RoPE를 제안합니다. 이는 회전 복소 고유값과 멱영 응답을 단일 2 차 복소 Jordan 블록에 내장하는 구조입니다.

1. 대수적 공식화:
   생성자는 $J_{\gamma, \omega, \eta} = (-\gamma + i\omega)I + \eta N$으로 정의되며, 여기서 $N$은 멱영 행렬 ($N^2=0$) 입니다. 인과적 지연 $d = i-j \ge 0$에 대한 결과적 상대 연산자는 다음과 같습니다:
   $$G_{exact}(d) = \exp(d J) = e^{(-\gamma + i\omega)d} (I + \eta d N)$$
   이는 진동 - 다항식 (oscillatory-polynomial) 특성의 기저를 생성합니다:
   $$e^{-\gamma d} \cos(\omega d), \quad e^{-\gamma d} \sin(\omega d), \quad d e^{-\gamma d} \cos(\omega d), \quad d e^{-\gamma d} \sin(\omega d)$$
   핵심적으로, 멱영 채널은 거리와 위상을 별도로 추가하는 대신 직접 결합하는 주파수 - 접선 (frequency-tangent) 특성 $d e^{i\omega d}$를 제공합니다.

2. 쌍대 쿼리 작용 (Contragredient Query Action):
   Jordan 블록은 직교하지 않으므로, 쿼리와 키에 동일한 변환을 적용하면 순수한 상대 연산자를 산출하지 않습니다 ($G(i)^\top G(j) \neq G(j-i)$). 올바른 상대 점수를 회복하기 위해 저자들은 쌍대 쿼리 작용을 공식화합니다: 쿼리는 위치 의존 행렬의 역전치로 변환되는 반면, 키는 원래 변환을 사용합니다. 이를 통해 어텐션 점수가 지연 $d$에만 엄격히 의존하도록 보장합니다.

3. 안정화:
   정확한 멱영 항은 $d$에 따라 선형적으로 증가하여 긴 컨텍스트에서 문제가 됩니다. 저자들은 Stabilized Jordan-RoPE를 도입하여 $d$를 유계 전단 함수 $\tau(d) = d / (1 + d/L)$로 대체합니다. 이는 정확한 1-매개변수 군 법칙을 깨뜨리지만, 국소 Jordan 응답을 보존하고 무제한 증가를 방지합니다. 또한 군 법칙을 보존하기 위해 전단 크기를 컨텍스트 길이 $L$로 정규화하는 Scaled-exact 변형도 제안됩니다.

주요 기여

• 구조적 식별: 본 논문은 위상과 멱영 응답이 부분 공간으로 분리되는 대신 단일 결함 표현 내에서 결합되는 최소 비반단순 확장으로서의 2 차 복소 Jordan 블록을 식별합니다.
• 기본 기저: 이 구성이 직접적으로 기본 로그 기저 $d e^{i\omega d}$(그리고 그 실수 성분 $d \cos(\omega d), d \sin(\omega d)$) 를 제공하며, 소프트맥스 전 단계에서 "거리에 의해 변조된 위상" 기저를 실현함을 보여줍니다.
• 구현: 직교하지 않는 매핑을 위한 실제 블록 구현과 필요한 쌍대 쿼리 작용을 제공합니다.
• 베이스라인과의 차별성: 정확한 표현과 안정화된 구현을 분리하여, 유계 전단이 수치적 행동을 개선하지만 정확한 군 법칙을 희생함을 명확히 합니다.

실험 결과
평가는 광범위한 성능 주장보다는 구조적 증거에 초점을 맞추며, 세 가지 유형의 테스트를 사용합니다:

1. 커널 레벨 프로브: 혼합 목표 $y(d) = (d/L)\cos(\omega d)$에서 Exact/raw Jordan 기저는 평균 제곱 오차 (MSE) 가 가장 낮아 RoPE, ALiBi, Direct-sum 베이스라인을 크게 능가합니다. 이는 기저가 목표의 결합된 구조와 직접적으로 일치함을 확인시켜 줍니다.
2. 합성 언어 모델: 모델이 거리 변조 위상 규칙 ($K(d) = (d/L)\cos(\omega d)$) 을 학습해야 하는 작업에서 Stabilized Jordan-RoPE는 길이 8192 에서 0.906 의 정확도를 달성하여 RoPE(0.781) 와 Direct-sum(0.500) 을 능가합니다. 이는 작업이 이를 보상할 때 트랜스포머가 결합된 모드를 활용할 수 있음을 시사합니다.
3. 자연어 (WikiText-103): 작은 바이트 레벨 언어 모델에서 Scaled-exact Jordan-RoPE($c=1$) 는 Jordan 계열 내에서 가장 낮은 평균 손실 (1.869) 을 달성하며 Damped RoPE(1.884) 와 경쟁력을 보입니다. 그러나 RoPE+ALiBi가 여전히 전체적으로 가장 강력합니다 (1.796). 저자들은 이 설정에서 더 큰 강제 초기 전단 ($\eta$) 이 긴 길이 손실을 악화시킨다고 지적하며, 자연어 작업은 주로 감쇠와 최근성 편향을 보상할 뿐 강력한 진동 - 다항식 전단을 보상하지는 않는다고 제안합니다.

의의 및 주장
본 논문은 새로운 최첨단 위치 인코딩을 주장하기보다는 겸손한 구조적 주장을 합니다:

• 구조적 확장: 복소 Jordan 블록은 회전 RPE 의 통제된 비반단순 확장을 제공합니다.
• 조건부 유용성: 결합된 Jordan 기저는 목표 커널이 거리 변조 위상 상호작용(예: $d \cdot \text{phase}$) 을 보상할 때 특히 유용합니다.
• 한계: 저자들은 멱영 메커니즘이 새로운 것이 아니며, Jordan 계열이 일반 자연어 모델링에서 기존 인코딩을 지배한다고 주장하지 않는다고 명시합니다. 증거는 이 구성이 위상과 거리 채널의 직접 합과 구별되는 특정 기본 기저 ($d e^{i\omega d}$) 를 제공한다는 점입니다.

요약하자면, Jordan-RoPE 는 단일 어텐션 메커니즘 내에서 거리와 위상을 결합하는 수학적으로 엄밀한 방법을 제공하며, 이러한 결합이 필요한 합성 작업에서 효과적임을 입증합니다. 동시에 자연어 작업은 여전히 더 단순한 비결합 또는 가산 편향을 선호할 수 있음을 보여줍니다.