Versor: A Geometric Sequence Architecture

이 논문은 기존 선형 연산 대신 등각 기하 대수 (CGA) 와 회전자 (rotor) 기반의 기하학적 변환을 활용하여 구조적 일반화, 해석 가능성, 효율성을 크게 향상시키고 다양한 작업에서 트랜스포머 및 기존 기하학적 모델보다 우수한 성능을 보이는 새로운 시퀀스 아키텍처인 'Versor'를 제안합니다.

핵심

베르소르 (Versor): 기하학적 사고를 하는 새로운 AI 의 탄생

이 논문은 기존의 인공지능 (AI) 이 가진 한계를 깨고, 우리가 사는 물리적 세계의 법칙을 AI 의 뇌에 직접 심어주는 획기적인 새로운 아키텍처인 **'베르소르 (Versor)'**를 소개합니다.

기존의 AI 가 어떻게 작동하는지, 베르소르는 무엇이 다른지, 그리고 왜 이것이 중요한지 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

1. 기존 AI 의 문제: "평평한 지도 위의 나침반"

지금까지의 AI(트랜스포머 등) 는 데이터를 평평한 2 차원 지도 위에 점으로 찍어서 처리합니다.

• 비유: imagine(상상해 보세요) AI 가 지구 전체를 평평한 종이 지도 위에 펼쳐놓고 있습니다.
• 문제점: 실제 지구는 둥글고, 북극과 남극이 있습니다. 하지만 평평한 지도에서는 "북쪽으로 10km 가면 어디인가?"를 계산할 때 AI 는 지도의 가장자리로 나가버리거나, 북극을 지나갈 때 길을 잃습니다.
• 실제 상황: AI 는 물체의 회전, 이동, 크기 변화 같은 기하학적 규칙을 알지 못합니다. 그래서 AI 는 "이 물체가 회전하면 어떻게 생길까?"를 배우기 위해 수백만 번의 회전된 사진을 보여주고 "아, 이렇게 변하는구나!"라고 암기해야 합니다. 이는 매우 비효율적이고, 새로운 상황 (예: 더 큰 물체) 이 나오면 망가집니다.

저자들은 이를 **"유클리드 병목 (Euclidean Bottleneck)"**이라고 불렀습니다. 즉, AI 가 3 차원 세계를 2 차원 평면으로 억지로 압축하려다 생기는 병목 현상입니다.

2. 베르소르 (Versor) 의 해결책: "구형 지구儀 (Globes) 를 사용하는 AI"

베르소르는 AI 가 평평한 지도 대신 실제 지구儀 (Globe) 위에서 움직이도록 설계했습니다.

• 핵심 기술: **등각 기하 대수 (Conformal Geometric Algebra)**라는 수학적 도구를 사용합니다.
• 비유: 베르소르는 AI 의 뇌세포 (데이터) 를 평평한 종이 위에 놓지 않고, **구슬 (Rotors)**처럼 둥글게 만들어서 다룹니다.
  • 이 구슬들은 회전, 이동, 확대/축소를 자연스럽게 수행합니다.
  • 마치 나침반이 항상 북극을 가리키듯, 베르소르는 물리 법칙 (회전해도 변하지 않는 성질) 을 처음부터 알고 있습니다.

3. 베르소르의 두 가지 핵심 능력

베르소르는 두 가지 특별한 장치를 가지고 있습니다.

① 기하학적 주의 메커니즘 (GPA): "거리와 방향을 동시에 보는 눈"

• 기존 AI: "A 와 B 가 얼마나 가까운가?" (거리) 만 봅니다.
• 베르소르: "A 와 B 가 얼마나 가까운가?" 그리고 "A 와 B 가 서로 어떤 각도로 마주 보고 있는가?" (방향/회전) 도 동시에 봅니다.
• 비유: 친구를 찾을 때, 기존 AI 는 "내 집에서 100m 거리에 있는 사람"만 찾습니다. 베르소르는 "내 집에서 100m 거리이면서, 내 쪽을 보고 있는 사람"을 찾습니다. 이렇게 하면 훨씬 정확한 예측이 가능합니다.

② 재귀적 로터 적분기 (RRA): "기억을 잃지 않는 나침반"

• 기존 AI: 긴 이야기를 들으면 앞부분을 잊어버리거나, 기억이 뭉개집니다 (기하급수적으로 메모리가 필요함).
• 베르소르: 과거의 모든 기억을 하나의 회전된 나침반으로 압축합니다.
• 비유: 길을 가다가 100 번을 돌아다녀도, 베르소르는 "지금 내가 어디를 향해 있는지"를 나침반 하나로 정확히 기억합니다. 메모리 사용량은 거의 0 에 가깝고, 아무리 긴 시간 (수만 단계) 이 흘러도 기억이 흐트러지지 않습니다.

4. 놀라운 성과: "작은 두뇌로 거인보다 뛰다"

이 논문의 실험 결과는 정말 놀랍습니다.

• 파라미터 효율성: 기존 AI(트랜스포머) 가 2 억 개의 파라미터 (뇌세포) 를 쓸 때, 베르소르는 **100 만 개 (약 200 배 적음)**만으로도 더 좋은 성능을 냅니다.
  • 비유: 거대한 트럭을 몰아서 우편물을 배달하는 대신, 자전거로 배달하되 훨씬 더 빠르고 정확하게 배달하는 것과 같습니다.
• 규모 일반화 (Zero-Shot Scale Generalization): 5 개의 공이 움직이는 상황을 배웠는데, 100 개의 공이 움직이는 상황에서도 한 번도 배우지 않았음에도 완벽하게 예측합니다.
  • 비유: 작은 공을 던지는 법을 배웠는데, 거대한 공을 던져도 "공을 던지는 법"을 알고 있어서 자연스럽게 던집니다. 기존 AI 는 공이 커지면 당황해서 넘어집니다.
• 혼돈 속의 안정성: 예측 불가능한 카오스 (난기류 같은) 상황에서도 베르소르는 에너지를 보존하며 안정적으로 움직이지만, 기존 AI 는 금방 망가집니다.

5. 왜 이것이 중요한가요?

베르소르는 단순한 속도 향상이 아닙니다. AI 가 "이해"하는 방식의 변화입니다.

• 해석 가능성: 베르소르는 "왜 이 물체를 선택했는지"를 거리와 회전이라는 명확한 기하학적 이유로 설명할 수 있습니다. (기존 AI 는 "검은 상자"처럼 왜 그런지 모릅니다.)
• 하드웨어 가속: 이 새로운 방식은 기존 GPU 에서도 100 배 이상 빠르게 작동하도록 최적화되었습니다.
• 미래의 적용: 로봇이 길을 찾는 것 (SLAM), 단백질 접힘 구조 예측, 심지어 블랙홀 주변의 물리 법칙 시뮬레이션까지, 물리 법칙이 중요한 모든 분야에서 혁신을 일으킬 것입니다.

요약

**베르소르 (Versor)**는 AI 에게 "평평한 종이 지도"를 버리고 **"실제 3 차원 세계의 기하학적 규칙"**을 내장된 뇌로 갖게 해준 새로운 세대의 AI 입니다.

• 작은 두뇌로 거대한 성능을 냅니다.
• 한 번 배운 법칙을 어떤 크기나 상황에서도 적용합니다.
• 기하학적 직관으로 이해할 수 있는 AI 를 만듭니다.

이것은 AI 가 단순히 데이터를 "암기"하는 시대를 넘어, 물리 법칙을 "이해"하는 시대로 가는 첫걸음일지도 모릅니다.

기술 요약

1. 문제 정의: "유클리드 병목 현상 (Euclidean Bottleneck)"

기존의 Transformer 및 대부분의 딥러닝 모델은 데이터를 평탄한 유클리드 공간 ($R^d$) 의 벡터로 표현하고, 내적 (dot product) 을 통해 관계를 모델링합니다. 그러나 물리 세계는 회전, 이동, 스케일링과 같은 **대칭성 (Symmetries, 예: SE(3))**을 내포하고 있습니다.

• 기존 모델의 한계: 이러한 기하학적 대칭성을 모델이 데이터 증강 (Data Augmentation) 을 통해 통계적으로 학습하도록 강요합니다. 이는 막대한 계산 자원과 파라미터를 낭비하게 만들며, 분포 외 (Out-of-Distribution, OOD) 데이터나 스케일이 다른 데이터에 대해 일반화 성능이 급격히 떨어지는 원인이 됩니다.
• 핵심 문제: 물리 법칙의 기하학적 구조를 모델의 아키텍처에 명시적으로 인코딩하지 않고, 데이터로부터 암묵적으로 학습하려는 접근법의 근본적인 비효율성.

2. 방법론: Versor 아키텍처

Versor 는 선형 대수 대신 **5 차원 등각 기하 대수 ($Cl_{4,1}$)**를 기반으로 구축된 시퀀스 모델입니다.

A. 수학적 기반: $Cl_{4,1}$과 Spin 군

• 등각 기하 대수 (CGA): 3 차원 유클리드 공간의 점, 선, 원, 평면 등을 5 차원 공간의 '영벡터 (null vectors)'로 선형적으로 매핑합니다. 이를 통해 거리 계산이 내적으로 단순화되고, 회전, 이동, 스케일링이 모두 **로터 (Rotor)**라는 단일 대수적 연산으로 통일됩니다.
• Manifold Hypothesis: 잠재 상태 (Latent State) 를 유클리드 공간이 아닌 Spin 군 ($Spin(4, 1)$) 매니폴드 위에 제한합니다. 이는 물리적으로 불가능한 전단 (shearing) 이나 비물리적 확장을 방지하고, 상태가 항상 유효한 기하학적 변환으로 유지되도록 보장합니다.

B. 핵심 구성 요소

1. 기하적 곱 어텐션 (Geometric Product Attention, GPA):
   • 기존 어텐션이 스칼라 유사도만 계산하는 것과 달리, GPA 는 기하적 곱 (Geometric Product) 을 사용합니다.
   • 해석 가능성: 어텐션 점수가 **스칼라 성분 (거리 기반 인력)**과 **이중벡터 성분 (회전/토크 기반 결합)**으로 자연스럽게 분해됩니다. 이는 모델이 입자 간의 거리뿐만 아니라 상대적인 방향성 (orientation) 도 학습하고 있음을 보여줍니다.
2. 재귀적 로터 적분기 (Recursive Rotor Accumulator, RRA):
   • 시퀀스 역사를 하나의 복합 로터 (Composite Rotor) 로 표현하여 시간적 의존성을 모델링합니다.
   • 선형 복잡도: $O(L^2)$인 어텐션 메커니즘 대신 재귀적 상태를 사용하여 $O(L)$의 시간 복잡도와 $O(1)$의 메모리를 달성합니다.
   • 안정성: 매 단계에서 매니폴드 정규화 (Manifold Normalization) 를 수행하여 수치적 발산을 방지하고, 장기 시퀀스에서도 기울기 소실/폭발 문제를 해결합니다.

C. 하드웨어 가속화

• 비트 마스크 커널 (Bit-Masked Kernels): 기하적 곱의 복잡한 연산을 비트 연산 (XOR, AND 등) 으로 변환하여 메모리 접근을 최소화하고 연산 밀도를 높였습니다.
• 행렬 동형사상 가속 (Matrix Isomorphism): $Cl_{4,1}$을 $4 \times 4$ 복소수 행렬로 매핑하여 최적화된 BLAS GEMM 연산을 활용, Transformer 대비 100 배 이상의 속도 향상을 달성했습니다.

3. 주요 기여 (Key Contributions)

1. CGA 기반 시퀀스 모델: 시간적 시퀀스 모델링에 Conformal Geometric Algebra 를 처음 적용하고, 다중 벡터 (Multivector) 표현을 위한 완전한 아키텍처를 제시했습니다.
2. 스케일 일반화 (Scale Generalization): 기하학적 사전 지식 (Priors) 을 통해 크기 불변 추론이 가능합니다. 예를 들어, 5 개 입자로 훈련된 모델이 3 개나 7 개 입자로 구성된 시스템에서도 재학습 없이 안정적으로 작동합니다.
3. 해석 가능한 어텐션: 학습된 상호작용 법칙을 거리 (스칼라) 와 방향 (이중벡터) 성분으로 분해하여 물리 법칙의 해석을 가능하게 했습니다.
4. 극도의 파라미터 효율성: Transformer 대비 200 배 적은 파라미터로 동등하거나 더 나은 성능을 달성했습니다 (예: 6,662 파라미터 vs 1.32M 파라미터).
5. 하드웨어 최적화: 커스텀 커널을 통해 지연 시간 (Latency) 을 1.05ms 까지 줄여, 최적화된 Transformer 베이스라인보다 빠른 추론 속도를 달성했습니다.

4. 실험 결과 및 성능

Versor 는 다양한 벤치마크에서 SOTA 모델들을 압도했습니다.

• 카오스 N-바디 역학 (Chaotic N-Body Dynamics):
  • 5 개 중력 상호작용 물체의 장기 예측에서 Transformer, GNS, HNN 등을 능가했습니다.
  • 에너지 보존: 물리 법칙을 위반하지 않아 에너지 드리프트가 유클리드 모델보다 2.8 배 낮았습니다.
  • OOD 테스트: 훈련 데이터보다 10 배 무거운 질량을 가진 시스템에서도 오차가 -63.9% 감소한 반면, Transformer 는 **-1933%**의 오차 폭주를 보였습니다.
• 위상적 추론 (Topological Reasoning - "Broken Snake"):
  • 격자 크기 (16x16 vs 32x32) 가 변하는 조건에서 Zero-shot 일반화를 보여주었습니다.
  • MCC (Matthews Correlation Coefficient): ViT 가 0.070 에 그친 반면, Versor 는 0.993의 완벽한 점수를 기록했습니다. 이는 모델이 좌표 기억이 아닌 연결성의 대수적 법칙을 학습했음을 의미합니다.
• 멀티모달 성능:
  • CIFAR-10 (이미지), WikiText-103 (텍스트), 분자 역학 (MD17) 등 다양한 도메인에서 경쟁력 있는 성능을 보였습니다. 특히 CIFAR-10 에서 3 에포크 만에 49.63% 정확도를 달성했습니다.

5. 의의 및 결론

이 논문은 인공지능의 패러다임을 "벡터의 시퀀스"에서 "기하학적 대수 (Geometric Algebra) 의 시퀀스"로 전환할 가능성을 제시합니다.

• 과학적 기계학습의 혁신: 물리 법칙 (회전, 이동, 스케일링) 을 데이터 학습이 아닌 대수적 구조에 직접 인코딩함으로써, 데이터 효율성과 일반화 능력을 극대화했습니다.
• 해석 가능성: 블랙박스 모델에서 벗어나, 모델이 학습한 상호작용을 물리적으로 해석 가능한 기하학적 성분 (거리, 토크) 으로 분해할 수 있게 했습니다.
• 실용성: 극도로 낮은 파라미터 수와 선형 시간 복잡도로 인해, 에지 디바이스나 실시간 물리 시뮬레이션과 같은 자원 제약 환경에서도 적용 가능한 새로운 세대의 AI 아키텍처를 제시합니다.

결론적으로, Versor는 기하학적 대수를 신경망의 기본 단위로 도입함으로써, 물리 세계의 대칭성을 존중하는 더 강력하고 효율적이며 해석 가능한 AI 를 실현하는 중요한 이정표가 됩니다.