CliffordNet: All You Need is Geometric Algebra

이 논문은 기하학적 대수 (Geometric Algebra) 의 클리포드 곱을 기반으로 한 'CliffordNet'을 제안하여, 별도의 피드포워드 네트워크 없이도 선형 복잡도로 CIFAR-100 에서 기존 경량 모델보다 훨씬 적은 파라미터로 최첨단 성능을 달성함을 보여줍니다.

핵심

클리퍼드넷 (CliffordNet): 기하학만으로 세상을 보는 새로운 눈

이 논문은 컴퓨터가 이미지를 어떻게 인식하는지에 대한 기존 상식을 뒤집는 매우 흥미로운 이야기를 담고 있습니다. 기존 방식이 "조각을 쌓아 올리는 공학적 접근"이었다면, 이 논문은 **"수학적 원리 그 자체로 해결하자"**는 철학을 제시합니다.

이 복잡한 내용을 일상적인 비유와 함께 쉽게 설명해 드릴게요.

---

1. 기존 방식의 문제점: "조립식 레고" vs "자연스러운 흐름"

지금까지 우리가 만든 인공지능 (CNN 이나 Transformer) 은 마치 레고 블록을 쌓는 방식과 비슷했습니다.

• 공간 믹싱 (Attention/Conv): 이미지 속 픽셀들이 서로 어떻게 연결되는지 확인하는 작업.
• 채널 믹싱 (FFN): 그 정보를 처리하고 변형시키는 별도의 거대한 엔진.

기존 방식은 이 두 작업을 따로따로, 그리고 거대한 엔진 (FFN) 을 달아서 해결했습니다. 마치 차를 만들 때 바퀴를 따로 달고, 엔진을 따로 달고, 다시 조립하는 것처럼 비효율적이고 무거운 구조였습니다.

2. 클리퍼드넷의 핵심 아이디어: "기하학의 마법"

이 논문은 **"왜 따로따로 만들까? 처음부터 수학적 원리 (기하학) 를 이용하면 하나로 해결되지 않을까?"**라고 질문합니다.

여기서 등장하는 주인공은 **클리퍼드 대수 (Geometric Algebra)**입니다. 이를 쉽게 비유하자면 다음과 같습니다.

비유: 두 사람이 대화할 때

• 기존 AI (점곱): 두 사람이 서로의 말을 듣고 "아, 우리 생각이 비슷하네 (유사도)"라고만 말합니다. 방향이나 구조는 무시합니다.
• 클리퍼드넷 (기하학적 곱): 두 사람이 대화할 때, "우리가 비슷할 뿐만 아니라 (유사도), 서로 어떤 각도로 엇갈리고, 어떤 새로운 공간을 만들어내는가 (구조)"까지 모두 파악합니다.

즉, 단순한 '비슷함'뿐만 아니라 '차이와 구조'까지 한 번에 계산하는 것입니다. 이 수학적 원리 (기하학적 곱) 하나만으로도 이미지의 모든 정보를 충분히 이해할 수 있다는 것이 이 논문의 주장입니다.

3. 놀라운 발견: "엔진 (FFN) 이 필요 없다!"

가장 충격적인 결과는 이렇습니다.
기존 AI 는 거대한 엔진 (FFN) 이 없으면 제자리걸음을 했습니다. 하지만 클리퍼드넷은 기하학적 상호작용이 너무 강력해서, 그 거대한 엔진이 아예 필요 없어졌다는 것입니다.

• 비유: 기존 차는 엔진이 없으면 못 가지만, 클리퍼드넷은 바퀴와 차체가 자연스러운 기하학 원리로 움직여서 엔진 없이도 달릴 수 있는 자전거처럼 작동합니다.
• 결과적으로, **매우 적은 파라미터 (140 만 개)**로 기존 무거운 모델 (1120 만 개) 보다 더 높은 성능을 냈습니다.

4. 어떻게 그렇게 효율적인가? "스파게티 말기"

이미지를 처리할 때, 모든 픽셀을 다 연결하면 계산량이 너무 많아집니다 (제곱 복잡도). 클리퍼드넷은 이를 해결하기 위해 **'롤링 (Rolling)'**이라는 기술을 썼습니다.

• 비유: 스테이크를 다 잘라먹는 대신, 스파게티를 말아서 한 입씩 먹듯이 정보를 처리합니다.
• 이미지를 한 번에 다 보지 않고, 채널 (정보의 층) 을 순서대로 돌려가며 (Cyclic Shift) 중요한 정보만 짚고 넘어갑니다. 이렇게 하면 계산량이 선형적으로 줄어들어 매우 빠르고 가벼워집니다.

5. 실제 성과: "작지만 강한" 모델

이론만 좋은 게 아니라, 실제로 실험해 보니 놀라운 결과가 나왔습니다.

• CIFAR-100이라는 이미지 인식 테스트에서, 140 만 개의 파라미터를 가진 'Nano' 버전이 77.82% 의 정확도를 기록했습니다.
• 이는 ResNet-18이라는 유명한 무거운 모델 (1120 만 개 파라미터) 과 맞먹는 성능입니다.
• 즉, 8 배나 적은 자원으로 같은 일을 해낸 것입니다.

6. 결론: "기하학이 모든 것을 해결한다"

이 논문은 인공지능 설계의 패러다임을 바꿀 수 있는 가능성을 보여줍니다.
"우리가 복잡한 공학적 장치 (Attention, FFN) 를 계속 쌓아올릴 필요는 없다. 수학적으로 완벽한 기하학적 원리만 제대로 적용하면, 훨씬 더 작고 빠르고 강력한 AI 를 만들 수 있다"는 것입니다.

한 줄 요약:

"기하학의 원리 (클리퍼드 대수) 를 이용하면, 거대한 엔진 (FFN) 없이도 이미지의 구조와 의미를 완벽하게 이해할 수 있다. 이제 AI 는 '기하학 그 자체'로 충분하다."

이 기술이 더 발전하면, 스마트폰 같은 작은 기기에서도 무거운 AI 모델을 구동할 수 있게 되거나, 고해상도 영상 처리가 훨씬 빨라질 것으로 기대됩니다.

기술 요약

CliffordNet: 기하학적 대수 (Geometric Algebra) 만으로 충분하다

1. 문제 제기 (Problem Statement)

현대 컴퓨터 비전 아키텍처 (CNN, Transformer 등) 는 주로 공간 믹싱 (Spatial Mixing, 예: Attention, Conv) 과 채널 믹싱 (Channel Mixing, 예: FFN/MLP) 을 위한 휴리스틱 모듈의 스택에 의존하고 있습니다.

• 기존 방식의 한계:
  • 기하학적 정보 손실: 표준 신경망 연산 (점곱 Attention 등) 은 상호작용을 스칼라 (Scalar) 필드로 투영하여 방향성이나 구조적 정보 (이차원 벡터, Bivector) 를 손실시킵니다.
  • 비효율성: 손실된 정보를 복구하기 위해 무겁고 파라미터가 많은 Feed-Forward Networks (FFNs) 가 필수적으로 사용되며, 이는 계산 비용과 파라미터 수를 불필요하게 증가시킵니다.
  • 물리적 모방의 제약: 기존 연구들이 물리 법칙 (확산, 유체 역학 등) 을 모방하는 데 치중하는 반면, 저자는 수학적 원리 (대수적 완전성) 에 기반한 새로운 접근이 필요하다고 주장합니다.

2. 방법론 (Methodology)

저자는 기하학적 대수 (Geometric Algebra, Clifford Algebra) 를 기반으로 한 새로운 비전 백본인 CliffordNet을 제안합니다. 핵심은 두 벡터 간의 기하학적 곱 (Geometric Product, $uv = u \cdot v + u \wedge v$) 을 활용하여 특징의 진화를 유도하는 것입니다.

• Clifford 상호작용 Ansatz (Clifford Interaction Ansatz):

  • 기존 방식이 내적 (Inner Product, 유사도) 만 사용하는 반면, CliffordNet 은 내적 (Coherence) 과 외적 (Exterior Product, 구조적 변화) 을 동시에 활용합니다.
  • 내적 ($u \cdot v$): 특징과 맥락 간의 정렬 (유사성) 을 포착.
  • 외적 ($u \wedge v$): 이차원 벡터 (Bivector) 를 생성하여 직교성과 구조적 변형 (가장자리, 질감) 을 포착.
  • 이 두 성분을 결합하여 단일 연산으로 특징 게이팅과 기하학적 흐름을 통합합니다.

• 효율적인 구현: 희박한 롤링 상호작용 (Sparse Rolling Interaction)

  • 전체 채널 간의 기하학적 곱을 계산하면 $O(D^2)$ 의 복잡도가 발생하므로, 순환 시프트 (Cyclic Shifts) 를 기반으로 한 희박한 롤링 메커니즘을 도입합니다.
  • 특정 시프트 오프셋 ($s$) 을 가진 채널 쌍에 대해서만 내적과 외적을 계산하여 전체 복잡도를 선형 $O(N)$ 으로 유지합니다.

• No-FFN 아키텍처:

  • 기하학적 상호작용이 매우 표현력이 풍부하여, 기존 Transformer 에서 필수적이었던 무거운 FFN(MLP) 을 제거하거나 크게 축소할 수 있습니다.
  • Gated Geometric Residual (GGR): 노이즈를 억제하고 중요한 특징만 증폭하기 위해 SiLU 활성화 함수와 게이트 메커니즘을 포함한 잔차 업데이트 규칙을 사용합니다.

• 2D 위상 보존:

  • ViT 와 달리 이미지를 1D 시퀀스로 평탄화 (Flattening) 하지 않고, 2D 특징 격자 (Feature Grid) 에서 직접 작동합니다. 이는 공간적 인접성과 등방성 (Isotropy) 을 자연스럽게 보존하며 복잡한 위치 인코딩이 필요 없습니다.

3. 주요 기여 (Key Contributions)

1. Clifford 대수를 통한 수학적 통합: 시각 특징 상호작용을 '대수적 완전성'의 관점에서 재정의하여, 스칼라 유사도와 이차원 벡터 구조를 단일 연산으로 통합했습니다.
2. 국소적 완전성에서 발생하는 전역성: 명시적인 전역 어텐션 (Global Self-Attention) 없이도, 엄격한 국소적 처리 (기하학적 대수 기반) 를 통해 전역 구조가 자연스럽게 발현됨을 증명했습니다.
3. 네이티브 2D 위상 충실도: 이미지 시리얼라이제이션 (Serialization) 을 피하고 2D 격자에서 직접 작동하여 위상적 구조를 보존합니다.
4. 효율성의 패러다임 전환: 기하학적 상호작용이 충분히 표현력 있으면 FFN 이 불필요함을 입증했습니다. 파라미터 2.6M 만으로 ResNet-18(11.2M) 을 능가하는 성능을 달성했습니다.

4. 실험 결과 (Results)

CIFAR-100 벤치마크에서 기존 효율적 백본들과 비교 실험을 수행했습니다.

• 성능:
  • CliffordNet-Lite (2.6M 파라미터): Top-1 정확도 79.05% 달성. 이는 3M 이하 파라미터 모델 중 SOTA (State-of-the-Art) 입니다.
  • CliffordNet-Nano (1.4M 파라미터): 정확도 77.82% 달성.
  • 비교: ResNet-18(11.2M, 76.75%) 보다 8 배 적은 파라미터로 더 높은 정확도를 기록했습니다. MobileNetV2, ShuffleNetV2, ViT-Tiny 등을 모두 압도했습니다.
• 효율성:
  • FFN 이 없는 구조임에도 불구하고, 기하학적 상호작용 (Shifted Geometric Product) 만으로 높은 수준의 특징 혼합과 비선형성을 달성했습니다.
  • ablation study 를 통해 내적 (에너지 정보) 과 외적 (구조 정보) 의 조합이 최적의 성능을 낸다는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

• FFN 불필요설 (No-FFN Paradigm): 이 논문은 "기하학적 상호작용이 충분히 표현력 있으면 FFN 은 불필요하다"는 것을 실증적으로 보여줍니다. 이는 메타포머 (MetaFormer) 아키텍처의 근본적인 가정을 뒤집는 결과입니다.
• 기하학적 반응 - 확산 시스템: 네트워크를 열 확산 (스무딩) 과 기하학적 반응 (구조 보존) 의 결합으로 해석할 수 있으며, 이는 자연계의 패턴 형성 과정과 유사함을 시사합니다.
• 미래 전망:
  • ImageNet-1K 등 대규모 데이터셋으로의 확장 가능성.
  • 선형 복잡도 ($O(N)$) 를 유지하므로 고해상도 밀집 예측 작업 (세그멘테이션, 객체 탐지) 에 이상적임.
  • 하드웨어 최적화 (커스텀 커널) 를 통해 실제 추론 속도에서도 CNN 을 능가할 잠재력이 있음.

결론적으로, CliffordNet 은 휴리스틱한 모듈 쌓기가 아닌, 수학적 원리 (기하학적 대수) 에 기반한 엄밀한 국소적 상호작용만으로 강력한 전역적 이해를 달성할 수 있음을 보여주며, 컴퓨터 비전 아키텍처 설계에 새로운 지평을 열었습니다.