Torus embeddings

이 논문은 기존 컴퓨터의 정수 오버플로우 특성을 반영한 토러스 (torus) 임베딩을 제안하여, 이를 통해 안정적인 학습 성능을 유지하면서도 양자화 및 TinyML 구현에 효율적인 딥러닝 임베딩을 가능하게 함을 보여줍니다.

핵심

토러스 임베딩: 데이터의 새로운 '원형' 여행

이 논문은 인공지능이 데이터를 어떻게 이해하고 저장하는지에 대한 아주 흥미로운 아이디어를 제안합니다. 제목인 **'토러스 임베딩 (Torus Embeddings)'**은 다소 어렵게 들릴 수 있지만, 핵심 개념은 매우 직관적이고 재미있습니다.

1. 문제: 데이터는 '구 (공)'에 갇혀 있는데, 컴퓨터는 '원통'을 좋아한다

지금까지의 인공지능 (딥러닝) 은 데이터를 구 (Hypersphere, 초구) 모양의 공간에 배치하는 방식을 주로 사용했습니다. 마치 지구처럼 모든 점이 표면에만 있고, 안쪽은 비어있는 형태죠. 이 방식은 수학적으로 훌륭하지만, 컴퓨터가 실제로 데이터를 저장할 때는 약간의 **'불일치'**가 발생합니다.

• 컴퓨터의 언어: 대부분의 컴퓨터는 데이터를 저장할 때 **정수 (Integer)**를 사용하며, 숫자가 너무 커지면 처음부터 다시 시작하는 '오버플로우 (Overflow)' 방식을 씁니다. 예를 들어, 8 비트 정수는 0 에서 255 까지만 셀 수 있고, 256 이 되면 다시 0 으로 돌아갑니다. 이는 마치 시계나 원형 트랙과 같습니다.
• 데이터의 언어: 하지만 '구' 모양의 데이터는 시계처럼 원형으로 돌아가지 않습니다. 구를 컴퓨터의 정수 시스템에 억지로 맞추려면 복잡한 변환 과정이 필요하고, 이 과정에서 데이터의 정밀도가 떨어지거나 저장 공간이 낭비될 수 있습니다.

비유하자면:

우리가 **지구 (구)**를 원통형 지도에 그려 넣으려 할 때, 남극과 북극이 찢어지거나 왜곡되는 것처럼, 구 모양의 데이터를 컴퓨터의 원형 정수 시스템에 넣으려 하면 데이터가 찌그러지거나 효율이 떨어집니다.

2. 해결책: 데이터의 집을 '도넛'으로 바꾸자

저자 (Dan Stowell) 는 문제를 해결하기 위해 데이터의 모양을 바꾸는 것이 아니라, 데이터가 머무를 공간 (위상수학) 을 컴퓨터가 가장 잘 이해하는 형태로 바꾸자고 제안합니다.

그가 제안한 공간은 **토러스 (Torus, 도넛 모양)**입니다.

• 도넛의 특징: 도넛은 안쪽과 바깥쪽이 연결되어 있고, 어느 방향으로 가도 끝이 없습니다.
• 컴퓨터와의 완벽한 조화: 컴퓨터의 정수 오버플로우 (0~255 -> 0) 는 본질적으로 **원형 (Ring)**입니다. 이 원형 구조를 여러 차원으로 늘리면 바로 도넛 (토러스) 모양이 됩니다.

창의적인 비유:

기존 방식은 데이터를 지구 표면에 붙여두는 것이었다면, 새로운 방식은 데이터를 도넛의 표면에 붙여두는 것입니다. 컴퓨터는 도넛을 돌릴 때 "끝에 다다르면 다시 시작"하는 것을 자연스럽게 이해합니다. 그래서 복잡한 변환 없이도 데이터를 정수 (Integer) 형태로 아주 효율적으로 저장하고 검색할 수 있게 됩니다.

3. 두 가지 방법: 'Clifford'와 'L2p'

논문에서는 도넛 모양을 만드는 두 가지 방법을 실험했습니다.

1. Clifford 투영 (torusC): 데이터를 도넛 모양으로 구부리는 방법입니다. 하지만 이 방법은 학습 중에는 불안정할 수 있어, 마치 도넛을 너무 세게 꺾으려다 망가뜨리는 경우가 있었습니다.
2. L2p 정규화 (torusN): 이 방법은 데이터를 짝수 개의 차원끼리 짝을 지어 도넛 모양으로 만드는 방식입니다. 이 방법이 훨씬 안정적이고 성능도 기존 '구' 방식과 비슷하거나 더 좋았습니다.

비유하자면:

• Clifford 방식: 도넛을 만들려고 반죽을 무작위로 비틀어 보니 모양이 제각각이 되고 불안정해졌습니다.
• L2p 방식: 반죽을 두 개씩 짝을 지어 규칙적으로 말아 올리니, 도넛 모양이 깔끔하게 만들어졌고 요리사 (컴퓨터) 가 다루기 훨씬 편해졌습니다.

4. 왜 이것이 중요한가? 'TinyML'과 초저전력 기기

이 연구의 가장 큰 장점은 실용성입니다.

• 저전력 기기 (TinyML): 스마트폰, 사물인터넷 (IoT) 센서, 심지어 아주 오래된 컴퓨터 칩도 8 비트 정수 연산은 매우 빠르고 에너지 효율이 좋습니다.
• 효율적인 검색: 도넛 모양의 데이터는 컴퓨터가 "거리"를 계산할 때 매우 간단하게 처리할 수 있습니다. 복잡한 수학 계산 없이도 "시계 방향으로 얼마나 멀까?"를 바로 알 수 있기 때문입니다.

결론적으로:

이 기술은 거대한 AI 모델을 작은 칩이나 저전력 기기에서도 빠르고 정확하게 작동하게 만들어줍니다. 마치 무거운 구형 지구를 가볍고 효율적인 도넛 모양으로 변환하여, 작은 배 (저전력 기기) 에도 실어 나를 수 있게 만든 것과 같습니다.

5. 실험 결과: 도넛이 구를 이길 수 있을까?

저자는 이미지 (CIFAR) 와 소리 (새 지저귐) 데이터를 가지고 실험했습니다.

• 성능: 도넛 (토러스) 방식은 구 (Hypersphere) 방식과 비슷하거나 특정 조건 (데이터 크기가 작거나 저장 공간이 매우 제한적일 때) 에서는 더 좋은 성능을 보였습니다.
• 압축: 데이터를 아주 적게 저장해야 할 때 (예: 1 비트, 8 비트), 도넛 모양은 데이터가 찌그러지지 않고 잘 유지되었습니다.

요약

이 논문은 **"인공지능이 데이터를 저장할 때, 컴퓨터가 가장 좋아하는 '도넛' 모양을 쓰면 어떨까?"**라는 질문에서 시작합니다.

기존의 '구' 모양 방식은 수학적으로 훌륭하지만 컴퓨터 하드웨어와는 조금 어색했습니다. 하지만 '도넛 (토러스)' 모양으로 바꾸면, 컴퓨터가 정수를 다루는 방식과 완벽하게 맞아떨어져 저전력, 저비용, 고효율의 AI 를 만들 수 있게 됩니다. 이는 미래의 AI 가 거대한 서버가 아닌, 우리 손안의 작은 기기에서도 자유롭게 작동할 수 있는 길을 열어줍니다.

기술 요약

1. 문제 정의 (Problem)

기존의 딥러닝 임베딩 (데이터 표현) 은 주로 유클리드 공간 (무제약) 이나 초구 (Hypersphere, L2 정규화) 에 존재하도록 설계됩니다. 이러한 표현들은 대규모 데이터 검색 및 TinyML(저전력 임베디드 시스템) 배포 시 효율성을 위해 정수 (Integer) 로 양자화 (Quantization) 되는 경우가 많습니다.

그러나 근본적인 불일치가 존재합니다:

• 하드웨어의 기본: 대부분의 컴퓨터 (특히 CPU) 에서 가장 효율적이고 기본이 되는 숫자 표현은 **오버플로우 (overflow) 가 발생하는 정수 (예: uint8)**입니다. 정수 연산의 오버플로우 동작은 수학적으로 모듈로 (modulo) 연산과 동일하며, 이는 위상수학적으로 원 (Ring) 또는 토러스 (Torus) 구조를 형성합니다.
• 표현의 불일치: 초구 (Hypersphere) 는 정수 표현에 자연스럽게 매핑되지 않습니다. 초구 위의 점들은 균일한 정수 격자에 잘 맞지 않아, 효율적인 양자화를 위해 복잡한 코딩/디코딩 scheme 이나 추가 계산이 필요합니다.
• 결과: 이러한 불일치로 인해 표현 능력 (representation capacity) 이 낭비되거나, 저비트 (low-bitrate) 환경에서 성능이 저하될 수 있습니다.

2. 방법론 (Methodology)

저자는 데이터 표현의 위상 (Topology) 을 변경하여 컴퓨터의 기본 정수 연산과 자연스럽게 일치시키는 초토러스 (Hypertorus) 기반 임베딩을 제안합니다.

A. 위상 공간 변환

무제약 $D$차원 공간에서 두 가지 주요 투사 (Projection) 전략을 통해 초토러스를 생성합니다 (Table 1 참조):

1. Clifford Projection (torusC):
   • 입력 벡터 $(x_1, \dots, x_D)$를 삼각함수 $(\sin, \cos)$를 사용하여 $2D$ 차원의 초구 내로 매핑합니다.
   • 수식: $(x_1, \dots, x_D) \to \sqrt{\frac{1}{D}}(\sin x_1, \cos x_1, \dots)$
   • 특징: 외재 차원 (Extrinsic dimension) 이 $2D$로 증가하지만, 내재 차원 (Intrinsic dimension) 은 $D$로 유지됩니다.
2. Pairwise L2 Normalisation (torusN):
   • 인접한 두 차원 쌍 $(x_{2i-1}, x_{2i})$에 대해 L2 정규화를 적용하여 $D$차원 공간 내에서 Clifford 토러스를 형성합니다.
   • 수식: $(x_1, x_2, \dots) \to \sqrt{\frac{2}{D}} \left( \frac{x_1}{\|(x_1, x_2)\|_2}, \frac{x_2}{\|(x_1, x_2)\|_2}, \dots \right)$
   • 특징: 외재 차원은 $D$로 유지되지만, 내재 차원은 $D/2$로 반감됩니다.

B. 학습 전략

• 거리 기반 학습: 토러스 위상에서는 초평면 (Hyperplane) 을 정의하기 어렵기 때문에 시그모이드/소프트맥스 대신 **삼중항 (Triplet) 또는 대비 학습 (Contrastive Learning, SupCon)**을 사용합니다.
• 거리 측정: 학습 시에는 Clifford 공간에서 코사인 거리를 사용하여 효율성을 확보합니다. 추론 시에는 $\arctan2$를 통해 평평한 토러스 (Flat Torus) 로 변환하여 정수 오버플로우를 이용한 최소 거리 계산을 수행합니다.
• 안정화 기법:
  • KoLeo 정규화: 데이터가 공간 전체에 균일하게 분포되도록 하여 표현 능력을 극대화합니다.
  • Gradient Clipping: Clifford 투사 (torusC) 의 경우 큰 기울기 업데이트가 공간 전체를 여러 번 감싸며 (wrap-around) 불안정을 초래할 수 있으므로 기울기 클리핑이 필수적입니다.

3. 주요 기여 (Key Contributions)

1. 토러스 임베딩 학습 프레임워크 제안: 기존 딥러닝 파이프라인을 단순 수정 (L2 정규화 대체) 만으로 초토러스 위상을 가진 임베딩을 학습할 수 있는 두 가지 방법 (Clifford, Pairwise L2) 을 제시했습니다.
2. 안정성 및 성능 비교: Pairwise L2 (torusN) 방식이 학습 안정성과 성능 면에서 Clifford (torusC) 방식보다 우월하며, 기존 초구 (Hypersphere) 임베딩과 동등한 성능을 보임을 입증했습니다.
3. 양자화 적합성 분석: 토러스 위상이 저비트 정수 표현 (uint8 등) 과 본질적으로 잘 맞음을 이론적으로 설명하고, 실험을 통해 검증했습니다. 특히 극단적인 양자화 (1-bit, 8-bit) 환경에서도 초구 임베딩과 비교해 열등하지 않거나 특정 조건에서 더 나은 성능을 유지함을 보였습니다.
4. TinyML 구현 가능성: 복잡한 변환 없이 CPU 의 기본 정수 연산으로 효율적인 거리 검색이 가능하여, 저전력 임베디드 환경 ('TinyML') 에 최적화된 임베딩 구현의 길을 열었습니다.

4. 실험 결과 (Results)

저자는 CIFAR (이미지) 와 BIRB (조류 음성) 데이터셋을 사용하여 실험을 수행했습니다.

• 학습 안정성:
  • torusC는 저차원에서 수렴 실패나 발산 경향을 보였으며, KoLeo 정규화와 강한 기울기 클리핑이 필요했습니다.
  • torusN은 초구 (Hypersphere) 와 유사한 안정성과 성능을 보였으며, KoLeo 정규화가 성능 향상에 긍정적으로 작용했습니다.
• 양자화 성능 (Quantisation):
  • 8-bit 양자화: 초구와 torusN 모두 거의 성능 저하 없이 우수한 성능을 유지했습니다.
  • 극단적 양자화 (1-bit, PQ): Product Quantization (PQ) 은 두 방식 모두에서 높은 압축률과 성능을 보였습니다. 특히 저차원 (Low-dimension) 설정에서 torusN 이 초구보다 종종 더 나은 성능을 보였습니다.
  • 발견: 초구가 격자 (Grid) 양자화에 본질적으로 적합하지 않음에도 불구하고 PQ 를 통해 매우 잘 압축되는 것으로 나타났습니다.
• Few-shot 학습 (BIRB 데이터셋):
  • 1-shot 및 5-shot 분류 태스크에서 torusN 은 초구와 유사하거나 (특히 16D, 32D 저차원에서) 더 나은 일반화 성능을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 하드웨어 친화적 설계: 이 연구는 딥러닝 임베딩의 위상을 하드웨어의 기본 연산 (정수 오버플로우) 에 맞춰 설계함으로써, 계산 효율성과 저장 효율성을 동시에 개선할 수 있음을 보여줍니다.
• TinyML 및 엣지 컴퓨팅: 복잡한 부동소수점 연산이나 특수한 양자화 알고리즘 없이도, 표준 CPU 에서 효율적으로 작동하는 임베딩을 생성할 수 있어, 에너지 제약이 있는 엣지 디바이스 배포에 큰 잠재력을 가집니다.
• 실용성: 제안된 torusN 방법은 기존 학습 파이프라인에 쉽게 통합될 수 있으며, 초구 임베딩과 동등한 성능을 유지하면서도 저비트 환경에서의 강건함을 제공합니다.

요약하자면, 이 논문은 **"컴퓨터의 기본 정수 연산은 토러스 위상을 가지므로, 딥러닝 임베딩도 이에 맞춰 설계할 때 저전력 및 저비트 환경에서 더 효율적일 수 있다"**는 통찰을 바탕으로, 안정적인 학습 방법과 그 유효성을 실험적으로 입증한 연구입니다.