[기술 요약] 곡률 인지 최적화를 통한 강건한 쌍곡선 학습 (Robust Hyperbolic Learning with Curvature-Aware Optimization)

1. 문제 정의 (Problem Statement)

쌍곡선 기하학(Hyperbolic Geometry)은 데이터의 계층적 구조(Hierarchical structure)를 표현하는 데 탁월한 능력을 갖추고 있어 컴퓨터 비전, 그래프 임베딩, 자연어 처리 등 다양한 분야에서 주목받고 있습니다. 그러나 기존의 쌍곡선 딥러닝 방식은 다음과 같은 세 가지 핵심적인 한계점을 가집니다:

• 학습 불안정성 (Instability): 쌍곡선 공간의 곡률(Curvature, $K$)을 학습 가능한 파라미터로 설정할 경우, 곡률이 변함에 따라 기존에 계산된 임베딩 값, 그래디언트(Gradient), 모멘텀(Momentum)이 새로운 기하학적 구조와 일치하지 않아 수학적 불일치(NaN 발생 등) 및 학습 붕괴가 일어납니다.
• 과적합 문제 (Overfitting): 쌍곡선 공간은 표현 용량(Representational capacity)이 매우 높기 때문에, 데이터가 부족한 상황에서 모델이 쉽게 과적합되는 경향이 있습니다.
• 계산 복잡도 및 수치적 불안정성 (Complexity & Numerical Instability): 쌍곡선 연산은 유클리드 연산보다 복잡하며, 특히 부동 소수점 정밀도 문제로 인해 임베딩이 매니폴드의 유효 범위를 벗어나면 수치적 오류가 발생합니다. 또한, 최적화된 CUDA 커널의 부재로 인해 학습 속도가 느립니다.

2. 제안 방법론 (Methodology)

본 논문은 로렌츠 모델(Lorentz model/Hyperboloid model)을 기반으로 위 문제들을 해결하기 위한 세 가지 핵심 기술을 제안합니다.

① 곡률 인지 최적화 스키마 (Curvature-Aware Optimization Schema)

곡률 $K$가 업데이트될 때 매니폴드의 기하학적 구조가 변하는 문제를 해결하기 위해 '접공간 기반 매핑(Tangent-based Mapping)' 방식을 도입합니다.

• 핵심 아이디어: 곡률이 업데이트되기 전, 기존의 쌍곡선 파라미터들을 이전 곡률의 접공간(Tangent space)으로 투영(Logarithmic map)한 뒤, 새로운 곡률의 매니폴드로 다시 투영(Exponential map)하여 정렬합니다.
• 효과: 이 과정을 통해 파라미터 간의 상대적 거리와 각도가 보존되며, 곡률 변화 시에도 수학적 일관성을 유지하여 학습의 안정성을 확보합니다.

② 리만 AdamW (Riemannian AdamW)

쌍곡선 공간의 높은 표현 용량으로 인한 과적합을 방지하기 위해, 유클리드 공간의 AdamW 최적화 기법을 쌍곡선 매니폴드로 확장했습니다.

• 방법: 가중치 감쇠(Weight Decay)를 단순한 그래디언트 감소가 아닌, 매니폴드 상의 원점(Origin)을 향한 '로렌츠 가중 중심점(Lorentzian Centroid)' 계산 방식으로 재정의하여 적용합니다. 이를 통해 쌍곡선 공간에서도 효과적인 L2 정규화 효과를 거둘 수 있습니다.

③ 최대 거리 재스케일링 (Maximum Distance Rescaling)

수치적 불안정성을 방지하기 위해 임베딩이 표현 가능한 정밀도 범위를 벗어나지 않도록 제어합니다.

• 방법: 기존의 단순한 클리핑(Clipping) 방식 대신, 기울기(Slope)와 최대값($m$)을 미세하게 조정할 수 있는 유연한 탄젠트 하이퍼볼릭(Flexible Tanh) 스케일링 함수를 제안합니다.
• 효과: 임베딩을 매니폴드의 안정적인 반경 내로 부드럽게 유지시켜, FP16(반정밀도)과 같은 저정밀도 환경에서도 안정적인 학습을 가능하게 합니다.

④ 효율적인 연산 구현 (Efficient Implementation)

계산 효율성을 높이기 위해, 쌍곡선 컨볼루션(Hyperbolic Convolution)을 로렌츠 부스트(Lorentz boost)와 회전(Rotation) 연산으로 분해하고, 이를 기존의 고도로 최적화된 CUDA 기반 유클리드 컨볼루션 커널을 활용할 수 있도록 파라미터화하는 트릭을 사용합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

본 논문은 5가지 도메인(계층적 메트릭 학습, EEG 분류, 그래프 임베딩, 이미지 분류, 이미지 생성)에서 실험을 진행하였으며, 다음과 같은 성과를 거두었습니다.

• 성능 향상:
  • 계층적 메트릭 학습(LHIER): 곡률 학습을 통해 Recall@1 성능을 최대 4.71% 향상.
  • EEG 분류(HyperMAtt): 데이터가 적은 환경에서도 과적합을 방지하여 최첨단(SOTA) 성능 달성.
  • 이미지 분류(HCNN+): 기존 하이브리드 모델보다 높은 정확도를 보이면서도 메모리 사용량은 약 48% 감소.
• 효율성 증대: 제안된 구현 트릭을 통해 학습 시간을 대폭 단축(EEG 분류에서 최대 42배 속도 향상)하고 메모리 사용량을 획기적으로 줄였습니다.
• 강건성 입증: 곡률을 학습하는 과정에서도 모델이 붕괴(NaN 발생)되지 않고 안정적으로 수렴함을 입증했습니다.

4. 의의 (Significance)

이 논문은 쌍곡선 딥러닝이 가진 이론적 잠재력과 실제 구현 사이의 간극(불안정성, 느린 속도, 과적합)을 수학적 정교함과 공학적 최적화를 통해 메웠다는 점에서 큰 의의가 있습니다. 특히 곡률을 단순히 상수로 두는 것이 아니라, 데이터에 맞춰 최적화할 수 있는 안정적인 프레임워크를 제공함으로써, 향후 복잡한 계층적 데이터를 다루는 다양한 AI 모델 연구에 중요한 기반을 마련하였습니다.