기술 요약: 고차원 구조적 표현의 디노이징을 위한 지오데식 플로우 매칭(Geodesic Flow Matching)

1. 문제 정의

벡터 심볼릭 대수(Vector Symbolic Algebras, VSAs)는 고차원 분산 벡터에 심볼릭 정보를 인코딩함으로써 견고한 뉴로심볼릭 추론을 가능하게 합니다. 이러한 시스템의 핵심 요구사항은 '클린업(cleanup)'으로, 이는 노이즈가 섞이거나 결합되거나 부분적인 입력을 유효하고 깨끗한 상태로 다시 매핑하는 능력입니다. 이 방식은 이산적 심볼(discrete symbols)에 대해서는 잘 연구되었으나, 연속적 표현인 **공간적 의미 포인터(Spatial Semantic Pointers, SSPs)**에 대한 클린업은 여전히 해결되지 않은 과제로 남아 있습니다.

SSPs는 연속적인 공간 변수를 단위 초구면($S^{d-1}$) 내에 임베딩된 고도로 구조화된 클리포드 하이퍼토러스(Clifford Hytorus) 상의 고차원 벡터($d > 1000$)로 인코딩합니다. 본 논문은 SSP에 표준 **조건부 플로우 매칭(Conditional Flow Matching, CFM)**을 적용할 때 발생하는 근본적인 기하학적 실패를 식별합니다:

• 유클리드 가정: 표준 CFM은 평평한 유클리드 기하학을 가정하며, 전송 경로를 노이즈 샘플과 데이터 샘플 사이의 선형 보간법(chord)으로 정의합니다.
• 기하학적 불일치: 데이터가 초구면에 제약되어 있는 경우, 두 점을 연결하는 직선은 구의 내부를 통과하게 됩니다. 이로 인해 전송 과정 중에 벡터 크기가 붕괴($||\phi_t|| < 1$)됩니다.
• 결과: 이러한 크기 붕괴는 SSP에 인코딩된 공간적 의미를 디코딩하는 데 필요한 정밀한 위상 관계($e^{i\theta_j x}$)를 파괴합니다. 결과적으로, 유클리드 선형 보간법은 유효한 SSP 상태를 복구하는 데 실패하며, 이는 경로 적분(path integration)과 같은 다운스트림 작업에서 치명적인 오류를 초과하게 만듭니다.

2. 방법론

저자들은 리만 전송 역학(Riemannian transport dynamics)을 적응시켜 디노이징 플로우를 SSP 토로이드 다양체(toroidal manifold) 내로 엄격히 제한함으로써 기하학적 불일치를 해결하는 **지오데식 플로우 매칭(Geodesic Flow Matching, GFM)**을 제안합니다.

핵심 메커니즘

선형 보간 대신, GFM은 소스(노이즈)와 타겟(깨끗한 데이터) 사이의 **대원 호(great-circle arc, 지오데식)**를 따라 확률 경로를 정의합니다.

• 로그 맵 ($\text{Log}_{\phi_0}$): 타겟 상태 $\phi_1$을 소스 $\phi_0$에서의 접공간(tangent space)으로 투영하여 초기 속도 벡터를 정의합니다.
• 지수 맵 ($\text{Exp}_{\phi_0}$): 접벡터를 다시 다양체 위로 매핑하여 지오데식을 따라 상태를 전진시킵니다.
• 전송 역학: 경로는 $\phi_t = \text{Exp}_{\phi_0}(t \cdot \text{Log}_{\phi_0}(\phi_1))$로 정의됩니다.
• 훈련 목표: 신경망 $v_\theta(\phi_t, t)$는 이 호를 따르는 순간적인 접속 속도(tangent velocity)를 회귀하도록 훈련됩니다. 모델은 예측된 속도가 실제 지오데식 속도와 일치하도록 **코사인 플로우 손실(cosine flow loss)**을 최소화하며, 이를 통해 업데이트가 초구면에 접하며 설계에 따라 단위 노름(unit-norm) 제약을 유지하도록 보장합니다.

적용 문맥: 스파이킹 신경 SLAM

이 방법은 스파이킹 신경망(SNN) 구현 기반의 시맨틱 동시 위치 추정 및 지도 작성(Semantic SLAM) 내에서 검증되었습니다.

• 도전 과제: SNN은 상당한 노이즈(스파이킹 가변성, 재귀적 연결의 위상 드리프트)를 도입하여 표현을 유효한 다양체로부터 벗어나게 합니다.
• GFM의 역할: GFM 모델은 온라인 안정화 장치로서, 경로 적분(PI) 출력을 가로채서 랜드마크 바인딩에 사용되기 전에 다양체로 투영합니다. 이는 궤적 발산을 초래할 수 있는 오류의 누적을 방지합니다.

3. 주요 기여

1. 기하학적 실패 식별: 본 논문은 표준 유클리드 플로우 매칭이 왜 고차원 구조적 표현(SSPs)에 대해 실패하는지를 입증합니다. 즉, 선형 보간법이 다양체의 내부를 "가로질러" 위상 및 크기 구조를 파괴하기 때문입니다.
2. 지오데식 플로우 매칭 프레임워크: 로그 맵과 지수 맵을 사용하여 전송을 초구면 상의 지오데식으로 제한함으로써, 고차원 토로이드 뉴로심볼릭 표현에 플로우 매칭을 적응시켰습니다.
3. SNN에서의 경험적 검증: 이 접근 방식은 노이즈(스파이킹 변동성)가 존재하는 까다로운 실시간 뉴로심볼릭 벤치마크(Semantic SLAM)에서 테스트되었습니다.
4. 효율성 향-상: 이 방법은 의미가 크기가 아닌 벡터 방향에 인코딩된 시스템에서 높은 용량의 연상 기억(associative memory)을 가능하게 하여, 생성적 전송(generative transport)과 유효한 뉴로심볼릭 클린업 사이의 간극을 메웁니다.

4. 실험 결과

저자들은 GFM을 Euclidean CFM, 피드포워드 회귀(Feedforward Regression), 그리드 룩업(Grid Lookup), 최적화 기반 베이스라인과 비교합니다.

• 디노이징 벤치마크:

  • GFM은 특히 선형 보간법이 정답을 복구하지 못하는 고노이즈 영역에서 Euclidean CFM보다 성능이 현저히 뛰어납니다.
  • 고노이즈 조건(신호 강도 < 0.15)에서 GFM은 신호가 노이즈 플로어 아래로 떨어졌을 때 프로토타입에 "스냅(snap)"하는 데 실패하는 비신경망 베이스라인(Grid/Optimization)보다 우수한 성능을 보입니다.
  • 정성적 분석 결과, GFM은 정확한 공간 좌표에서 날카롭고 단일 모달한 피크를 재구성하는 반면, Euclidean 모델은 공간적으로 치우친 "드리프트"를 생성하고 피드포워드 모델은 확산된 표현을 생성함을 보여줍니다.

• SLAM 성능 (스파이킹 신경 시스템):

  • 오류 감소: 자원 제한적 환경($N=1500$ 뉴런)에서 GFM은 Grid 베이스라인 대비 평균 경로 추적 오차를 72% 감소시켰습니다 (0.076m vs 0.249m).
  • 신경 효율성: GFM으로 증강된 1,500개 뉴런 시스템은 2,500개 뉴런을 사용하는 베이스라인 시스템과 대등한 추적 정확도를 달_성했습니다. 이는 안정적인 경로 적분을 위해 필요한 자원을 40% 절감(또는 40%의 신경 효율성 증가)했음을 의미합니다.
  • 안정성: 불연속적인 상태 점프를 유발하여 궤적 발산을 일으키는 Grid 베이스라인과 달리, GFM은 안정적인 장기 적분을 유지하는 연속적인 교정 필드를 제공합니다.

5. 의의 및 주장

본 논문은 고차원 표현의 내재적 기하학이 견고한 클린업에 결정적이라고 주장합니다. 임베딩 도메인에서의 이산적 탐색에서 **임베딩 공간 내의 직접적인 연속적 생성 전송(continuous generative transport)**으로 패러다임을 전환함으로써, 저자들은 초구면 임베딩을 위한 견고한 프레임워크를 제공합니다.

이 연구의 의의는 다음과 같습니다:

• 기하학적 일관성: 전송이 다양성과 일치하도록 보장함으로써 VSA에서 필수적인 위상 정보의 파괴를 방지합니다.
• 뉴로모픽 효율성: 노이즈가 섞인 스파이킹 표현을 안정화함으로써 더 작은 네트워크가 이전에는 더 많은 자원을 필요로 했던 작업을 수행할 수 있게 하여 효율적인 뉴로모픽 컴퓨팅을 가능하게 합니다.
• 일반화 가능성: SSP에 초점을 맞추고 있지만, 이 접근 방식은 벡터 방향이 의미를 인코딩하는 Hyperspherical Prototype Networks 및 Hyperspherical Variational Autoencoders와 같은 다른 초구면 임베딩 활용 아키텍처에도 적용될 수 있습니다.

저자들은 현재 아키텍처가 계산 최소화보다 기하학적 정식화를 검증하는 것을 우선시하지만, 이 프레임워크가 물리적 뉴로모픽 하드웨어 배포를 위해 완전한 스파이킹 네트워크로 전환 가능하도록 설계되었다고 언급했습니다.