기술 요약: 제스처 인식을 위한 기하학 우선적 시각 지능 (Geometry-First Visual Intelligence)

1. 문제 정의

현재의 최첨단 제스처 인식용 시각 AI 시스템은 원시 비디오 프레임을 심층 합성곱 또는 트랜스포머 네트워크에 입력하는 "픽셀 우선(pixel-first)" 방식에 의존합니다. 이러한 방식은 정확하지만, 다음과 같은 두 가지 결정적인 한계를 가집니다:

1. 해석 가능성 결여: 내부 표현은 고차원의 픽셀 임베딩으로, 통계적으로는 강력하지만 기하학적으로는 무의미합니다. 이들은 곡률, 각도, 또는 위상(topology)과 같은 명시적인 개념이 결여되어 있어, 검증 가능하고 구성 가능한 규칙을 필요로 하는 뉴로-심볼릭(Neuro-Symbolic, NeSy) 추론 시스템과 호환되지 않습니다.
2. 양자 불호환성: 기존의 양자 비전 아키텍처는 원시 픽셀 데이터를 양자 회로로 매핑하려고 시도합니다. 이는 강제적이고 손실이 많은 인코딩을 요구하며, 이 과정에서 시각 데이터와 양자 게이트 파라미터 사이의 구조적 대응 관계를 파괴합니다.

본 논문은 "기하학 우선(geometry-first)" 접근 방식—즉, 신경망 처리 이전에 명시적인 미분 기하학적 특성을 계산하는 방식—이 두 문제를 모두 해결할 수 있다고 주장합니다. 이는 양자 컴퓨팅과 자연스럽게 정렬되는, 상징적이고 해석 가능한 토대를 제공하기 때문입니다.

2. 방법론

제안된 프레임워크는 두 가지 주요 아키텍처인 **심층 기하 네트워크(Deep Geometric Network, DGN)**와 **양자 기하 네트워크(Quantum Geometric Network, QGN)**로 구성됩니다.

A. 기하학적 특징 추출 (상징적 계층)

학습이 일어나기 전, 시스템은 학습된 임베딩이 아닌 확립된 미분 기하학을 사용하여 원시 비디오로부터 프레임당 128개의 스칼라 값을 계산합니다. 이 특징들은 다음과 같습니다:

• 리치 곡률(Ricci Curvature): 손가락 궤적의 굴곡의 날카로움을 측정합니다.
• 베지에 파라미터화(Bézier Parameterization): 손가락 끝이 그리는 운동 호(arc)의 형태를 설명합니다.
• 각속도(Angular Velocity): 골격 세그먼트의 회전 속도를 계산합니다.
• 위상적 연결성(Topological Connectivity): 3D 랜드마크 근접성을 기반으로 한 손의 가중치 그래프 구조를 정의합니다.

이 128차원의 데이터는 명명되어 있고, 해석 가능하며, 수학적으로 정의되어 있습니다 (예: "7번 차원은 검지 손가락 끝 궤적의 리치 곡률이다").

B. 심층 기하 네트워크 (DGN)

DGN은 128차원 기하 벡터를 시간적 인코더를 통해 처리하여 제스처를 분류합니다. 본 논문은 36프레임 시퀀스에 대해 세 가지 시간적 아키텍처를 평가합니다:

• Transformer: 어텐션 메커니즘을 통해 모든 프레임을 동일하게 취급합니다.
• 양방향 LSTM (Bidirectional LSTM): 시퀀스를 순방향 및 역방향으로 처리합니다.
• Mamba (선택적 상태 공간 모델): 입력의 정보성에 따라 메모리를 동적으로 업데이트합니다. 저자들은 Mamba가 기하학적 시퀀스에 독특하게 적합하다고 주장하는데, 이는 중복되는 프레임 동안은 메모리를 유지하고, 결정적인 기하학적 변화(예: 손가락 굽힘)가 발생할 때만 업데이트하기 때문입니다.

C. 양자 기하 네트워크 (QGN)

QGN은 기하학적 특징을 변분 양자 회로(Variational Quantum Circuit, VQC)로 라우팅함으로써 DGN을 확장합니다.

• 네이티브 매핑 (Native Mapping): 기하학적 스칼라 값(각도, 곡률)은 블록 구(Bloch sphere) 상의 회전 게이트 파라미터($\theta, \phi$)로 직접 인코딩됩니다. 이는 강제적인 인코딩을 필요로 하지 않으며, 입력의 의미론적 의미를 보존합니다.
• 아키텍처: 시스템은 8개의 큐비트(현재 하드웨어 제약 사항)와 3개의 변환 레이어를 사용합니다.
• 병목 현상: 8-큐비트 제한으로 인해, 128차원 입력을 양자 회로에 진입시키기 전 16배 압축(128 $\to$ 8)해야 하며, 이 과정에서 상당한 정보가 손실됩니다.

3. 주요 기여

1. DGN 및 QGN 아키텍처: 원시 비디오에서 128차원 기하 특징을 추출한 후, 클래식(Mamba/LSTM) 또는 양자 분류를 수행하는 최초의 완전한 파이프라인을 구축했습니다.
2. 뉴로-심볼릭 토대: 특징이 데이터로부터 학습되는 것이 아니라 수학적 정의로부터 유도되는 "상징적 지각(symbolic perception)" 계층을 구축하여, 하위의 논리적 추론을 가능하게 했습니다.
3. 시간적 인코더 분석: Mamba가 부드럽고 국소적으로 구조화된 기하학적 운동에 가장 우수한 인코더임을 확인하였으며, 이 영역에서 Transformer와 LSTM보다 뛰어난 성능을 보임을 입증했습니다.
4. 양자 병목 현상 진단: 클래식 모델과 양자 모델 간의 성능 격차가 알고리즘의 실패가 아닌, 하드웨어 제약(큐비트 수)에서 기인함을 엄밀히 규명했습니다.
5. 큐비트 스케일링 절제 실험 (Ablation Study): 다른 모든 변수를 동일하게 유지한 채 큐비트 수를 8개에서 12개로 늘렸을 때 정확도가 8.0 퍼센트 포인트 회복됨을 보여줌으로써, 시스템이 하드웨어 용량에 따라 성능이 확장됨을 증명했습니다.

4. 실험 결과

시스템은 Jester 데이터셋(148,092개의 비디오, 27개 클래스)을 통해 평가되었습니다.

• 정적 성능: 단일 프레임 기하 특징에 대해, 단순 로지스틱 회귀는 **52.61%**의 정확도(무작위 확률의 15배)를, 신경망 베이스라인은 **61.70%**의 정확도를 달 기록했습니다. 이는 기하학적 특징 자체가 강력한 변별 신호를 운반하고 있음을 확인시켜 줍니다.
• 시간적 성능:
  • DGN-Mamba: **65.77%**의 정확도를 달성하여 클래식 모델 중 가장 높은 결과를 보였습니다. 이는 정적 모델 대비 +4 포인트의 이득이며, 운동 역학의 가치를 강조합니다.
  • QGN-Mamba: **59.19%**의 정확도를 달성했습니다.
• 양자 격차 (The Quantum Gap): DGN-Mamba와 QGN-Mamba 사이의 6.6포인트 격차는 128차원을 8개 큐비트에 맞추기 위해 필요한 16배 압축 때문인 것으로 밝혀졌습니다.
• 스케일링 증거:
  • 8 큐비트: 39.90% 정확도 (20K 서브셋 기준).
  • 12 큐비트: 47.90% 정확도.
  • 결과: 오직 큐비트 수 증가만으로 +8.0 포인트의 이득을 얻었습니다.
  • 투영 (Projection): 큐비트 수가 128개에 도달하면(IBM의 로드맵 내), 압축 비율이 1:1이 되어, 이론적으로 QGN이 클래식 모델의 성능을 따라잡거나 능가할 수 있는 $2^{128}$ 상태 공간에서 작동할 것입니다.
• 플로우 특징 (Flow Features): 명시적인 운동 델타(192차원 입력)를 추가했을 때, 클래식 모델에서는 미미한 이득(+0.09%, Mamba가 역학을 암시적으로 학습함)만을 보였으나, Q-모델(QGN)에서는 +1.54%의 개선을 보였습니다. 이는 용량이 허용될 때 양자 계층이 더 풍부한 입력에 반응함을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 기하학이 뉴로-심볼릭 추론과 다가오는 양자 시대의 맥락에서 시각 AI를 위한 올바른 언어라고 주장합니다.

• 해석 가능성: 픽셀 기반 임베딩과 달리, 기하학적 특징은 검증 가능한 명제(예: "곡률 > 0.4")이며, 이를 논리적 규칙이나 지식 그래프로 구성할 수 있습니다.
• 양자 준비성 (Quantum Readiness): 본 논문은 QGN이 시각적 표현과 양자 컴퓨팅 사이의 "원칙적이고 파라미터가 없는 매핑(principled, parameter-free mapping)"을 가진 최초의 양자 비전 아키텍처라고 주장합니다. 기하학적 값은 자연스럽게 회전 각도가 되므로, 손실이 많은 인코딩을 제거할 수 있습니다.
• 하드웨어 궤적: 성능 격차는 알고리즘의 결함이 아니라 하드웨어의 한계입니다. 저자들은 큐비트 수가 64~128개에 도달하면(향후 10년 내 예측), QGN이 알고리즘이나 특징 추출의 변경 없이도 클래식 모델이 접근할 수 없는 계산 기질($2^{128} \approx 10^{38}$)에서 작동할 것이라고 주장합니다.
• 범위: 저자들은 자신들이 가장 정확한(픽셀 기반 SOTA는 약 93~97%에 도달) 제스처 인식기를 만든 것이 아니라, 오늘날 해석 가능하고 내일의 양자 시대를 대비할 수 있는 원칙적인 토대를 구축했음을 명시했습니다.

결론적으로, 기하학 우선 파이프라인은 움직임에 해석 가능한 구조가 존재하는 모든 영역(수술 로봇 공학, 재활, 수어, 산업 자동화 등)에 적용 가능하며, 일반 지능을 향한 확장 가능한 경로를 제공합니다.