A Hamiltonian driven Geometric Construction of Neural Networks via the Lognormal family, Application to Financial Fraud Detection and to Network Security

기술 요약: 로그정규 분포군을 통한 해밀턴 유도 기하학적 신경망 구축

문제 정의
전통적인 인공 신경망(ANN)은 일반적으로 유클리드 공간 내에서 구축되는데, 이러한 한계는 구조화된 데이터가 존재하는 통계적 매니폴드의 본질적인 복잡성을 포착하는 능력을 제한한다. 아마리(Amari)에 의해 개척된 정보 기하학은 시냅스 파라미터에 대한 리만 구조의 유용성을 확립했지만, 특정 통계적 매니폴드, 특히 로그정규 매니폴드 상에 신경망 구조를 명시적으로 구축한 연구는 거의 없다. 로그정규 분포는 금융, 생물학, 신호 처리 분야에서 보편적으로 나타나지만, 그 파라미터 공간을 신경망 구성 요소(입력, 가중치, 활성화 함수)를 도출하기 위해 체계적으로 활용한 사례는 미비하다. 본 논문은 로그정규 통계 매니폴드를 어떻게 신경망 매니폴드로 구조화하고, 해밀턴 기하학과 리 군(Lie group) 형식을 사용하여 그 구성 요소들을 도출할 것인가라는 질문을 다룬다.

방법론
저자들은 해밀턴 및 기하학적 구조를 활용하여 로그정규 통계 매니폴드 상에 내재적인 신경망을 구축하는 체계적인 방법을 제 propose한다. 방법론은 다음과 같은 단계로 진행된다:

1. 통계적 정식화: 로그정규 분포를 지수 가족(exponential family)으로 취급한다. 자연 파라미터 $\theta = (\theta_1, \theta_2)$는 로그 데이터의 평균($\mu$)과 표준편차($\sigma$)로부터 유도된다.
2. 해밀턴 역학: 로그정규 매니폴드 상의 경사 하강 흐름(gradient flow)은 해밀턴 시스템과 동등함을 보인다. 자연 파라미터를 기반으로 위상 공간 좌표 $P$와 $Q$를 정의함으로써, 시스템을 쌍곡 기하학의 모델인 푸앵카레 디스크($D$)로 매핑한다.
3. 리 군 작용: 시스템의 역학은 푸앵카레 디스크 상에서의 리 군 $SU(1, 1)$의 작용에 의해 기술된다. 이 군 작용은 위상 공간에서의 시스템 진화를 나타낸다.
4. 신경 구성 요소 도출:
   • 입력: 입력 벡터는 해밀턴 변수에 의해 유도된 푸앵카레 디스크의 좌표로 정의된다.
   • 가중치 행렬: 시냅스 가중치 행렬은 $SU(1, 1)$작용의 회전 성분(회전 행렬$\Omega \in SO(2)$로 표현됨)과 평행 이동 벡터$\vec{t}$로부터 구축된다. 이 행렬은 특수 유클리드 군$SE(2)$에 속한다.
   • 활성화 함수: 활성화 함수는 각도 변수 $\beta$의 지수 및 삼각 함수를 포함하는 군 준동형(group morphism)으로 정의되며, 시스템의 심플렉틱 구조로부터 발생한다.
5. 아키텍처: 결과적인 아키텍처는 편향(bias)을 포함하는 완전 연결 단층 네트워크이며, 여기서 선형 결합과 비선형성은 단순한 대수적 추상화가 아닌 기저에 깔린 기하학에 뿌리를 두고 있다.

주요 기여

• 기하학적 구축: 본 논문은 유클리드 근사를 넘어 로그정규 통계 매니폴드로부터 신경망 아키텍처를 직접 도출하는 엄격한 과정을 제공한다.
• 해밀턴 유도 역학: 로그정규 매니폴드 상의 경사 시스템이 적분 가능하며, 위상 공간에서 닫힌 타원 궤적을 갖는 해밀턴 시스템과 동등함을 입증한다. 이 궤적들은 푸앵카레 디스크로 컴팩트화된다.
• 명시적 구성 요소 정의: 저자들은 리 군 $SU(1, 1)$ 및 심플렉틱 구조를 기반으로 입력 함수, 가중치 행렬(회전 및 평행 이동 포함), 그리고 활성화 함수를 명시적으로 정의한다.
• 이론적 프레임워크: 이 연구는 정보 기하학, 리 군 이론, 그리고 머신러닝 사이의 가교를 구축하며, 정보 처리 시스템이 어떻게 비유클리드 공간 위에 "자연스럽게" 배치될 수 있는지를 보여준다.

결과 및 응용
본 논문은 제안된 프레임워크를 검증하기 위해 10일간의 데이터셋을 활용하여 이상 징후 탐지를 시연하는 두 가지 구체적인 응용 시나리오를 제시한다:

1. 금융 사기 탐지:

   • 맥락: 로그정규 분포를 따르는 거래 금액을 모니터링한다.
   • 메커니즘: 사기 행위는 기초 통계 분포($\mu, \sigma$)를 변화시킨다. 시스템은 이 파라미터들을 푸앵카레 디스크로 매핑한다.
   • 결과: 사례 연구에서 높은 변동성을 보인 사기 발생일(6일째)은 통계적 특성의 급격한 변화를 일으켰다. 푸앵카레 디스크의 쌍곡 특징 공간에서, 이는 상당한 "측지 가속(geodesic acceleration)"을 유발하여, 유클리드 거리 척치보다 훨씬 더 뚜렷하게 정상 운영 범위를 벗어난 사기 상태를 분리해 냈다.

2. 네트워크 보안 (DDoS 침입 탐지):

   • 맥ctx: 양수이며 왜도(skewed)를 가진 네트워크 패킷 전송률을 로그정규 분포로 모델링한다.
   • 메커니즘: DDoS 공격은 평균 패킷 전송률과 변동성을 급격히 증가시킨다.
   • 결과: 기하학적 변환 파이프라인은 정상 트래픽 루틴 동안 좌표들이 내부 매니폴드 엔벨로프의 극좌측 세그먼트($x_D \approx -0.499$)에 매우 안정적인 클러스터를 형성함을 보여주었다. DDoS 공격이 트리거되면, 분포 파라미터의 거대한 변화로 인해 "폭발적이고 거의 직교에 가까운 도약"이 발생하여 $x_D$는 $-0.4996$에서$-0.0062$로 이동하고$y_D$는$0.4999$까지 상승하며 수직 경계 축을 향해 돌진한다. 이러한 변화는 Rao-Fisher 거리의 거대한 변동을 반영하며, 이는 전통적인 임계값 기반 시스템을 회피할 수 있는 적응형 공격 프로필에 대해서도 견고한 즉각적 기하학적 경보를 제공한다.

의의 및 주장
본 논문은 로그정규 가족에 기반한 신경 정보 처리 시스템이 푸앵카레 디스크 상의 동역학계로 모델링될 수 있음을 보여줌으로써 기하학적 머신러닝에 대한 새로운 관점을 제시한다고 주장한다. 그 의의는 네트워크의 기본 연산(선형 결합, 비선형성)이 임의의 대수적 선택이 아니라, 데이터의 파라미터 공간의 기하학으로부터 본질적으로 유도되었다는 점에 있다.

저자들은 이 접근 방식이 로그정규 분포를 따르는 데이터에 자연스럽게 적합한 아키텍처를 설계할 수 있게 해준다고 단언한다. 해밀턴 형식과 $SU(1, 1)$의 작용을 활용함으로써, 모델은 디스크 전체에 걸친 전역적 적용이 아닌, 격리된 정보 궤적(orbits) 내에서의 순방향 전파 동안 통계적 정체성을 보존한다. 이는 데이터가 로그정규 분포를 따르는 시스템에서 이상 징후를 탐지하기 위한 계산적으로 가벼운 기하학적 방법을 제공한다. 본 연구는 특정 통계적 매니폴드 상에서 정보 기하학을 신경망의 명시적 구축에 적용하기 위한 기초적인 단계로 제시된다.