기술 요약: 공명 희소 기하학 네트워크 (Resonant Sparse Geometry Networks, RSGN)

문제 정의

지배적인 트랜스포머(Transformer) 아키텍처는 밀집된 셀프 어텐션(dense self-attention) 메커니즘에 의존하며, 이로 인해 시퀀스 길이에 따른 이차 복잡도( $O(n^2)$ )가 발생합니다. 이러한 스케일링의 한계는 표준 트랜스포머를 장문 맥락 애플리케이션(예: 문서 수준의 이해)에 사용하기에 계산적으로 매우 부담스럽게 만들며, 자원이 제한된 환경에서도 비효율적으로 만듭니다. 기존의 효율적인 어텐션 변형 모델들(예: Sparse Transformers, Linformer)이 복잡도를 줄이기는 하지만, 이들은 대개 고정된 희소성 패턴이나 정적인 투영을 채택하고 있어, 생물학적 신경계에서 관찰되는 **입력 의존적 라우팅(input-dependent routing)**을 재현하지 못합니다. 또한, 표준 딥러닝 모델은 놀라운 에너지 효율로 작동하는 인간의 뇌에서 나타나는 구조적 가소성과 극단적인 활성화 희소성(뉴런의 1~2%만 활성화됨)이 결여되어 있습니다.

방법론

저자들은 네 가지 핵심적인 생물학적 원리인 희소 활성화, 입력 의존적 라우팅, 헤브 학습(Hebbian learning)을 통한 자기 조직화 구조, 그리고 물리적 기하학에 내재된 계층적 조직을 통합한 뇌 모사 아키텍처인 **공명 희소 기하학 네트워크(RSGN)**를 제안합니다.

1. 쌍곡 공간 임베딩 (Hyperbolic Spatial Embedding)

RSGN은 $N$ 개의 계산 노드를 학습된 $d$ 차원 쌍곡 공간( $H_d$ ), 구체적으로는 푸앵카레 볼(Poincaré ball) 모델 내에 임베딩합니다.

기하학: 쌍곡 공간의 지수적인 부피 성장은 트리 형태의 계층 구조를 낮은 왜곡으로 임베딩할 수 있게 합니다.
연결성: 노드 간의 연결 강도( $w_{ij}$ )는 측지선 거리(geodesal distance)에 따라 지수적으로 감소합니다. 이는 명시적인 프루닝(pruning) 메커니즘 없이도 자연스럽게 국소성(locality)과 희소성을 강제합니다.
계층 구조: 원점에 가까운 노드는 추상적 개념(뿌리)을 나타내고, 경계에 가까운 노드는 구체적인 사례(잎)를 나타내어 효율적인 정보 라우팅을 용이하게 합니다.

2. 입력 의존적 점화 및 역학 (Input-Dependent Ignition and Dynamics)

네트워크는 각 입력에 대해 두 단계의 과정을 거쳐 작동합니다.

점화(Ignition): 입력 토큰은 쌍곡 임베딩 공간 내의 "스파크 지점(spark points)"으로 매핑됩니다. 이는 인근의 노드만을 활성화하여 희소한 초기 활성화 패턴을 생성합니다.
공명 전파(Resonant Propagation): 활성화는 네트워크를 통해 반복적으로( $K$ $K$ 단계) 전파됩니다. 이 역학에는 다음이 포함됩니다:
- 신호 집계: 활성화된 노드들이 이웃으로부터 신호를 집계합니다.
- 소프트 임계값 처리: 미분 가능한 소프트 임계 함수( $\sigma((x-\theta)/T)$ )가 노드 활성화를 결정하여 그래디언트 기반 학습을 가능하게 합니다.
- 국소 억제: 공간적 이웃 내에서의 분할 정규화(divisive normalization)는 "승자 독식(winner-take-more)" 경쟁을 유도하여, 활성화 폭발을 방지하고 희소 분산 표현을 촉진합니다.

3. 두 가지 타임스케일 학습 시스템

RSGN은 신경 역학과 시냅스 가소성의 생물학적 구분을 모방하여 학습을 빠른 타임스케일과 느린 타임스케일로 분리합니다.

빠른 학습 (경사 하강법): 순전파 타임스케일에서 작업 성능을 최적화합니다. 이는 역전파를 통해 입력 임베딩 함수, 변환 행렬, 출력 투영 및 친화도 요인을 업데이트합니다.
느린 학습 (헤브식 구조 가소성): 학습 배치에 따라 네트워크의 토폴로지를 적응시킵니다.
- 친화도 업데이트: 공동 활성화된 노드들은 연결 친화도를 강화합니다( $\Delta a_{ij} \propto \bar{\alpha}_i \bar{\alpha}_j R$ ). 이는 글로벌 보상 신호(음의 손실)에 의해 조절됩니다.
- 임계값 적응: 임계값은 목표 희소 수준을 유지하기 위해 항상성(homeostatically)을 유지하며 조정됩니다.
- 프루닝 및 발아(Pruning and Sprouting): 약한 연결은 주기적으로 삭제되며, 상관관계가 높지만 연결되지 않은 노드들 사이에 새로운 연결이 형성됩니다.

주요 기여

수학적 프레임워크: 거리 기반 연결성, 소프트 임계값 역학, 국소 억제를 정의하는 쌍곡 기하학 내 공간 임베딩 신경 계산에 대한 완전한 정식화.
미분 가능한 완화(Differentiable Relaxation): 동적이고 희소한 구조를 가진 네트워크의 그래디언트 기반 학습을 가능하게 하는 체계로, 이산적인 생물학적 유사 계산과 연속적인 최적화 사이를 연결합니다.
하이브리드 학습 규칙: 빠른 가중치 업데이트를 위한 역전파와 구조적 적응을 위한 헤브 규칙의 새로운 조합을 제공하여, 엔드 투 엔드 구조 학습에 대한 생물학적으로 타당한 대안을 제시합니다.
이론적 및 실험적 검증: 이차 미만의 계산 복잡도( $O(n \cdot k)$ , 여기서 $k \ll n$ )에 대한 증명과 파라미터 수를 획기적으로 줄이면서도 경쟁적인 성능을 보여주는 실험적 입증.

실험 결과

저자들은 계층적 특징 학습과 장거리 의존성 포착을 테스트하기 위해 설계된 합성 벤치마크에서 RSGN을 평가했습니다.

계층적 분류 (20개 클래스):
- RSGN은 41,672개의 파라미터를 사용하여 23.8%의 정확도를 달성했습니다.
- 표준 트랜스포머는 30.1%의 정확도를 달성했지만 약 403,348개의 파라미터(약 10배 더 많음)가 필요했습니다.
- RSGN은 고정 희소성 방식인 Sparse Transformer(15.9%)와 MLP(16.0%)를 유의미하게 능가하며, 입력 의존적 라우팅의 이점을 입증했습니다.
장거리 의존성 (시퀀스 길이 128):
- RSGN은 40,382개의 파라미터를 사용하여 96.5%의 정확도를 달성했습니다.
- 트랜스포머와 LSTM은 100% 정확도를 달성했지만 각각 약 15배 더 많은 파라미터(600,330개 및 563,722개)를 필요로 했습니다.
절제 연구(Ablation Studies): 헤브 학습이 안정성과 수렴성에 일관된 개선을 제공함을 확인했습니다. 아키텍처는 하이퍼파라미터 변화에 대한 견고성을 보였으며, 노드 수와 전파 단계가 달라져도 성능이 안정적으로 유지되었습니다.

의의 및 주장

본 논문은 RSGN이 더 효율적이고 생물학적으로 타당한 신경 아키텍처를 향한 유망한 방향을 제시한다고 주장합니다. 활성화 라우팅(빠름)과 구조적 적응(느림)을 분리하고, 계층적 조직을 위해 쌍곡 기하학을 활용함으로써 RSGN은 다음과 같은 점을 입증합니다:

파라미터 효율성: 표준 트랜스포머보다 한 자릿수 적은 파라미터로 높은 성능을 달성할 수 있습니다.
확장성: 활성 노드 수에 대해 선형 또는 이차 미만의 스케일링( $O(n \cdot k)$ )을 달ach하여, 밀집된 어텐션의 이차적 병목 현상을 피합니다.
생물학적 타당성: 희소 코딩, 입력 의존적 라우팅, 헤브 가소성의 통합은 계산 원리를 관찰된 생물학적 메커니즘과 일치시키며, 미래의 아키텍처가 고정된 밀집 계산 그래프를 넘어 자기 조직화된 동적 구조로 나아갈 수 있음을 시사합니다.

저자들은 현재 벤치마크에서 트랜스포머와의 절대적 정확도 격차와 기존 GPU 하드웨어에 희소하고 동적인 계산을 매핑하는 과제 등의 한계를 인정합니다. 이들은 향후 연구에서 뉴로모픽 하드웨어 구현과 표준 NLP 및 비전 벤치마크에서의 십억 단위 파라미터 규모로의 확장을 탐구해야 한다고 제언합니다.