기술 요약: 고정점을 넘어: 비대칭 홉필드 네트워크의 초다항식 용량

1. 문제 제기

대칭 가중치 행렬을 특징으로 하는 고전적 홉필드 네트워크는 동역학이 안정된 고정점 (동기 업데이트 하에서는 주기-2 한계 주기) 으로 수렴하도록 제한되기 때문에 정적 패턴 인식에 국한됩니다. 비대칭 연결은 한계 주기 등 시간적 시퀀스를 인코딩할 수 있는 더 풍부한 동역학을 허용하지만, 고전적 동기 비대칭 네트워크에서 긴 시퀀스의 고용량 저장을 달성하는 것은 여전히 중요한 과제로 남아 있습니다.

기존 접근법은 다음과 같은 특정 한계에 직면해 있습니다:

• 통계적 결과: 이전 연구 (예: Bastolla 와 Parisi, 1997; Hwang et al., 2019) 는 무작위 비대칭 네트워크가 한계 주기를 나타낼 수 있음을 보였으나, 이러한 현상은 종종 저장된 시퀀스 수에 대한 구성적 제어나 검색 강건성이 보장되지 않는 통계적 현상에 불과했습니다.
• 최대 궤적 구성: Muscinelli 등 (2017) 은 전체 상태 공간을 덮는 단일 최대 길이 ($2^n$) 한계 주기를 지원하는 구성을 제시했습니다. 그러나 이는 매우 특수한 경우별 가중치 설계가 필요하며 강건성이 부족합니다. 동역학이 전체 상태 공간을 순회하는 경우, 시스템은 잡음 교란 후 특정 어트랙터로 신뢰성 있게 복귀할 수 없습니다.
• 현대적 수정: 최근의 "현대 홉필드" 네트워크 (Krotov 와 Hopfield, 2021; Ramsauer et al., 2021) 는 비선형 상호작용이나 연속 상태를 도입하여 고용량을 달성합니다. 그러나 이러한 모델들은 이진 뉴런 모델과 동기 업데이트 규칙이라는 고전적 틀에서 벗어납니다.

이 논문이 다루는 핵심 질문은 다음과 같습니다: 이진 뉴런, 동기 업데이트, 선형 국부 필드를 갖는 고전적 동기 비대칭 홉필드 프레임워크 내에서 잡음에 강건하고 생물학적 타당성과 부합할 정도로 단순한 모델이 초다항식 수의 긴 시간적 시퀀스를 인코딩할 수 있는가?

2. 방법론

저자들은 블록 순환 아키텍처에 기반한 새로운 구성을 제안합니다. 개별 가중치를 미세 조정하는 대신, 이 방법은 거친 아키텍처 모티프에 의존합니다.

2.1 네트워크 아키텍처

네트워크는 $n$개의 이진 뉴런 ($x \in \{-1, +1\}^n$) 으로 구성되며, 다수결 규칙을 통해 동기적으로 업데이트됩니다: $x_i(t+1) = \text{sign}(\sum_j w_{ij} x_j(t))$.

• 블록: 뉴런은 크기 $d$인 서로소 블록으로 분할됩니다. 블록 내부에는 연결이 존재하지 않습니다.
• 블록 순환: 네트워크는 여러 개의 서로소인 "블록 순환"으로 구성됩니다. 길이 $\ell$인 블록 순환은 $\ell$개의 블록 ($S_0, S_1, \dots, S_{\ell-1}$) 으로 이루어지며, 블록 $S_i$의 모든 뉴런은 가중치 $+1$로 블록 $S_{i+1}$의 모든 뉴런에 연결되어 방향성 링 $S_0 \to S_1 \to \dots \to S_{\ell-1} \to S_0$을 형성합니다.
• 밀집 vs 희소:
  • 밀집 구성 (BCA): 인접한 블록은 완전히 연결됩니다 (all-to-all).
  • 희소 구성 ($h$-sparse BCA): 블록 내 각 뉴런은 이전 블록에서 균일하게 무작위로 선택된 (복원 추출) 정확히 $h$개의 입력 간선을 받으며, 여기서 $h$는 3 이상인 홀수 정수입니다.
• 적대적 강건성: 이 구성은 각 블록의 소수 뉴런에 적대적 입력 간선을 추가하여 추가로 테스트됩니다.

2.2 이론적 도구

분석은 다음 세 가지 주요 수학적 기둥에 의존합니다:

1. 조합론: 서로 다른 한계 주기의 수를 결정하기 위해 비주기적 이진 시퀀스 (목걸이) 를 계수합니다.
2. 정수론: 어트랙터의 주기 길이를 상한으로 묶기 위해 정수 집합의 최소공배수 (LCM) 의 성장을 분석합니다.
3. 의사 동역학: 특히 희소 및 적대적 환경에서 잡음 강건성과 수렴 속성을 증명하기 위해 잡담 모델 (gossip models) 에서의 $h$-다수결 합의에 관한 결과를 활용합니다.

2.3 동역학 및 어트랙터

핵심 메커니즘은 블록 내의 모든 뉴런에 균일한 부호 (단색 상태) 를 할당하는 것입니다. 순환을 따라 블록 부호의 시퀀스가 비주기적인 경우, 시스템은 이러한 블록 상태들이 회전하는 루프처럼 진화합니다. 네트워크의 전체 주기는 개별 블록 순환 길이의 최소공배수 (LCM) 입니다.

3. 주요 기여 및 결과

3.1 초다항식 용량 및 주기 길이

저자들은 $n$개의 뉴런을 갖는 비대칭 홉필드 네트워크가 다음을 지원함을 증명합니다:

• 어트랙터 수: $\exp\left(\Omega\left(\frac{n}{(\log n)^2}\right)\right)$개의 서로 다른 한계 주기 어트랙터.
• 주기 길이: 각 어트랙터는 최소 $\exp\left(\Omega\left(\frac{\sqrt{n}}{\log n}\right)\right)$의 주기를 가집니다.

이는 고전적 모델에서의 이전 선형 또는 상수 길이 상한을 크게 개선한, 저장된 시퀀스의 수와 길이 모두에서 초다항식 용량을 나타냅니다.

3.2 잡음 강건성

구성된 한계 주기는 무작위 잡음에 강건합니다:

• 밀집 경우: 각 뉴런이 확률 $p \le \frac{1}{2} - \Omega\left(\frac{1}{\sqrt{\log n}}\right)$로 독립적으로 뒤집히더라도 시스템은 올바른 한계 주기를 복구합니다.
• 희소 경우: 블록 크기 $d = \omega(\log n)$인 경우, 뒤집기 확률이 $\frac{1}{2} - o(1)$까지 확장되어도 강건성이 유지됩니다.
• 메커니즘: 블록 구조로 인해, 블록 내 다수 뉴런이 원래 부호를 유지하는 한 (지정된 잡음 수준 하에서 높은 확률로 발생), 다음 동기 업데이트에서 블록의 출력은 변하지 않아 잡음을 교정합니다.

3.3 생물학적 타당성 및 구조적 완화

이 논문은 생물학적 현실성을 강화하는 조건 하에서도 결과가 유효함을 보여줍니다:

• 희소성: 블록 간의 all-to-all 연결은 $h$-희소 ($h \ge 3$) 인 희소 무작위 연결로 대체될 수 있으며, 이는 용량과 주기 길이를 약간 감소시키지만 초다항식 스케일링을 유지합니다.
• 적대적 교란: 시스템은 소수 뉴런 ($O(\sqrt{d}/\log d)$) 이 적대적 입력 간선을 받더라도 강건성을 유지합니다. 이 경우 네트워크는 원래 순환으로부터 유계된 블록 최대 해밍 거리 내에 있는 $(k, d)$-약한 한계 주기로 수렴합니다.
• 전역 수렴: 임의의 초기 구성에 대해 네트워크는 순환 길이에 비례하거나 $O(\log d)$인 라운드 수 내에 결정론적 (밀집 경우) 또는 높은 확률로 (희소 경우) 한계 주기로 수렴합니다.

4. 중요성 및 주장

이 논문은 신경 시스템에서의 강건한 시퀀스 표현이 복잡한 비선형성, 연속 상태, 또는 미세 조정된 가중치를 필요로 하지 않는다고 주장합니다. 대신 고전적 이진 홉필드 프레임워크 내의 **거친 아키텍처 모티프 (블록 순환 토폴로지)**를 통해 달성될 수 있습니다.

• 이론적 돌파구: 고전적 동기 비대칭 홉필드 네트워크에서 저장된 시퀀스의 수와 길이 모두에 대한 초다항식 용량을 보여주는 첫 번째 사례입니다.
• 생물학적 관련성: 단순한 블록 구조와 다수결 규칙에 대한 의존성, 그리고 희소성과 잡음에 대한 강건성은 생물학적 시스템의 중추 패턴 생성기 (CPG) 와 인공 시스템의 강건한 시퀀스 기억에 대한 타당한 메커니즘을 시사합니다.
• 한계: 저자들은 결과가 구성적이며 지정된 토폴로지에 의존한다고 지적합니다. 비구조화된 연결에서 이러한 토폴로지를 형성하는 지역 학습 규칙을 제공하지는 않습니다. 또한, 이러한 보장은 동기 업데이트에 특화되어 있으며, 비동기 단일 뉴런 동역학으로 이러한 결과를 확장하는 것은 여전히 열린 문제입니다.

이 연구는 조합론, 정수론, 의사 동역학을 연결하여 비대칭 홉필드 네트워크의 동역학 레퍼토리가 이전까지 인식된 것보다 훨씬 더 크고 강건함을 입증함으로써, 생물학적 및 인공 신경 시스템에서의 시퀀스 기억에 대한 새로운 관점을 제시합니다.