🧬 biology

Divisive Normalization Shapes Low-Rank Slow Manifolds for Continuous Working Memory

본 논문은 고전적 어트랙터 네트워크의 취약성과 표준 RNN의 이산화 실패를 극복하기 위해 분할 정규화를 활용하며, 이를 통해 활동 의존적 그래디언트 스케일링을 통해 작업 기억을 위한 연속적이고 저계수(low-rank)인 느린 매니폴드를 강건하게 학습할 수 있는 생물학적 영감을 받은 모델인 순환 분할 정규화 네트워크(RDNN)를 제안한다.

원저자: Zhaotian Gu, Jie Su, Weiwei Wang, Chang Liu, Tianyi Qian, Dahui Wang

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhaotian Gu, Jie Su, Weiwei Wang, Chang Liu, Tianyi Qian, Dahui Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신의 뇌를 자동차들이 도로 위를 달리는 도시라고 상상해 보세요. 때때로 여러분은 교통 신호가 바뀌거나 바람이 불더라도 멈추지 않고 특정 경로를 따라 자동차를 매끄럽게 계속 움직이게 유지해야 할 때가 있습니다. 자신이 향하고 있는 방향이나 세고 있는 숫자를 기억하는 것처럼, 하나의 연속적인 생각을 붙잡아 두는 이 능력을 "작업 기억(working memory)"이라고 부릅니다. 수십 년 동안 과학자들은 이 기술을 모방하는 컴퓨터 모델을 만들기 위해 노력해 왔습니다. 기존의 모델들은 경직된 기차 선로와 같았습니다. 만약 연속적인 변수를 운반하려고 하면, 모델이 일련의 끊어진 정거장들로 툭툭 끊겨버려 기차가 매끄럽게 미끄러지는 대신 한 역에서 다음 역으로 점프하며 이동하게 만들었습니다. 또 다른 모델들은 섬세한 유리 조각과 같았습니다. 연속적인 경로를 유지할 수는 있었지만, 아주 작은 흔들림에도 전체가 산산조각 나버리곤 했습니다. 핵심적인 질문은 이것이었습니다. 실제 뇌는 어떻게 이 생각들을 매끄럽게 계속 흐르도록 관리하는가? 그리고 우리는 부서지지 않고 이와 똑같이 수행할 수 있는 컴퓨터를 만들 수 있을까?

이 논문은 이 수수께끼를 풀기 위해 '재귀적 분할 정규화 네트워크(Recurrent Divisive Normalization Network, RDNN)'라는 새로운 종류의 컴퓨터 모델을 소개합니다. 저자들은 실제 뇌에서 발견되는 "분할 정규화(divisive normalization)"라는 생물학적 규칙에서 영감을 얻었습니다. 이것을 방 전체의 소음 정도에 따라 볼륨을 조절하는 스마트한 볼륨 조절기라고 생각해 보세요. 단순히 소리를 키우거나 줄이는 것이 아니라, 방 안의 전체 소음이 얼마나 큰지에 따라 볼륨을 조절하는 것입니다. 만약 방 안의 모든 사람이 소리를 지르기 시작하면, 조절기는 누구도 다른 사람의 목소리를 덮어버리지 않도록 모든 이의 이득(gain)을 자동으로 낮추어 대화의 균형을 유지합니다. 연구진은 이 "볼륨 조절기"의 디지털 버전을 네트워크 안에 구축했습니다. 그들은 이 단순한 메커니즘이 마법 같은 안정 장치 역할을 한다는 것을 발견했습니다. RDNN은 기억의 매끄러운 경로가 파편화된 불연속적인 점들로 부서지는 대신, 생각이 막히거나 벗어나지 않고 여행할 수 있는 매끄럽고 연속적인 고속도로인 "느린 다양체(slow manifold)" 위에서 기억이 계속 흐르도록 유지해 줍니다.

연구팀은 회전하는 바퀴를 추적하거나 보지 않고도 방향을 기억하는 것과 같이 연속적인 변수를 유지해야 하는 과제들을 통해 모델을 테스트했습니다. 표준적인 컴퓨터 모델들(GRU나 LSTM 등)은 이러한 매끄러운 경로를 학습하는 데 실패하며 종종 기억을 얼어붙은 스냅샷들의 연속으로 끊어놓았지만, RDNN은 성공했습니다. RDNN은 변화하는 입력값에도 무너지지 않고 안정적이고 연속적인 표현을 유지하는 법을 배웠습니다. 연구진은 이 "볼륨 조절기"가 배후에서 놀라운 일을 한다는 것을 발견했습니다. 그것은 네트워크가 스스로의 복잡성을 압축하도록 자연스럽게 유도합니다. 네트워크에 많은 부분이 있음에도 불구하고, 수학적으로 보면 이 네트워크는 작업을 수행하기 위해 몇 개의 핵심적인 차원만을 실제로 사용하며, 이를 통해 효율성과 견고함을 갖추게 됩니다.

결정적으로, 이 논문은 이러한 특정 유형의 "볼륨 제어"(분할 방식)가 변화하는 입력을 처리하는 데 수학적으로 필수적이라고 주장합니다. 저자들은 "감산 억제(subtractive inhibition)"라고 불리는 다른 종류의 제어 방식을 테스트했습니다. 이는 단순히 고정된 양의 노이즈를 빼는 것과 같습니다. 그들은 감산 제어가 정적인 기억(예: 아무 일도 일어나지 않을 때의 방향)을 유지할 수는 있지만, 입력이 움직이기 시작하면 처참하게 실패한다는 것을 발견했습니다. 매끄러운 경로는 엉망진창인 정거장들의 집합으로 부서져 버렸습니다. 이는 뇌가 역동적이고 변화하는 세상을 다루기 위해서는 단순한 뺄셈이 아니라, 분할 정규화와 같은 곱셈적이고 스케일링(scaling)이 가능한 힘이 필요함을 시사합니다.

시뮬레이션에서 RDNN은 높은 충실도로 이러한 매끄러운 경로를 학습할 수 있음을 보여주었으며, 네트워크가 커지더라도 작게 유지되는 낮은 "유효 계수(effective rank, 네트워크가 실제로 사용하는 차원의 척도)"를 유지했습니다. 저자들은 이 메커니즘이 단순한 생물학적 우연이 아니라, 고충실도의 연속적인 작업 기억을 가능하게 하는 중요한 계산적 기교라고 제안합니다. 그러나 저자들은 이 모델이 단기적이고 역동적인 추적에는 뛰어나지만, 매우 긴 시간 동안은 결국 표류할 수 있는 반면, "부서진" 모델들이 오히려 아주 오랫동안 기억을 고정하는 데는 더 나을 수도 있다고 언급했습니다. 결론적으로, 이 논문은 이러한 특정한 생물학적 규칙을 모방함으로써, 우리가 매일 하는 유동적이고 연속적인 사고를 훨씬 더 잘 수행하는 인공 뇌를 구축할 수 있다고 마무리합니다.

기술 요약: 연속적 작업 기억을 위한 저계수 느린 매니폴드 형성을 위한 분할 정규화 (Divisive Normalization)

1. 문제 정의

연속적인 변수(예: 공간적 위치, 머리 방향)를 견고하게 유지하고 업데이트하는 능력은 생물학적 작업 기억의 특징이다. 그러나 기존의 계산 모델들은 근본적인 이분법적 문제에 직면해 있다:

연속 어트랙터 네트워크 (Continuous Attractor Networks, CANs): 이론적으로는 등급화된 값을 저장할 수 있지만, 재귀적 역학(recurrent dynamics)에서의 미세한 섭동이 연속적인 매니폴드를 파괴하여 기억이 표류하거나 붕괴되는 "미세 조정 문제(fine-tuning problem)"를 겪는다.
표준 인공 RNN (GRUs, LSTMs): 순차적 작업에서 성공적임에도 불구하고, 동역학 시스템 분석 결과 이들은 진정한 연속 어트랙터를 학습하는 데 어려움을 겪는다. 대신, 이들은 연속적인 상태 공간을 이산화하여, 매니폴드를 국소적인 점 어트랙터(point attractors)와 안장점(saddles)으로 파편화한다.

본 연구가 다루는 핵심 질문은 다음과 같다: 어떤 계산 메커니즘이 생물학적 네트워크로 하여 없이 연속적인 작업 기억을 견고하게 표현하게 하는가? 또한, 이를 어떻게 학습 가능한 모델에 통합하여 표준 아키텍처의 위상적 이산화를 피할 수 있는가?

2. 방법론

저자들은 분할 정규화(Divisive Normalization, DN)—피질 회로에서 동적 이득 제어(dynamic gain control)를 위해 관찰되는 정형적인 신경 계산 방식—에서 영감을 얻은, 대수적으로 고립된 최소 모델인 **재귀적 분할 정규화 네트워크 (Recurrent Divisive Normalization Network, RDNN)**를 제안한다.

모델 아키텍처

RDNN은 결합된 확률 미분 방정식(SDE)에 의해 제어되는 두 개의 상호작용하는 인구 집단으로 구성된다:

주요 흥분성 집단 ( $R$ ): 작업 기억 상태를 나타낸다.
보조 억제 풀 ( $G$ ): 동적 이득 제어를 제공한다.

연속 시간 역학은 다음과 같이 정의된다:
$\tau_R dR = \left( -R + \frac{Jf(R) + I(t)}{\eta + G} \right) dt + \sigma_R dW_R$
$\tau_G dG = (-G + Wf(R)) dt + \sigma_G dW_G$

주요 특징:

분할 병목 (Divisive Bottleneck): 억제 상태 $G$ (전체 활성도 $Wf(R)$를 추적함)가 흥분성 구동력을 나누어, 션팅 억제(shunting inhibition)를 구현한다.
생물학적 제약: 파라미터는 데일의 법칙(Dale's law)을 준수하기 위해 양수로 제한되며, 이는 양의 동역학 시스템을 보장한다.
학습: 모델은 두 가지 전형적인 작업에 대해 BPTT(Backpropagation Through Time)를 사용하여 학습된다:
1. 각속도 적분 (Angular Velocity Integration): 입력에 의한 연속 변수의 업데이트.
2. 기억 유도 사카드 (Memory-guided Saccade): 지연 기간 동안 정적인 기억을 자율적으로 유지.

분석 프레임워크

연구는 학습된 표현을 특성화하기 위해 다음과 같은 동역학 시스템 분석을 사용한다:

위상적 분포 (Topological Distribution): 고정점(안정, 불안정, 안장, 한계) 및 리미트 사이클(limit cycles)의 분류.
스펙트럼 특성 (Spectral Properties): 시간 척도 분리 및 정규 쌍곡성을 평가하기 위한 자코비안 고윳값 스펙트럼 분석.
유효 계수 (Effective Rank): 99% 에너지 유효 계수를 통한 재귀적 연결성의 고유 차원 정량화.
절제 실험 (Ablation): 감산 네트워크 (Subtractive Network) (나눗셈을 가산 억제로 대체) 및 명시적 저계수 인수분해 변형과의 비교.

3. 주요 기여

A. 연속 기억을 위한 생물학적 영감 아키텍처

RDNN은 분할 정규화를 포함함으로써 연속적인 작업 기억을 위한 **견고한 느린 매니폴드(robust slow manifolds)**를 학습할 수 있음을 보여준다. 표준 GRU 및 LSTM과 달리, RDNN은 연속적인 표현을 성공적으로 유지하며, 이들과 달리 상태 공간을 이산화하지 않는다.

B. 그래디언트 스케일링을 통한 창발적 저계수 역학

본 논문은 명시적인 저계수 파라미터화 없이도 분할 정규화가 네트워크의 유효 계수를 스스로 압축하는 자기 압축(self-compression) 메커니즘을 유도함을 확인했다.

활성 의존적 그래디언트 감쇄: BPTT 과정에서, 동적 제수( $\eta + G$ )는 네트워크 활성도에 반비례하여 그래디언트 크기를 조절한다. 활성도가 높은 영역에서는 그래디덴트 업데이트가 억제된다.
결과: 이러한 국소적 스케일링은 주요 파라미터 업데이트를 특정 부분 집합으로 제한하여, 경험적으로 네트워크를 타이트한 저차원 부공간(subspace)으로 강제한다.
최적화 이상 현상: 저자들은 명시적으로 가중치를 인수분해하여 저계수 병목을 강제할 경우, 비볼록(non-convex) 스케일링 대칭성으로 인해 최적화를 방해하는 "고계수 수렴 이상 현상(higher-rank convergence anomaly)"이 발생함을 관찰했다. unconstrained RDNN은 이러한 병목 현상 없이 자연스럽게 저계수 역학을 달성한다.

C. 메커니즘적 구분: 분할 억제 vs. 감산 억제

체계적인 절제 실험을 통해 억제 유형의 기능적 틈새를 구분한다:

감산 억제 (Subtractive Inhibition): 입력이 0인 정적 기억 유지(자율적 영역)에는 충분하다. 이는 한계 고정점을 형성할 수 있지만, 시변 입력 하에서는 실패한다.
분할 정규화 (Divisive Normalization): 입력 기반 적분에 필수적이다. 이는 외부 구동 하에서도 매니폴드가 파편화되는 것을 방지하며, 대비 불변성(contrast invariance)과 동적 이득 제어를 제공한다. 이것이 없으면 연속적인 매니폴드는 이산적인 점 어트랙터로 깨진다.

4. 주요 결과

동역학적 위상

RDNN: 느린 채널 역할을 하는 **안장점(saddle points)**과 연속 어트랙터를 근사하는 **한계 고정점(marginal fixed points)**이 지배하는 유동적인 위상 구조를 보인다. 자율적 사카드 작업에서 상태 공간은 엄격한 스펙트럼 갭을 가진 한계 고정점에 의해 압도적으로 지배된다.
베이스라인 (GRU/LSTM): 교대하는 이산적 안정 고정점과 안장점을 형성하여, 연속 변수를 효과적으로 이산화한다. 이들은 기억 유도 사카드 작업에서 연속 어트러터를 유지하는 데 실패한다.

스펙트럼 특성

RDNN은 **삼분할 고윳값 스펙트럼(tripartite eigenvalue spectrum)**을 나타낸다: 0 근처의 클러스터(빠른 소산), 축 밖의 공액 쌍(일시적 안정화), 그리고 단위 원 근처의 경계 공액 쌍(한계 안정 회전 역학).
이 구조는 **정규 쌍곡성(normal hyperbolicity)**을 보장하여, 네트워크가 빠르고 느린 시간 척도를 효과적으로 분리할 수 있게 한다.

유효 계수 및 압축

아선형 스케일링 (Sub-linear Scaling): GRU/LSTM의 유효 계수가 은닉 크기 $H$ 에 따라 선형적으로 스케일링되는 반면(모든 자유도를 활용), RDNN은 매우 낮은 아선형적이고 평탄한 스케일링을 보인다 (예: $H=256$ 일 때, RDNN 계수 $\approx 35$ , 베이스라인 $\approx 240$ ).
초압축 (Hyper-Compression): 명시적으로 저계수 병목( $r=32$ )을 강제하더라도, RDNN은 유효 계수를 더욱 압축하여 $\approx 2\text{--}4$ 수준에 도달한다. 이는 과업의 고유 차원이 극도로 낮음을 시사한다.

절제 실험 결과

각속도 적분 작업에서, 감산 네트워크의 매니폴드는 안정 고정점으로 구성된 이산 공간으로 파편화되어, 더 높은 유효 계수와 중복된 느린 경로를 초래한다.
기억 유도 사카드 작업(입력 0)에서, 두 네트워크는 유사하게 수행하며, 이는 분할 정규화가 특히 시변 입력을 처리하고 어트랙터 파편화를 방지하는 데 결정적임을 확인시켜 준다.

5. 의의 및 주장

본 논문은 분할 정규화가 단순히 감각 이득 제어를 위한 생물학적 부산물이 아니라, 고충실도 연속 표현을 학습하기 위한 핵심적인 계산 메커니즘임을 주장한다.

이론적 통찰: 고전적인 CAN의 미세 조정 취약성과 표준 RNN의 이산화 편향을 극복하며, 생물학적 이득 제어가 어떻게 피질의 재귀적 기억 회로의 위상적 지형을 형성하는지에 대한 통합된 프레임워크를 제공한다.
최적화 관점: 생물학적 영감을 받은 곱셈적 이득 제어가 명시적 저계수 인수분해와 관련된 비볼록 이상 현상을 피하면서, 저차원 인지 표현을 발견하기 위한 최적화 친화적인 경로를 제공함을 시사한다.
기능적 시너지: 피질 회로에서 분할 정규화는 대비 불변적 동적 추적을 담당하고, 감산 메커니즘은 (오차 수정 "잠금" 효과를 통해) 장기적인 노이즈 저항성 안정성을 제공하는 기능적 시너지를 제안한다.

저자들은 현재 모델이 BPTT에 의존하고 있다는 점(생물학적 가소성 결여)과 연속 기억에만 집중하고 있다는 점을 언급하며, 혼합된 이산-연속 표현 및 다중 구성 요소 억제 시너지에 대한 향후 연구 가능성을 열어두며 겸허히 마무리한다.