🧠 neuroscience

Predictive learning with local plasticity in excitatory-inhibitory networks

이 논문은 순수하게 국소적인 가소성, 특히 BCM 유사 규칙을 가진 순환 흥분성-억제성 네트워크가 일관성 매니폴드(consistency manifold) 상에서 가중치를 유지함으로써 예측적 추론을 달성하고 희소한 시공간적 특징을 학습할 수 있음을 입증하며, 이를 통해 명시적인 오차 표현을 요구하지 않고도 예측 코딩을 생물학적으로 타당한 회로 기제와 연결한다.

원저자: Reis Aguiar, H., Hennig, M. H.

게시일 2026-09-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Reis Aguiar, H., Hennig, M. H.

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

인간의 뇌는 수십억 개의 뉴런이 거대한 네트워크를 이루어 끊임없이 신호를 주고받으며 세상을 이해하기 위해 연결되어 있습니다. 이러한 활동의 중심에는 두 가지 상반된 힘이 있습니다. 바로 뉴런이 발화하도록 독려하는 흥분성 신호와, 뉴런을 진정시키는 억제성 신호입니다. 수십 년 동안 과학자들은 이 단순한 국소적 상호작용이 어떻게 다음에 일어날 일을 예측하는 것과 같이 복잡한 능력을 가능하게 하는지 궁금해해 왔습니다. '예측 부호화(predictive coding)'라고 불리는 유력한 이론 중 하나는, 뇌가 항상 감각 입력의 원인을 추측하고 있으며 오직 '놀라움(surprise)'에만 주의를 기울인다고 제안합니다. 그러나 중요한 수수께끼가 남아 있었습니다. 인접한 세포들의 즉각적인 활동에 기반하여 연결을 조정할 수밖에 없는 생물학적 네트워크가, 어떻게 오류를 계산하는 중앙 컴퓨터 없이도 이 정교한 추측 게임을 수행할 수 있는가 하는 점입니다.

에든버러 대학교의 새로운 연구는 특정 유형의 신경 회로가 오직 국소적인 규칙만을 사용하여 미래를 예측하는 법을 배울 수 있음을 보여줌으로써 설득력 있는 해답을 제시합니다. 연구진은 흥분성 뉴런이 신호를 앞으로 보내고, 억제성 뉴요이 피드백을 제공하여 시스템을 조절하는 네트워크의 컴퓨터 모델을 구축했습니다. 그들은 이 네트워크가 효과적으로 학습하기 위해서는 뉴런 사이의 연결이 매우 특정한 균형을 유지해야 한다는 것을 발견했습니다. 만약 흥분성 연결이 이 균형에서 너무 멀어지면, 네트워크는 데이터의 실제 패턴을 학습하는 데 실패합니다. 연구팀은 실제 동물의 뇌에서 관찰되는 것과 유사한 특정 학습 규칙이 네트워크를 이 '스위트 스폿(sweet spot, 최적의 지점)'에 자연스럽게 머물게 한다는 것을 찾아냈습니다. 이 규칙을 통해 네트워크는 선이나 모양 같은 정적인 이미지로부터 학습할 수 있을 뿐만 아니라, 움직이는 비디오를 통해서도 움직임의 방향을 예측하고 입력이 사라졌을 때 시퀀스의 누락된 부분을 채워 넣을 수 있습니다.

연구진은 먼저 교차된 막대나 자연 사진의 조각과 같은 단순한 정적 이미지를 통해 모델을 테스트했습니다. 그들은 네트워크가 무엇을 찾으라고 지시받지 않고도 선이나 가장자리와 같은 기본 구성 요소로 이러한 복잡한 이미지를 분해하는 법을 배울 수 있는지 확인하고자 했습니다. 그들은 네트워크가 연결을 조정하는 여러 가지 방법을 비교했습니다. 뉴런 사이의 단순한 동시 발생(coincidence)에 의존하는 방식 중 일부는 네트워크를 최적의 균형에서 벗어나게 하여 무질서하고 부정확한 학습으로 이어졌습니다. 그러나 현재의 활동이 예측과 얼마나 잘 일치하는지에 따라 연결을 조정하는 규칙을 사용했을 때, 네트워크는 완벽한 균형을 유지했습니다. 저자들이 '예측 규칙(predictive rule)'이라 부르는 이 특정한 규칙은 억제성 피드백이 입력의 노이즈를 상쇄하는 데 필요한 것과 항상 일치하도록 보장했습니다. 그 결과, 네트워크는 이미지를 희소한(sparse) 특징 집합으로 표현하는 법을 배웠는데, 이는 한 번에 몇 개의 뉴런만이 그림을 설명하기 위해 발화하는 방식으로, 포유류의 시각 피질이 작동하는 방식과 매우 유사합니다.

연구는 모델에 '시간'이라는 층위를 추가함으로써 더 나아갔습니다. 현실은 단순히 정지 영상의 연속이 아닙니다. 그것은 연속적인 사건의 흐름입니다. 이를 모사하기 위해 연구진은 네트워크의 현재 상태가 미래 상태에 영향을 미칠 수 있는 메커니즘을 추가하여, 일종의 기억을 생성했습니다. 움직이는 막대 영상을 통해 이 업데이트된 네트워크를 훈련시켰을 때, 네트워크는 물체의 형태뿐만 아니라 그것이 이동하는 방향까지 감지하는 법을 배웠습니다. 놀랍게도 네트워크는 시퀀스를 완성하는 능력을 발달시켰습니다. 만약 움직이는 막대의 영상이 갑자기 빈 화면으로 바뀌더라도, 네트워크는 동일한 방향으로 막대가 움직이고 있다고 계속해서 "보고" 있으며, 학습한 내용을 바탕으로 그 간극을 채워 넣었습니다. 이는 네트워크가 움직임의 규칙을 내면화했으며, 자신의 마음속에서 그 규칙을 앞으로 실행할 수 있음을 시사하며, 이는 세상을 항해하는 데 필수적인 능력입니다.

모델을 더욱 현실적으로 만들기 위해, 연구팀은 학습 단계 사이의 인위적인 휴지기를 제거하고 살아있는 뇌처럼 연속적인 데이터 스트림으로부터 학습하게 했습니다. 이 연속 버전에서 네트워크는 날카롭고 경직된 전환 대신 매끄럽고 곡선적인 활동 패턴을 발달시켰습니다. 연구진이 학습을 마친 후 무작위 노이즈로 이 네트워크를 자극했을 때, 네트워크는 이전에 보았던 시퀀스를 자발적으로 재생했습니다. 그것은 마치 과거의 사건을 기억하는 것처럼 동일한 활동 패턴을 순환했습니다. 이러한 패턴은 네트워크의 활동 공간 내에서 고리 모양의 구조를 형성했는데, 이 형태는 방향과 같은 단일 값을 매우 정밀하게 표현할 수 있게 합니다. 이러한 행동은 동물이 휴식 중에 자신의 경로를 재현하는 뇌의 해마에서 일어나는 현상과 닮아 있으며, 이는 동일한 국소적 학습 규칙이 예측과 기억 모두의 기초가 될 수 있음을 시사합니다.

이 연구는 뇌가 기대하는 것과 실제로 보는 것 사이의 차이를 계산하기 위해 특별한 '오류 뉴런(error neurons)'이 필요하다는 오랜 견해에 도전합니다. 대신, 이 연구는 뇌가 자신의 내부 예측과 들어오는 신호 사이의 불일치를 직접 사용하여 연결을 조정할 수 있다고 제안합니다. 연구진은 흥분성 회로와 억제성 회로가 긴밀하고 일관된 관계를 유지함으로써, 별도의 오류 신호 없이도 네트워크가 복잡한 추론을 수행할 수 있음을 보여주었습니다. 이는 흥분성 연결의 가소성(plasticity), 즉 변화할 수 있는 능력이 예측의 핵심임을 암시합니다. 이 연구는 국소적인 생물학적 학습 규칙과 예측이라는 전역적인 지능적 행동 사이의 강력한 이론적 연결 고리를 제공하며, 미래를 예측하는 뇌의 능력이 그 회로들이 균형을 유지하는 방식의 자연스러운 결과임을 시사합니다.

기술 요약: 흥분성-억제성 네트워크에서의 국소 가소성을 이용한 예측 학습

문제 정의

예측 코딩(Predictive coding)은 신경 회로가 내부 생성 모델을 통해 감각 입력의 잠재적 원인을 추론한다고 가정함으로써, 피질 계산을 이해하기 위한 규범적 프레임워크를 제공한다. 그러나 생물학적으로 타당한 네트워크, 구체적으로 **국소 가소성(local plasticity)**을 가진 재귀적 흥분성-억제성(E-I) 회로가 어떻게 예측적 추론과 표현 학습을 지원할 수 있는지 설명하는 데에는 여전히 큰 간극이 존재한다. 고전적인 예측 코딩 구현은 대칭적 피드백 가중치, 명시적인 오차 뉴런 또는 비국소적 업데이트와 같은 비생물학적 메커니즘에 의존하는 경우가 많다. 이전 연구들이 Hebbian/anti-Hebbian 네트워크가 요인화된 표현(factorized representations)을 학습할 수 있음을 보여주었지만, 이러한 타당한 국소 메커니즘과 예측 코딩 이론의 원칙 사이의 정확한 분석적 연결은 결여되어 있었다. 본 연구는 순수하게 국소적인 가소성을 가진 E-I 네트워크가 명시적인 오차 표현 없이도 예측적 추론을 수행할 수 있는지에 대한 질문을 다룬다.

방법론

저자들은 예측 코딩 목적 함수로부터 유도된 국소 가소성 규칙에 의해 학습이 주도되는 재귀적 E-I 회로를 제안한다.

이론적 프레임워크

모델은 감각 데이터 $x$ 가 선형 생성 모델 $x = Dy + \epsilon$ 과 요인화된 사전 확률 $p(y)$ 를 통해 잠재 원인 $y$ 로부터 생성된다고 가정한다. 학습 목표는 결합 에너지 함수(음의 로그 가능도)를 최소화하는 것이다:
$E(y, x; D) = \frac{1}{2}\|x - Dy\|^2_2 + \phi(y)$
여기서 $\phi(y)$ 는 사전 에너지를 나타낸다.

저자들은 다음과 같은 Hebbian/anti-Hebbian 네트워크 구조를 도입한다:

순방향 흥분성 가중치 ( $W$ ): $D^\top$ 를 근사한다.
재귀적 억제성 가중치 ( $M$ ): 잠재 코드의 2차 모멘트 $E[yy^\top]$ 를 근사한다.

일관성 매니폴드 (The Consistency Manifold)

이 논문의 핵심적인 이론적 기여는 일관성 매니폴드의 식별이다. 네트워크 역학이 예측 코딩 목적 함수와 동일해지기 위해서는 재귀적 억제가 목적 함수에 의해 요구되는 억제와 일치해야 한다. 이를 위해 $M \approx WW^\top$ 라는 조건이 필요하다.
저자들은 네트워크가 최적으로 학습하기 위해서는 가중치가 피드백 예측이 억제 역학을 예측하는( $Wx = y$ ) 매니폴드 위에 유지되어야 함을 도출했다. 만약 이 조건이 위반되면, 잠재 코드는 섭동된 에너지 경관(perturbed energy landscape) 하에서 추론되며, 이는 최적화되지 않은 학습으로 이어진다.

가소성 규칙

본 논문은 흥분성 가중치 $W$ 에 대해 여러 가지 국소 가소성 규칙을 비교한다:

예측 규칙 (Predictive Rule): 가우시안 사전 확률 하에서 일관성 조건을 정확하게 유지하도록 유도되었다. 업데이트는 일관성 오차 $e = y - Wx$ 에 비례한다:
$W \leftarrow W + \eta(y - Wx)x^\top$
이 규칙은 일관성 제약이 충족될 때 소멸하며, 가중치를 매니폴드 상에 유지시킨다.
Hebbian 규칙 (가중치 감쇠 포함): $W \leftarrow W + \eta(yx^\top - W)$ . 저자들은 이 규칙이 단일 샘플에 대해 0이 아닌 성분인 $W(xx^\top - I)$ 를 포함하는 보정 항 때문에 가중치를 일관성 매니폴드에서 벗어나게 만든다는 것을 보여준다.
BCM-유사 규칙: 활동 의존적 임계값을 가진 Bienenstock-Cooper-Munro 규칙이다.
Oja 및 Földiák 규칙: 정규화 및 탈상관화를 위한 표준 대안들이다.

실험 설정

저자들은 다음 작업에 대해 이 규칙들을 테스트했다:

선형 가우시안 케이스: 백색화되지 않은 2D 가우시안 데이터와 crossed-bars 데이터셋을 사용하여 백색화와 일관성을 검증했다.
비가우시안 케이스: 지수적 사전 확률(직교화 필요)을 가진 crossed-bars, MNIST, ImageNet 패치를 사용한 희소 코딩(sparse coding) 작업.
시간적 역학: 순차적 데이터를 모델링하기 위해 지연된 재귀적 흥분( $P$ )을 도입함 (움직이는 바, 움직이는 MNIST, CATCAM 자연 비디오).
연속 모델: 비동기적 업데이트와 Dale의 원리를 구현하며, 별도의 흥분성 및 억제성 인구 집단을 사용하는 시간 연속적 E-I 네트워크.

주요 결과

1. 분석적 연결 및 예측 규칙

저자들은 E-I 회로에서 학습을 위해서는 가중치가 일관성 매니폴드에 머물러야 함을 확립한다. 예측 규칙은 가우시안 사전 확률에 대해 이 조건을 정확하게 유지하도록 분석적으로 입증되었다. 반면, 고전적인 Hebbian 규칙은 억제 가중치를 적응시키는 데는 최적이지만, 흥분성 가중치를 매니폴드에서 밀어내어 드리프트(drift)와 최적화되지 않은 솔루션을 초래한다.

2. 비가우시안 사전 확률 하에서의 학습

비가우시안(희소) 사전 확률 하에서는 비선형성과 가중치 제약으로 인해 일관성 조건을 정확하게 만족할 수 없다. 그러나 경험적 결과는 다음과 같다:

예측 규칙과 BCM-유사 규칙은 가중치를 일관성 매니폴드에 충분히 가깝게 유지하여 최적의 희소하고 요인화된 특징(예: 에지 검출기)을 학습한다.
이 규칙들은 Hebbian, Oja, 또는 Földiák 규칙보다 더 낮은 재구성 오차와 더 나은 잠재 코드 탈상관화를 보여준다.
슬라이딩 임계값과 사후 활동의 차이에 의존하는 BCM 규칙은 예측 규칙의 동작을 효과적으로 근사한다.

3. 시공간 학습 및 시퀀스 완성

순차적 의존성을 모델링하기 위해 재귀적 흥분( $P$ )을 추가함으로써:

네트워크는 시공간적 요인을 학습하여, 자연 비디오(CATCAM)로부터 방향 선택성을 발달시킨다.
네트워크는 부분적으로 관찰된 시퀀스를 완성하는 능력을 습득한다. 입력이 가려졌을 때, 재귀적 역학이 학습된 움직임 패턴을 지속한다.
두 규칙 모두 시퀀스 완성 작업과 방향 선택성 지수에서 표준 Hebbian 규칙보다 우수한 성능을 보인다.

4. 연속 역학 및 어트랙터 구조

비동기적 업데이트를 갖춘 연속 시간 모델에서:

네트워크는 **저차원 어트랙터 유사 구조(attractor-like structures)**를 발달시킨다.
학습된 시공와열적 시퀀스를 재생하기 위해 훈련된 네트워크를 노이즈로 자극하면 **리플레이(replay)**가 유도된다.
활동 궤적은 저차원 공간에서 링 형태의 구조를 형성하며, 이는 해마 및 시각 피질에서 관찰되는 신경 집단 역학과 일치한다.
모델은 이산적인 요인 검출기보다는 부드러운 튜닝 곡선을 발달시켜 생물학적 신경 반응을 닮아간다.

의의 및 주장

본 논문은 규범적 예측 코딩 이론과 생물학적으로 타당한 국소 회로 메커니즘 사이의 간극을 메운다고 주장한다. 주요 기여는 다음과 같다:

명시적 오차 표현의 부재: 본 연구는 예측적 추론이 명시적인 "오차 뉴런"이나 대칭적 피드백을 필요로 하지 않음을 보여준다. 대신, 예측 오차는 재귀적으로 추론된 활동과 순방향 예측 사이의 불일치로서 국소적인 시냅스 업데이트 규칙에 흡수된다.
BCM의 규범적 역할: 흥분성 시냅스에 대한 BCM-유사 가소성의 규범적 역할을 입증하였으며, 이는 일관성 매니폴드를 유지하는 데 필요한 최적의 예측 규칙을 효과적으로 근사함을 보여준다.
국소 회로 최적화: 국소 가소성 규칙이 어떻게 E-I 회로를 스스로 조직하여 확률적 추론과 표현 학습을 수행할 수 있는지에 대한 메커니즘을 제공하며, 시냅스 역학을 생성 모델의 최적화와 직접 연결한다.
실험적 예측: 저자들은 흥분성 가소성이 재귀적으로 추론된 활동과 순방향으로 예측된 활동 사이의 불일치에 의존해야 한다고 제안한다. 또한 재귀적 억만을 조작하면 흥분성 가소성의 크기나 부호, 그리고 학습된 표현의 희소성이 변할 것이라고 제안하며, 이는 감각 시스템에 대해 테스트 가능한 가설을 제시한다.

저자들은 한계점에 대해 겸허한 태도를 유지하며, 점 추정(MAP) 근사가 모호한 입력에 어려움을 겪을 수 있고, 비가우시안 또는 연속 환경에서는 이상적인 조건(백색화된 입력, 중심화된 데이터)이 완벽히 충족되지 않아 예측 코딩 에너지와 정확히 일치하지 않을 수 있음을 언급한다. 그럼에도 불구하고, 이 연구 결과는 국소 가소성이 어떻게 피질 계산을 지원하는지에 대한 통합된 관점을 제공한다.