Closed-form predictive coding via hierarchical Gaussian filters

기술적 요약: 계층적 가우시안 필터를 통한 폐형 예측 코딩

문제 제기

예측 코딩 (PC) 은 국소적 계산, 헤비안 유사 업데이트, 그리고 전역 오차 신호의 부재라는 특징을 가지며, 인공 신경망 학습을 위한 생물학적 기반 대안으로서 역전파 (BP) 를 대체합니다. 그러나 현대적인 심층 아키텍처로 PC 를 확장하는 작업은 두 가지 치명적인 한계로 인해 방해받고 있습니다:

1. 계산 비효율성: 현재 PC 네트워크는 활성화가 균형 상태에 도달하도록 반복적 경사 하강법에 의존합니다 (일반적으로 샘플당 $T \approx 32\text{--}128$ 단계 필요). 이로 인해 순차적 하드웨어에서 BP 보다 훨씬 느립니다.
2. 성능 저하: 네트워크 깊이가 증가함에 따라 성능이 급격히 저하됩니다.

저자들은 두 가지 문제 모두 기존 심층 PC 구현의 특정 단순화, 즉 정밀도 행렬을 단위 행렬로 고정하는 데서 기인한다고 추적했습니다. 이 단순화는 PC 의 변분 유도에서 요구되는 정밀도 가중 예측 오차를 폐기합니다. 결과적으로 이러한 네트워크는 선형 사례에서 PC 를 독특하게 만드는 특성, 즉 자연 경사 하강법과의 형식적 동등성을 상실하며, 오차 신호를 적응적으로 조정하거나 계층 간 불확실성을 관리하지 못하게 됩니다.

방법론

본 논문은 예측 코딩 네트워크를 **일반화된 계층적 가우시안 필터 (gHGF)**로 재구성할 것을 제안합니다. 이 접근법은 반복적 상태 추론을 폐형, 원샷 변분 업데이트로 대체합니다.

핵심 아키텍처 변화:

• 고정에서 동적 정밀도로: 정밀도를 고정된 하이퍼파라미터 (단위 행렬) 로 취급하는 표준 PC 네트워크와 달리, gHGF 는 정밀도 ($\pi$) 를 1 급의 믿음 상태로 취급합니다. 모델은 각 단계에서 모든 노드에 대한 사후 평균 ($\mu$) 과 정밀도 ($\pi$) 를 모두 추론합니다.
• 변동성 결합: 이 프레임워크는 부모 노드가 자식 노드의 변화율 (로그 분산) 을 조절하는 "변동성 결합"을 도입합니다. 이는 예측 오차가 변동성 예측 오차 (VOPE) 를 통해 정밀도 업데이트를 명시적으로 조절할 수 있게 하며, 이는 표준 가치 결합 PC 에는 존재하지 않는 메커니즘입니다.
• 생성 모델: 네트워크는 믿음 노드의 계층으로 모델링됩니다. 연속 상태 노드는 비선형 가치 결합 (예: ReLU) 에 의해 결정된 평균과 변동성 부모에 의해 결정된 분산을 가진 가우시안으로 생성됩니다. 이진 출력 노드는 로지스틱 시그모이드를 통해 예측을 생성하며, 놀라움은 이진 교차 엔트로피로 측정됩니다.
• 추론 및 학습:
  • 추론: 반복적 완화 대신 변분 에너지의 2 차 확장이 해석적 정상점을 허용하여 추론을 단일 업데이트 스윕으로 축소합니다.
  • 가중치 업데이트: 시냅스 가중치 (가치 결합 강도) 는 국소적 헤비안 규칙을 통해 업데이트됩니다. 저자들은 세 가지 변형을 제안하며, 주요 벤치마크는 정밀도 가중 규칙인 $\alpha^* = \alpha + \eta \delta_\ell g(\mu_{\ell+1}) \cdot \pi_\ell$를 사용합니다. 이는 추론된 정밀도를 자연 경사 가중치로 통합합니다.

주요 기여

1. PC 의 재구성: 저자들은 반복적 추론을 폐형 변분 업데이트로 대체하는 심층 PC 네트워크를 계층적 가우시안 필터로 재구성했습니다.
2. 정밀도 학습: 정밀도가 고정된 하이퍼파라미터로 취급되는 것이 아니라, 계층에 결합된 사후 믿음으로서 온라인으로 내생적으로 추론될 수 있음을 입증했습니다.
3. 헤비안 호환 업데이트: 이 방법은 정밀도를 자연 경사 가중치로 통합하는 가중치 업데이트 규칙을 도출하여 생물학적 타당성을 유지합니다.
4. 성능 벤치마크: 이 접근법은 FashionMNIST 에서 최첨단 수렴을 달성하며, 벽시계 비용 측면에서 역전파에 근접하면서도 더 적은 에포크로 수렴합니다.

실험 결과

저자들은 FashionMNIST 데이터셋에서 역전파로 학습된 다층 퍼셉트론 (MLP) 과 바니언 예측 코딩 네트워크 (PCN) 에 대해 제안한 방법 (HGF) 을 평가했습니다.

• 직접 비교 (FashionMNIST): 다양한 깊이 ($d \in \{2, 8\}$) 와 폭 구성에서 HGF 는 바니언 PCN 보다 더 빠르게 수렴하고 더 높은 테스트 정확도를 달성했습니다. BP 는 여전히 경쟁력이 있었지만, HGF 는 훨씬 적은 에포크로 BP 의 성능에 근접했습니다.
• 온라인 학습: 엄격한 온라인 환경 (배치 크기 1) 에서 HGF 는 BP 와 PCN 기준선 모두보다 낮은 정상 상태 오차로 수렴했습니다.
• 데이터 효율성: 작은 데이터셋 부분집합 ($n \in \{60, 3000\}$) 에서 HGF 는 두 기준선 모두를 능가하여 우수한 데이터 효율성을 입증했습니다.
• 개념 변화: 클래스 레이블이 주기적으로 치환되는 비정상 환경에서 HGF 는 기준선에 비해 더 낮은 정상 상태 오차를 유지하고 드리프트 사건으로부터 더 빠르게 회복했으며, 정밀도를 재설정하지 않고 축적된 믿음 상태를 활용했습니다.
• 정밀도 학습 역학: 합성 나선 분류 작업에서 변동성 결합 (정밀도 학습) 이 있는 네트워크는 기대 정밀도의 계층적 증가를 보이며 학습과 추론을 효과적으로 게이트했습니다. 그러나 저자들은 극단적인 깊이 (깊이 16) 에서는 고정 정밀도 기준선이 변동성 결합 변형보다 여전히 우세했다고 지적하며, 정밀도 학습이 오차 신호를 안정화시키지만 결과적인 계층 간 정밀도 불균형은 추가적인 조사가 필요하다고 언급했습니다.

중요성 및 주장

본 논문은 온라인 정밀도 학습을 통한 폐형 변분 추론이 심층 예측 코딩 네트워크를 위한 실행 가능한 기반을 제공함을 확립합니다. 반복적 완화와 전역 오차 신호의 필요성을 해결함으로써, 이 방법은 PC 의 생물학적 및 해석적 이점을 유지하면서 주요 확장성 병목 현상을 해결합니다.

저자들은 이론적 PC 와 실용적 심층 학습 간의 격차를 좁히는 한 걸음으로 자신의 기여를 겸손하게 규정합니다. 그들은 다음과 같은 점을 인정합니다:

• 현재 구현은 배치가 아닌 샘플을 순차적으로 처리하며, 이는 BP 와의 나머지 벽시계 격차의 대부분을 설명합니다.
• 이 프레임워크는 아직 합성곱 아키텍처나 대규모 자연 이미지 데이터셋 (예: CIFAR, ImageNet) 으로 확장되지 않았습니다.
• 변분 유도 (동적 정밀도) 의 충실도와 확장성을 위한 공학적 선택 (예: ePC, $\mu$PC) 간의 트레이드오프는 추가적인 통제된 비교가 필요합니다.

궁극적으로 이 작업은 동적 정밀도 학습이 심층 PC 에 필수적이며, 불확실성에 대한 원칙적인 핸들을 제공하고 반복적 추론의 계산 오버헤드 없이 헤비안 호환 가소성을 가능하게 한다고 주장합니다.