A Synthesizable RTL Implementation of Predictive Coding Networks

논문 요약: 합성 가능한 RTL 기반 예측 코딩 네트워크 구현

1. 문제 정의 (Problem)

현대 딥러닝 시스템의 학습은 주로 역전파 (Backpropagation) 알고리즘에 의존합니다. 그러나 역전파는 다음과 같은 이유로 하드웨어 기반의 온라인 분산 학습 시스템으로 구현하기 어렵습니다.

• 전역 오류 전파: 네트워크 전체에 걸쳐 오류 정보를 역방향으로 전파해야 하므로 국소적 (Local) 인 업데이트가 불가능합니다.
• 위상 분리 (Phase Separation): 순전파 (Forward), 역전파 (Backward), 가중치 업데이트 단계가 명확히 분리되어 동기화가 필요합니다.
• 중앙 집중형 메모리 의존: 중간 활성화 값 저장 및 대량의 데이터 이동이 필요하여 에너지 효율이 낮고 지연 시간이 발생합니다.
• 생물학적 불일치: 생물학적 신경망은 이산적이고 확률적인 신호를 사용하며 전역적인 조정이 필요하지 않은 반면, 역전파는 연속적이고 결정론적인 그래디언트 계산에 의존합니다.

이러한 한계를 극복하기 위해, 예측 코딩 (Predictive Coding) 이 대안으로 제시됩니다. 예측 코딩은 인과관계와 학습을 계층적 예측 오류의 최소화에서 도출하며, 인접 층 간의 국소적 (Local) 상호작용만으로 학습과 추론이 가능하게 합니다.

2. 방법론 (Methodology)

저자는 예측 코딩의 수학적 원리를 하드웨어에 직접 매핑한 합성 가능한 디지털 RTL (Register Transfer Level) 아키텍처를 제안합니다.

• 핵심 구성 요소: 뉴럴 코어 (Neural Core)
  • 각 뉴럴 코어는 단일 스칼라 단위 (단일 뉴런) 에 해당하며, 자신의 활동 (Activity), 예측 오류 (Prediction Error), 시냅스 가중치를 자체적으로 유지합니다.
  • 인접 층 (위층과 아래층) 과만 하드웨어로 직접 연결된 신호를 통해 통신하며, 공유 메모리나 전역 제어기는 존재하지 않습니다.
• 동작 원리 (Tick-based Discrete-time Update)
  • 시스템은 외부 클록에 동기화된 '틱 (Tick)' 단위로 동작하며, 각 틱마다 고정된 유한 상태 기계 (FSM) 일정을 따릅니다.
  • FSM 단계: PRED (예측 계산) → ERR (오류 계산) → BACKSUM (하향 오류 합산) → BACKVEC (상향 벡터 생성) → WUP (가중치 업데이트) → STATE (상태 업데이트).
  • 수식 구현: 각 뉴런은 자신의 활동, 인접 층의 예측 오류, 그리고 인접 층의 활동만을 사용하여 가중치와 상태를 업데이트합니다.
    • 활동 업데이트: $\Delta x = \gamma (-\epsilon + f'(x) \cdot b)$
    • 가중치 업데이트: $\Delta \Theta = \alpha \cdot \epsilon \cdot f(x_{pre})$
• 지도 학습 및 추론 지원 (Clamping Primitive)
  • 학습과 추론을 구분하기 위해 별도의 명령어 시퀀스가 아닌, 클램핑 (Clamping) 인터페이스를 사용합니다.
  • 입력층과 출력층 (목표값) 에 외부 관측값을 강제로 고정 (Clamp) 시키면, 시스템은 내부적으로 예측 오류를 최소화하며 학습하거나 추론을 수행합니다. 이는 하드웨어 내부 스케줄을 변경하지 않고 경계 조건 (Boundary Conditions) 만으로 제어됩니다.
• 데이터 경로 (Datapath)
  • IEEE-754 단일 정밀도 부동소수점 연산을 사용하며, 순차적 MAC (Multiply-Accumulate) 데이터 경로를 통해 면적 (Area) 을 최적화합니다. fan-in 이 증가함에 따라 사이클 수가 선형적으로 증가하지만, 하드웨어 복잡도는 일정하게 유지됩니다.

3. 주요 기여 (Key Contributions)

1. 합성 가능한 디지털 서브스트레이트: 예측 코딩 학습 동역학을 직접 하드웨어로 실행하는 최초의 완전한 RTL 구현체 제공.
2. 구성 가능한 뉴럴 코어 아키텍처: 순차적 MAC 데이터 경로를 활용한 이산 시간 예측 코딩 업데이트 구현.
3. 균일한 클램핑 인터페이스: 경계 조건을 통해 지도 학습과 추론을 지원하며, 내부 하드웨어 스케줄을 변경하지 않음.
4. 결정론적 RTL 조직: IEEE-754 연산을 기반으로 하며, 예측 코딩 계산과 하드웨어 FSM 단계 간의 직접적인 대응 관계를 확립.
5. 소프트웨어/하드웨어 통합: 학습 규칙이 소프트웨어가 아닌 하드웨어 데이터 경로 자체에 내재되어 있어, "사망하는 계산 (Mortal Computation)" 개념에 부합하는 아키텍처 제시.

4. 실험 결과 (Results)

저자는 Verilator 시뮬레이션을 통해 제안된 아키텍처의 유효성을 검증했습니다.

• 교사 - 학생 회귀 (Teacher-Student Regression):
  • ReLU 은닉층을 가진 3 층 네트워크 (2→4→3) 를 사용하여 고정된 교사 모델을 학습.
  • MSE 는 초기 0.34 에서 빠르게 감소하여 25 번째 에포크에 0.0059 까지 도달. 초기 급격한 감소 후 완만한 수렴 패턴을 보임 (증분적 틱 환경 특성 반영).
• 비선형 회귀 (Hidden Tanh Layer):
  • Tanh 은닉층을 가진 작은 네트워크 (2→2→1) 에서 2 에포크 만에 MSE 가 1.1 에서 0.0047 로 2 개 이상의 차수 감소.
• 아키텍처 확장성 (Scalability):
  • 네트워크 크기 (2→4→3, 4→8→4, 8→16→8) 를 변경해도 뉴럴 코어 FSM 이나 클램핑 로직 수정 없이 동일한 테스트벤치로 학습 가능.
  • 네트워크 크기가 커질수록 잔류 오차 (Residual) 가 약간 증가하지만, 이는 더 많은 틱이 필요함을 의미할 뿐 아키텍처의 근본적인 변경이 필요하지 않음을 입증.
• 결론: 모든 실험에서 전역적인 제어나 메모리 이동 없이 국소적 상태 변수와 인접 층 통신만으로 성공적인 지도 학습이 이루어짐.

5. 의의 및 의의 (Significance)

• 하드웨어 친화적 학습 패러다임: 역전파의 전역적 의존성을 제거하고, 생물학적 신경망과 유사한 국소적, 분산적 학습을 하드웨어에서 직접 구현 가능하게 함.
• 온라인 적응성: 별도의 학습/추론 위상 전환 없이, 경계 조건 변경만으로 실시간 온라인 적응이 가능하여 임베디드 시스템에 적합.
• 구조적 통합: "Mortal Computation" 개념을 지지하며, 알고리즘과 하드웨어가 분리되지 않고 하드웨어 데이터 경로 자체가 학습 과정이 됨. 이는 에너지 효율성과 물리적 구현의 간소화를 가능하게 함.
• 미래 지향성: 노이즈가 많거나 부분적으로 관측되는 환경에서의 추론, 센서 - 모터 제어 등 실시간 처리가 필요한 작업에 예측 코딩 기반 하드웨어가 유리할 수 있음을 시사.

이 논문은 새로운 학습 규칙을 제안하는 것이 아니라, 기존 예측 코딩 이론을 실제 합성 가능한 디지털 하드웨어로 구현하는 구체적인 방법론을 제시했다는 점에서 의의가 큽니다.