기술 요약: 증강 라그랑주 예측 코딩 (PC-ALM)

1. 문제 정의

현대 딥러닝은 역전파(Backpropagation, BP)에 의존하고 있는데, 이는 오차 변수를 동시에 생성하고 정교하게 조율된 역방향 패스를 요구하는 전역적 알고리즘이다. 이러한 메커니즘은 생물학적 회로가 구현할 수 없는 방식이기에 생물학적으로 불가능하다(biologically implausible). 따라서 연구자들은 국소 학습 대안(local learning alternatives), 구체적으로는 **예측 코딩(Predictive Coding, PC)**에 주목해 왔다.

PC 네트워크에서 학습은 국소 에너지 함수(레이어 간 제곱 오차의 합)를 최소화하는 것으로 프레임화된다. PC는 가중치와 활성화를 업데이트하기 위한 레이어 국소적 동역학 시스템을 제공하지만, 결정적인 한계가 있다. 즉, 깊거나 좁은 네트워크에서 네트워크를 통해 전파되는 크레딧 신호(gradient)가 실제 BP 그래디언트와 어긋나는 경우가 많다. 이러한 불일치는 특히 깊고 좁은 영역에서 성능 저하를 초래한다. 또한, 표준 PC는 레이어 제약 조건에 대해 이차 펜널티 완화(quadratic penalty relaxation)에 의존하므로, 그 평형 상태가 반드시 정확한 BP 그래디언트를 산출한다는 보장이 없다.

2. 방법론: PC-ALM

저자들은 증강 라그랑주(Augmented Lagrangian, AL) 및 **승수법(Method of Multipliers, MM)**의 맥락에서 PC를 재구성하는 **증강 라그angu주 예측 코딩(PC-ALM)**을 소개한다.

핵심 공식

표준 PC 에너지(이차 펜널티 완화)를 최소화하는 대신, PC-ALM은 원래의 제약 최적화 문제에 대한 **증강 라그랑주(Augmented Lagrangian)**를 최적화한다:
$$\mathcal{L}_\rho(h, \theta, \lambda) = \frac{1}{2}\|y - W_L h_{L-1}\|^2 + \sum_{i=1}^{L-1} \lambda_i^\top (h_i - \sigma(W_i h_{i-1})) + \frac{\rho}{2} \sum_{i=1}^{L-1} \|h_i - \sigma(W_i h_{i-1})\|^2$$
여기서 $\lambda_i$는 레이어 일관성 제약 조건 $h_i = \sigma(W_i h_{i-1})$와 관련된 라그랑주 승수(dual variables)이다.

알고리즘 메커니즘

PC-ALM은 표준 유한 추론(finite-inference) PC와 동일한 추론 예산(단계 수 $T$)으로 작동하면서 dual ascent 루프를 도입한다:

1. Primal Step (Inference): 활성값 $h$는 $\mathcal{L}_\rho$에 대한 경사 하강법을 통해 업데이트된다. 결정적으로, 레이어 $i$에서의 그래디언트는 dual 변수로부터 오는 항을 포함한다: $\nabla_{h_i} \mathcal{L}_\rho = (\rho r_i + \lambda_i) - W_{i+1}^\top \dots (\rho r_{i+1} + \lambda_{i+1})$, 여기서 $r_i$는 예측 오차이다. 이는 예측 타겟을 $-\lambda_i/\rho$만큼 이동시킨다.
2. Dual Step: Primal 업데이트 직후, 승수(multipliers)는 제약 위반(residual)을 축적하도록 업데이트된다: $\lambda_i \leftarrow \lambda_i + \alpha r_i$.
3. Weight Update: $T$ 단계 이후, 가중치는 이제 $\lambda$를 통해 통합된 오차의 이력을 포함하는 증강 라그랑주의 그래디언트를 사용하여 업데이트된다.

주요 동역학적 차이점

• 재귀적 동역학 (Recurrent Dynamics): PC의 확산적 열 흐름(diffusive heat-flow) 동역학과 달리, PC-ALM은 primal-dual 상호작용에 의해 유도되는 **진동 과도 현상(oscillatory transients)**을 도입한다.
• 크레딧 전파 (Credit Propagation): Dual 변수 $\lambda$는 예측 오차의 "지연된 적분기(lagged integrator)" 역할을 한다. 저자들은 이것이 "탄도적(ballistic)" 크레딧 전파를 생성한다고 관찰했다. 이는 신호가 출력 근처에서 감쇠하는 PC의 느린 확산적 전파와 대조적으로, 신호가 깊은 네트워크 전체에 걸쳐 균등하고 빠르게 전달되게 한다.

3. 주요 기여

1. 선형 영역에서의 이론적 등가성: 저자들은 선형 PC 네트워크에서 PC-ALM이 dual 변수 $\lambda$가 정확히 **BP 어드조인트(adjoints)**가 되는 평형 상태로 수렴함을 증명한다. 따라서 평형 상태에서의 가중치 업데이트는 완전히 레이어 국소적 업데이트를 통해 분배되며 BP와 동일하다.
2. 유한 추론 변형 모델: 비선형 네트워크에서 정확한 수렴이 보장되지 않을 수 있음을 인지하여, 저자들은 표준 PC와 동일한 계산 예산 내에서 작동하는 승수법의 유한 추론 변형 모델을 개발했다.
3. PC-BP 격차 해소: 실험적으로 PC-ALM은 비선형 네트워크(깊이 128까지)의 모든 너비-깊이 영역에서 BP 성능과 일치하는 성능을 보여준다. 여기에는 표준 PC가 크게 성능이 저하되는 깊고 좁은 네트워크가 포함된다.
4. 동역학적 통찰: 논문은 PC-ALM의 안정성 조건을 규명하고 크레딧 전파의 "탄도적" 특성을 식별하여, 구성 신호($\lambda + \rho r$)가 PC에서 보이는 감쇠와 달리 레이어 전체에 균등하게 분포됨을 보여준다.

4. 실험 결과

저자들은 다양한 너비($N$)와 깊이($L$), 그리고 활성화 함수(Identity, Tanh, ReLU)를 가진 잔차 MLP(Residual MLP)를 사용하여 이미지 분류 작업(Fashion-MNIST, MNIST)에 대해 PC-ALM을 평가했다.

• 성능: PC-ALM은 추론 예산이 $T = 2L$로 설정되었을 때, 모든 $N$과 $L$ 범위에서 BP 정확도와 일치한다. 반면, 표준 PC의 성능은 깊이가 증가함에 따라, 특히 좁은 네트워크에서 저하된다.
• 강건성: PC-ALM은 다양한 파라미터화 영역(표준에서 평균장(mean-field), lazy에서 rich까지)에 걸쳐 안정적이며 BP 성능과 일치하는 반면, 표준 PC는 "rich" 파라미터화 영역에서 뒤처진다.
• 크레딧 정렬 (Credit Alignment): PC-ALM 그래디언트와 BP 그래디언트 사이의 코사인 유사도 분석 결과, PC-ALM은 표준 PC가 BP 정렬에 도달하는 데 필요한 것보다 훨씬 적은 추론 단계만으로도 높은 정렬도(예: >0.9)를 달성한다.
• 변곡점: BP로의 정렬은 추론 단계가 대략 $L/\sqrt{\alpha}$에 비례하는 지점에서 예측 가능한 "스냅(snap)" 또는 변곡점을 보인다. 이는 빠른 크레딧 전파 메커니즘을 시사한다.

5. 의의 및 주장

본 논문은 PC-ALM이 생물학적으로 타당한 국소 학습과 BP의 전역적 최적성 사이의 간극을 메우는 예측 코딩의 일반화라고 주장한다.

• 생물학적 타당성: 레이어 국소적 업데이트를 유지하고 전역적 역방향 패스를 피함으로써, PC-ALM은 생물학적으로 타당한 학습의 후보로 남으면서도 기존 PC 형식의 성능 한계를 극복한다.
• 정렬 메커니즘: 제약 오차를 dual 변수(라그랑주 승수)로 축적하는 것이 국소 동역학을 전역 그래디언트와 정렬시키는 핵심 메커니즘임을 시사한다. 이는 분산 시스템이 순수하게 국소적인 동역학을 사용하여 어떻게 BP와 같은 크레딧 신호를 계산하고 전파할 수 있는지에 대한 이론적 틀을 제공한다.
• 효율성: PC-ALM은 BP 정렬을 위해 PC 네트워크를 넓히는 것보다 더 효율적인 것으로 제시된다. 이는 메모리 비용 측면에서 네트워크를 넓히는 것과 비교했을 때, 적절한 추가 계산(dual 업데이트)만으로 고정된 너비에서 높은 그래디언트 정렬을 달 p성한다.

저자들은 PC-ALM이 비선형 제약 최적화의 수렴 문제를 해결하지는 못할지라도, 예측 코딩의 국소적 특성을 유지하면서 BP의 실용적이고 안정적이며 고성능인 대안을 제공한다고 결론짓는다.