Equilibrium Propagation for Non-Conservative Systems

본 논문은 비가역적 상호작용을 고려하도록 학습 단계의 역학을 수정함으로써 임의의 비보존계(non-conservative systems)로 평형 전파(Equilibrium Propagation)를 확장하는 프레임워크를 제안하며, 이를 통해 비용 함수의 기울기를 정확하게 계산하고 이전 방법들보다 우수한 성능을 달성한다.

핵심

개요: "역전파" 없이 기계 가르치기

당신이 로봇에게 사진 속의 고양이를 인식하도록 가르치려고 한다고 상상해 보세요. 오늘날 우리가 사용하는 표준적인 방식(이를 "역전파(Backpropagation)"라고 부릅니다)에서는, 로봇이 사진을 보고, 추측을 내놓은 뒤, 그것이 틀렸다는 것을 깨달으면, 자신의 실수를 바로잡기 위해 뇌의 모든 층을 거슬러 올라가며 전체적으로 "수정 신호"를 보냅니다.

문제는 이 "역전파(backward pass)" 과정이 실제 물리적인 기계(생물학적 뇌나 실리콘 칩 같은)에서는 구현하기 매우 어렵다는 점입니다. 왜냐하면 정보를 시간적으로 역행하거나 먼 거리를 즉각적으로 전달해야 하기 때문입니다.

**평형 전파(Equilibrium Propagation, EP)**는 더 똑똑하고 물리적인 학습 방식입니다. 역전파 대신, 로봇은 단순히 "안정된 상태(평형 상태)"로 이완됩니다. 로봇은 두 가지 약간 다른 시나리오를 시도합니다:

1. 자유 상태(Free State): 로봇이 사진을 보고 자연스럽게 추측합니다.
2. 넛지 상태(Nudged State): 누군가가 로봇의 최종 추측을 정답 쪽으로 살짝 밀어줍니다.

로봇이 이 두 가지 안정된 상태 사이에서 어떻게 변했는지를 비교함으로써, 다음번에 더 잘할 수 있도록 내부 설정을 어떻게 조정해야 하는지 알아낼 수 있습니다. 이는 마치 "내가 생각한 것"과 "내가 밀려난 곳" 사이의 차이를 느낌으로써 배우는 것과 같습니다.

문제점: "대칭성" 규칙

이 학습 방법의 원래 버전(EP)은 **대칭성(Symmetry)**이라는 엄격한 규칙을 따르는 시스템에서만 작동했습니다.

평형 상태를 유지하는 시스템을 매끄러운 언덕 위의 공이라고 생각해 보세요. 공이 A 지점에서 B 지점으로 구른다면, 그 경로는 언덕의 모양에 의해 결정됩니다. 경로를 반대로 돌려도 물리학적 법칙은 동일합니다. 컴퓨터 뇌에서도 이는 뉴런 A가 뉴런 B와 소통한다면, 뉴런 B도 뉴런 A와 정확히 같은 강도로 소통해야 함을 의미합니다.

하지만 현실 세계의 많은 시스템(그리고 현대의 AI 모델들)은 이런 매끄러운 언덕 같지 않습니다. 그것들은 조류가 흐르는 강이나 일방통행 도로와 같습니다.

• 비보존 시스템(Non-Conservative Systems): 정보가 한 방향으로 흐릅니다 (데이터가 입력 → 은닉 → 출력으로 흐르지만, 결코 역방향으로는 흐르지 않는 피드포워드 네트워크처럼).
• 문제점: 기존의 EP 방식은 이러한 시스템에서 작동하지 않습니다. 이 방식은 "강" 위에서 "언덕"의 수학을 적용하려 하기 때문에, 학습 계산이 틀려지게 됩니다. 로봇은 잘못된 교훈을 얻게 됩니다.

해결책: 두 가지 새로운 방법

저자들은 이 "평형 전파" 방식이 일방향적인 비대칭 시스템에서도 작동할 수 있도록 두 가지 새로운 방법을 제안합니다.

1. 비대칭 EP (AsymEP): "국소적 수정"

당신이 저울의 균형을 맞추려 하는데, 누군가 계속해서 한쪽 편에 몰래 무게를 추가하고 있다고 상상해 보세요. 기존 방식은 이를 무시하고 그냥 균형을 맞추려 하기 때문에 실패합니다.

AsymEP는 저울에 아주 작은 "카운터 웨이트(대항 무게)"를 추가합니다.

• 작동 원 원리: "넛지" 단계(로봇이 정답 쪽으로 밀려지는 단계) 동안, 알고리즘은 특별한 수정 항을 추가합니다. 이 항은 연결이 얼마나 "불균형"하거나 "비대칭"인지를 바탕으로 계산됩니다.
• 비유: 이것은 마치 타이어가 펑크 난 자전거를 타는 사이클리스트와 같습니다. 기존 방식은 그저 페달을 더 세게 밟으라고만 말합니다. AsymEP는 핸들에 작은 국소적 조정을 더해 펑크 난 타이어를 보완함으로써, 사이클리스트가 똑바로 주행하며 올바르게 배울 수 있게 해줍니다.
• 결과: 이를 통해 연결이 일방향이더라도 시스템이 정확한 그래디언트(올바른 교훈)를 계산할 수 있게 합니다.

2. 다이아딕 EP (Dyadic EP): "두 개의 뇌" 접근법

AsymEP가 국소적인 수정이라면, Dyadic EP는 더 큰 구조적 변화입니다.

• 비유: 당신에게 똑같이 생긴 두 개의 복사본이 나란히 실행되어야만 작동하는 복잡한 기계가 있다고 상상해 보세요. 한 복사본은 "순방향" 흐름을 나타내고, 다른 하나는 "역방향" 흐름을 나타냅니다.
• 작동 원리: 알고리즘은 시스템의 변수를 두 배로 늘립니다. 이들은 서로 상호작용하는 새로운, 더 큰 "에너지 경관(energy landscape)"을 생성합니다. 이 확장된 공간 안에서, 원래 시스템의 복잡하고 일방적인 강물은 다시 매끄럽고 대칭적인 언덕으로 변모합니다.
• 결과: 이제 이 "두 배가 된" 시스템에서 수학이 작동하기 때문에, 학습은 완벽해집니다. 이는 마치 거울을 사용하여 일방통행 도로를 양방향 도로처럼 보이게 만들어 표준 교통 규칙을 적용할 수 있게 하는 것과 같습니다.

실험 내용 (실험)

저자들은 단순히 수학적 계산만 한 것이 아니라, 실제 이미지 인식 작업(손으로 쓴 숫자나 옷 등을 식별하는 작업)을 통해 이 아이디어들을 테스트했습니다.

1. 대칭 시작: 그들은 대칭적인 네트워크(기존 EP와 같은)에서 시작했습니다. AsymEP는 기존 방식보다 더 빠르게 학습하고 더 좋은 결과를 얻었습니다.
2. 강제된 비대칭: 그들은 네트워크를 매우 "일방향적"(고도로 비대칭)으로 강제했습니다.
   • 기존 방식(Vector Field)은 처참하게 실패하여, 무작위 추측보다 나을 것이 없는 결과를 보였습니다.
   • AsymEP는 네트워크가 완전히 일방향이 되었을 때도 완벽하게 작동했습니다.
3. 피드포워드 네트워크: 이것이 가장 큰 성과입니다. 현대의 AI(스마트폰에 들어있는 모델들 같은)는 보통 "피드포워드"(엄격한 일방향) 구조를 가집니다. 기존의 EP는 이러한 네트워크를 전혀 훈련할 수 없었습니다. 하지만 AsymEP는 이 네트워크들을 성공적으로 훈련시켜, 이것이 대부분의 현대 AI에서 사용되는 구조를 다룰 수 있음을 증명했습니다.
4. 딥 러닝: 그들은 복잡한 데이터셋(CIFAR-10)과 딥 네트워크를 사용하여 테스트했습니다. AsymEP와 Dyadic EP는 표준적인 "역전파" 방식(현재의 골드 스탠다드)과 거의 동일한 성능을 보여주었습니다.

요약

• 문제점: 멋진 "평형 전파" 학습 방식은 대칭적인 시스템에서만 작동했지만, 실제 AI와 물리적 시스템은 종종 비대칭적(일방향적)입니다.
• 해결책: 저자들은 AsymEP(학습 규칙에 국소적 수정을 더함)와 Dyadic EP(수학적 작동을 위해 시스템 크기를 두 배로 늘림)를 만들었습니다.
• 결과: 이 새로운 방법들은 이 물리적이고 뇌 친화적인 학습 스타일이 현대 AI에서 사용되는 유형의 네트워크에서도 작동할 수 있게 해주며, 표준적이고 구현하기 어려운 방식만큼이나 좋은 결과를 얻었습니다.

요약하자면, 그들은 기계의 내부 배선이 엄격하게 일방향일 때도 "이완"과 "국소적 넛지"를 사용하여 물리적 기계를 가르치는 방법을 찾아낸 것입니다.

기술 요약

기술 요약: 비보존계(Non-Conservative Systems)를 위한 평형 전파(Equilibrium Propagation)

1. 문제 정의

표준 신경망 최적화는 오차 역전파(error backpropagation)에 의존하며, 이는 별도의 역방향 패스(backward pass), 비국소적 오차 신호 전달, 그리고 명시적인 그래디언트 저장을 요구한다. 이러한 제약 조건은 생물학적 타당성이나 물리적 구현(예: 뉴로모픽 또는 아날로그 하드웨어)과 조화되기 어려운데, 이들은 일반적으로 국소적 상호작용과 연속적인 이완(relaxation)을 통해 작동하기 때문이다.

평형 전파(EP)는 학습을 "자유(free)" 단계와 "넛징(nudged)" 단계라는 두 가지 정지 상태 사이의 대비로 공식화함으로써 유망한 대안을 제시한다. 그러나 원래의 EP 공식은 에너지 함수로부터 역학이 유도되는 **보존계(conservative systems)**로 제한되어 있으며, 이는 대칭적 상호작용(예: $J_{ij} = J_{ji}$)을 강제한다. 이러한 제한은 다음과 같은 광범위한 모델들에 EP를 적용하는 것을 불가능하게 만든다:

• 현대의 피드포워드 구조 (AI의 주류).
• 생물학적 회로.
• 열역학적 평형에서 멀리 떨어진 물리적 시스템 (예: 비선형 광학 시스템, 액티브 매터, 엑시톤-폴라리톤 응축물).

벡터 필드(Vector Field, VF) 알고리즘과 같이 비보존계로 EP를 일반화하려는 이전의 시도들은 비용 함수의 정확한 그래디언트를 계산하는 데 실패한다. 이들은 보존 한계 내에서만 편향되지 않은(unbiased) 그래디엔트를 제공하며, 야코비안(Jacobian)의 반대칭 부분이 증가함에 따라 그래디언트 추정 오차가 커져 최적화 실패(예: 비용을 최소화하는 대신 최대화함)를 초반할 수 있다.

2. 방법론

저자들은 임의의 비보존계로 EP를 확장하기 위해 수학적으로 동등한 두 가지 프레임워크인 **비대칭 EP(Asymmetric EP, AsymEP)**와 **다이아딕 EP(Dyadic EP)**를 제안한다. 두 방법 모두 정지 상태를 추론과 학습에 사용하는 핵심 EP 원칙을 유지하면서, 정확한 그래디언트를 회복하도록 역학을 수정한다.

2.1 비대칭 EP (AsymEP)

AsymEP는 원래의 추론 역학을 보존하면서 "넛징" 단계에서 **국소적 교정 항(local corrective term)**을 도입한다.

• 메커니즘: 넛징 단계에서 시스템은 증강된 힘의 장(force field) 하에서 진화한다. 이 장은 원래의 힘 $F$, 표준 넛징 항 $-\beta \frac{\partial C}{\partial x}$, 그리고 자유 평형에서의 야코비안의 반대칭 부분($A_J$)에 비례하는 새로운 교정 항을 포함한다:
  $$\frac{dx}{dt} = F(x, \theta) - \beta \frac{\partial C}{\partial x} - 2A_J(x_0, \theta)(x - x_0)$$
• 그래디언트 회복: 이 교정은 학습 규칙에서 야코비안을 효과적으로 전치(transpose)하여, 넛징된 상태와 자유 상태 사이의 차이가 진정한 그래디언트에 필요한 정확한 포스트-시냅틱(post-synaptic) 항을 생성하도록 보장한다.
• 국소성: 교정 항은 $A_J$가 연결되지 않은 뉴런에 대해 소멸하고 상태 차이 $(x - x_0)$가 시냅스에서 가용하기 때문에 공간적으로 국소적이다.

2.2 다이아딕 EP (Dyadic EP)

다이아딕 EP는 상태 공간을 두 배로 늘림으로써 비보존 역학을 보존계로 매핑하는 변분적 접근 방식이다.

• 메커니즘: 원래의 $n$-변수 시스템은 에너지 함수 $H(z, z', \theta)$와 비용 함수 $D(z, z')$에 의해 정의되는 $2n$-변수 시스템 $(z, z')$으로 매핑된다. 에너지 함수는 대각선 방향($z=z'$)에서 원래의 역학을 복구하도록 구성되며, 대각선 외 방향은 비재귀적 힘을 인코딩한다.
  $$H(z, z', \theta) = -(z - z')^\top F\left(\frac{z + z'}{2}, \theta\right)$$
• 학습: 시스템은 증강된 에너지 $H_T = H + \beta D$의 세들 포인트(saddle point)로 진화한다. $z_\beta - z'_\beta$는 오차 신호 역할을 한다.
• AsymEP와의 관계: AsymEP는 Dyadic EP를 원래의 $n$-차원 공간으로 투영한 1차 근사로 볼 수 있다. Dyadic EP는 양의 넛징 단계와 음의 넛징 단계를 병렬로 실행할 수 있게 해주지만, 물리적 자유도가 두 배가 필요하다.

3. 주요 기여

1. 정확한 그래디언트 계산: 본 논문은 임의의 비보존 역학 시스템에 대해 비용 함수의 정확한 그래디언트를 계산하는 최초의 프레임워크를 제공하며, 이를 통해 벡터 필드(VF) 알고리즘의 한계를 극복한다.
2. 두 가지 일반화: 비대칭 EP(국소적 교정을 가진 직접적인 역학 수정)와 다이아딕 EP(상태 공간의 변분적 확장)를 도입하고, 무한 소 넛징(infinitesimal nudging) 극한에서 이들의 동등성을 증명한다.
3. 피드포워드 능력: 이 방법들은 순수 피드포워드 네트워크를 학습할 수 있게 한다. 이는 명시적인 역방향 연결 없이 오차 신호를 역방향으로 전파할 수 없는 기존 EP 기반 방법(예: VF)들이 직면했던 문제이다.
4. 이론적 통합: 본 연구는 EP의 변분 원리가 보편적이며, 상태 공간을 확장하거나 역학을 수정함으로써 비재귀적 힘에도 적용될 수 있음을 입증하여, 에너지 기반 모델과 일반적인 역학 시스템 사이의 간극을 메운다.

4. 실험 결과

저자들은 연속 호프딥 네트워크(continuous Hopfield networks)와 컨볼루션 아키텍처를 사용하여 MNIST, Fashion-MNIST, CIFAR-10에 대해 프레임워크를 검증한다.

• 대칭 초기화: 대칭 초기화 조건의 MNIST에서, AsymEP는 표준 EP 및 벡터 필드(VF) 알고리즘보다 더 높은 정확도를 달성하고 더 빠르게 학습한다.
• 구조적 비대칭성: 네트워크가 높은 수준의 구조적 비대칭성(EP를 적용할 수 없는 경우)을 갖도록 제한되었을 때:
  • VF 성능: VF의 성능은 비대칭성이 증가함에 따라 급격히 저하되어, MNIST에서 우연 수준(예: 약 10% 정확도)까지 떨어진다.
  • AsymEP 성능: AsymEP는 완전히 반대칭적인 연결 행렬을 포함하여 모든 비대칭 수준에서도 견고한 성능을 유지한다.
• 피드포워드 아키텍처:
  • 순수 피드포워드 설정에서, VF는 마지막 층만을 효과적으로 학습하여 낮은 성능(MNIST에서 약 64%)을 보인다.
  • AsymEP는 모든 층을 성공적으로 학습하여 MNIST에서 약 92.7%의 정확도를 달성한다.
• 심층 네트워크 (CIFAR-10): CIFAR-10으로 학습된 심층 컨볼루션 네트워크에서, AsymEP와 Dyadic EP는 모두 표준 역전파(BP)의 성능을 밀접하게 추적하며 각각 약 89.7%와 90.7%의 정확도를 달성한다(BP는 90.7%). 반면, VF는 우연 수준으로 붕괴한다.
• 안정성: 실험은 AsymEP로 학습된 비보존 역학이 강한 비대칭성과 제한된 입력 투영 하에서도 진동을 억제하고 안정성을 유지할 수 있음을 시사한다.

5. 의의 및 주장

저자들은 이 작업이 비대칭성이 부수적인 것이 아니라 본질적인 뉴로모픽 하드웨어, 소산 물리계(dissipative physical systems), 그리고 신경 아키텍처에서 학습의 새로운 길을 열어준다고 주장한다.

• 물리적 구현 가능성: 가중치 대칭성과 명시적인 역방향 패스 요구 사항을 제거함으로써, 제안된 알고리즘은 비보존 역학을 자연스럽게 나타내는 물리적 기질(예: 멤리스터, 광학 시스템, 액티브 매터)과 더 높은 호환성을 갖는다.
• 생물학적 타당성: 이 방법들은 국소적 상호작용과 연속적인 이완에 의존하며, 이는 역전파에 비해 더 생물학적으로 타당한 신용 할당(credit assignment) 메커니즘을 제공한다.
• 보편성: Dyadic EP 공식은 EP의 변분 원리가 보편적임을 시사하며, 기초가 되는 힘이 보존적이든 비보존적이든 상관없이 정지 상태에서 작동하는 모든 네트워크에 적용될 수 있음을 보여준다.

결론적으로, AsymEP가 특정 물리적 메커니즘 구현을 위한 국소적 교정력을 도입하고 Dyadic EP가 상태 공간을 두 배로 늘려야 함에도 불구하고, 두 방법 모두 정확한 그래디언트를 사용하여 비보존계를 학습하기 위한 엄격한 이론적 및 실무적 경로를 제공한다.