🔬 physics

Thermodynamic cost of inference and learning in physical neural networks

이 논문은 물리적 신경망에서의 준정적 추론은 열역학적 비용을 발생시키지 않는 반면, 매개변수를 학습하는 것은 불가피한 에너지 지출을 수반한다는 점을 입증하며, 신경 계산의 근본적인 열역학적 가격은 산술 연산 처리가 아니라 메모리 저장에 의해 결정된다는 것을 확립한다.

원저자: Alexei Tkachenko

게시일 2026-08-18

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Alexei Tkachenko

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 문제를 해결하거나 새로운 패턴을 학습할 때마다 에너지를 소모합니다. 우리는 데이터 센터에 전력을 공급하는 거대한 발전소와 노트북에서 뿜어져 나오는 열기를 통해 이를 목격합니다. 수십 년 동안 과학자들은 이 에너지 비용이 단순히 현재 기술의 결함인지, 아니면 어떤 기계도 결코 벗어날 수 없는 자연의 근본적인 법칙인지 궁금해해 왔습니다. 디지털 컴퓨터에 대한 표준적인 답은 '란다우어의 원리(Landauer's principle)'라고 불리는 규칙에서 옵니다. 이 원리는 만약 기계가 정보를 삭제한다면, 아주 미세하고 피할 수 없는 양의 열을 방출해야 한다고 명시합니다. 이 규칙은 정보가 '온(on)' 또는 '오프(off)'와 같이 구별되고 안정적인 상태로 저장되는 프로세서 내부의 이진 스위치에 적용됩니다. 그러나 많은 연구자가 이제는 다른 종류의 컴퓨터를 구축하고 있습니다. 이들은 빛, 기계적 부품, 또는 전자 회로로 만들어진 물리적 신경망(physical neural networks)으로, 마치 공이 가장 낮은 지점을 찾아 언덕 아래로 굴러 내려가는 것처럼 평형 상태로 이완하며 계산하는 장치들입니다. 이러한 기계들은 경직된 스위치를 뒤집는 방식에 의존하지 않기 때문에, 비트를 삭제할 때 발생하는 기존의 규칙들이 이들에게도 동일하게 적용될지는 미지수입니다. 질문은 이 새로운 기계들이 거의 에너지 없이 계산하고 학습할 수 있는지, 아니면 이들 역시 엄격한 물리적 한계에 묶여 있는가 하는 점입니다.

브룩헤이븐 국립연구소(Brookhaven National Laboratory)의 한 연구자가 이제 이 물리적 네트워크가 정확히 어느 정도의 에너지를 필요로 하는지 밝혀냈습니다. 그는 실험실에서 물리적 장치를 직접 만든 것이 아니라, 신경망을 스프링과 가중치의 체계로 취급하는 정교한 수학적 모델을 만들었습니다. 그의 모델에서 네트워크의 층 사이의 연결은 경직된 명령이 아니라, 시스템을 특정 모양으로 끌어당기는 스프링과 같은 탄성 제약 조건입니다. 네트워크에 입력이 주어지면, 시스템은 단지 모든 스프в의 조건을 동시에 만족하는 모양으로 이완될 뿐입니다. 이 접근 방식을 통해 과학자는 두 가지 뚜렷한 과정의 에너지 비용을 계산할 수 있었습니다. 하나는 추론(inference), 즉 문제를 해결하는 행위이고, 다른 하나는 학습(learning), 즉 기계가 문제를 더 잘 해결하도록 훈련하는 행위입니다. 그들의 연구 결과는 이 기계들의 물리학에 존재하는 놀라운 분리를 보여주었습니다. 그들은 '생각하는 행위', 즉 추론은 기계가 충분히 느리게 움직인다면 이론적으로 에너지 소모 없이 수행될 수 있다는 것을 발견했습니다. 비용은 기계가 빠르게 움직이도록 강요받을 때만 발생합니다. 반면, 학습하는 행위는 기계가 아무리 느리게 작동하더라도 피할 수 없는 영구적인 에너지 가격표를 가지고 있습니다.

연구자는 추론의 경우, 디지털 컴퓨터에서처럼 네트워크 내부의 연결 수나 '가중치(weights)'에 의해 에너지 비용이 결정되는 것이 아님을 발견했습니다. 대신, 비용은 네트워크의 너비, 즉 한 번에 얼마나 많은 뉴런이 활성화되는지에 달려 있습니다. 만약 기계가 여유로운 속도로 다음 입력으로 이동하며 천천히 이완될 수 있다면, 에너지는 전혀 필요하지 않습니다. 이는 기계가 항상 평형 상태에 있으며, 기억을 삭제하거나 언덕을 오를 필요 없이 에너지의 매끄러운 골짜기를 따라 미끄러져 내려가기 때문입니다. 에너지가 소비되는 유일한 때는 기계가 자연스러운 이완 속도보다 빠르게 움직이도록 밀려날 때뿐입니다. 빠른 영역(fast regime)에서 필요한 에너지는 기계가 상태 공간(state space)을 통과해야 하는 거리와 걸린 시간의 비율에 비례합니다. 시뮬레이션 결과, 가장 빠른 유효 속도에서도 에너지 비용은 매우 낮았으며, 이는 네트워크의 가장 넓은 층의 차원마다 환경의 열에너지와 거의 맞먹는 수준이었습니다. 즉, 이 비용은 네트워크의 전체 복잡성이 아니라 네트워크의 너비에 따라 규모가 결정됩니다. 백만 개의 활성 뉴런을 가진 네트워크의 경우, 에너지 비용은 단일 입자의 아주 작은 열에너지의 백만 배 정도이며, 이는 현재의 디지털 하드웨어가 소비하는 양보다 수십억 배 더 작은 수치입니다.

그러나 학습은 다른 이야기를 들려줍니다. 기계를 훈련할 때, 입력과 원하는 출력이 동시에 시스템에 강제로 주어집니다. 이는 네트워크의 스프링 내부에 갈등, 즉 긴장(strain)을 유발하는데, 현재의 설정이 입력과 목표를 동시에 만족시킬 수 없기 때문입니다. 학습을 위해서는 기계가 이 긴장을 완화하기 위해 내부 가중치를 조정해야 합니다. 연구자는 가중치를 조정하는 이 과정이 줄일 수 없는 에너지 비용을 수반한다는 것을 발견했습니다. 추론과 달리, 이 비용은 훈련을 무한히 느리게 진행하더라도 사라지지 않습니다. 가중치가 변경될 때마다, 대략 환경의 열에너지의 몇 배에 해당하는 적은 양의 에너지가 열로 소산됩니다. 이 비용은 기계의 지식을 정의하는 전체 파라미터 세트에 대해 한 번 발생합니다. 이는 기계가 훈련 중에 얼마나 많은 사례를 보느냐에 따라 달라지는 것이 아니라, 기계가 저장해야 하는 가중치의 수에 달려 있습니다. 이는 기계가 보는 모든 사례에 대해 정보를 삭제하고 다시 써야 하므로 막대한 에너지 청구서를 발생시키는 디지털 훈련과는 극명한 대조를 이룹니다.

연구자는 필기체를 인식하도록 훈련된 작은 네트워크를 시뮬레이션하여 이러한 아이디어들을 테스트했습니다. 그들은 숫자가 바뀔 때 기계가 어떻게 행동하는지, 그리고 정확도를 높이기 위해 가중치를 조정할 때 어떻게 변하는지 관찰했습니다. 결과는 그들의 이론적 예측과 완벽하게 일치했습니다. 기계가 숫자를 빠르게 추론하도록 요청받으면 에너지 소비가 급격히 증가했고, 기계가 수행하는 작업이 시스템의 무작위적인 열적 요동(jiggling)과 비슷해짐에 따라 정확도가 떨어졌습니다. 하지만 기계가 천천히 움직일 수 있게 되면, 거의 에너지 없이 문제를 해결했으며 정확도 또한 높게 유지되었습니다. 훈련 중에는 가중치를 조정하는 데 드는 에너지가 정밀한 패턴을 따르는 것을 관찰하였으며, 이는 학습이 일어나는 모든 비트마다 적은 양의 고정된 열이 방출된다는 사실을 확인시켜 주었습니다. 시뮬레이션은 기계가 과제를 학습하고 나면 그 지식을 유지하는 데 필요한 에너지는 미미하지만, 그 지식을 처음에 기록하는 데 필요한 에너지는 근본적이고 피할 수 없는 비용이라는 것을 보여주었습니다.

이러한 발견은 신경망의 열역학적 가격이 산술(arithmetic)이 아닌 메모리(memory)에 의해 결정된다는 점을 시사합니다. 결과를 계산하는 행위는 기계가 얼마나 빠르게 움직이도록 강요받느냐에 따라 제한될 뿐, 거의 공짜에 가깝습니다. 그러나 학습하는 행위는 기계의 물리적 구조에 파라미터를 기록하기 위해 작지만 영구적인 비용을 지불해야 합니다. 이 구분은 컴퓨팅의 미래에 대한 새로운 관점을 제공합니다. 디지털 기계는 모든 연산마다 비트를 삭제하는 비용에 묶여 있는 반면, 물리적 기계는 현재의 하드웨어보다 수십 배 더 효율적으로 복잡한 계산을 수행할 수 있습니다. 현재의 하드웨어와 이러한 이론적 한계 사이의 간극은 물리 법칙의 결함 때문이 아니라, 우리가 사용하는 현재의 재료와 설계의 비효율성 때문입니다. 이 연구는 만약 우리가 진정으로 솔루션을 향해 이완되는 기계를 만들 수 있다면, 지능의 에너지 비용을 우주가 허용하는 최소한의 수준으로 줄일 수 있음을 보여주는 명확한 로드맵을 제시합니다.

기술 요약: 물리적 신경망의 추론 및 학습에 대한 열역학적 비용

문제 제기
심층 신경망의 급격한 확장은 훈련과 추론 모두에서 에너지를 요구하는 수요를 가속화했다. 현재의 하드웨어 비효율성은 잘 문서화되어 있지만, 근본적인 질문은 여전히 남아 있다: 특정 장치 구현과는 독립적으로, 신경 계산 자체에 내재된 에너지 비용은 무엇인가? 디지털 하드웨어의 경우, 표준 열역학적 벤치마크는 랜드아워 원리(Landauer's principle)이며, 이는 논리적으로 가역적이지 않은 연산당 $k_B T \ln 2$ 의 최소 소산(dissipation)을 할당한다. 그러나 이 경계는 메타스테이블(metastable) 또는 다중 안정(multi-stable) 정보 보유 상태에 적용되는 것이며, 연속적인 아날로그 계산이나 클록 기반의 디지털 게이트가 아닌 완화(relaxation) 및 평형(equilibation)을 통해 작동하는 물리 시스템을 직접적으로 제약하지 않는다. 본 논문은 에너지 기반 물리적 신경망의 열역학적 한계를 결정하고자 하며, 특히 네트워크가 해밀토니안(Hamiltonian)에 의해 제어되는 물리계로 모델링될 때 추론과 학습에 필요한 에너지가 얼마인지 다룬다.

방법론
저자는 일반적인 피드포워드 신경망을 물리적 해밀토니안에 임베딩하는 이론적 프레임워크를 제안한다.

해밀토니안 임베딩: 레이어 $x_n$ , 가중치 $W_n$ , 편향 $b_n$ 을 갖는 표준 피드포워드 네트워크를 탄성 에너지 함수로 매핑한다:
$H(x; \theta) = \frac{\kappa}{2} \sum_{n=1}^L \|x_n - f_n(W_n x_{n-1} + b_n)\|^2$
여기서 각 레이어 관계는 강성(stiffness) $\kappa$ 를 갖는 탄성 적합성 제약 조건으로 취급된다. "피드포워드 상태"는 제로 에너지 매니폴드( $H=0$ )에 해당한다. 어트랙터(attractor)로서의 상태를 갖는 호프필드 네트워크(Hopfield networks)와 달리, 이 구조는 모든 입력이 고유한 제로 에너지 적합 상태를 선택하는 매우 퇴화된 기저 상태 매니폴드를 생성한다.
역학(Dynamics): 시스템은 과감쇄 랑제빈 역학(overdamped Langevin dynamics, $\dot{x}_n = -\mu \nabla_{x_n} H + \text{noise}$ )을 통해 진화한다.
추론 대 학습:
- 추론: 고정된 입력 하에서 은닉 변수와 출력 변수가 제로 에너지 매니폴드로 완화되는 과정으로 모델링된다.
- 학습: 입력과 타겟 출력이 모두 클램핑(clamped)되어 변형(strain/loss)을 생성하고, 이 변형이 역전파(backpropagation)를 통해 파라미터 업데이트를 유도하는 과제약(overconstrained) 과정으로 모델링된다.
열역학적 경계: 저자는 열적 상태 사이를 구동하는 데 필요한 일(work)에 대한 정확한 경계를 도출한다. 이를 위해 와서스테인-2 거리( $W_2$ )를 활용한 최적 운송(optimal transport)을 사용하며, 이를 쿨백-라이블러(KL) 발산 및 피셔-라오(Fisher-Rao) 거사를 포함하는 정보 기하학적 경계로 완화한다.
수치적 검증: 최소 물리적 네트워크(아키텍처 64 $\to$ 20 $\to$ 10)에 대해 손글씨 숫자 데이터셋(MNIST)을 사용하여 시뮬레이션을 수행했다. 시뮬레이션은 다양한 프로토콜 속도와 온도 조건에서 일(work)의 소산, 완화 시간 및 정확도를 테스트했다.

주요 기여 및 결과

준정적 극한에서의 가역적 추론:
본 논문은 임베딩된 네트워크의 평형 자유 에너지가 모든 온도에서 입력 및 모든 파라미터(가중치 및 편향)와 독립적임을 증명한다. 결과적으로, 임의의 입력 전이에 대한 자유 에너지 변화( $\Delta F$ )는 정확히 0이다. 준정적 극한(무한히 느린 작동)에서 추론에는 **제로 에너지(zero work)**가 필요하다. 이는 계산 과정에서 비트를 지우는 경우가 많은 디지털 시스템과 대조된다. 여기서 계산은 제로 에너지 매니폴드를 따라 움직이는 단일 안정(monostable), 등정성(isostatic) 응답이며, 랜드아워 비용을 완전히 회피한다.
유한 속도 추론 비용:
유한한 속도로 작동할 때, 요구되는 일은 초기 열적 상태와 최종 열적 상태 사이의 제곱 와서스테인-2 거리( $W_2^2$ )를 프로토콜 지속 시간 $\tau$ 로 나눈 값에 의해 하한이 결정된다.
- 이 경계는 엔트로피적 척도로 완화된다: $E_{inf} \ge d k_B T \Gamma_{inf} \frac{\tau_L}{\tau}$ , 여기서 $d$ 는 가장 넓은 레이어의 너비, $\tau_L$ 은 확산 시간 척도, $\Gamma_{inf}$ 는 신호 대 잡음비와 관련된 충실도(fidelity) 계수이다.
- 가장 빠른 사용 가능한 속도(즉, $\tau \approx \tau_{inf}$ 일 때)에서 충실도와 완화 시간은 서로 상쇄되어, 약 가장 넓은 레이어의 차원당 $k_B T$ 의 비용을 발생시킨다.
- 결정적으로, 이 비용은 파라미터(시냅스)의 수가 아니라 네트워크의 너비(뉴런 수)에 따라 스케일링된다. 시뮬레이션은 측정된 일이 운송 경계를 4% 이내의 오차로 만족함을 확인했다.
- 소산된 일이 열적 척도( $k_B T$ ) 아래로 떨어지면 정확도가 붕괴되며, 이는 신뢰성이 작업량과 열적 구별 가능성 사이의 비율에 의해 결정됨을 확인시켜 준다.
학습의 불가피한 비용:
학습은 추론과 근본적으로 다르다. 학습은 파라미터(가중치 및 편향)를 변경해야 하므로, 준정적 극한에서도 살아남는 불가피한 비용을 수반한다.
- 전체 학습 비용은 데이터 제시 항(느린 제시 시 소멸함)과 파라미터 어닐링 항으로 구성된다.
- 파라미터 어닐링 비용은 전체 학습 과정 동안 파라미터당 몇 $k_B T$ 정도이다. 이 비용은 디지털 학습처럼 매 데이터 제시마다 지불하는 것이 아니라, 파라미터 구성을 확립하기 위해 한 번 지불된다.
- 이 비용은 파라미터 수( $N_\theta$ )에 따라 스케일링되지만, 준정적 극한에서는 데이터셋의 크기와 무관하다(데이터셋 크기에 따라 $N_\theta \times \text{Dataset Size}$ 로 스케일링되는 디지털 벤치마크와 대조적이다).
디지털 벤치마크와의 비교:
본 논문은 이 물리적 경계를 비가역적 디지털 하드웨어(16비트 산술)의 랜드아워 한계와 비교한다.
- 추론: 물리적 비용( $\sim d k_B T$ )은 디지털 랜드아워 벤치마크( $\sim N_\theta k_B T$ )보다 수십만 배 낮다. 이는 물리적 네트워크가 이산적 연산 대신 기하학적 구조를 통해 곱셈을 수행하기 때문이다.
- 학습: 물리적 비용은 일회성 파라미터 업데이트 비용인 반면, 디지털 학습은 모든 토큰에 대해 삭제 비용을 발생시킨다.
- 논문의 표 1은 물리적 추론이 랜드아워 벤치마크보다 $\sim 10^5$ 배 더 효율적이고, 현재의 하드웨어 추정치보다 $\sim 10^{13}$ 배 더 효율적일 수 있음을 보여준다. 또한 물리적 학습은 디지털 학습에 비해 데이터셋 크기에 상관없이 유리한 이점을 제공한다.

의의 및 주장
본 논문은 신경 계산의 **산술(arithmetic)**과 **메모리(memory)**에 대한 열역학적 가격을 구분함으로써, 신경 계산의 근본적인 열역학적 비용을 확립했다고 주장한다.

추론: 열역학적 비용은 파라미터 수가 아니라 네트워크의 너비와 작동 속도에 의해 결정된다. 이상적인 극한에서 계산 자체는 무료이며, 비용은 오직 신호를 열적 잡음으로부터 분리하기 위해 필요한 유한한 속도 때문에 발생한다.
학습: 비용은 메모리 측면, 즉 파라미터를 쓰는 것에 의해 지배된다. 이 비용은 느린 극한에서도 줄어들지 않는 불가피한 것이지만, 전체 데이터셋에 걸쳐 분할(amortize)되므로, 매 예제마다 삭제 비용을 지불하는 디지털 학습보다 훨씬 저렴할 수 있다.
물리적 vs 디지털: 이 연구는 물리적 신경망이 단순히 공학적 개선을 통해서가 아니라, 계산 과정 중 정보를 삭제하는 데 따르는 근본적인 랜드아워 비용을 회피함으로써 이론적으로 디지털 구현보다 더 낮은 비용을 달성할 수 있음을 시사한다. 따라서 신경망의 "열역학적 가격"은 (산술보다는) 그들의 메모리(학습)와 더 밀접하게 연관되어 있다.

저자는 이러한 경계가 이상적인 기질에 적용된다는 점을 명시한다. 실제 환경에서는 데이터 변환, 제어, 비이상적 재료 등의 비용이 현재로서는 지배적이다. 또한, 이 모델은 아핀(affine) 플러스 활성화 구조를 가정하며, 아직 어텐션(attention) 메커니즘이나 학습 후 가중치 저장 비용에 대해서는 다루지 않는다. 그럼에도 불구하고, 이 결과는 미래의 뉴로모픽 및 물리적 컴퓨팅 아키텍처를 평가하기 위한 엄격한 열역학적 기준선을 제공한다.

기술 요약: 물리적 신경망의 추론 및 학습에 대한 열역학적 비용

유사한 논문