MAFA: Bio-Inspired Physics-Driven Activation Layers for Stateful In-Memory Computing

뇌를 수백만 개의 작은 집인 '뉴런' 사이로 메시지가 이동하는 북적이는 도시라고 상상해 보십시오. 현재의 컴퓨터에서 이 '집들'(연산 장치)과 정보를 저장하는 '도서관'(메모리)은 서로 다른 건물에 있습니다. 생각이 기억을 확인해야 할 때마다, 배달 트럭이 그 사이를 오가며 왕복해야 합니다. 이 교통 체증은 엄청난 양의 에너지를 낭비하고 모든 것을 느리게 만듭니다. 과학자들은 실제 뇌와 더 유사하게 작동하는 '뉴로모픽(neuromorphic)' 컴퓨터, 즉 메모리와 사고가 정확히 같은 장소에서 일어나는 기계를 만들기 위해 노력하고 있습니다. 하지만 문제가 하나 있습니다. 이 컴퓨터들이 결정을 내릴 때 사용하는 수학(이를 '활성화 함수'라고 부릅니다)은 종종 너무 단순하고 정적입니다. 마치 단순히 켜지거나 꺼지는 전등 스위치와 같습니다. 이는 실제 생물학이 가진 복잡하고 기억을 보유하는 특성이 부족합니다. 이 논문은 다음과 같은 파격적인 아이디어를 탐구합니다. 만약 우리가 단순한 수학을 사용하는 대신, 과거를 기억하는 특수 결정체의 실제 물리학을 사용한다면 어떻게 될까?

이 논문의 저자인 모하나 아티아(Mohana Attia)는 티탄산 지르콘산 납(PZT)이라는 물질을 사용하여 이러한 뇌 닮은 컴퓨터를 구축하는 새로운 방법을 제안합니다. 이 물질을 전기에 의해 압착될 수 있는 작은 마법의 스펀지라고 생각해 보십시오. 이것을 압착하면 모양이 변하며, 압력을 놓은 후에도 그 모양을 유지합니다. 이를 '강유전성(ferroelectricity)'이라고 하며, 이는 '이력 현상(hysteresis)'을 만들어냅니다. 즉, 물질이 이전에 얼마나 세게 눌렸었는지에 대한 기억을 갖게 되는 것입니다. 논문은 이 물리적 기억을 사용하여, 단순히 현재의 입력에 반응하는 것이 아니라 자신의 이력을 기억하는 새로운 종류의 '뉴런'을 만드는 것을 제안합니다. 연구자는 복잡한 물리 방정식(구체적으로는 란다우-칼라토니코프스키(Landau-Khalatnikov) 형식론)을 사용하여 이 결정체들의 거동을 시뮬레이션함으로써, MAFA(Mohana Attia Ferroelectric Activation)라는 디지털 모델을 만들었습니다.

핵심적인 발견은 다음과 같습니다. 정적이고 망각하는 일반적인 컴퓨터 함수와 달리, MAFA 함수는 동적이며 기억을 가지고 있습니다. 시뮬레이션 결과, 이 새로운 함수는 '이력 루프(hysteresis loop)'를 생성한다는 것을 발견했습니다. 이는 시작점이 어디냐에 따라 경로가 달라지는 것과 같습니다. 전기장을 가하면 시스템은 단순히 직선으로 오르내리는 것이 아니라 루프를 그리며 움직입니다. 결정적으로, 전기장이 0으로 떨어져도 물질은 0으로 돌아가지 않습니다. 그것은 약 ±0.77의 특정 '잔류(remanent)' 상태를 유지합니다. 이는 뉴런이 입력이 멈출 때도 이전 상태를 기억하여, 의사 결정 과정 자체에 내장된 작은 비휘발성 저장 장치처럼 작동함을 의미합니다.

또한 이 논문은 딥러닝의 주요 문제인 '기울기 소실(vanishing gradient)' 문제를 강조합니다. 아주 긴 복도 끝으로 메시지를 외치려 한다고 상상해 보십시오. 끝에 도달할 때쯤이면 메시지는 속삭임이 되어 버립니다. 신경망에서 컴퓨터를 학습시키는 데 사용되는 '오차 신호'는 깊은 층을 통과하면서 종종 유용하지 않을 정도로 약해집니다. 시뮬레이션에 따르면, MAFA 함수는 물질의 상태가 뒤바뀌는 가파른 '스위칭 벽(switching walls)'을 가지고 있습니다. 이러한 특정 지점에서 신호는 약해지는 것이 아니라 오히려 더 강해집니다(기울기가 1.0보다 큼). 이는 오차 신호가 사라지지 않고 깊은 네트워크를 통해 전달될 수 있도록 돕는 부스터 역할을 합니다.

하지만 이러한 결과는 아직 실험실에서 물리적인 하드웨어로 구현된 것이 아니라 컴퓨터 시뮬레이션을 통해 나온 결과라는 점에 유의해야 합니다. 저자는 재료 물리학과 딥 뉴럴 네트워크를 결합한 하이브리드 모델을 사용하여 아이디어를 테스트했습니다. 그들은 이 접근 방식이 활성화 층 자체를 메모리 장치로 변환함으로써 계산 부담을 크게 줄이고 메모리 병목 현상을 해결할 수 있음을 발견했습니다. 논문은 ReLU나 Tanh와 같은 정적인 함수가 차세대 하드웨어에 충분하다는 생각을 명시적으로 부정하며, 대신 물리 기반의 상태 유지형(stateful) 층이 필요하다고 주장합니다. 시뮬레이션은 안정적이고 경로 의존적인 루프와 성공적인 기울기 소실 완화를 보여주었지만, 저자는 이를 완성된 제품이라 주장하기보다는 수학적 프레임워크이자 시뮬레이션 기반의 개념 증명으로서 제시하며, 미래의 에너지 효율적인 하드웨어를 위한 길을 닦고 있습니다.

요약하자면, 이 논문은 강유전체 결정의 '기억'을 빌림으로써, 오늘날 우리가 사용하는 것보다 더 똑똑하고, 에너지 효율적이며, 깊은 교훈을 더 잘 학습할 수 있는 컴퓨터 뉴런을 구축할 수 있다고 제마다. 이는 결정체의 딱딱한 물리학과 인공지능의 부드러운 논리 사이의 가교이며, 컴퓨터가 단순히 계산하는 것을 넘어 기억하게 될 미래를 약속한다.