⚡ 전기공학

Physical neural networks with trainable nonlinear connections for continuous control

이 논문은 모든 연결에 아날로그 대역 통과 필터를 사용하여 학습 가능한 비선형 함수를 배치하는 물리적 신경망 구조를 소개하며, 이 방식이 기존의 다층 퍼셉트론보다 훨씬 적은 매개변수와 연결을 사용하면서도 고충실도 연속 제어 작업을 달성하고 초저전력 하드웨어 구현을 가능하게 함을 입증한다.

원저자: Ian Vidamour, Fernando Aguirre, Thomas Hayward, Matthew Ellis, Charles Swindells, Alexander McDonnell, Martin Trefzer, Finley Robins, Luca Manneschi, Susan Stepney, Anthony Kenyon, Oliver Sutton, Jack

게시일 2026-10-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ian Vidamour, Fernando Aguirre, Thomas Hayward, Matthew Ellis, Charles Swindells, Alexander McDonnell, Martin Trefzer, Finley Robins, Luca Manneschi, Susan Stepney, Anthony Kenyon, Oliver Sutton, Jack Gartside, Ivan Tyukin, Adnan Mehonic, Eleni Vasilaki

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 컴퓨팅의 세계에서 기계는 얼굴을 식별하거나 언어를 번역하는 것과 같이 패턴을 인식하는 데 놀라울 정도로 능숙해졌습니다. 뉴럴 네트워크라고 알려진 이러한 시스템은 대개 숫자를 하나씩 처리하는 디지털 프로세서 위에서 구축됩니다. 그러나 한 성장하는 연구 분야는 우리가 이러한 물리적 전자 부품 자체의 순수한 물리학을 사용하여 이 생각하는 기계들을 구축할 수 있는지에 대해 질문을 던지고 있습니다. 표준 컴퓨터 상에서 뇌를 시뮬레이션하는 대신, 연구자들은 하드웨어가 직접 사고를 수행하는 '물리적 뉴럴 네트워크'를 만들고자 노력하고 있습니다. 그동안의 과제는 이러한 물리적 시스템들이 대부분 디지털 형제들과 마찬가지로 단순하고 고정된 규칙을 사용하여 정보를 처리하도록 강요받았다는 점이었습니다. 이는 특정 유형의 스위치가 신호가 얼마나 빨리 도착하는지 또는 얼마나 강한지에 따라 어떻게 다르게 반응하는지와 같은 실제 전자 장치들이 자연스럽적으로 보유한 독특하고 복잡한 행동들을 낭비하게 만들었습니다. 과학자들이 직면한 질문은, 우리가 이러한 자연스러운 특성들에 맞서 싸우는 것을 멈추고 대신 그것들을 지능의 바로 그 빌딩 블록으로 사용할 수 있는가 하는 것입니다.

영국 전역의 대학들로 구성된 연구팀은 이 질문에 답하기 위한 대담한 발걸음을 내디뎠습니다. 그들은 두 지점 사이의 모든 연결이 단순한 숫자가 아니라, 학습 가능한 유연한 함수인 새로운 유형의 물리적 네트워크를 개발했습니다. 노드 사이의 전선이 단순히 더 많은 물이나 적은 물을 통과시키기 위해 열거나 닫을 수 있는 파이프인 표준 네트워크를 상상해 보십시오. 이 새로운 시스템에서는 파이프 자체가 형태와 행동을 바꿀 수 있으며, 흐르는 물을 여과하고 재형성할 수 있습니다. 연구진은 이 연결들을 다양한 주파수의 소리나 전기에 다르게 반응하는 회로인 아날로그 전자 필터를 사용하여 구축했습니다. 이 필터들이 '연결의 뇌' 역할을 하도록 학습시킴으로써, 그들은 신호를 단순히 전달하는 것이 아니라 물리적 장치가 계산의 핵심적인 역할을 수행하는 시스템을 만들어냈습니다.

연구팀은 로봇 팔의 움직임을 제어하거나, 움직이는 카트 위의 막대를 균형 잡거나, 태양광 패널의 가장 효율적인 전력 출력을 찾는 것과 같이 매끄럽고 연속적인 조정이 필요한 몇 가지 실제 세계의 작업들에 이 접근 방식을 테스트했습니다. 각 경우에 그들은 이 새로운 물리적 네트워크를 표준 디지털 네트워크와 비교했습니다. 결과는 놀라웠습니다. 매끄럽고 연속적인 움직임이 포함된 작업의 경우, 물리적 네트워크는 디지털 네트워크와 동일한 수준의 정확도를 달 정도로 훨씬 적은 수의 부품을 사용했습니다. 어떤 경우에는 물리적 네트워크가 표준 디지털 모델에 필요한 연결과 파라미터의 아주 일부분만을 사용하기도 했습니다. 이러한 효율성은 적은 연결이 곧 구축하고, 프로그래밍하고, 전력을 공급해야 할 하드웨어가 적음을 의미하기 때문에 매우 중요합니다. 연구진이 태양광 패널 컨트롤러를 위해 구축된 전용 칩이 소비할 에너지를 투영했을 때, 그들은 그것이 현재 유사한 엣지 컴퓨팅 작업에 사용되는 아주 작은 마이크로컨트롤러보다 약 2개 차수(100배) 적은 약 35 마이크워크래트(microwatts)를 사용할 것이라고 추정했습니다. 이는 매우 저전력 지능형 장치를 향한 길을 시사합니다.

그들의 발견이 특정 유형의 회로에 국한된 우연이 아님을 보장하기 위해, 연구진은 또한 자신의 기록에 따라 저항이 변하는 멤리스터(memristor)라는 다른 종류의 전자 부품을 사용하여 동일한 네트워크를 시뮬레이션했습니다. 완전히 다른 물리적 재료를 사용했음에도 불구하고, 네트워크는 표준 디지털 모델에 대한 우위를 유지했습니다. 이는 이 이점이 특정 유형의 하드웨어에서 오는 것이 아니라, 학습 가능한 비선형 연결을 사용하는 아키텍처 자체에서 온다는 것을 시사합니다. 연구진은 또한 자신들의 네트워크에 대한 수학적 모델을 가져와 그 설정을 물리적 하드웨어로 직접 변환하여, 장치 자체에서 시스템을 다시 학습시킬 필요 없이 즉시 작동하게 할 수 있음을 입증했습니다. 그들은 35,000개 이상의 개별 연결에 대해 이 전이를 테스트했으며, 물리적 하드웨어는 시뮬레이션된 예측과 높은 정밀도로 일치했습니다.

그러나 이 연구는 이 새로운 접근 방식이 적합하지 않은 경우도 명확히 밝혔습니다. 연구진이 의류 이미지를 분류하거나 두 가지 뚜렷한 행동 중 하나를 선택하는 것과 같이 날카로운 이진 결정을 내려야 하는 작업에 네트워크를 테스트했을 때, 물리적 네트워크는 표준 디지털 네트워크에 비해 뚜렷한 우위를 보여주지 못했습니다. 연구진은 이것이 그들의 시스템이 매끄럽고 연속적인 변화를 처리하는 데 탁월하도록 설계된 반면, 이진 결정은 전통적인 네트워크가 더 쉽게 만들어낼 수 있는 날카로운 경계에 의존하기 때문이라고 설명합니다. 이 구분은 중요합니다. 이 새로운 기술는 모든 컴퓨팅 문제를 해결하는 만능 해결책이 아니라, 연속적인 가능성의 매끄러운 풍경을 탐색하는 작업에서 빛을 발하는 특화된 도구라는 점입니다.

이 연구는 우리가 지능형 기계를 구축하는 방식에 대한 중요한 변화를 나타냅니다. 물리적 장치들이 단순하고 예측 가능한 디지털 스위치처럼 행동하도록 강요하는 대신, 우리는 이러한 장치들의 복잡하고 자연스러운 행동을 활용하여 우리를 대신해 일을 하도록 만들 수 있음을 보여주었습니다. 모든 연결에 학습 가능한 비선형 함수를 배치함으로써, 연구진은 하드웨어의 물리적 한계를 계산적 강점으로 바꾸어 놓았습니다. 이 접근 방식은 로보틱스, 에너지 관리 및 자율 시스템에 필수적인 연속적인 현실 세계의 제어 작업을 처리할 수 있는 컴팩트하고 저전력인 네트워크를 위한 유망한 경로를 제공합니다. 결과는 효율적인 머신 러닝의 미래가 우리의 하드웨어를 소프트웨어와 더 닮게 만드는 것이 아니라, 하드웨어가 정확히 그 자체의 모습이 되도록 허용하는 데 있을 수 있음을 시사합니다.

기술 요약: 연속 제어를 위한 학습 가능한 비선형 연결을 갖춘 물리적 신경망

문제 정의
물리적 신경망(PNN)은 아날로그 소자의 고유한 물리 법칙을 직접 활용하여 하드웨어에서 머신러닝 추론을 수행하는 것을 목표로 하며, 이는 초저전력 컴퓨팅을 위한 잠재적인 경로를 제시한다. 그러나 기존의 대부분의 PNN 아키텍처는 노드 사이의 연결이 스칼라 가중치로 표현된다는 전통적인 소프트웨어 기반 가정을 따르고 있다. 이 표준 모델에서는 풍부하고 고유한 비선형 응답(예: 멤리스터의 전류-전압 곡선 또는 필터 주파수 응답)을 가진 소자들이 단순히 프로그래밍 가능한 선형 가중치나 고정된 동일 활성화 함수로 기능하도록 제한되는 경우가 많다. 이러한 접근 방식은 소자의 비선형성에 내재된 계산적 잠재력을 버리는 것이며, 종종 표현력을 확보하기 위해 방대한 수의 물리적 연결과 노드를 필요로 하여 하드웨어 복잡성과 전력 소비를 증가시킨다.

방법론
저자들은 표준 가정을 뒤집어, 스칼라 가중치 대신 모든 연결(엣지)에 학습 가능한 단변량 함수를 배치하는 물리적 콜모고로프-아르노프 영감을 받은 네트워크(PhyKAN) 아키텍처를 제안하고 구현한다.

아키텍처: 콜모고로프-아르노프 표현 정리에서 영감을 받아, 각 엣지는 학습 가능한 단변량 함수를 계산한다. 주요 구현에서 이러한 엣지는 필드 프로그래그래블 아날로그 어레이(FPAA) 상의 튜닝 가능한 아날로그 대역 통과 필터 뱅크로 실현된다.
인코딩 및 계산: 네트워크 입력은 신호 주파수로 인코딩된다. 각 엣지는 병렬 대역 통과 필터 유닛(고역 통과 및 저역 통과 단계와 증폭 포함)의 합으로 구성된다. 학습 가능한 파라미터는 이 필터들의 코너 주파수와 이득(gain)이다.
학습 및 하드웨어 전이: 저자들은 아날로그 필터의 해석적 전달 함수 모델을 통해 경사 하강법을 사용하여 네트워크를 학습시킨다. 시뮬레이션과 하드웨어 사이의 간극을 메우기 위해, 저자들은 **직통 추정기(straight-through estimator, STE)**를 사용한다. 이를 통해 최적화는 연속적인 잠재 파라미터에 대해 진행하면서도, 순방향 패스(forward pass) 동안에는 하드웨어에서 구현 가능한 이산적인 값(양자화된 코너 주파수 및 이득)을 강제할 수 있다.
희소성(Sparsity): 정규화 항은 엣지 응답에 기여도가 낮은 필터 유닛을 제거하도록 유도하여, 결과적으로 유효한 연결 수를 줄인다.
대체 기질: 이러한 아키텍처적 이점이 아날로그 필터에 국한된 것인지 확인하기 위해, 저자들은 멤리스터 회로를 사용하여 프로그래밍 가능한 비선형 전류-전압 특성을 갖는 MemKAN 변형 모델을 시뮬레이션하였다.

주요 결과
본 연구는 매개변수 효율성과 하드웨어 충실도를 중심으로 PhyKAN을 표준 다층 퍼셉트론(MLP)과 비교 평가하였다.

하드웨어 충실도: 저자들은 학습된 네트워크를 FPAA 하드웨어로 성공적으로 전이시켰다. 약 35,000개의 실험적으로 구현된 연결 중 90%가 평균 제곱 오차(MSE) $7.92 \times 10^{-5}$ 이내에서 시뮬레이션된 목표값과 일치하였다.
연속 제어 작업 (매개변수 효율성):
- 6축 로봇 키네마틱스: 순방향 및 역방향 키네마틱스 제어(액추에이터에 의해 왜곡된 관측값으로부터 학습) 모두에서, PhyKAN은 특히 두 개의 은닉층을 가진 네트워크에서 실질적으로 더 적은 학습 파라미터와 물리적 연결을 사용하여 MLP보다 낮은 MSE를 달old했다.
- 연속 동작 강화 학습 (CartPole): 연속적인 힘 출력을 갖는 수정된 CartPole 작업에서, PhyKAN은 MLP보다 적은 파라미터로 과제를 해결하였다. PhyKAN은 안정적인 제어를 보여준 반면, MLP는 고주파 진동을 보이거나 특정 초기 조건에서 폴을 안정화하는 데 실패하는 경우가 많았다.
- 태양광 최대 전력점 추적 (MPPT): PhyKAN은 테스트된 모든 네트워크 크기(가장 작은 크기 제외)에 대해 부분 음영 조건에서 최대 전력점을 추적하는 데 있어 MLP보다 우수한 성능을 보였다. 이 네트워크들은 환경 피드백을 사용하여 전압-전류 곡선의 지역 최댓값을 탐색하는 탁월한 능력을 입증하였다.
이산/결정 작업: Fashion-MNIST 분류 및 이진 동작 CartPole과 같이 날카로운 결정 경계가 필요한 작업에서는, PhyKAN이 MLP에 비해 일관된 매개변수 효율성 이점을 보여주지 못했다. 저자들은 학습 가능한 비선형 엣지의 이점이 부드럽고 연속적인 값의 매핑에 가장 두드러진다고 언급하였다.
멤리스터 검증: 시뮬레이션된 MemKAN은 세 가지 연속 작업에서 필터 기반 PhyKAN의 매개변수 효율성 이점을 재현하였으며, 이는 이점이 특정 물리적 소자가 아닌 아키텍처(학습 가능한 비선형 엣지)에서 기인한다는 가설을 뒷받침한다.
전력 투영: CMOS 호환 트랜스컨덕터 설계를 바탕으로, 저자들은 전용 하드웨어 구현 시 태양광 컨트롤러가 약 35 µW를 소비할 것으로 투영하였다. 이는 유사한 신경망을 실행하는 마이크로컨트롤러가 소비하는 0.33–22 mW보다 두 자릿수 낮은 수치이다.

의의 및 주장
본 논문은 소자의 비선형성을 억제하는 대신 학습 가능하게 만드는 것이 부드럽고 연속적인 추론 및 제어 작업을 위한 컴팩트하고 저전력인 아날로그 네트워크를 구축하는 유망한 경로임을 주장한다.

아키텍처적 전환: 본 연구는 물리적 시스템이 소프트웨어 스타일의 스칼라 가중치를 모사하도록 강요되어서는 안 된다는 것을 보여준다. 대신, 소자의 고유한 비선형 응답이 주요 계산 프리미티브(primitive) 역할을 할 수 있다.
작업 적합성: 저자들은 이 아키텍처의 성공 조건이 명확함을 확인하였다. 즉, 부드럽고 연속적인 값의 매핑(예: 키네마틱스, 연속 제어, 회귀)을 요구하는 작업은 개별 엣지의 표현력을 활용함으로써 더 적은 수의 노드와 연결을 사용할 수 있어 큰 이점을 얻는다.
하드웨어 생존 가능성: 결과는 하드웨어 이산화를 고려하여 학습할 경우, 모델에서 하드웨어로의 전이가 광범한 사후 배포 미세 조정(예: 하드웨어 인 더 루프 강화 학습) 없이도 성공적으로 이루어질 수 있음을 보여준다.
저전력 잠재력: 필요한 물리적 연결과 노드의 수를 줄임으로써, 그리고 멤리스티브 크로스바에서 흔히 사용되는 고전류 선형 영역 대신 소자의 자연스러운 저전류 아날로그 영역을 활용함으로써, PhyKAN은 전력이 중요한 제약 조건인 엣지 컴퓨팅 애플리케이션을 위한 유망한 전략을 제공한다.

저자들은 이 접근 방식이 연속 제어에는 탁월하지만, 이산 분류나 이진 결정 작업에서는 MLP를 보편적으로 능가하지는 않는다는 점을 언급하며 신중한 입장을 유지하였다. 또한, 더 큰 네트워크로 확장하는 데에는 기생 효과에 대한 더 완전한 모델링이나 전이 후의 캘리브레이션이 필요할 수 있다고 덧붙였다.

유사한 논문