Co-Optimization of Analog Kolmogorov-Arnold Networks for Low-Power Function Approximation in Flexible Electronics

기술 요약: 유연한 전자 공학을 위한 저전력 함수 근사를 위한 아날로그 콜모고로프-아르노프 네트워크의 공동 최적화

문제 정의
웨어러블 기기와 사물인터넷(IoT) 센서는 생체 신호 및 환경 데이터에 대한 온-센서(on-sensor) 프로세싱을 점점 더 많이 요구하고 있습니다. 이러한 작업에는 비선형 활성화 함수, 센서 교정 곡선, 신호 전처리(예: 로그 압축, 거듭제곱 연산)와 같이 계산 집약적인 연산이 포함됩니다. 이러한 함수를 디지털로 구현하는 것은 아날로그-디지털 변환(ADC) 및 후속 디지털 프로세싱으로 인해 상당한 에너지 오버헤드를 발생시킬 수 있습니다. 유연한 전자 공학(Flexible Electronics, FE)은 기계적 유연성과 저비용 제조 능력 덕분에 웨어러블 애플리케이션을 위한 유망한 플랫폼을 제공하지만, 회로 밀도와 전력 소비에 엄격한 제약을 가합니다. 또한, 아날로그 구현은 노이즈, 공정 변동 및 소자 불일치에 취ert기 쉬우며, 하드웨어의 비이상적 특성이 모델 설계 단계에서 명시적으로 다뤄지지 않을 경우 근사 정확도가 저하될 수 있습니다. RRAM 기반 컴퓨팅 인 메모리(computing-in-memory)나 다항식 기반 기술과 같은 기존 방식은 소자 변동성, 에너지 요구량 또는 FE 플랫폼에 대한 특정 최적화 부재라는 한계에 직면해 있습니다.

방법론
저자들은 하드웨어-소프트웨어 공동 최적화 방법론을 통해 개발된 **아날로그 콜모고로프-아르노프 네트워크(Analog Kolmogorov-Arnold Networks, AKANs)**를 제안합니다. 이 접근 방식의 핵심은 회로 시뮬레이션, 오차 모델링 및 파라미터 프루닝(pruning)을 통합하는 통합 설계 루프입니다.

1. 하드웨어 아키텍처: AKAN은 FE에 적합한 단극성 기술인 인듐 갈륨 아연 산화물(IGLO) 박막 트랜지스터(TFT)를 사용하여 구현됩니다. 이 네트워크는 함수 $B(x) = k_0 + k_1x + k_2x^2$를 나타내는 이차 스플라인(quadratic splines)을 구축하기 위해 아날로그 빌딩 블록(ABB)을 활용합니다. 이러한 스플라인은 가중치를 할당하기 위해 저항을 이용한 곱셈-누산(MAC) 연산을 통해 서로 연결됩니다.
2. 하드웨어 인지 오차 모델링: 이상적인 동작이나 통계적 오차 분포를 가정하는 이전 연구들과 달리, 본 연구는 IGZO 회로의 과도 상태 SPICE 시뮬레이션으로부터 직접 유도된 연속적이고 입력 의존적인 오차 함수($\hat{\epsilon}_{hardware}(x)$)를 도출합니다. 이 모델은 전체 계수 공간($k_0, k_1, k_2$)에 걸친 체계적인 하드웨어 비이상성을 포착합니다.
3. 계수 수준의 프루닝: 본 방법론은 전체 뉴런이나 스플라인이 아닌 개별 다항식 계수 수준에서 작동하는 프루닝 전략을 도입합니다. 계수를 제거하는 것(예: $k_1$을 0으로 설정)은 특정 회로 블록(곱셈기, 제곱기 또는 가산기)의 물리적 제거에 해당합니다.
4. 공동 설계 학습: 프루닝 과정은 KAN 학습 루프에 통합됩니다. 각 프루닝 구성에 대해, 대응하는 하드웨어 오차 모델이 가산 노이즈($f_{target}(x) = f_{ideal}(x) + \hat{\epsilon}_{hardware}(x)$)로서 학습 목적 함수에 주입됩니다. 이를 통해 네트워크가 현실적인 작동 조건 및 특정 프루닝 제약 조건 하에서도 견고하게 유지되는 파라미터 구성을 학습할 수 있도록 합니다.

주요 기여
본 논문은 세 가지 주요 기여를 식별합니다:

1. 기술 인지형 아날로그 오차 모델링: 상업적으로 유의미한 FE 공정 내의 단극성 IGZO TFT 회로에 대한 과도 SPICE 시뮬레이션으로부터 직접 유도된, 입력 의존적인 연속적 오차 함수를 도출하였습니다.
2. 회로 블록 수준의 계수 프루닝: 각 이차 스플라인($k_0, k_1, k_2$)의 개별 다항식 계수에 작용하는 프루닝 방법론을 제시합니다. 이 접근 방식은 소프트웨어 결정을 하드웨어 면적 및 전력 절감으로 직접 변환할 수 있게 합니다.
3. 애플리케이션 중심 검증: 웨어러블 배포와 관련된 생체 의료 모니터링 및 센싱 시나리오를 다루는 네 가지 데이터셋(PPG-DaLiA, ECG5000, Individual Household Electric Power Consumption, Iris)에 대한 포괄적인 평가를 수행하였습니다.

결과
제안된 프레임워크는 광범위한 SPICE 시뮬레이션과 학습 실험을 통해 검증되었습니다:

• 하드웨어 효율성: 개별 계수를 프루닝한 결과 상당한 하드웨어 절감 효과를 보였습니다. 최상의 시나리오에서는 프룬(unpruned) 베이스라인 대비 최대 55%의 면적 감소와 50%의 전력 감소를 달와성했습니다. 데이터셋 전반에 걸친 평균 감소율은 두 지표 모두 약 **30%**였습니다.
• 정확도 향상: 프루닝이 성능을 저하시킬 것이라는 예상과 달리, 결과는 프루닝이 근사 정확도를 향상시킬 수 있음을 보여주었습니다. 0에 가까운 계수를 제거하는 것은 암묵적인 정규화 역할을 하여, 모델의 과적합 및 하드웨어 노이즈에 대한 민감도를 줄였습니다. 여러 사례에서 프룬된 AKAN은 프룬되지 않은 베이스라인보다 낮은 정규화 평균 백분율 오차(NMPE)를 달성했습니다.
• 견고성: 27개의 작동 코너에 대한 PVT(공정, 전압, 온도) 분석을 통해 하드웨어 인지 학습이 체계적인 변화를 보상함을 확인했습니다. NMPE는 웨어러블 온도 범위(27–40°C) 내에서 안정적으로 유지되었으며, 명목 조건 대비 최대 편차는 0.74 퍼센트 포인트에 불과했습니다.
• 다운스트림 성능: 다운스트림 태스크(ECG5000 및 Iris에 대한 분류; IHEPC 및 PPG-DaLiA에 대한 신호 재구성) 평가 시, 프룬된 AKAN은 프룬되지 않은 베이스라인 및 이상적인 소프트웨어 전용 KAN과 대등한 성능을 유지했습니다. 신호 재구성 작업의 경우, 최적의 프룬 구성은 프룬되지 않은 하드웨어 베이스라인보다 우수한 성능을 보였으며, NRMSE를 최대 33%까지 감소시켰습니다.

의의
본 논문은 이 연구가 저전력 아날로그 함수 근사를 위한 견고하고 일반화 가능한 프레임워크를 구축한다고 주장합니다. 회로 수준의 제약을 학습 단계에서 명시적으로 고려하고 계수 수준의 프루닝 전략을 채택함으로써, 제안된 AKAN은 하드웨어 효율성과 근사 정확도 사이의 결정적인 트레이드오프 문제를 해결합니다. 결과는 전략적인 파라미터 감소가 단순히 자원을 절약하는 것을 넘어, 아날로그 신경망의 일반화 능력을 향상시킬 수 있음을 입증하며, 이를 통해 웨어러블 및 IoT 분야의 자원 제한적인 실시간 센싱 애플리케이션에 대한 실행 가능성을 보여줍니다. 이 접근 방식은 FE 기술에서 흔히 발생하는 막대한 면적 및 전력 비용 없이도 복잡한 비선형 함수를 아날로그 하드웨어에 직접 구현할 수 있는 경로를 제시합니다.