🤖 machine learning

Event-triggered Implicit Perturbation for Zeroth-Order Fine-Tuning of Spiking Transformers

본 논문은 인메모리 컴퓨팅 가속기 상에서 스파이킹 트랜스포머의 0차 미세 조정을 위해, 비용이 많이 드는 읽기-수정-쓰기(read-modify-write) 연산을 제거하고 스파이크가 활성화된 가중치에 대해서만 섭동을 생성하며 소프트웨어 기반 난수 생성기와 대등한 정확도를 유지하기 위해 XOR 결합 방식을 채택함으로써 하드웨어 오버헤드를 줄이는 이벤트 트리거 방식의 암시적 섭동 아키텍처(IPZO)를 제안한다.

원저자: Tengteng Lei, Prabodh Katti, Rashi Dutt, Houssem Sifaou, Tan Peng, Osvaldo Simeone, Kai Xu, Bipin Rajendran

게시일 2026-08-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tengteng Lei, Prabodh Katti, Rashi Dutt, Houssem Sifaou, Tan Peng, Osvaldo Simeone, Kai Xu, Bipin Rajendran

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

급격히 진화하는 인공지능의 세계에서, 트랜스포머라고 알려진 특정 유형의 컴퓨터 프로그램은 언어 번역부터 이미지 인식에 이르기까지 모든 것을 구동하는 지배적인 힘이 되었습니다. 이러한 시스템은 믿을 수 없을 정도로 강력하지만, 동시에 에너지와 메모리를 엄청나게 소모하며, 이를 실행하기 위해 거대한 데이터 센터를 필요로 하는 경우가 많습니다. 이 지능을 스마트폰이나 센서와 같은 작고 일상적인 기기로 가져오기 위해, 엔지니어들은 인간의 뇌에서 영감을 얻은 다른 접근 방식인 스파이킹 신경망(spiking neural networks)으로 눈을 돌렸습니다. 정보를 연속적으로 처리하는 전통적인 프로그램과 달리, 이 네트워크는 사건이 발생했을 때만 작동하여 신호를 보내므로 자연스럽게 효율적입니다. 하지만 이러한 네트워크가 기기 자체에서 새로운 작업을 학습하도록 가르치는 것은 고질적인 문제였습니다. 네트워크의 모든 연결을 어떻게 조정할지 계산하는 과정을 포함하는 표준 학습 방법은 소형 칩에 너무 복잡하고 메모리 집약적입니다. 더 단순한 대안이 존재합니다. 이는 연결부에 아주 작은 무작위적인 자극(nudges)을 주어 결과가 개선되는지 확인함으로써 시스템을 개선하는 방법을 추정하는 방식이지만, 이 방법 또한 실용화되는 데 걸림돌이 되었던 심각한 하드웨어적 난관들을 가지고 있습니다.

연구팀은 이제 이러한 난관을 해결하여, 이 효율적인 뇌 모사 네트워크가 내부 메모리를 끊임없이 다시 쓰는 과정 없이도 특화된 컴퓨터 칩 위에서 직접 학습할 수 있게 해주는 새로운 아키텍처를 설계했습니다. 그들이 직면한 핵심 과제는 이러한 무작위 자극을 가하는 표준 방식이 칩으로 저장된 정보를 반복적으로 읽고, 변경하고, 다시 쓰는 과정을 요구한다는 점이었습니다. '읽기-수정-쓰기(read-modify-write)'라고 알려진 이 과정은 느리고 배터리를 소모하며, 결과적으로 특화된 칩이 제공하도록 설계된 에너지 절감 효과를 상쇄해 버립니다. 게다가, 네트워크의 모든 연결에 필요한 방대한 양의 난수를 생성하는 것은 메모리 자체보다 더 큰 공간을 차지할 만큼 거대한 난수 생성기를 필요로 할 것입니다. 연구진은 영리한 우회 방법을 제안했습니다. 즉, 저장된 가중치(weights)를 직접 변경하는 대신, 숫자들이 합산되는 바로 그 지점인 계산 과정 자체에 무작위 변화를 주입하는 것입니다. 이는 저장된 가중치를 건드리지 않고 고정된 상태로 유지함으로써 칩의 효율성을 보존합니다.

이를 구현하기 위해 연구팀은 네트워크의 어느 부분이 실제로 활성화되어 있는지에 대해서만 무작위 자극을 생성하는 특화된 유닛을 구축했습니다. 이러한 뇌 모사 네트워크는 본래 희소성(sparsity)을 띠고 있어, 특정 순간에 대부분의 연결이 조용하기 때문에, 이 유닛은 전체 네트워크 크기의 극히 일부 크기만 되어도 충분합니다. 그러나 동일한 작은 난수 집합을 네트워크의 서로 다른 부분에 재사용하는 것은 숨겨진 문제를 야기합니다. 즉, 자극들이 서로 너무 유사해져서 학습 과정이 정체되거나 부정확해지는 것입니다. 이를 해결하기 위해 연구진은 위치에 기반하여 이 재사용되는 숫자들을 특정 방식으로 결합하는 혼합 체계를 도입했으며, 이를 통해 모든 부분이 고유하고 독립적인 자극을 받도록 보장했습니다. 연구진이 '주소 기반 XOR 재결합(address-driven XOR recombination)'이라고 부르는 이 혼합 과정은 시스템이 효과적으로 학습하는 데 필요한 통계적 독립성을 회복시켜 줍니다.

연구팀이 이 새로운 설계를 테스트했을 데, 결과는 놀라웠습니다. 표준 칩 제조 공정을 사용한 시뮬레이션과 하드웨어 테스트에서, 그들의 시스템은 완벽하고 독립적인 난수를 사용하는 소프트웨어 기반 방식과 동일한 높은 정확도를 달enc성했습니다. 반면, 단순히 혼합 체계 없이 난수를 재사용한 버전은 이미지 인식 작업에서 정확도가 거의 10% 포인트 가까이 떨어지고 학습에 훨씬 더 많은 시간이 소요되는 등 현저한 실패를 보였습니다. 새로운 설계는 또한 놀라울 정도로 에너지 효율적이었습니다. 메모리를 다시 쓰는 비용이 많이 드는 과정을 피함으로써, 일반적인 설정에서 실행될 때 전통적인 방식보다 절반 미만의 에너지만을 소비합니다. 비록 새로운 혼합 유닛이 약간의 추가 하드웨어를 더하지만, 시스템이 학습하는 속도 덕분에 전체 학습 과정 동안 사용되는 총 에너지는 단순한 재사용 방식에 비해 절반으로 줄어듭니다. 이 연구는 무작위 조정을 저장 영역에서 계산 영역으로 옮기고 스마트한 혼합 기술을 사용함으로써, 에너지 제약이 있는 하드웨어에서 복잡한 뇌 모사 AI 모델을 직접 학습시키는 것이 가능하다는 것을 보여주며, 이는 스스로 학습할 수 있는 더 똑똑하고 적응력 있는 기기들의 길을 열어줍니다.

기술 요약: 스파이킹 트랜스포머의 제로 차수 미세 조정을 위한 이벤트 트리거형 암묵적 섭동(Event-triggered Implicit Perturbation)

문제 정의

자원 제약이 있는 엣지 플랫폼에 스파이킹 트랜스포머(Spiking Transformers)를 배포할 때, 온칩 학습(on-chip learning)을 시도하는 과정에서 상당한 장애물에 직면한다. 제로 차수(Zeroth-Order, ZO) 최적화는 비미분 가능한 스파이킹 신경망(SNN)을 위해 순전파 평가에만 의존함으로써 메모리 효율적인 대안을 제공하지만, 인메모리 컴퓨팅(IMC) 가속기에서의 구현은 다음과 같은 두 가지 주요 아키텍처 불일치로 인해 어려움을 겪는다:

난수 생성기(RNG)의 하드웨어 오버헤드: ZO 최적화는 모든 가중치 파라미터에 대해 통계적으로 독립적인 무작위 섭동을 필요로 한다. 균등 난수 생성기(Uniform RNG)를 사용하여 각 가중치별 섭동을 생성하는 것은 가혹한 면적 발자국(area footprint)을 초래하는데, 이는 난수 생성을 위한 로직(예: 선형 피드백 시프트 레지스터, LFSR)이 가중치를 저장하는 메모리 셀의 면적을 훨씬 초과하기 때문이다.
가중치 고정 데이터플로우(Weight-Stationary Dataflow)의 저해: 기존의 명시적 섭동 ZO(Explicit Perturbation ZO, EPZO)는 매 그레이디언트 추정 단계마다 전체 가중치 행렬을 읽고, 섭동을 적용한 뒤, 수정된 가중치를 다시 IMC 어레이에 쓰는 과정을 거친다. 이러한 빈번한 읽기-수정-쓰기(Read-Modify-Write, RMW) 작업은 IMC의 에너지 이점을 상쇄하며, 비휘발성 메모리(NVM)의 경우 쓰기 내구성(write-endurance) 문제를 악화시킨다.

RNG 출력을 재사용하는 섭동 효율적 ZO(PeZO)와 같은 기존 솔루션은 하드웨어 오버헤드를 줄이지만, 섭동 간의 공간적 상관관계(spatial correlations)를 유발하여 학습 정확도와 수렴 속도를 저하시킨다.

방법론

저자들은 섭동 주입 지점을 저장된 가중치 도메인에서 누적(accumulation) 도메인으로 전환하는 하드웨어-알고리즘 공동 설계 아키텍처인 **암묵적 섭동 ZO (Implicit-Perturbation ZO, IPZO)**를 제안한다.

핵심 아키텍처 전환

IPзо는 IMC 어레이에 저장된 가중치( $\theta$ )를 직접 수정하는 대신, 섭동 합을 표준 행렬-벡터 곱(Matrix-Vector Multiplication, MVM) 결과에 더함으로써 섭동된 출력을 계산한다. MVM의 분배 법칙을 활용하면, 섭동된 출력 $x \cdot (\theta \pm \epsilon z_i)$ 는 다음과 같이 계산된다:
$x \cdot \theta \pm x \cdot \epsilon z_i$
여기서 $x \cdot \theta$ 는 표준 IMC 출력이며, $x \cdot \epsilon z_i$ 는 전용 **섭동 생성 유닛(Perturbation Generation Unit, PGU)**에 의해 계산되는 섭동 합이다. 이 접근 방식은 반복적인 RMW 작업을 제거하여 IMC의 가중치 고정 실행을 보존한다.

이벤트 트리거형 섭동 생성 (PGU)

RNG 면적 오버헤드를 해결하기 위해, PGU는 SNN의 내재된 희소성(sparsity)을 활용한다:

차원 축소: PGU는 전체 가중치 행렬이 아니라, 주어진 타임 스텝에서 입력 스파이크에 의해 활성화된 가중치 행에 대해서만 섭동을 생성한다. 이는 RNG 어레이의 크기를 IMC 어레이의 물리적 차원으로부터 분리시킨다.
주소 기반 XOR 재결합 (PGU-XOR): 여러 행에 걸쳐 축소된 RNG 세트를 재사용할 때 발생하는 통계적 상관관계를 방지하기 위해, 저자들은 재결합 기법을 도입한다.
- 스파이크 주소는 몫( $q_i$ )과 나머지( $r_i$ )로 분해된다.
- 두 개의 독립적인 LFSR 세트가 난수를 생성한다: 몫과 연관된 LFSR(Q-LFSR)과 나머지 연관 LFSR(R-LFSR)이다.
- 특정 행에 대한 최종 섭동 벡터는 선택된 Q-LFSR 출력과 그에 대응하는 R-LFSR 행을 비트 단위로 XOR 연산하여 생성된다. 이를 통해 축소된 하드웨어에도 불구하고 전체 가중치 행렬에 대해 통계적으로 독립적인 섭동을 보장한다.
누적 네트워크 (Accumulation Network): 여러 스파이크 주소가 동일한 RNG 행에 매핑될 때 발생하는 자원 경합을 처리하기 위해, 누적 네트워크는 제한된 레이턴시를 대가로 여러 사이클에 걸쳐 액세스를 직렬화한다.

주요 기여

IPZO 아키텍처: 섭동을 누적 도메인에 주입하여 반복적인 RMW 작업을 제거하고 가중치 고정 IMC 실행을 보존하는 새로운 프레임워크.
PGU-XOR 스킴: 스파이크 희소성에 따라 RNG 어레이 차원을 줄이고, 주소 기반 XOR 재결합을 사용하여 효과적인 그레이디언트 추정에 필요한 통계적 독립성을 확보하면서도 단순한 RNG 재사용으로 인한 정확도 저하를 극복한 이벤트 트리거형 섭동 생성기.
하드웨어 검증: 면적, 처리량 및 에너지 분석을 포함하여 설계의 타당성을 입증하는 TSMC 16-nm CMOS 기술 기반의 포스트 레이아웃 구현.

실험 결과

제안된 프레임워크는 알고리즘 시뮬레이션과 하드웨어 구현을 통해 평가되었다:

정확도 및 수렴:
- Spikingformer (CIFAR-10)에서 PGU-XOR은 **76.41%**의 정확도를 달립, 이는 소프트웨어 RNG 베이스라인(Randint, 76.53%)과 일치하는 수준이다. 반면 PGU-Reuse는 **66.85%**로 떨어져 9.56 퍼센트 포인트의 하락을 보였다.
- SpikeGPT (WikiText-2)에서 PGU-XOR은 54.20의 퍼플렉시티(PPL)를 달성하여 소프트웨어 베이스라인(~53.23)과 유사한 성능을 보였으나, PGU-Reuse는 PPL이 66.01로 나타났다.
- PGU-XOR은 CIFAR-10에서 동등한 성능 수준에 도달하기 위해 PGU-Reuse보다 2.9배 적은 에폭(epoch)이 필요했고, WikiText-2에서는 5.7배 적은 스텝이 필요하여 훨씬 빠르게 수렴했다.
통계적 특성: 가중치 업데이트 행렬 분석 결과, PGU-XOR은 소프트웨어 RNG와 유사하게 근사 완전 계수 탐색(effective rank ~120)을 달성한 반면, PGU-Reuse는 저차원 부분 공간(effective rank ~61.5)으로 붕괴되어 섭동 다양성의 회복을 확인했다.
하드웨어 효율성 (TSMC 16-nm):
- 면적: PGU-XOR은 추가적인 Q-LFSR로 인해 PGU-Reuse 대비 **40.3%~46.0%**의 면적 오버헤드가 발생한다.
- 에너지: PGU-XOR은 MVM당 약간 더 높은 에너지 비용(15.2%~48.9% 오버헤드)을 갖지만, 빠른 수렴 덕분에 동일 정확도 작업에 대한 총 섭동 에너지는 PGU-Reuse의 0.51배로 감소한다.
- EPZO와의 비교: 기존의 명시적 섭동 ZO(EPZO)와 비교했을 때, IPZO(PGU-XOR 사용)는 배치 크기 $B=64$ , 타임 스텝 $T=4$ 인 경우 섭동 에너지를 0.46배~0.83배로 줄인다. 이 이점은 $BT$ 의 곱이 작아질수록 커지며, 이는 엣지 디바이스에 특히 적합하다.

의의

본 논문은 IPZO가 IMC 기반 스파이킹 트랜스포머를 위한 효율적인 온칩 학습 경로를 제공한다고 주장한다. 섭동을 누적 도메인으로 재배치함으로써, 이 아키텍처는 독립적인 무작위 노이즈에 대한 알고리즘적 요구와 IMC의 하드웨어 제약(특히 RMW 작업 비용 및 RNG 면적) 사이의 근본적인 충돌을 해결한다. PGU-XOR 스킴의 도입은 하드웨어 자원을 줄이면서도 효과적인 그레이디언트 추정에 필요한 통계적 독립성을 유지할 수 있음을 입증한다. 결과적으로, 이 접근 방식은 ZO 기반 미세 조정(fine-tuning)을 에너지 효율적이고 하드웨어적으로 실행 가능하게 만듦으로써, 자원이 제한된 플랫폼에서 적응형 및 프라이버시 보호형 엣지 인텔리전스를 실현할 수 있는 길을 제시한다.