💻 computer science

SMM Transformer: Leveraging Spiking Neural Networks for Multimodal Tasks

본 논문은 안정적인 학습 메커니즘과 스파이크 구동 어텐션을 활용하여 기존의 ANN 베이스라인과 비교해 경쟁력 있는 정확도를 달성하는 동시에 계산 에너지 소비를 크게 줄이는 새로운 멀티모달 프레임워크인 SMM Transformer를 소개한다.

원저자: Xiubo Liang, Jinxing Han, Yuke Li, Haoqi Zhu, Yu Zhao, Hongzhi Wang

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiubo Liang, Jinxing Han, Yuke Li, Haoqi Zhu, Yu Zhao, Hongzhi Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 단순히 끝없이 배고픈 계산기처럼 숫자만 두드리는 것이 아니라, 인간의 뇌 속 뉴런처럼 작은 전기 스파크를 쏘아 올리는 세상을 상상해 보십시오. 이것이 바로 스파이킹 신경망(Spiking Neural Networks, SNN)의 영역입니다. 새로운 정보가 없을 때도 끊임없이 데이터를 처리하는 기존의 AI와 달리, SNN은 "이벤트 기반(event-driven)"입니다. 이들은 무언가 흥미로운 일이 일어날 때만 깨어나 신호를 보내며, 덕분에 놀라울 정도로 에너지 효율적입니다. 이는 24시간 내내 켜져 있는 전구가 아니라, 방에 들어설 때만 켜지는 조명 스위치와 같습니다.

하지만 문제가 하나 있습니다. 이 스파크 기반의 두뇌는 에너지를 아끼는 데는 탁м 뛰어나지만, 사진을 보고 그에 대한 이야기를 쓰는 것과 같은 복잡한 다감각적 과업을 수행할 때는 어려움을 겪습니다. 이러한 과업을 위한 현재의 "골드 표준"은 "어텐션(attention)"이라는 무겁고 에너지를 많이 소비하는 방식을 사용하는데, 이는 컴퓨터가 모든 단어를 다른 모든 단어와 비교하고, 모든 픽셀을 다른 모든 픽셀과 비교하도록 강요합니다. 이는 마치 거대한 파티에 있는 모든 사람을 대화를 시작하기도 전에 한 명씩 일일이 소개하려는 것과 같습니다. 이 논문은 다음과 같이 질문합니다. 우리는 이 복잡한 다감각적 작업들을 에너지를 낭비하지 않고도 처리할 수 있는 스파크 기반의 두뇌를 만들 수 있을까요?

여기, 시우보 리앙(Xiubo Liang)과 그 팀이 제안한 새로운 프레임워크인 **SMM 트랜스포머(SMM Transformer)**가 등장했습니다. 그들은 단순히 기존의 스파크 기반 시스템을 조금 더 개선하려고 노력한 것이 아니라, 이미지와 텍스트의 혼합이라는 혼돈을 다룰 수 있도록 엔진을 밑바닥부터 다시 구축했습니다.

첫째, 그들은 깊고 복잡한 네트워크 문제를 해결했습니다. 표준적인 스파크 뉴런은 층을 높게 쌓을 경우 다루기가 까다롭고 학습시키기 어렵습니다. 연구팀은 PLMP라는 새로운 유형의 뉴런을 발명했습니다. 표준 뉴런을 정보(물)가 흐르는 단일하고 딱딱한 파이프라고 상상해 보십시오. PLMP는 각자 조절 가능한 밸브를 가진 다양한 크기의 파이프들이 병렬로 달리는 다발과 같습니다. 이를 통해 시스템은 다양한 속도와 정보 패턴을 훨씬 더 안정적으로 학습할 수 있습니다. 또한, 이 새로운 뉴런이 혼란 없이 학습할 수 있도록 가르치는 특수한 훈련 방법인 P-STBP를 만들었습니다.

다음으로, 그들은 "어텐션" 문제를 해결해야 했습니다. 기존의 어텐션 방식은 모든 사람이 동시에 서로에게 자신의 이름을 외치는 북적이는 방과 같습니다. 시끄럽고 무질서하며 엄청난 에너지를 사용합니다. 연구팀은 이를 SMSA(Spiking MLP Self-Attention)로 교체했습니다. SMSA는 혼란스러운 소리 지르기 대신, 어두운 방 안의 일련의 손전등처럼 작동합니다. 이미지의 한 부분에서 발생하는 "번쩍임(스파이크)"이 텍스트의 "번쩍임"과 일치하는지 확인합니다. 만약 함께 빛을 낸다면 연결되는 것이고, 그렇지 않다면 어둠 속에 머무는 것입니다. 이는 모든 것을 일일이 비교하는 무거운 수학 연산을 건너뜁니다. 또한, 이렇게 희소하게(sparse) 처리함으로써 중요한 세부 사항을 놓치지 않도록, 빠져나가는 정보를 잡아내는 안전망 역할을 하는 "자기 보정(self-compensation)" 브랜치를 추가했습니다.

마지막으로, 사진과 단어의 혼합을 처리하기 위해 SMoE(Spiking Mixture-of-Experts)를 도입했습니다. 이것을 바쁜 교차로의 스마트한 교통 통제관이라고 생각하십시오. 모든 차량(데이터)이 똑같은 길을 가도록 강요하는 대신, 통제관은 이미지 중심의 데이터를 "비전 전문가" 차선으로, 텍스트 중심의 데이터를 "언어 전문가" 차선으로, 그리고 혼합된 데이터는 특별한 "비전-언어" 차선으로 안내합니다. 이를 통해 서로 다른 유형의 정보가 충돌하지 않으면서도 서로 상호작용할 수 있게 합니다.

결과는 어떠했을까요? SMM 트랜스포머는 강력한 경쟁자입니다. 이미지 캡셔닝(이미지 설명)과 같은 과업을 테스트했을 때, 이 모델은 무겁고 에너지를 많이 쓰는 전통적인 모델들과 대등한 정확도를 달로했습니다. 실제로 이미지 캡셔닝 과업에서 SMM 트랜스포머-라지(SMM Transformer-Large) 모델은 BLEU-4 45.33과 CIDEr 128.72를 기록하며 매우 경쟁력 있는 수치를 보여주었습니다. 하지만 진짜 마법은 에너지 절감에 있습니다. 연구진은 새로운 어텐션 방식을 사용함으로써 모델의 어텐션 부분에 드는 에너지 비용이 표준 방식에 비해 최대 97% 감소했다고 추정했습니다. 모델 전체를 보더라도 에너지 절감 효과는 견고한 **21.6%**였으며, 모델은 약 13.6% 더 빠르게 실행되었습니다.

이 논문은 이것이 모든 가능한 미래의 용도에 대한 완벽하고 완성된 제품이라고 주장하는 것이 아니라, 명확한 진로를 제시하고 있습니다. 이들은 "전류의 홍수"가 아닌 "스파크"를 사용하여 깊고 복잡한 다감각 AI 시스템을 구축할 수 있음을 증ло합니다. 무겁고 밀집된 수학 연산을 희소하고 이벤트 기반인 스파이크로 교체함으로써, SMM 트랜스포머는 우리가 높은 정확도(cake)를 얻으면서도 낮은 에너지 소비(eat it too)라는 두 마리 토끼를 모두 잡을 수 있음을 보여줍니다. 이는 언젠가 스마트워치나 안경만큼 작은 기기에서도 구동될 수 있는, 더 똑똑하고 친환경적인 AI를 향한 길을 열어줍니다.

기술 요약: SMM Transformer

문제 정의
스파이킹 신경망(SNN)은 에너지 효율적인 컴퓨팅을 약속하는 이벤트 기반의 희소 활성화 메커니즘을 제공하지만, 이를 멀티모달 트랜스포머 아키텍처에 적용하는 데에는 상당한 장애물이 존재합니다. 기존 방식들은 두 가지 주요 문제로 어려움을 겪습니다: (1) 기울기 감쇠(gradient attenuation)와 표준 리키 통합-발화(Leaky Integrate-and-Fire, LIF) 뉴런의 하이퍼파라미터 튜닝 난이도로 인한 깊은 스파이킹 스택에서의 불안정한 학습, 그리고 (2) 트랜스포머의 전형적인 조밀한 쌍별 소프트맥스 어텐션(pairwise softmax attention) 메커 lack과 스파이크 기반 통신의 희소하고 이진적인 특성 사이의 아키텍처 불일치입니다. 또한, 현재의 멀티모달 SNN은 별도의 인코더나 후기 융합(late fusion)에 의존하는 경우가 많아 초기 단계의 교차 모달 상호작용을 제한합니다.

방법론
저자들은 트랜스포머의 거시적 구조를 유지하면서도 전체가 스파이킹 체제 내에서 작동하도록 설계된 멀티모달 프레임워크인 SMM Transformer를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소를 도입합니다:

PLMP (다단계 학습 가능 파라미터를 가진 병렬 LIF):
학습 불안정성과 하이퍼파라미터 민감도를 해결하기 위해, 저자들은 표준 LIF 뉴런을 PLMP 유닛으로 대체합니다. 각 PLMP 유닛은 $K$ 개의 병렬 LIF 브랜치로 구성되며, 각 브랜치는 고유한 학습 가능한 막 누설 계수( $\alpha_k$ )와 발화 임계값( $V_{th,k}$ )을 가집니다. 이러한 브랜치들은 이질적인 시간 역학을 포착합니다. 출력은 내부 스파이크 카운트로 집계되며, 이후 고정 임계값 판독 게이트(read-out gate)에 의해 이진화되어 다음 레이어를 위한 단일 이진 스파이크를 생성합니다. 이 설계는 시간 상수와 임계값의 수동 튜닝을 방지합니다.

了. P-STBP (병렬 시공간 역전파):
깊은 PLMP 기반 스택을 학습시키기 위해, 저자들은 시공간 역전파(STBP) 알고리즘을 변형한 P-STBP를 사용합니다. P-STBP는 공간적 차원(판독 스파이크를 통한 레이어 간 전파)과 시간적 차원(병렬 LIF 브랜치의 재귀적 역학을 통한 전파) 모두를 통해 기울기를 공동으로 전파합니다. 이는 시냅스 가중치, 편향, 그리고 새롭게 도입된 학습 가능한 누설 계수 및 임계값에 대한 기울기를 계산하여 안정적인 엔드 투 엔드 학습을 가능하게 합니다.

SMSA (스파이킹 MLP 셀프 어텐션):
SMSA는 조밀한 $N \times N$ 소프트맥스 어텐션 행렬을 스파이크 기반 토큰 믹싱 모듈로 대체합니다. 쌍별 친밀도(pairwise affinities)를 계산하는 대신, SMSA는 다음과 같이 동작합니다:
- Query, Key, Value 텐서를 PLMP를 통해 투영하여 이진 스파이크를 얻습니다.
- 채널별 스파이크 공동 활성화(Query와 Key 스파이크의 요소별 곱의 합)를 계산하여 채널 벡터를 생성합니다.
- 이 벡터를 PLMP를 통해 이진화하여 스파이크 게이트를 생성합니다.
- 열 방향 마스킹(column-wise masking)을 통해 이 게이트를 Value 스파이크에 적용합니다.
- 조밀한 토큰 간 상호작용을 제거함으로써 손실된 표현력을 회복하기 위해 자기 보상 브랜치(스파이킹 MLP)를 포함합니다.
SMoE (스파이킹 전문가 혼합 모델):
모달리티 인지 융합을 위해, 피드 포워드 레이어는 스파이킹 전문가 혼합 모델(Spiking Mixture-of-Experts)을 활용합니다. 이 모듈은 토큰을 비전 특화, 언어 특화 또는 비전-언어 전문가에게 동적으로 라우팅합니다. 이를 통해 공유된 상호작용 백본을 유지하면서도 서로 다른 모달리티로부터 오는 이질적인 표현을 처리할 수 있습니다.

모델은 이미지 전용, 텍스트 전용, 이미지-텍스트 쌍 데이터를 포함하는 단계별 사전 학습 전략을 사용하여 학습되며, 이미지-텍스트 대조 학습, 마스크드 언어 모델링, 이미지-텍스트 매칭과 같은 태스크를 최적화합니다.

주요 기여

학습 가능한 스파이킹 유닛: 학습 가능한 시간 파라미터를 가진 PLMP와 안정적인 깊은 SNN 학습을 위한 P-STBP의 도입.
스파이크 기반 토큰 믹싱: 조밀한 귀납적 편향(inductive bias)을 희소한 이벤트 기반 연산으로 교환하면서도 자기 보상을 통해 정확도를 유지하는 SMSA 설계.
모달리티 인지 융합: 전문가 라우팅을 통해 교차 모달 간섭를 줄이는 SMoE 구현.
효율성 분석: 어텐션 모듈에서 상당한 산술적 절감을 보여주는 상세한 연산자 수준 에너지 분석.

결과
SMM Transformer는 시각 및 멀티모달 벤치마크에서 평가되었습니다:

멀티모달 태스크: 이미지 캡셔닝(MSCOCO) 및 교차 모달 검색(COCO, Flickr30K)에서 SMM Transformer는 ANN 베이스라인(예: BLIP, GIT, ALBEF)과 경쟁할 만한 정확도를 달성했습니다. 구체적으로, Large 변형 모델은 MSCOCO에서 BLEU-4 45.33, CIDEr 128.72를 기록했습니다.
시각 태스크: 이미지 전용 인코더로서, SMM은 ImageNet에서 83.2%의 top-1 정확도와 ADE20K에서 49.8 mIoU를 달성하여 기존의 PSSD와 같은 SNN 기반 트랜스포머를 능가했습니다.
에너지 효율성: 표준 MAC/AC 산술 모델(45nm CMOS) 하에서, SMSA 모듈은 바닐라 셀프 어텐션에 비해 어텐션 블록의 추정 연산자 수준 계산 에너지를 최대 97% 감소시킵니다. 전체 모델 프로파일링 결과, 쌍당 추정 에너지는 21.6% 감소하고, 전체 모델 FLOPs는 25.1% 감소하는 등 보다 완만하지만 일관된 이득을 보였습니다.

의의 및 주장
본 논문은 SMM Transformer가 SNN의 에너지 효율성과 멀티모달 파운데이션 모델의 성능 요구 사항 사이의 간극을 성공적으로 메웠다고 주장합니다. 뉴런, 어텐션, 융합 메커니즘을 희소한 스파이크 통신에 적합하도록 재설계함으로써, 이 프레임워크는 깊은 스파이킹 네트워크가 ANN-to-SNN 변환에 의존하지 않고도 경쟁력 있는 정확도를 달-성할 수 있음을 입증합니다. 저자들은 스파이크 이진화와 선형화된 토큰 믹싱이 (최상위 ANN 베이스라인과 비교했을 때 나타나는 것처럼) 일부 시맨틱 합의(semantic consensus)를 효율성을 위해 희생할 수 있지만, 이 프레임워크가 에너지 인지형 멀티모달 학습을 향한 실행 가능한 경로를 제공한다고 강조합니다. 본 연구는 주요 효율성 이득이 어텐션 모듈에 집중되어 있음을 강조하며, 메모리 인지 배포 및 실제 장치 뉴로모픽 측정을 다루기 위한 향후 연구가 필요함을 명시합니다.

기술 요약: SMM Transformer

유사한 논문