💻 computer science

SpikeMLLM: Spike-based Multimodal Large Language Models via Modality-Specific Temporal Scales and Temporal Compression

이 논문은 이질적인 모달리티에 대한 적응형 시간 스케일링과 시간 압축 기법을 도입하여 계산 효율성을 극대화하면서도 기존 멀티모달 대형 언어 모델의 성능을 거의 손실 없이 유지하는 최초의 스파이크 기반 프레임워크인 SpikeMLLM 과 이를 위한 전용 하드웨어 가속기를 제안합니다.

원저자: Han Xu, Zhiyong Qin, Di Shang, Jiahong Zhang, Xuerui Qiu, Bo Lei, Tiejun Huang, Bo Xu, Guoqi Li

게시일 2026-04-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Han Xu, Zhiyong Qin, Di Shang, Jiahong Zhang, Xuerui Qiu, Bo Lei, Tiejun Huang, Bo Xu, Guoqi Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제: "거대한 AI 의 무거운 발걸음"

지금까지의 멀티모달 AI(사진과 글을 동시에 이해하는 AI) 는 매우 똑똑하지만, 너무 무겁고 비쌉니다.

비유: 마치 거대한 트럭으로 우유 한 병을 배달하는 것과 같습니다. AI 가 사진을 보고 글을 읽을 때, 엄청난 양의 전기를 먹고 컴퓨터를 뜨겁게 만듭니다. 그래서 스마트폰이나 작은 기기에서는 이 AI 를 돌리기 어렵습니다.

2. 해결책: "스파이크 (Spiking) 신경망"의 등장

이 문제를 해결하기 위해 연구자들은 뇌의 신경세포처럼 작동하는 **'스파이크 신경망 (SNN)'**을 도입했습니다.

비유: 기존 AI 는 "항상 켜져 있는 형광등"처럼 계속 전기를 소비하며 계산을 합니다. 하지만 스파이크 신경망은 **"스위치"**처럼 작동합니다. 필요한 순간에만 '뚝' 하고 신호 (스파이크) 를 보내고, 그 외에는 전기를 아껴줍니다.
효과: 전기를 엄청나게 아낄 수 있어, 배터리로 오래 가는 기기에서도 AI 를 쓸 수 있게 됩니다.

3. 새로운 도전: "눈과 귀의 언어 차이"

하지만 스파이크 신경망을 멀티모달 AI 에 적용하려면 두 가지 큰 장벽이 있었습니다.

장벽 1: 눈과 귀는 다른 속도로 말해요 (이질성)

상황: AI 가 사진을 볼 때와 글을 읽을 때 필요한 정보의 양과 속도가 다릅니다. 사진은 많은 픽셀 (화소) 이 필요하지만, 글은 간결한 의미 전달이 중요합니다.
기존 방식: 모든 것을 똑같은 속도로 처리하려다 보니, 사진 처리는 너무 느리고 글 처리는 정확도가 떨어졌습니다.
해결책 (MSTS): "맞춤형 리듬"
- 연구자들은 **"모달리티별 시간 스케일 (MSTS)"**을 개발했습니다.
- 비유: 오케스트라 지휘자가 악기마다 다른 박자를 주는 것처럼, 글 (텍스트) 에는 더 많은 시간과 정밀함을 주고, 사진 (이미지) 에는 조금 더 간결하게 처리하도록 조정했습니다. 이렇게 하면 전체 속도는 느려지지 않으면서 정확도는 유지됩니다.

장벽 2: 너무 많은 신호를 보내야 해서 지치다 (시간 확장)

상황: 기존 스파이크 방식은 숫자를 표현하기 위해 신호를 여러 번 보내야 했습니다. 예를 들어 '15'라는 숫자를 표현하려면 15 번의 신호를 보내야 했죠. 고해상도 사진을 처리하면 이 신호가 천문학적으로 늘어납니다.
해결책 (TC-LIF): "압축된 메시지"
- 연구자들은 "시간 압축 LIF (TC-LIF)" 기술을 개발했습니다.
- 비유: 기존 방식이 "1, 2, 3, 4, 5..."라고 하나씩 세며 숫자를 말한다면, 이 기술은 **"이진수 (0 과 1) 로 된 암호"**를 사용합니다.
- 예를 들어, 15 를 표현할 때 15 번이 아니라 3 번의 신호로 "1111"을 보내는 식입니다. (2 의 제곱수 원리)
- 결과: 신호를 보낼 횟수가 15 번에서 3 번으로 줄어, 처리 속도가 5 배 빨라졌습니다.

4. 성과: "작은 몸집에 큰 능력"

이 두 가지 기술 (맞춤형 리듬 + 압축 메시지) 을 합친 결과, 놀라운 성과가 나왔습니다.

성능: 기존 고사양 AI(FP16) 와 비교했을 때, 정확도는 거의 떨어지지 않았습니다. (오차 1% 미만)
속도와 전력:
- 속도: 기존 GPU 대비 9 배 더 빠릅니다. (트럭이 오토바이처럼 빨라짐)
- 전력: 25 배 더 적은 전기로 작동합니다. (거대한 트럭이 자전거처럼 가볍게 변함)
하드웨어: 연구팀은 이 알고리즘에 딱 맞는 전용 칩 (RTL 가속기) 까지 설계하여, 이론적 가능성을 실제 하드웨어로 증명했습니다.

5. 결론: "AI 의 미래는 가볍고 똑똑하게"

이 논문은 **"AI 를 더 똑똑하게 만드는 동시에, 더 가볍고 에너지 효율적으로 만드는 길"**을 제시합니다.

한 줄 요약: "눈과 귀의 차이를 이해하고 (맞춤형 리듬), 메시지를 압축해서 (시간 압축) 보내는 새로운 AI 기술로, 배터리가 작은 기기에서도 고화질 사진과 복잡한 글을 동시에 이해하는 초고속 AI 시대가 열립니다."

이 기술이 상용화되면, 우리가 들고 다니는 스마트폰이나 스마트 시계에서도 거대하고 똑똑한 AI 비서가 전기를 거의 쓰지 않고 24 시간 작동할 수 있게 될 것입니다.

1. 문제 정의 (Problem)

기존의 멀티모달 대규모 언어 모델 (MLLM) 은 추론 과정에서 막대한 계산 오버헤드와 에너지 소비를 발생시켜, 리소스가 제한된 환경에서의 배포를 어렵게 만듭니다. 이를 해결하기 위해 에너지 효율이 뛰어난 스파이크 신경망 (SNN) 을 적용하려는 시도가 있었으나, MLLM 에 확장하는 과정에서 두 가지 핵심적인 난제가 존재했습니다.

이질적인 모달리티 (Heterogeneous Modalities): 이미지와 텍스트는 정보 밀도, 활성화 분포, 계산 특성이 크게 다릅니다. 기존과 같은 균일한 스파이크 인코딩 전략은 언어 모달리티의 정밀도 요구를 충족하지 못하거나, 시각 모달리티에 불필요한 중복을 초래합니다.
시간적 전개 오버헤드 (Temporal Unfolding Overhead): 정수-스파이크 (Integer-to-Spike) 전개 방식은 $L$ 개의 양자화 수준을 표현하기 위해 $T = L-1$ 개의 시간 단계 (timestep) 가 필요합니다. 고해상도 이미지 입력은 텍스트보다 훨씬 많은 토큰을 생성하므로, 이 시간적 전개 오버헤드가 멀티모달 추론의 효율성 병목 현상이 됩니다.

2. 방법론 (Methodology)

저자들은 위 두 가지 문제를 해결하기 위해 SpikeMLLM 프레임워크를 제안하며, 기존 ANN 양자화 방법을 스파이크 표현 공간에서 통합하고 두 가지 핵심 메커니즘을 도입했습니다.

A. 모달리티별 시간 스케일 (Modality-Specific Temporal Scales, MSTS)

개념: 시각과 텍스트 모달리티 간의 **모달리티 진화 불일치 (Modality Evolution Discrepancy, MED)**를 분석합니다. MED 는 레이어 간 표현의 변화 정도를 측정하며, 텍스트는 시각보다 레이어 간 변화가 크고 시간적 이산화 (discretization) 에 민감함을 발견했습니다.
전략: 모든 모달리티에 동일한 시간 단계를 할당하는 대신, MED 에 기반하여 차별화된 시간 단계를 할당합니다.
- 역동적으로 진화하는 텍스트 모달리티에는 더 많은 시간 단계를 할당합니다.
- 공간적 중복이 많은 시각 모달리티에는 적은 시간 단계를 할당합니다.
효과: 전체적인 시간 단계 수를 늘리지 않으면서 모델 성능을 향상시킵니다.

B. 시간 압축 LIF (Temporally Compressed LIF, TC-LIF)

문제: 기존 정수-스파이크 전개는 $T = L-1$ (예: 4 비트 양자화 시 $T=15$ ) 의 시간 단계가 필요하여 계산 비용이 큽니다.
해결: 시간 가중 발화 (Temporal Weighted Firing) 기법을 도입하여 시간 단계를 $T = \log_2(L) - 1$ $T = lo g_{2} (L) - 1$ 로 압축합니다 (예: 4 비트 양자화 시 $T=3$ $T = 3$ ).
- 막전위를 이진 스파이크 시퀀스로 변환할 때, 각 시간 단계에 $2^{t-1}$ 의 가중치를 부여하여 부호 (polarity) 와 크기를 인코딩합니다.
- 이를 통해 스파이크 기반의 희소 덧셈 (sparse addition) 특성을 유지하면서 표현 능력을 보존하고, 시간적 전개 오버헤드를 획기적으로 줄입니다.

3. 하드웨어 - 소프트웨어 공동 설계 (Co-design)

제안된 알고리즘 (TC-LIF) 은 곱셈이 없는 (multiplier-free) 스파이크 기반 데이터 패스를 생성합니다.
이를 위해 전용 RTL 가속기를 설계했습니다. 이 가속기는 시프트 및 덧셈 연산을 활용하여 곱셈 회로를 대체하고, 스파이크 게이트 및 중요도 인식 누적 방식을 사용합니다.

4. 주요 결과 (Results)

다양한 MLLM (Qwen2VL-7B/72B, InternVL2-8B, MiniCPM-V 등) 과 멀티모달 벤치마크 (OCRBench, MME, TextVQA 등) 에서 실험을 수행했습니다.

성능: 공격적인 시간 단계 압축 ( $T_v/T_t = 3/4$ $T_{v} / T_{t} = 3/4$ ) 하에서도 FP16 기준 모델과 비교해 거의 손실 없는 성능을 유지했습니다.
- InternVL2-8B: 평균 0.72% 성능 격차
- Qwen2VL-72B: 평균 1.19% 성능 격차
효율성 (하드웨어 가속기): 전용 RTL 가속기에서 FP16 GPU(A800) 기준 대비 다음과 같은 개선을 달성했습니다.
- 처리량 (Throughput): 9.06 배 향상
- 전력 효율 (Power Efficiency): 25.8 배 향상

5. 의의 및 기여 (Significance & Contributions)

최초의 스파이크 기반 MLLM 프레임워크: SNN 을 단일 텍스트 모델이 아닌 복잡한 멀티모달 모델로 확장하는 첫 번째 시도입니다.
효율적인 시간 자원 할당: MSTS 를 통해 모달리티 특성에 맞는 시간 자원을 최적화하여, 효율성과 정확도의 균형을 달성했습니다.
시간 압축 기술: TC-LIF 를 통해 시간 단계 수를 로그 스케일로 줄이면서도 표현력을 유지하여, 스파이크 추론의 실용성을 높였습니다.
알고리즘 - 하드웨어 공동 설계의 증명: 단순한 알고리즘 개선을 넘어, 전용 하드웨어 가속기와의 결합을 통해 실제 배포 환경에서 획기적인 에너지 효율과 처리량 향상을 입증했습니다.

결론적으로, SpikeMLLM 은 멀티모달 인공지능의 에너지 효율성을 혁신적으로 개선할 수 있는 가능성을 보여주며, 차세대 뉴로모픽 칩 설계와 알고리즘 - 하드웨어 공동 설계의 중요한 이정표가 됩니다.