💬 NLP

Neuromorphic Diffusion Language Models: Addressing Compute and Memory Bottlenecks via Sparsity and Block Denoising

이 논문은 블록 확산(block diffusion)과 스파이크 기반 희소성(spike-based sparsity)을 결합하여, 파라미터 접근당 멀티 토큰 생성을 가능하게 함으로써 추론 처리량을 높이고 비활성 채널 건너뛰기를 통해 유효 연산을 줄임으로써 추론 처리량과 에너지 효율을 크게 개선하는 뉴로모픽 확산 언어 모델(Neuromorphic Diffusion Language Models, N-MDLMs)을 제안한다.

원저자: Dengyu Wu, Clement Ruah, Jiechen Chen, Bipin Rajendran, Osvaldo Simeone

게시일 2026-07-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dengyu Wu, Clement Ruah, Jiechen Chen, Bipin Rajendran, Osvaldo Simeone

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계를 하나의 거대하고 초고속인 도서관이라고 상상해 보십시오. 이 도서관에는 로봇 사서가 한 번에 한 단어씩 이야기를 써 내려가는 임무를 맡고 있습니다. 현재 세대의 이러한 "대규모 언어 모델(LLM)"에서 사서는 매우 철저하지만 동시에 매우 서투릅니다. 매번 새로운 단어를 쓸 때마다, 사서는 도서관 맨 뒤쪽까지 달려가서 전체 백과사전(모델의 파라미터)을 꺼내 읽은 다음, 다시 책상으로 돌아와 단 한 단어를 써야 합니다. 이렇게 끊임없이 왔다 갔다 하는 것은 기력을 소모하며, 엄청난 양의 에너지를 사용하고 시간도 오래 걸리게 만들어 사서를 유지하는 데 비용이 많이 들게 합니다.

과학자들은 사서에게 한 단어가 아닌 한 단락을 한꺼번에 쓰는 법을 가르쳐 이 문제를 해결하려 노력했습니다. 이것을 "디퓨전(diffusion)"이라고 부르며, 이는 사서가 여러 단어를 쓰기 위해 도서관을 오가는 긴 여정을 단 한 번만 하면 되도록 도와줍니다. 하지만 문제가 있습니다. 단락을 쓰는 동안에도 사서는 해당 문장에 필요하지 않은 페이지까지 포함하여 백과사전의 모든 페이지를 읽어야 한다는 점입니다. 이는 마치 소금만 있으면 되는 상황에서 요리책 전체를 읽는 것과 같습니다. 이 논문은 단순히 단락 단위로 글을 쓰는 것을 넘어, 중요하지 않은 페이지는 무시하는 법을 배우는 초스마트한 사서를 소개합니다. "여러 단어를 한꺼번에 쓰는" 기술과 "쓸모없는 페이지는 건너뛰는" 기술을 결합함으로써, 이 새로운 시스템은 오늘날 우리가 보유한 강력한 컴퓨터에서도 훨씬 더 빠르고 적은 에너지를 사용할 수 있음을 약속합니다.

논문: 새로운 종류의 스마트한 사서

이 연구를 진행한 런던 소재 기관의 연구진은 AI 세계의 주요 골칫거리, 즉 어떻게 하면 거대 언어 모델의 지능을 유지하면서도 더 빠르고 저렴하게 구동할 수 있을지에 대해 다루고 있습니다. 그들은 뉴로모픽 마스크 디퓨전 언어 모델(Neuromorphic Masked Diffusion Language Models), 줄여서 N-MDLM이라 불리는 새로운 시스템을 제안합니다.

N-MDLM이 어떻게 작동하는지 이해하기 위해, 그들이 결합한 두 가지 기술을 살펴보겠습니다. 첫째는 디퓨전(Diffusion) 부분입니다. 당신이 비밀 단어를 추측하려고 한다고 가정해 봅시다. 한 번에 한 글자씩 추측하는 대신, 빈칸이 있는 블록에서 시작하여 여러 차례의 과정을 거쳐 서서히 빈칸을 채워나가며 추측을 정교화합니다. 이를 통해 모델은 표준 모델이 단 한 단어를 생성할 때 사용하는 것과 동일한 양의 "도서관 이동(메모리 액세스)"만으로도 전체 단어 블록(예: 4개 또는 8개)을 생성할 수 있습니다. 이는 속도 측면에서 매우 훌륭하지만, 여전히 문제가 있습니다. 모델이 단어를 생성할 때마다 대부분의 뇌 부분이 조용히 있더라도 여전히 뇌의 모든 부분을 확인해야 한다는 점입니다.

여기서 두 번째 기술인 **뉴로모픽 희소성(Neuromorphic Sparsity)**이 등장합니다. 표준 컴퓨터를 방을 밝히고 있든 어둡게 가만히 있든 항상 켜져 있는 전구라고 생각하십시오. "뉴로모픽" 시스템은 동작 감지 센서 조명과 더 비슷합니다. 실제로 무언가 일어날 때만 켜집니다(스파이크를 발생시킵니다). N-MDLM에서 모델은 반드시 필요할 때만 무거운 계산과 읽기 작업을 수행합니다. 만약 모델의 특정 부분이 활성화되지 않았다면, 그 부분은 침묵을 유지하여 에너지를 절약하고 불필요한 작업을 건너뜁니다.

저자들은 이 조합이 얼마나 잘 작동할지 예측하기 위해 수학적 모델을 구축했습니다. 그들은 컴퓨터가 생각하는 속도에 제한을 받는지(연산 제한형, compute-bound), 아니면 데이터를 가져오는 속도에 제한을 받는지(메모리 제한형, memory-bound) 측정하는 방법인 "루프라인(roofline)" 지도를 만들었습니다. 그들의 분석에 따르면, "여러 단어를 한꺼번에 쓰는" 기술은 데이터를 가져오는 속도가 느린 구형 컴퓨터에서는 효과적이지만, 생각하는 속도가 매우 빠른 현대의 초고속 컴퓨터에서는 큰 도움이 되지 않습니다. 그러나 여기에 "동작 감지" 방식의 희소성을 더하면 게임의 판도가 바뀝니다. 이 기술은 필요한 계산량을 대폭 줄여주기 때문에, 현대의 빠른 컴퓨터에서도 이 새로운 모델을 믿을 수 없을 정도로 효율적으로 만듭니다.

연구 결과

아이디어를 테스트하기 위해 연구진은 처음부터 새로운 로봇 뇌를 만들지 않았습니다. 대신, 이미 독일어를 영어로 번역할 줄 아는 잘 훈련된 기존 모델을 가져와 새로운 N-MDLM 스타일로 변환했습니다. 그리고 이 새로운 모델이 강력한 그래픽 카드(NVIDIA DGX Spark)에서 실행되는 상황을 시뮬레이션하여 성능을 확인했습니다.

결과는 유망했습니다. 현대적인 고속 칩(연구진은 이를 "인칩 메모리 시스템"이라 부름)을 모방한 시스템에서 시뮬레이션을 실행했을 때, 기존의 "여러 단어를 한꺼번에 쓰는" 모델(MDLM)은 기존의 "한 번에 한 단어씩 쓰는" 모델보다 별로 빨라지지 않았습니다. 너무 많은 생각을 하느라 정체되어 있었기 때문입니다. 하지만 "불필요한 부분을 건너뛰는" 능력을 갖춘 N-MDLM은 앞서 나갔습니다.

이 시뮬레이션에서 N-MDLM은 표준 모델보다 훨씬 빠르게 토큰(단어)을 생성했으며, 단어당 에너지 소비량도 현저히 낮았습니다. 연구진은 최적의 지점을 찾아냈습니다. 단어 블록을 너무 크게 만들면 요구되는 생각의 양이 너무 많아져 시스템이 느려졌습니다. 하지만 단어 블록을 적당한 크기(예: 4단어)로 유지하고 "희소성"(모델이 주의를 기울이는 대상을 더 선택적으로 만드는 것)을 높였을 때, 두 마리 토끼를 모두 잡을 수 있었습니다.

구체적으로, 연구진은 모델이 얼마나 희소한지를 제어하는 K라는 파라미터를 사용하여, K = 1(가장 희소한 설정)일 때 가장 높은 에너지 효율을 달 수 있음을 관찰했습니다. 이 모드에서 모델은 꼭 필요할 때만 "뉴런"을 발화시켜 에너지를 절약했습니다. 그 대가는 번역 품질(BLEU 점수로 측정)의 아주 미세하고 거의 눈에 띄지 않는 수준의 하락이었지만, 속도와 에너지 측면에서의 이득은 상당했습니다.

결론

이 논문은 단어 덩어리로 쓰는 능력과 쓸모없는 정보를 무시하는 능력을 결합함으로써, AI 모델을 단순히 더 빠르게 만드는 것을 넘어 훨씬 더 친환경적으로 만들 수 있음을 시사합니다. 저자들은 이 결과가 전용 뉴로모픽 칩(이 특정 작업에 특화된 칩은 아직 존재하지 않음)이 아닌 표준 그래픽 카드에서의 시뮬레이션 결과라는 점을 주의 깊게 명시했습니다. 그러나 수학적 모델과 시뮬레이션 데이터는 이 접근 방식이 현재 차세대 AI를 가로막고 있는 에너지 및 속도의 병목 현상을 해결할 수 있음을 강력하게 보여줍니다. 이는 컴퓨터에게 "더 열심히 일하지 말고, 언제 휴식을 취해야 할지 알으로써 더 똑똑하게 일하라"고 말하는 영리한 방법입니다.

기술 요약: 뉴로모픽 확산 언어 모델 (N-MDLM)

1. 문제 정의

자기회귀(Autoregressive, AR) 대규모 언어 모델(LLM)은 본질적인 추론 비효율성을 겪고 있다. AR 모델은 파라미터 접근당 하나의 토큰을 생성하기 때문에, 특히 메모리 제한적인 환경에서 낮은 연산 강도와 높은 에너지 소비를 보인다. 마스크 확산 언어 모델(Masked Diffusion Language Models, MDLMs)은 여러 토큰을 한 번의 파라미터 접근으로 생성하여(메모리 비용을 분할 amortize 함으로써) 이 문제를 해결하려 하지만, 여전히 디노이징 단계를 위해 표준 트랜스포머 아키텍처에 의존한다. 결과적으로 MDLMs는 에너지 효율성 측면에서 제약을 받으며, 메모리 전송보다 계산 속도가 병목이 되는 현대적 플랫폼(대규모 온칩 메모리를 갖춘 컴퓨트 바운드 영역)에서 AR-LLM 대비 처리량(throughput) 개선을 달야내지 못할 수 있다.

2. 방법론

본 논문은 블록 확산(block diffusion)과 스파이크 기반 뉴로모픽 계산을 결합하여 처리량과 에너지 효율성을 동시에 개선하는 **뉴로모픽 마스크 확산 언어 모델(N-MDLMs)**을 제안한다.

아키텍처: N-MDLM은 인코더-디코더 블록 확산 패러다임을 따른다. 인코더는 컨텍스트를 처리하여 잠재 표현(latent representations)을 생성하고, 디코더는 $S$ 번의 디노이징 단계를 통해 마스킹된 토큰 블록을 반복적으로 정제한다. 한 번에 하나의 토큰을 생성하는 AR 모델과 달리, 디코더는 $B$ 개의 토큰 블록을 병렬로 생성한다.
뉴로모픽 변환: 이 모델은 양자화 기반 방법론을 사용하여 사전 학습된 기존 MDLM을 변환함으로써 구축된다. 여기에는 다음 과정이 포함된다:
- 양자화(Quantization): 활성화 벡터의 평균 크기에서 유도된 적응형 스텝 사이즈를 사용하여 활성화를 정수 값으로 양자화한다.
- 스파이크 인코딩(Spike Encoding): 양자화된 정수는 $T$ 번의 타임 스텝 동안 삼진 스파이크( $\{-1, 0, 1\}$ )를 사용하는 비트와이즈 코딩을 통해 표현된다.
- 통합 및 발화(Integrate-and-Fire, IF) 역학: 선형 변환은 수정된 IF 뉴런을 사용하여 근사된다. 계산은 이벤트 기반으로 수행된다: 시냅스 연산은 스파이크가 발생할 때만 트리거된다. 이는 **동적 희소성(dynamic sparsity)**을 도입하며, 활성 채널(스파이크가 없는 채널)은 계산이나 메모리 접근을 발생시키지 않는다.
분석 프레임워크: 저자들은 블록 크기( $B$ $B$ )와 희소성( $\sigma$ $σ$ , 하이퍼파라미터 $K$ $K$ 에 의해 제어됨)의 시너지 효과를 분석하기 위해 토큰 수준의 루프라인(roofline) 영감을 받은 모델을 개발하였다. 이 프레임워크는 다음을 추정한다:
- 계산 부하(Computational Load): 희소성에 의해 감소한다. 오직 활성 스파이크만이 연산에 기여하기 때문이다.
- 메모리 전송 부하(Memory-Transfer Load): 해당 채널에서 적어도 하나의 스파이크가 발생할 때만 가중치 행(weight row)이 로드되므로 감소한다.
- 처리량(Throughput): 컴퓨트 바운드 및 메모리 바운드 레이턴시의 최댓값으로 모델링되어, $B$ 와 $\sigma$ 가 시스템을 어떻게 두 영역 사이에서 이동시키는지 분석할 수 있게 한다.

3. 주요 기여

새로운 모델 클래스: 기존 MDLM을 양자화 및 IF 스파이킹 모델을 통해 변환하여 얻은 N-MDLM을 도입하여, 이벤트 기반 희소성을 통한 병렬 블록 생성을 가능하게 했다.
분석 프레임워크: 블록 크기와 활성화 희소성의 함수로서 디코딩 효율성을 규명하는 이론적 모델을 개발하였다. 이 모델은 블록 병렬 생성과 이벤트 기반 계산이 계산 및 메모리 접근 모두에 미치는 공동 영향을 포착한다.
실험적 검증: WMT 14 DE-EN 번역 태스크에 대한 검증을 통해, N-MDLM이 경쟁력 있는 태스크 성능(BLEU 점수)을 유지하면서 AR-LLM 및 기존 MDLMs보다 우수한 토큰 처리량과 에너지 효율성을 달성함을 입증하였다.

4. 결과

실험은 NVIDIA DGX Spark GPU에서 수행되었으며, 오프칩 메모리 시스템(OCMS, 표준 GPU를 나타냄)과 인칩 메모리 시스템(ICMS, 뉴로모픽 하드웨어를 나타냄)을 모두 시뮬레이션하였다.

컴퓨트 바운드 영역에서의 처리량: ICMS(컴퓨트 바운드)에서 기존 MDLMs는 병목이 메모리 접근이 아닌 계산 속도이기 때문에 AR-LLM 대비 처리량 이득을 보이지 못했다. 그러나 N-MDLMs는 상당한 처리량 향상을 달성했다. 스파이크로 유도된 희소성이 유효 계산 부하를 줄여줌으로써, 시스템이 컴퓨트 바운드 상태일 때도 블록 확산의 병렬성을 활용할 수 있게 하였다.
에너지 효율성: N-MDLMs는 토큰당 에너지 소비를 크게 줄였다. 메모리 접근은 일반적으로 계산보다 에너지를 더 많이 소모하므로, 희소성에 의한 파라미터 트래픽 감소와 블록 확산에 의한 메모리 접근 분할(amortization)이 이러한 이득을 견인했다. 가장 낮은 에너지 소비는 가장 높은 희소성 수준( $K=1$ )에서 관찰되었다.
트레이드오프(Trade-offs): 결과는 블록 크기 $B$ 와 희소성 사이의 트레이드오프를 강조한다. $B$ 를 늘리면 시스템이 컴퓨트 바운드가 될 때까지 메모리 바운드 시스템에서 처리량이 향상된다. 컴퓨트 바운드 영역에서는 희소성이 추가적인 처리량 향상의 주요 동력이 된다.
정확도: 이러한 효율성 이득은 베이스라인 모델들과 비교하여 BLEU 점수의 아주 미미한 하락만으로 달성되었으며, 이는 번역 품질이 경쟁력을 유지하고 있음을 나타낸다.

5. 의의 및 주장

본 논문은 N-MDLM이 현대 LLM 추론의 효율성 병목 현상에 대한 시너지 효과가 있는 솔루션을 제공한다고 주장한다. 블록 확산(메모리 전송 제약 완화)과 스파이크 유도 희소성(계산 제약 완화)을 결합함으로써, 제안된 프레임워크는 표준 확산 모델이 성능을 발휘하지 못하는 하드웨어에서도 효율적인 추론을 가능하게 한다.

저자들은 이 접근 방식이 특히 기존 MDLMs가 제한적인 개선만을 제공하는 컴퓨트 바운드 플랫폼(높은 인칩 메모리 대역폭을 가진 플랫폼 등)에서 매우 유의미하다고 강조한다. 이 연구는 뉴로모픽 원칙이 확산 모델의 운영 영역을 효과적으로 변화시켜, 에너지 제약이 있고 지연 시간에 민감한 애플리케이션에 적합하게 만들 수 있음을 시사한다. 향-후 연구 과제로는 실제 뉴로모픽 하드웨어에서의 검증과 다양한 시스템 제약 조건 하에서 블록 크기와 희소성을 공동 최적화하는 적응형 전략 개발이 제시되었다.