💬 NLP

Sparser, Faster, Lighter Transformer Language Models

이 논문은 LLM 의 피드포워드 레이어에서 99% 이상의 비구조적 희소성을 유도하고 이를 위한 최적화된 커널을 개발하여 추론 및 학습 시 처리량, 에너지 효율성, 메모리 사용량을 대폭 개선하는 방법을 제시합니다.

원저자: Edoardo Cetin, Stefano Peluchetti, Emilio Castillo, Akira Naruse, Mana Murakami, Llion Jones

게시일 2026-03-25

📖 3 분 읽기☕ 가벼운 읽기

원저자: Edoardo Cetin, Stefano Peluchetti, Emilio Castillo, Akira Naruse, Mana Murakami, Llion Jones

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🚀 더 가볍고, 더 빠르고, 더 똑똑한 AI: "빈 공간"을 활용한 혁신

이 논문은 거대 언어 모델 (LLM, 예: ChatGPT 같은 AI) 이 너무 무겁고 비싸다는 문제를 해결하기 위해, "빈 공간 (Sparsity)"을 활용하는 새로운 방법을 제안합니다.

상상해 보세요. 거대한 도서관 (AI 모델) 이 있는데, 책장 (데이터) 의 99% 는 비어 있고, 실제로 필요한 책 (정보) 은 아주 작은 부분에만 있습니다. 그런데 기존 방식은 비어 있는 책장까지 모두 들고 다니며 검색하느라 시간이 너무 걸리고 전기세도 많이 나왔습니다. 이 논문은 **"비어 있는 책장은 아예 무시하고, 필요한 책만 싣고 가자!"**는 아이디어로, AI 를 훨씬 가볍고 빠르게 만드는 기술을 개발했습니다.

🧩 핵심 아이디어 3 가지

1. "빈 책장"을 무시하는 새로운 포장법 (TwELL 포맷)

기존의 AI 는 모든 데이터를 꽉 채워 계산합니다. 하지만 이 논문은 "불필요한 0 (영)"을 아예 계산하지 않고 건너뛰는 새로운 데이터 포장 방식을 만들었습니다.

비유: 기존 방식은 택배 상자에 빈 공간이 있어도 다 채워진 것처럼 운송료를 내고, 트럭을 가득 채워 보내는 것입니다. 하지만 이 새로운 방식은 "빈 공간은 비워두고, 물건이 있는 부분만 따로 묶어서" 트럭에 싣습니다.
결과: 트럭 (GPU) 이 훨씬 가벼워져서 같은 시간 동안 더 많은 물건을 (데이터를) 운송할 수 있게 되었습니다.

2. "한 번에 끝내는" 마법 같은 계산 (Fused Kernels)

기존에는 데이터를 포장하고, 다시 풀고, 계산하고, 다시 포장하는 과정이 여러 번 반복되어 시간이 낭비되었습니다.

비유: 요리할 때 재료를 다듬고, 볶고, 양념하고, 다시 다듬는 과정을 따로따로 하는 대신, "한 번에 다 볶아서 바로 그릇에 담는" 방식입니다.
기술적 내용: 연구팀은 NVIDIA GPU(컴퓨터의 두뇌) 에 최적화된 특수한 프로그램 (커널) 을 만들었습니다. 이 프로그램은 데이터를 포장하는 과정과 계산하는 과정을 하나로 합쳐서, 불필요한 움직임 없이 순식간에 처리합니다.

3. "훈련"과 "실전"을 모두 위한 맞춤 솔루션

실전 (추론): 사용자의 질문에 답할 때는 가장 빠른 방식으로 작동합니다. 필요한 정보만 쏙쏙 골라내서 순식간에 답변을 줍니다.
훈련 (학습): AI 를 가르칠 때는 메모리 (창고) 를 아끼는 방식으로 작동합니다. 중간에 나오는 방대한 데이터를 압축해서 저장하므로, 훨씬 적은 비용으로 거대한 AI 를 훈련시킬 수 있습니다.

📊 놀라운 성과: "거의 99% 가 비어 있어도 괜찮다?"

연구진은 AI 의 두뇌 (네트워크) 의 99% 가 비어 있더라도, 성능은 거의 떨어지지 않는다는 것을 증명했습니다.

실험 결과: AI 가 학습할 때, 불필요한 신경 (뉴런) 을 억제하는 간단한 규칙 (L1 정규화) 을 적용했습니다. 그랬더니 평균적으로 99% 이상의 신경이 "휴식" 상태가 되었습니다.
성능: 그런데 신기하게도, AI 가 하는 일 (논리, 추론, 질문 답변) 의 정확도는 거의 변하지 않았습니다.
효율:
- 속도: AI 가 답을 내는 속도가 최대 20% 이상 빨라졌습니다.
- 전기: 전기를 15% 이상 아꼈습니다.
- 메모리: 필요한 컴퓨터 메모리 (RAM) 가 25% 이상 줄었습니다.

이는 마치 고급 스포츠카를 경량화해서 연비는 줄이고 속도는 더 높인 것과 같은 효과입니다.

🌍 왜 이것이 중요한가요?

돈과 환경: AI 를 돌리는 데는 엄청난 전기와 돈이 듭니다. 이 기술을 쓰면 AI 서비스 비용이 크게 줄어들고, 탄소 배출도 감소합니다.
접근성: 더 적은 성능의 컴퓨터에서도 거대 AI 를 쉽게 구동할 수 있게 되어, 더 많은 사람이 고급 AI 기술을 이용할 수 있게 됩니다.
미래 지향: AI 가 더 커지고 복잡해질수록 이 "빈 공간 활용" 기술은 필수적이 될 것입니다.

💡 결론

이 논문은 **"무조건 많이 채우는 것보다, 필요한 것만 정확히 쓰는 것이 더 똑똑하다"**는 사실을 증명했습니다. 연구팀은 이 모든 기술과 코드를 무료로 공개하여, 전 세계가 함께 더 효율적이고 친환경적인 AI 시대를 만들기를 바라고 있습니다.

한 줄 요약: "AI 의 빈 공간을 비워내니, AI 는 더 빨라지고, 더 가볍고, 더 저렴해졌습니다!"

1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 의 확장 (Scaling) 은 자연어 처리 분야에서 획기적인 진전을 가져왔지만, 막대한 계산 비용과 메모리 요구 사항을 동반합니다. 특히 Transformer 아키텍처의 피드포워드 (Feed-Forward) 레이어는 모델 파라미터의 2/3 이상과 총 FLOPs(연산량) 의 80% 이상을 차지합니다.

최근 연구들은 LLM 의 피드포워드 레이어에서 **비구조적 희소성 (Unstructured Sparsity)**이 자연스럽게 발생함을 보여주었습니다. 즉, 특정 토큰에 대해 활성화되는 은닉 뉴런의 비율이 매우 낮습니다. 이론적으로는 희소성을 활용하면 계산량을 획기적으로 줄일 수 있지만, 현실에서는 다음과 같은 패러독스가 존재합니다:

GPU 아키텍처와의 불일치: 현대 GPU 는 밀집 (Dense) 연산에 최적화되어 있습니다.
오버헤드: 비구조적 희소성을 구현하는 기존 커널 (예: ELLPACK) 은 인덱스 관리 및 메모리 접근 오버헤드로 인해, 오히려 밀집 연산보다 느리게 실행되는 경우가 많습니다.
훈련의 어려움: 훈련 중에는 역전파를 위한 중간 활성화 값 (activations) 저장 비용이 커지며, 희소 패턴이 토큰마다 크게 달라져 고정된 희소 포맷을 적용하기 어렵습니다.

2. 방법론 (Methodology)

이 논문은 현대 NVIDIA GPU (H100 등) 에서 비구조적 희소성을 효율적으로 활용하기 위해 새로운 데이터 포맷과 CUDA 커널을 제안합니다.

가. TwELL (Tile-wise ELLPACK) 포맷 및 추론 커널

TwELL 포맷: 기존의 행 단위 ELLPACK 과 달리, 타일 (Tile) 단위로 분할된 1D 타일 내에서만 비영 (Non-zero) 값과 인덱스를 로컬하게 정렬하여 저장합니다.
- 장점: 밀집 행렬 곱셈 (MatMul) 커널의 에필로그 (epilogue) 에서 자연스럽게 생성될 수 있어, 별도의 변환 커널 실행 없이 Gate Projection 단계에서 즉시 희소화를 수행할 수 있습니다.
퓨전 (Fusion) 추론: Gate 활성화 (TwELL 포맷) 를 기반으로 Up Projection과 Down Projection을 하나의 최적화된 커널로 융합합니다.
- 이 과정에서 $h_u$ 값을 명시적으로 메모리에 저장하지 않고 커널 내부에서만 계산하여 DRAM 접근을 최소화하고 처리량 (Throughput) 을 극대화합니다.

나. 하이브리드 포맷 및 훈련 커널

훈련 과정에서는 역전파를 위한 중간 활성화 값 저장 비용이 주요 병목이 됩니다.

하이브리드 포맷: TwELL 에서 파생된 Hybrid Sparse Format을 도입합니다.
- 동적 분할: 각 행의 비영 개수를 기반으로 행을 두 가지로 나눕니다.
  1. Aggressive ELL: 비영 개수가 적은 행들은 압축된 ELL 행렬에 저장.
  2. Dense Backup: 비영 개수가 많거나 예측 불가능한 행들은 밀집 (Dense) 백업 영역에 저장.
- 이 방식은 ELL 의 고정된 크기 제한 (최대 비영 개수) 으로 인한 오버플로우 문제를 해결하면서도, 대부분의 행에 대해 메모리 효율을 극대화합니다.
훈련 커널:
- Forward: Hybrid-to-Dense 및 Dense-to-Hybrid MatMul 커널을 사용하여 효율적으로 계산합니다.
- Backward: 저장된 희소 패턴을 활용하여 L1 그라디언트를 주입하고, Hybrid 포맷의 전치 (Transpose) 연산을 수행하여 역전파 비용을 줄입니다.

다. 희소성 유도 전략

L1 정규화: 복잡한 아키텍처 변경 없이, 표준 Cross-Entropy 손실 함수에 L1 정규화 항을 추가하여 피드포워드 활성화의 희소성을 유도합니다.
ReLU 활성화: SiLU 대신 ReLU 를 사용하여 희소성 발생을 촉진합니다.

3. 주요 기여 (Key Contributions)

새로운 CUDA 커널 및 포맷: 추론과 훈련 모두를 위한 TwELL 포맷과 Hybrid 포맷 기반의 고성능 커널을 개발하고 오픈소스로 공개했습니다.
정량적 분석: 경미한 L1 정규화만으로도 99% 이상의 비구조적 희소성을 달성하면서도 하류 작업 (Downstream tasks) 성능에 미치는 영향이 미미함을 증명했습니다.
규모에 따른 효율성 증대: 모델 규모가 커질수록 (수십 억 파라미터) 희소성으로 인한 처리량, 에너지 효율, 메모리 절감 효과가 더욱 커짐을 실증했습니다.

4. 실험 결과 (Results)

성능 (Accuracy): 1.5B~2B 파라미터 모델에서 L1 정규화 계수 ( $2 \times 10^{-5}$ ) 를 적용했을 때, 비희소 모델 대비 하류 작업 정확도 (Mean Task Accuracy) 는 유의미하게 떨어지지 않았습니다. (예: 1.5B 모델에서 46.4% $\to$ 46.2%)
추론 속도 (Inference Speedup):
- 모델 규모가 커질수록 속도 향상 폭이 증가했습니다.
- 2B 모델 기준 약 20.5% 의 추론 속도 향상을 기록했습니다.
- 에너지 소비는 약 17% 감소했습니다.
훈련 효율 (Training Efficiency):
- 약 21.9% 의 훈련 속도 향상을 달성했습니다.
- **피크 메모리 사용량 (Peak Memory)**이 최대 28.1% 감소하여, 더 큰 모델을 훈련하거나 더 큰 배치 크기를 사용할 수 있게 되었습니다.
하드웨어별 효과: 최신 H100 뿐만 아니라, 메모리 대역폭이 낮은 RTX 6000 같은 하드웨어에서도 희소 커널의 상대적 이점이 더 크게 나타났습니다 (RTX 6000 에서 더 큰 속도 향상).

5. 의의 및 결론 (Significance)

이 연구는 비구조적 희소성이 현대 LLM 의 효율성을 높이는 **실용적인 새로운 축 (Axis)**이 될 수 있음을 입증했습니다.

실용성: 아키텍처를 근본적으로 바꾸지 않고 (기존 Transformer++ 구조 유지), 간단한 정규화 기법과 커널 최적화만으로 큰 효과를 얻을 수 있습니다.
지속 가능성: 대규모 모델의 훈련 및 추론에 필요한 에너지와 하드웨어 비용을 획기적으로 줄여, AI 의 환경적, 경제적 지속 가능성을 높입니다.
확장성: 모델 규모가 커질수록 희소성의 이점이 증대되므로, 미래의 초대규모 모델 (Trillion-scale) 에 있어 필수적인 기술로 자리 잡을 가능성이 높습니다.

저자들은 모든 코드와 커널을 오픈소스로 공개하여, 희소성을 활용한 차세대 효율적 기초 모델 (Foundation Models) 연구의 가속화를 도모하고 있습니다.