Motivating Next-Gen Accelerators with Flexible (N:M) Activation Sparsity via Benchmarking Lightweight Post-Training Sparsification Approaches

이 논문은 대규모 언어 모델의 추론 효율성을 높이기 위해 가중치 프루닝보다 우수한 성능을 보이는 경량화된 N:M 구조적 활성화 프루닝 기법을 제안하고, 하드웨어 구현의 복잡성과 유연성 간의 균형을 고려하여 8:16 패턴을 최적의 대안으로 제시하며 향후 더 유연한 스파서시티를 지원하는 가속기 개발을 독려합니다.

핵심

이 논문은 거대한 인공지능 (LLM) 을 더 빠르고 가볍게 만드는 새로운 방법을 제안합니다. 마치 거대한 도서관을 더 효율적으로 운영하는 방법을 고민하는 것과 비슷합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제: 도서관이 너무 커서 책 찾는 게 느려요

지금까지 인공지능 모델은 '책 (데이터)'이 너무 많아서, 질문을 받을 때 모든 책을 다 뒤져야 했습니다. 그래서 속도가 느리고 전기도 많이 먹었습니다.
기존에는 **'책장 (가중치)'**을 정리하는 데만 집중했습니다. 즉, 안 쓰는 책을 도서관에서 아예 없애버리는 방식이었죠. 하지만 이 방법은 도서관의 원래 지식 (정확도) 을 망가뜨리는 위험이 있었습니다.

2. 새로운 아이디어: '읽는 사람 (활성화)'만 골라 읽자

이 논문은 **"책장을 정리할 필요 없이, 독자가 실제로 읽는 책 (활성화) 만 골라서 읽으면 어떨까?"**라고 제안합니다.

• 기존 방식 (가중치 희소화): 도서관에서 안 쓰는 책을 영구히 버림. (모델이 망가질 수 있음)
• 새로운 방식 (활성화 희소화): 독자가 질문할 때, 그 질문에 딱 맞는 책만 골라서 빠르게 읽음. (모델의 지식은 그대로 유지)

3. 핵심 발견: "더 큰 블록"으로 정리하면效果更好

지금까지 하드웨어 (컴퓨터 칩) 는 **'2:4'**라는 규칙만 지원했습니다.

• 2:4 규칙: 책 4 권 중 2 권만 읽는 것. (규칙이 너무 단순해서 효율이 낮음)
• 이 논문의 제안: **'8:16'**이나 '16:32' 같은 더 유연한 규칙을 쓰자.
  • 비유: 4 권 중 2 권만 고르는 건 너무 제한적이지만, 16 권 중 8 권을 고르면 훨씬 더 상황에 맞는 책을 골라낼 수 있습니다.
  • 결과: 16:32 규칙은 아예 책장을 무작위로 섞어서 50% 만 읽는 것 (비구조화) 과 거의 같은 성능을 내면서도, 하드웨어가 처리하기 훨씬 수월합니다.

4. 실수 방지 기술: "맛을 잃지 않는 조리법"

책을 골라내면 맛 (정확도) 이 떨어질 수 있습니다. 그래서 저자들은 **'맛을 되살리는 소스 (오류 완화 기술)'**를 개발했습니다.

• S-PTS (고정 소스): 미리 준비해둔 소스를 뿌려서 맛을 보정. (가장 간단하고 효과 좋음)
• VAR (비율 조절): 책의 양이 줄어들었으니, 농도를 맞춰주는 것.
• CLACT (맥락 감지): 질문의 상황에 따라 가장 중요한 책을 골라내는 똑똑한 필터.

이 기술들을 쓰면, 책을 50% 이상 덜 읽어도 원래 맛을 거의 잃지 않습니다.

5. 결론: 다음 세대 칩을 위한 청사진

이 논문의 핵심 메시지는 다음과 같습니다:

1. 책장 (가중치) 을 정리하는 것보다, 읽는 책 (활성화) 을 골라내는 것이 더 안전하고 효율적이다.
2. 하드웨어 제조사들은 이제 '2:4'라는 좁은 규칙만 지원하는 게 아니라, '8:16'이나 '16:32'처럼 더 유연한 규칙을 직접 칩에 내장해야 한다.
3. 이렇게 하면 인공지능이 훨씬 빠르고, 전기를 적게 먹으며, 지능은 그대로 유지할 수 있다.

한 줄 요약:

"거대한 인공지능을 더 가볍게 만들려면, 모든 책을 다 읽지 말고 '상황에 맞춰 가장 중요한 책만 골라 읽는 (8:16 규칙)' 방식을 하드웨어에 심어야 합니다. 그렇게 하면 속도는 빨라지고 지능은 그대로입니다!"

기술 요약

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 의 효율적인 추론 수요가 증가함에 따라 모델 경량화 기법인 희소화 (Sparsification) 에 대한 관심이 높아지고 있습니다. 그러나 현재 상용 하드웨어는 가중치 (Weight) 의 2:4 구조적 희소성에만 제한적으로 지원하고 있습니다.

이 논문은 다음과 같은 핵심 문제점을 제기합니다:

• 활성화 (Activation) 희소성의 간과: 하드웨어 설계에서 활성화 희소성이 간과되어 왔으나, 이는 입력에 따라 동적으로 변화하며 I/O 및 메모리 대역폭 절감에 유리한 잠재력을 가지고 있습니다.
• 유연성 부족: 기존 2:4 패턴은 블록 내 유효 구성이 6 가지로 제한되어 유연성이 낮습니다. 반면, 더 큰 패턴 (예: 8:16, 16:32) 은 동일한 대역폭 절감 효과를 내면서도 훨씬 많은 구성 옵션을 제공합니다.
• 재학습의 비실용성: 성능 저하를 보정하기 위한 미세 조정 (Fine-tuning) 은 계산 비용이 크거나 안전성 정렬 (Safety Alignment) 에 위험을 초래할 수 있어, 재학습 없이 작동하는 경량화된 방법이 필요합니다.

2. 방법론 (Methodology)

저자들은 4 가지 다양한 LLM(Llama2-7B-chat, Llama3.1-8B-Instruct, Qwen2.5-7B-Instruct, Gemma3-4B-Instruct) 을 대상으로 후학습 (Post-training) 활성화 가지치기를 체계적으로 벤치마크했습니다.

주요 구성 요소:

1. 희소성 패턴 (Sparsity Patterns):

   • 비구조적 (Unstructured) 50% 및 70% 희소성.
   • 반구조적 (Semi-structured) N:M 패턴: 2:4, 4:8, 8:16, 16:32.
   • 각 블록 (M) 당 N 개의 비영 (Non-zero) 요소를 유지하는 방식.

2. 가지치기 기준 (Pruning Criteria):

   • ACT: 활성화 값의 절대값 (Magnitude).
   • WT: 해당 가중치의 절대값.
   • CLACT (제안): 컨텍스트 인식 코사인 손실 기반 점수 (행/열의 에너지와 정렬된 활성화 강조).
   • Amber-Pruner: 가중치 이상치 제거 후 정규화 및 채널별 $\ell_2$ 노름을 활용한 중요도 점수.

3. 오류 완화 전략 (Error Mitigation Strategies):

   • D-/S-/L-PTS: 토큰별 이동 (Shift) 적용 (동적/정적/학습 가능).
   • VAR: 가지치기 후 분산 보정 (Variance Correction).
   • R-Sparse: 활성화 희소성과 가중치 저랭크 (Low-rank) 근사 결합.
   • 이 방법들은 최소한의 (WikiText-2 등) 또는 전혀 없는 보정 데이터로 작동하도록 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. 활성화 희소성의 우월성 입증: 동일한 희소성 수준에서 활성화 가지치기가 가중치 가지치기보다 일관되게 높은 정확도를 유지함을 4 개의 모델에서 증명했습니다. 이는 미래의 희소성 인식 가속기 설계에 활성화가 더 유망한 대상임을 시사합니다.
2. 경량화된 오류 완화 기법 벤치마크: 재학습이 필요 없는 플러그 앤 플레이 (Plug-and-play) 방법들을 평가했습니다. 특히 CLACT, D-PTS, VAR 등이 강력한 베이스라인을 형성하며, 하드웨어 제약 조건에 부합하는 최소한의 메타데이터만 필요함을 보였습니다.
3. N:M 패턴 최적화 분석:
   • 16:32 패턴은 비구조적 50% 희소성에 근접하는 성능을 보였으나, 2:4 대비 약 2.7 배 더 나은 성능을 보였습니다.
   • 8:16 패턴은 정확도 유지와 실용성 (메타데이터 오버헤드, 하드웨어 구현 용이성) 간의 최적의 균형을 제공한다고 결론지었습니다.

4. 실험 결과 (Results)

• 가중치 vs 활성화: 비구조적 가지치기 실험에서 활성화 가지치기는 가중치 가지치기보다 모델 성능 저하가 현저히 적었습니다 (예: 50% 희소성에서 가중치 가지치기는 24.49% 성능 하락, 활성화는 3.82% 하락).
• 패턴 비교:
  • 2:4: 평균 성능 하락 약 14.35%.
  • 8:16: 평균 성능 하락 약 7.38% (2:4 대비 약 2 배 이상 정확도 유지).
  • 16:32: 평균 성능 하락 약 5.40% (비구조적 50% 희소성과 유사한 수준).
• 오류 완화 효과:
  • **S-PTS (정적 토큰 이동)**와 **VAR (분산 보정)**가 가장 효과적인 단순 기법으로 나타났습니다.
  • 복잡한 학습 기반 방법 (L-PTS) 은 오히려 정적 방법보다 성능이 낮거나 과적합 (Overfitting) 경향을 보였습니다.
• 지시 수행 (Instruction-Following) 작업: IFEval 벤치마크에서 생성 작업 (Decode 단계) 은 다중 선택형 질문 (Prefill 단계) 에 비해 성능 저하가 더 컸으나, VAR 기법이 전반적으로 가장 우수한 성능을 보였습니다.
• 레이어 민감도: FFN 상단 투영 (Up-projection) 과 어텐션 출력 투영 (Out-projection) 레이어가 가지치기에 가장 민감하여 보호하거나 특별히 처리해야 함을 발견했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 차세대 하드웨어 가속기 설계에 중요한 통찰을 제공합니다:

• 하드웨어 지원의 확장 필요성: 현재 2:4 가중치 희소성 지원에 국한된 하드웨어를 넘어, **동적 N:M 활성화 희소성 (특히 8:16 또는 16:32)**을 네이티브로 지원하는 것이 필요합니다.
• 효율성과 정확도의 균형: 8:16 패턴은 구현의 타협점 (메타데이터 오버헤드 증가 등) 을 고려할 때, 2:4 대비 두 배 이상의 정확도 향상을 제공하면서도 근미래 하드웨어 도입에 가장 적합한 목표로 제안됩니다.
• 실용적 접근: 재학습 없이도 높은 성능을 유지할 수 있는 경량화된 알고리즘 (VAR, S-PTS 등) 을 제시함으로써, 실제 배포 환경에서의 적용 가능성을 높였습니다.

결론적으로, 이 논문은 유연한 N:M 활성화 희소성을 지원하는 차세대 가속기 개발을 강력히 고무하며, 이를 위한 강력한 소프트웨어 베이스라인과 벤치마크를 제공합니다.