SnipSnap: A Joint Compression Format and Dataflow Co-Optimization Framework for Efficient Sparse LLM Accelerator Design

이 논문은 희소 LLM 가속기 설계를 위해 압축 형식과 데이터흐름을 공동으로 최적화하는 'SnipSnap' 프레임워크를 제안하여, 기존 프레임워크 대비 메모리 에너지 효율과 처리 속도를 획기적으로 향상시켰습니다.

핵심

📚 배경: 거대한 도서관의 문제점

지금 우리가 쓰는 AI(예: 챗봇, 번역기) 는 방대한 양의 지식을 담고 있는 거대한 도서관과 같습니다.

• 문제: 이 도서관은 너무 커서 책을 옮기거나 찾는 데 엄청난 시간과 에너지가 듭니다. (메모리 부족, 계산 속도 느림)
• 해결책 (희소성): 사실 이 도서관의 책장에는 **빈 공간 (0)**이 엄청나게 많습니다. "아무것도 없는 빈 책장"은 굳이 옮길 필요가 없죠. 이 빈 공간을 제외하고 '중요한 책'만 골라내면 훨씬 효율적입니다. 이를 **'희소성 (Sparsity)'**이라고 합니다.

🚧 기존 방식의 한계: 낡은 택배 시스템

기존의 기술들은 이 '빈 공간'을 활용하려고 노력했지만, 두 가지 큰 문제가 있었습니다.

1. 형식 고정: "우리는 항상 A 라는 박스만 쓴다"고 정해져 있었습니다. 하지만 책의 크기와 모양이 제각각인데, 같은 박스를 쓰면 공간 낭비가 심합니다.
2. 비효율적인 탐색: "어떤 박스를 써야 가장 빠를까?"를 찾으려면 모든 경우의 수를 일일이 테스트해야 해서 시간이 너무 오래 걸렸습니다.

✨ SnipSnap 의 등장: 똑똑한 택배 관리자

SnipSnap은 이 문제를 해결하기 위해 등장한 지능형 택배 시스템입니다. 세 가지 핵심 아이디어로 작동합니다.

1. 레고 블록 같은 '계층형 포장' (Hierarchical Encoding)

기존에는 책장을 한 번에 포장하는 방식만 썼다면, SnipSnap 은 레고 블록처럼 포장 방식을 여러 단계로 나누어 설계합니다.

• 비유: 큰 상자를 한 번에 싸는 게 아니라, 작은 상자에 담고, 그 작은 상자들을 큰 상자에 담는 식으로 단계별로 포장합니다.
• 효과: 책의 모양 (데이터의 밀도) 에 따라 가장 적합한 포장 방식을 자동으로 찾아내어, 공간과 에너지를 획기적으로 아낍니다.

2. 상황에 맞는 '적응형 포장 기계' (Adaptive Compression Engine)

이 기계는 "이 책은 90% 가 비어있으니 얇은 포장지를 쓰고, 저 책은 50% 만 비어있으니 두꺼운 박스를 쓰자"고 상황에 맞춰 포장 방식을 바꿉니다.

• 핵심: 너무 복잡하게 포장하면 오히려 비효율적이므로, 복잡도를 조절하는 규칙을 적용하여 가장 효율적인 포장을 선택합니다.
• 결과: 여러 개의 도서관 (다양한 AI 모델) 을 한 번에 다룰 때도, 각 도서관에 가장 적합한 포장을 골라 전체 에너지를 약 18%나 절약했습니다.

3. '동시 탐색' 고속도로 (Progressive Co-Search Workflow)

기존 방식은 "먼저 포장 방식을 정하고, 그다음 배송 경로를 정하고, 다시 포장 방식을 고쳐야 하는지 확인하고..." 하는 식으로 한 단계씩 진행해서 매우 느렸습니다.

• SnipSnap 의 방식: 포장 방식과 배송 경로를 동시에 고려합니다. "이 포장 방식이라면 이 경로가 가장 빠르다"는 것을 미리 계산해버립니다.
• 효과: 길을 찾는 시간이 Sparseloop(기존 기술) 보다 2,248 배, DiMO-Sparse 보다 21 배나 빨라졌습니다. 마치 네비게이션이 실시간으로 최적 경로를 찾아주는 것과 같습니다.

🏆 결론: 왜 이것이 중요한가요?

SnipSnap 은 AI 가 더 크고 똑똑해져도, 우리가 사용하는 기기 (스마트폰, 노트북 등) 에서 배터리 소모를 줄이고 속도를 높여 작동할 수 있게 해줍니다.

• 기존: "이런 큰 도서관은 차라리 포기하자."
• SnipSnap: "아니요, 빈 공간을 똑똑하게 활용하면 이 도서관도 아주 가볍고 빠르게 움직일 수 있어요!"

이 기술은 앞으로 우리가 매일 사용하는 AI 서비스들이 더 빠르고, 더 저렴하며, 더 친환경적으로 작동하는 데 큰 역할을 할 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 의 급격한 규모 확장은 연산 및 메모리 요구 사항을 크게 증가시켜 효율적인 추론을 어렵게 만들고 있습니다. 희소성 (Sparsity) 을 활용하면 이러한 비용을 줄일 수 있지만, 기존 설계 공간 탐색 (DSE) 프레임워크에는 다음과 같은 한계가 존재합니다.

• 압축 포맷의 간과: 기존 프레임워크 (Timeloop, Sparseloop 등) 는 주로 데이터 흐름 (Dataflow) 최적화에 집중하며, 희소성을 활용하는 데 핵심적인 '압축 포맷 (Compression Format)'을 고정되거나 제한된 옵션으로만 다룹니다.
• 디자인 공간 표현의 부족: 압축 포맷을 유연하게 표현하고 탐색할 수 있는 일반적인 체계가 부족하여, 가속기와 오프칩 메모리 간의 데이터 이동 패턴 및 에너지 효율을 최적화하지 못합니다.
• 다양한 희소성 패턴 대응 실패: LLM 의 모듈 (Attention, FFN 등) 과 애플리케이션에 따라 희소성 수준이 크게 달라지는데, 하드웨어가 단일 포맷만 지원하거나 포맷 선택이 비효율적인 경우 성능 저하가 발생합니다.
• 탐색 효율성 저하: 데이터 흐름과 압축 포맷을 동시에 최적화하면 설계 공간이 기하급수적으로 커지는데, 기존 방식은 사이클 레벨 시뮬레이션이나 비효율적인 검색 방법으로 인해 탐색 시간이 매우 오래 걸립니다.

2. 제안 방법론: SnipSnap Framework

저자들은 위 문제를 해결하기 위해 SnipSnap이라는 새로운 공동 최적화 프레임워크를 제안합니다. 이는 압축 포맷과 데이터 흐름을 통합적으로 최적화하여 희소 LLM 가속기 설계를 자동화합니다.

A. 계층적 압축 포맷 인코딩 (Hierarchical Compression Format Encoding)

기존의 고정된 포맷 대신, 압축 포맷 공간을 두 가지 하위 공간으로 나누어 유연하게 탐색합니다.

1. 압축 패턴 하위 공간 (Compression Pattern Subspace): 압축 논리를 정의합니다. RLE(런 길이 인코딩), CP(좌표 페이로드), 비트맵 (Bitmap), UOP(압축되지 않은 오프셋 쌍) 등 기본 원시 연산자 (Primitives) 를 계층적으로 배열하여 새로운 포맷을 생성합니다.
2. 차원 할당 하위 공간 (Dimension Allocation Subspace): 원본 텐서 차원을 소인수분해하여 각 압축 레벨에 할당할 구체적인 차원 크기를 결정합니다.
   • 효과: 이를 통해 기존에 없던 더 효율적인 포맷 (예: 3 레벨 비트맵) 을 발견하고, 페이로드 크기를 16.7% 까지 줄일 수 있습니다.

B. 적응형 압축 엔진 (Adaptive Compression Engine)

다양한 희소성 수준을 가진 텐서에 대해 최적의 포맷을 선택하는 엔진입니다.

1. 복잡도 기반 페널티 (Complexity-Based Penalizing): 너무 깊은 계층의 압축은 하드웨어 복잡도를 높이고 일반화 능력을 떨어뜨릴 수 있으므로, 압축 레벨에 비례하는 페널티를 적용하여 불필요한 탐색을 줄이고 2~3 레벨 내의 실용적인 포맷을 찾습니다.
2. 효율 지향 할당 (Efficiency-Oriented Allocating): 데이터 흐름의 루프 순서 (Loop Ordering) 와 정렬되도록 차원을 분할하여 압축/해제 오버헤드를 최소화합니다.
3. 중요도 기반 스코어링 (Importance-Based Scoring): 여러 LLM 이 공유하는 가속기 환경에서, 각 모델의 사용 빈도나 성능 중요도에 가중치를 두어 전체적인 메모리 에너지를 최소화하는 포맷을 선택합니다.

C. 점진적 공동 탐색 워크플로우 (Progressive Co-Search Workflow)

데이터 흐름과 압축 포맷 탐색을 단계별로 수행하는 기존 방식의 비효율성을 해결하기 위해 통합된 탐색을 수행합니다.

1. 연산 감소 사전 추정 (Upfront Estimation): 데이터 흐름 생성 전에 희소성으로 인한 연산 감소량을 추정하여, 불필요한 루프 반복을 방지합니다.
2. 압축 인식 루프 할당 (Compression-Aware Loop Allocation): 압축된 데이터 크기를 미리 모델링하여, 메모리 계층에 루프를 할당할 때 재할당 (Re-allocation) 이 필요 없도록 합니다.
   • 효과: 기존 프레임워크의 반복적인 수정 과정을 제거하여 탐색 속도를 획기적으로 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. 계층적 인코딩: 압축 포맷의 표현력을 확장하여 설계 공간을 넓혔습니다.
2. 적응형 엔진: 다양한 희소성 패턴과 하드웨어 제약 조건을 고려하여 평균 **18.24%**의 메모리 에너지 절감을 달성했습니다.
3. 공동 탐색 워크플로우: 데이터 흐름과 포맷 최적화를 통합하여 탐색 효율성을 극대화했습니다.

4. 실험 결과 (Experimental Results)

• 모델링 정확도: SCNN 및 DSTC 가속기 데이터와 비교 시, 에너지 추정 오차는 평균 4.33%, 지연 시간 (Latency) 오차는 **6.26%**로 기존 Sparseloop (8.55%) 보다 정확도가 높았습니다.
• 성능 향상 (에너지 및 속도):
  • 널리 사용되는 포맷 (Bitmap, RLE, CSR, COO) 대비 평균 **18.24%**의 메모리 에너지 절감.
  • 활성화 (Activation) 희소성 기준 1.18 배, 가중치 (Weight) 희소성 기준 1.30 배의 속도 향상.
• 탐색 속도:
  • Sparseloop 대비 평균 2,248.3 배 (고정 포맷 기준) 및 231.46 배 (포맷 탐색 포함) 빠른 탐색 속도.
  • DiMO-Sparse 대비 평균 21.0 배 빠른 탐색 속도.
• 다중 모델 시나리오: BERT-Base 와 OPT-125M 등 여러 모델을 동시에 처리하는 환경에서도 중요도 기반 스코어링을 통해 단일 포맷으로 최적의 성능을 유지하며 에너지를 추가로 절감했습니다.

5. 의의 및 결론 (Significance)

SnipSnap 은 희소 LLM 가속기 설계에서 압축 포맷이 데이터 흐름만큼이나 중요한 설계 변수임을 입증했습니다. 기존 프레임워크가 간과했던 포맷 최적화를 체계적으로 수행함으로써, 하드웨어 복잡도를 크게 증가시키지 않으면서도 메모리 에너지 효율과 탐색 속도를 비약적으로 개선했습니다. 이 연구는 차세대 대규모 모델용 희소 가속기 개발을 위한 초기 설계 가이드로서 중요한 역할을 할 것으로 기대됩니다.