🤖 machine learning

SHUFFLESPARSE: Learned Shuffles for Structured Sparse Networks

이 논문은 다양한 희소성 패턴과 학습 패러다임 전반에 걸쳐 구조적 희소 네트워크와 비구조적 희소 네트워크 사이의 정확도 격차를 유의미하게 좁히는 동시에 추론 오버헤드를 최소한으로 유지하면서, 단일 치환 행렬을 학습하는 방법론인 SHUFFLESPARSE를 소개한다.

원저자: Abhishek Tyagi, Arjun Iyer, Liam Young, William H Renninger, Christopher Kanan, Yuhao Zhu

게시일 2026-07-22

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abhishek Tyagi, Arjun Iyer, Liam Young, William H Renninger, Christopher Kanan, Yuhao Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 세상에서 가장 빠른 레이스 카를 만들려고 노력하고 있다고 상상해 보십시오. 당신에게는 복잡한 문제를 해결할 수 있는 강력한 엔진(심층 신경망)이 있지만, 이 엔진은 매우 무겁고 연료를 엄청나게 소모합니다. 더 빠르게 만들기 위해 엔지니어들은 종종 필수적이지 않은 부품을 제거하려고 노력하는데, 이를 "프루닝(pruning, 가지치기)"이라고 부릅니다. 만약 당신이 단순히 무작위로 볼트와 전선을 제거한다면, 남은 부품들이 공장 도구에 맞게 연결되지 않아 자동차가 제대로 달리지 못할 수도 있습니다. 하지만 만약 당신이 매우 구체적이고 조직적인 패턴(예를 들어, 격자 모양으로 매 줄마다 다른 볼트를 제거하는 방식)에 따라 부품을 제거한다면, 공장 기계들이 훨씬 더 빠르게 작동할 수 있습니다. 이것이 바로 "구조적 희소성(structured sparsity)"의 세계입니다. 즉, AI 모델이 깔끔하고 예측 가능한 패턴을 따르도록 강제함으로써 모델을 더 작고 빠르게 만드는 것입니다.

하지만 여기 함정이 있습니다. 너무 깔끔하게 만들다 보면 자동차가 둔해질 수 있다는 점입니다. 만약 당신이 엔진이 엄격한 격자를 따르도록 강제한다면, 특정 코너를 돌 때 꼭 필요한 부품을 실수로 잘라버려 자동차가 까다로운 코너를 핸들링하지 못하게 될 수도 있습니다. 이것이 연구자들이 직면한 문제입니다. 구조적 패턴은 빠르지만, "비구조적(unstructured)" 방식(부품을 어디든 자유롭게 제거할 수 있는 방식)에 비해 정확도를 잃기 쉽습니다. 큰 질문은 이것입니다. 우리는 정교한 격자의 속도를 유지하면서도 어떤 회전도 처리할 수 있는 유연성을 유지할 수 있을까요? 이 논문은 바로 그 퍼즐을 깊이 파고듭니다. 우리가 AI가 자신의 내부 연결을 아주 조금만 재배치하도록 가르쳐서, 그 엄격한 패턴이 완벽하게 작동하게 만들 수 있는지 탐구합니다.

이 연구를 수행한 로체스터 대학교의 연구팀은 SHUFFLESPARSE라는 영리한 새로운 기술을 선보였습니다. 신경망 레이어를 수많은 사람들(데이터)이 전문가 그룹(가중치)과 대화하려고 하는 거대한 방이라고 생각해 보십시오. 표준적인 "구조적" 설정에서는 전문가들이 마치 퍼레이드 중인 군인들처럼 엄격한 행과 열로 배치되어 있습니다. 이는 관리자가 명령을 빠르게 전달하기에는 용이하지만(빠른 연산), 방 안의 사람들이 엉뚱한 행에 서 있는 전문가와 대화해야 할 때는 문제가 됩니다.

보통의 해결책은 전문가들이 원하는 곳 어디든 서 있게 하는 것(비구조적)이지만, 그러면 관리자가 혼란을 느껴 속도가 느려집니다. SHUFFLESPARSE는 그 중간 지점을 제시합니다. 대화가 시작되기 전, 단 한 번의 마법 같은 "셔플(shuffle, 섞기)" 단계를 추가합니다. 음악이 시작되기 전, 모두가 특정 학습된 패턴에 따라 자리를 바꾸라고 지시받는 댄스 플로어를 상상해 보십시오. 이 셔플은 설계된 대로, 사람들이 마침내 앉아서 엄격하게 배치된 전문가들과 대화할 때, 전문가들은 움직이지 않았음에도 불구하고 실제로 '올바른' 사람들과 대화할 수 있도록 만들어졌습니다.

연구진은 AI에게 이 특정 "셔플"(치환 행렬)을 엄격한 패턴과 함께 학습시키면, 격자 형태 때문에 잃었던 정확도를 거의 모두 회복할 수 있다는 것을 발견했습니다. 이는 마치 군인들의 대형을 바꿀 필요 없이, 신병들이 다른 순서로 그들 앞에 줄을 서기만 하면 된다는 것을 깨달은 것과 같습니다.

연구팀은 이 아이디어를 두 가지 매우 다른 시나리오에서 테스트했습니다. 첫째, 이미지 인식 작업(고양이와 강아지 식별 등)과 언어 작업에 대해 처음부터 모델을 훈련했습니다(동적 희소 훈련). 그들은 SHUFFLESPARSE가 엄격하고 빠른 모델과 유연하지만 느린 모델 사이의 간극을 일관되게 좁힌다는 것을 발견했습니다. 예를 들어, ViT-B/16이라는 유명한 이미지 모델의 경우, 이 셔플을 추가함으로써 매우 높은 희소도 수준(90~95%)에서 정확도 격차를 거의 2%에서 1% 미만으로 줄였습니다. GPT-2와 같은 언어 모델에서도 마찬가지로, AI가 텍스트를 이해하는 능력(혼란도를 나타내는 척도인 '퍼플렉시티')을 크게 개선했습니다.

둘째, 이미 훈련된 거대한 언어 모델(LLaMA-2 및 Qwen과 같은)을 대상으로 실험했습니다. 이 모델들은 동결되어 있어 재학습이 불가능했습니다. 연구진은 가중치를 잘라내는 "원샷(one-shot)" 프루닝 방법을 사용한 후 SHUFFLESPARSE 셔플을 적용했습니다. 결과는 놀라웠습니다. LLaMA-2 7B 모델에서 이 방법은 기존의 최선인 비셔플(non-shuffled) 방식보다 제로샷(zero-shot) 정확도를 4.6포인트 향상시켰습니다. 이는 거대하고 이미 만들어진 모델이라 할지라도, 단순한 학습된 재배열이 재학습 없이도 숨겨진 잠재력을 끌어낼 수 있음을 시사합니다.

결정적으로, 저자들은 이것이 단순히 무작위로 섞는 것이 아님을 보여줍니다. 시스템을 학습된 셔플 대신 무작위의 고정된 셔플로 테스트했을 때, 성능은 오히려 떨어지거나 그대로였습니다. 마법은 AI가 작업에 가장 적합한 특정 셔플을 학습하는 데서 옵니다. 또한 논문은 이 셔플에 약간의 비용(모델 실행 시간을 약 3%에서 8.7% 정도 증가시킴)이 들지만, 구조적 패턴의 핵심적인 속도 이점을 유지하면서 정확도를 대폭 높일 수 있다는 점에서 이는 충분히 지불할 가치가 있는 작은 대가라고 언급합니다.

요약하자면, SHUFFLESPARSE는 우리가 속도와 지능 중 하나를 선택할 필요가 없다는 것을 시사합니다. 엄격하고 빠르게 처리되는 기어에 부딪히기 직전에 입력을 딱 알맞게 재배치하도록 AI를 가르침으로써, 우리는 케이크를 먹으면서 동시에 케이크를 자르는 것(두 마리 토코끼를 잡는 것)이 가능해집니다. 즉, 믿을 수 없을 정도로 빠르면서도 놀라울 정도로 정확한 모델을 가질 수 있습니다. 저자들은 이 학습된 치환(permutation)이 다양한 유형의 엄격한 패턴과 다양한 종류의 AI 작업에 걸쳐 작동하는 일반적인 도구이며, 효율적이고 고성능인 AI를 만드는 유망한 길을 제시한다고 결론짓습니다.

기술 요약: SHUFFLESPARSE: 구조적 희소 네트워크를 위한 학습된 셔플(Learned Shuffles)

1. 문제 정의

구조적 가중치 희소성(예: N:M, 블록, 대각 패턴)은 현대 GPU에서 최적화된 커널과 정렬되기 때문에 훈련 및 추론을 가속화하는 데 필수적입니다. 그러나 구조적 희소성은 특히 극단적인 희소도 수준(90–95%)에서 비구조적 동적 희소 훈련(DST) 및 원샷 프루닝(one-shot pruning)보다 일관되게 낮은 성능을 보입니다. 저자들은 이러한 성능 격차의 근본 원인을 **표현력의 부족(lack of expressivity)**으로 지목합니다. 밀집 레이어(dense layer)는 비제로 가중치의 어떤 패턴도 구현할 수 있는 반면, 구조적 패턴은 네트워크를 작고 경직된 가중치 구성 세트로 제한합니다. 이러한 경직성은 네트워크가 최적의 표현을 학습하는 능력을 제한하여, 비구조적 방식에 비해 정확도 저하를 초래합니다.

AutoShuffleNet(밀집 네트워크의 채널 순열)이나 NVIDIA의 순열 탐색(고정된 2:4 가중치를 위한 정적 순열)과 같은 기존 솔루션은 특정 설정이나 희소 패턴에 종속되어 있습니다. 단일 순열 프리미티브(permutation primitive)가 표준적인 구조적 패턴 전반에 걸쳐 훈련부터 시작하는 방식(training-from-scratch)과 원샷 프루닝을 모두 통합하여 보여준 선행 연구는 없었습니다.

2. 방법론: SHUFFLESPARSE

저자들은 각 레이어마다 구조적 가중치 행렬과 함께 하나의 순열 행렬을 공동으로 학습하는 통합 프레임워크인 SHUFFLESPARSE를 소개합니다. 희소화된 레이어의 핵심 공식은 다음과 같습니다:
$y = (W\Pi)x$
여기서 $W$ 는 고정된 패턴 $S$ 를 따르는 구조적 희소 가중치 행렬이며, $\Pi$ 는 학습된 열 순열(column permutation)입니다.

주요 기술 구성 요소

미분 가능한 순열 추정기(Differentiable Permutation Estimator): 순열 행렬은 이산적(discrete)이기 때문에, SHUFFLESPARSE는 소프트 완화(soft relaxation) 기법을 사용합니다. 이는 이중 확률 행렬(doubly-stochastic matrix) $M$ 을 학습하고, 학습 단계의 마지막에 하드 순열 $\Pi$ 를 디코딩합니다. 순열 제약을 강제하기 위해, 태스크 손실(task loss)에 $\ell_1 - \ell_2$ 노름 차이에 기반한 페널티 항 $P(M)$ 을 추가합니다. 이 페널티는 훈련이 진행됨에 따라 $M$ 이 원-핫(one-hot) 구성(유효한 순열)으로 수렴하도록 유도합니다.
통합 적용: 동일한 공식이 두 가지 서로 다른 레짐(regime)에 적용됩니다:
1. 동적 희소 훈련(DST) From Scratch: 희소 마스크 $S$ , 밀집 가중치 $\Theta$ , 그리고 소프트 순열 $M$ 이 공동으로 학습됩니다. 프룬 앤 그로우(Prune-and-grow) 연산은 **순열된 좌표(permuted coordinates)**에서 수행되어, 중요도 점수가 추론 시의 채널 그룹화와 일치하도록 보장합니다.
2. 사전 훈련된 LLM의 원샷 프루닝: 사전 훈련된 가중치는 동결됩니다. 캘리브레이션 세트에서 희소 출력과 밀집 출력 사이의 재구성 손실(코사인 유사도)을 최소화하기 위해 오직 순열 행렬 $M$ 만을 최적화합니다.
추론 효율성: 추론 시에는 학습된 순열이 "하드화(hardened)"(원-핫 행렬로 변환)되어 고정됩니다. 명시적인 행렬 곱셈을 수행하는 대신, 순열은 **사전 계산된 인덱스 맵(precomputed index maps)**을 통해 구현됩니다. 구조적 희소 GEMM 커널이 순열된 주소에서 입력을 읽어 들임으로써, 원래의 커널 구조와 FLOP 수를 유지합니다. 이는 불완전한 메모리 액세 코알레싱(memory-access coalescing)으로 인해 미미한 오버헤드(≤8.7%)를 발생시키지만, 별도의 순열 연산을 피할 수 있게 합니다.

3. 주요 기여

통합된 프리미티브: SHUFFLESPARSE는 동적 희소 훈련(DST)부터 사전 훈련된 대규모 언어 모델(LLM)의 프루닝에 이르기까지, 다양한 구조적 패턴(블록, N:M, 대각)에서 균일하게 작동하는 단일 레이어 공식을 도입했습니다.
정확도 격차 해소: 이 방법은 구조적 베이스라인과 비구조적 베이스라인 사이의 성능 격차를 일관되게 줄여줍니다.
- ViT-B/16 (ImageNet-1K)에서, 최상의 비구조적 방법과의 평균 정확도 격차를 1.92%에서 **0.97%**로 줄였습니다 (DynaDiag 사용 시).
- GPT-2 (WikiText-103)에서, 모든 구조적 방법론에 대해 퍼플렉서티(perplexity) 격차가 크게 감소했습니다 (예: GPT-2 Medium, DynaDiag 사용 시 3.75%에서 2.63%로 감소).
개선된 프루닝 성능: 2:4 희소도에서 동결된 사전 훈련된 LLM에 적용했을 때, SHUFFLESPARSE는 가장 강력한 비순열 베이스라인인 Wanda에 비해 LLaMA-2 7B에서 +4.62 포인트, Qwen-2.5 3B에서 +2.95 포인트의 제로샷 다운스트림 정확도 향상을 달ей했습니다. 이는 이전의 최첨단 순열 방법인 PermLLM보다 뛰어난 성능입니다.

4. 실험 결과

비전 (ViT-B/16): 네 가지 구조적 DST 방법(SRigL, PixelatedBFly, DSB, DynaDiag) 전반에 걸쳐, SHUFFLESPARSE는 구조적 베이스라인과 무작위 순열 제어(random permutation controls) 모두를 일관되게 능가했습니다. 개선 효과는 높은 희소도(90–95%)에서 가장 두드러졌습니다.
언어 (GPT-2): SHUFFLESPARSE는 모든 희소도 수준과 모델 크기에 걸쳐 비구조적 RigL 베이스라인 대비 퍼플렉서티 격차를 줄였습니다.
LLM 프루닝: 원샷 2:4 프루닝에서, SHUFFLESPARSE는 LLaMA-2 7B 및 Qwen-2.5 3B에 대해 밀집 모델 성능과의 격차를 가장 작게 구현하여, 학습된 순열이 동결된 가중치 상태에서도 비구조적 수준의 정확도를 회복할 수 있음을 입증했습니다.
절제 연구(Ablation Studies):
- 무작위 vs. 학습된 순열: 학습된 순열을 고정된 무작위 순열로 대체하면 성능이 저하되거나 이득이 미미했습니다. 이는 개선이 임의적인 재정렬이 아닌, 태스크 특화된 순열을 학습하는 데서 기인함을 확인시켜 줍니다.
- 민감도: 이 방법은 순열 페널티 강도( $\lambda$ )가 한 자릿수 차이가 나더라도 견고합니다.
- 순열 강도: 분석 결과, 깊은 층과 어텐션 프로젝션(attention projections)이 초기 층 및 MLP 프로젝션보다 더 강한 순열(항등 행렬로부터의 더 큰 편차)을 학습한다는 것을 발견했으며, 이는 DST와 프루닝 레짐 모두에서 일관된 경향을 보였습니다.

5. 의의 및 주장

본 논문은 학습된 순열이 구조적 희소 패턴으로부터 비구조적 수준의 정확도를 회복하는 일반적인 도구라고 주장합니다. 레이어당 단일 순열 행렬을 학습함으로써, SHUFFLESPARSE는 구조적 희소성이 제공하는 하드웨어 가속 이점을 희생하지 않으면서도, 경직된 구조적 제약으로 인해 상실된 표현력을 복구합니다.

저자들은 이 접근 방식이 다음과 같음을 강조합니다:

호스트 구조(예: N:M 커널)가 제공하는 훈련 및 추론 속도를 보존합니다.
최소한의 추론 오버헤드(≤8.7%)와 적절한 훈련 오버헤드만을 추가합니다.
다양한 네트워크 아키텍처(ViT, GPT, LLaMA)와 희소 패턴(블록, N:M, 대각)에서 작동하는 통합된 솔루션을 제공합니다.

이 연구는 구조적 희소성의 정확도 격차가 하드웨어 친화적인 패턴 자체의 내재적 한계가 아니라, 네트워크가 자신의 입력 기저(input basis)를 해당 패턴에 적응시키지 못하는 데서 발생하는 문제임을 확립하였으며, SHUFFLESPARSE는 학습된 순열을 통해 이 문제를 해결합니다.