🤖 machine learning

PATCH: Learnable Tile-level Hybrid Sparsity for LLMs

PATCH는 LLM 가중치 행렬을 학습 가능한 밀집 또는 2:4 희소 할당으로 구성된 타일로 분할하는 하이브리드 희소성 프레임워크로, 기존 비구조화 또는 경직된 반구조 가지치기 방법보다 우수한 정확도와 실질적인 GPU 속도 향상을 달성하기 위해 0%에서 50% 사이의 연속적인 희소 비율을 가능하게 합니다.

원저자: Younes Hourri, Mohammad Mozaffari, Maryam Mehri Dehnavi

게시일 2026-04-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Younes Hourri, Mohammad Mozaffari, Maryam Mehri Dehnavi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델 (LLM) 을 수십억 권의 책 (파라미터) 이 들어 있는 방대하고 초정교하게 정리된 도서관으로 상상해 보세요. 이 도서관을 표준 컴퓨터에서 빠르게 작동하게 하려면 일부 책을 제거해야 합니다. 하지만 당신은 까다로운 딜레마에 직면합니다:

"지저분한" 접근법 (비구조적 희소성): 선반 어딘가에 있는 무작위 책을 버립니다. 이는 매우 선택적이어서 도서관의 지식을 매우 정확하게 유지하지만, 혼란스러운 엉망진창을 만들어냅니다. 책장을 찾는 사서 (컴퓨터의 GPU) 는 여기저기 뛰어다니며 책을 찾아야 하므로 과정이 느리고 비효율적입니다.
"경직된" 접근법 (2:4 희소성): "네 권의 책 그룹마다 정확히 두 권을 제거해야 한다"는 엄격한 규칙을 따르기로 결정합니다. 패턴이 예측 가능하여 사서의 일을 쉽고 빠르게 만들어줍니다. 하지만 이 규칙은 너무 경직되어 있습니다. 때로는 반드시 제거해야 하는 두 권의 책이 실제로 가장 중요한 책들이어서, 도서관이 지능과 정확성을 잃게 만듭니다.

PATCH 등장: "스마트 타일" 사서

이 논문은 PATCH(Hybrid Sparsity 를 위한 학습 가능한 타일 수준 구성을 통한 가지치기) 라는 새로운 방법을 소개합니다. "지저분한" 접근법과 "경직된" 접근법 사이에서 선택하는 대신, PATCH 는 도서관을 타일(작고 관리 가능한 선반 구역) 로 나누는 스마트 사서처럼 작동합니다.

간단한 비유를 들어 작동 방식을 설명해 보겠습니다:

타일 시스템: 도서관이 모자이크처럼 정사각형 타일로 나뉘어 있다고 상상해 보세요.
결정: 각 타일마다 PATCH 시스템은 선택을 학습합니다:
- 옵션 A (밀집): 이 타일을 책으로 완전히 채워두세요. 이는 정확성이 가장 중요한 도서관의 "중요" 구역입니다.
- 옵션 B (2:4 희소): 이 타일에 "네 권 중 두 권 제거"라는 엄격한 규칙을 적용하세요. 이는 도서관에 공간 절약과 속도 향상을 위해 안전하게 제거할 수 있는 여분의 중복된 책이 있는 구역입니다.
학습 과정: 시스템은 추측하지 않습니다. 어떤 타일이 가득 차야 하고 어떤 타일이 희소해야 하는지 정확히 파악하도록 스스로 "훈련"합니다. 하드웨어 친화적인 규칙을 따르면서 중요한 부분은 밀집하게 유지하고 중복된 부분은 희소하게 만드는 법을 학습합니다.

왜 이것이 중요한가요?

양쪽의 장점: PATCH 는 간극을 메웁니다. 도서관의 정확성을 유지하면서 (지저분한 접근법처럼) 컴퓨터가 빠르게 읽을 수 있도록 조직화합니다 (경직된 접근법처럼).
유연한 속도: PATCH 에게 "도서관을 25% 줄이고 싶다"거나 "50% 줄이고 싶다"고 말할 수 있습니다. 고정된 50% 감소에 갇히지 않고, "가득 찬 타일" 대 "희소한 타일"의 수를 조정하여 그 목표를 완벽하게 달성합니다.
실제 결과: 저자들은 작은 모델부터 130 억 파라미터에 이르는 매우 큰 모델까지 다양한 모델에서 이를 테스트했습니다.
- 속도: 표준 소비자용 그래픽 카드 (A6000 GPU) 에서 PATCH 는 원래 가지치기되지 않은 모델보다 1.18 배에서 1.38 배 더 빠르게 모델을 실행하게 했습니다.
- 지능: 속도를 높이면 모델을 "바보"로 만드는 다른 방법들과 달리, PATCH 는 현재 최첨단 경직된 방법 (MaskLLM) 과 비교하여 모델의 정확도를 0.37% 에서 2.96% 까지 실제로 향상시켰습니다.

요약

PATCH 를 거대한 창고를 정리하는 방법으로 생각하세요. 지게차 속도를 늦추는 무작위 버리기나 중요한 물건을 버리는 멍청한 규칙 대신, PATCH 는 지게차가 좋아하는 패턴으로 특정 구역은 가득 채우고 다른 구역은 정리하도록 지능적으로 지정합니다. 그 결과, 탐색이 더 빠르면서도 모든 필수 지식을 여전히 보유하고 있는 창고가 됩니다.

다음은 논문 **"PATCH: LEARNABLE TILE-LEVEL HYBRID SPARSITY FOR LLMs"**에 대한 상세한 기술 요약입니다.

1. 문제 제기

대형 언어 모델 (LLM) 은 뛰어난 성능을 제공하지만, 배포 과정에서 막대한 메모리 및 계산 비용으로 고통받고 있습니다. 모델 가지치기 (pruning) 는 주요 해결책 중 하나이지만, 기존 접근 방식들은 근본적인 트레이드오프에 직면해 있습니다.

비구조적 희소성 (Unstructured Sparsity): 임의의 위치에 비영 (non-zero) 요소를 허용하여 높은 정확도를 유지하지만, 비정규적인 메모리 접근 패턴을 생성하여 GPU 가속 (예: Tensor Cores) 을 방해합니다.
반구조적 희소성 (Semi-Structured Sparsity, 예: 2:4): 두 개의 비영 요소가 네 개의 요소당 존재하도록 하는 경직된 패턴을 강제하여 하드웨어 친화적이고 추론을 가속화합니다. 그러나 고정된 50% 희소성 비율과 모든 레이어에 균일하게 적용되는 특성으로 인해, 특히 원샷 (one-shot) 가지치기 방법을 사용할 때 상당한 정확도 저하를 초래합니다.

현재 방법론들은 비구조적 가지치기의 유연성과 반구조적 가지치기의 하드웨어 효율성 사이의 간극을 해소하는 데 어려움을 겪고 있으며, 특히 희소성 비율을 연속적으로 조정하거나 레이어 간에 비균일하게 희소성을 할당하는 능력의 부재가 주요 문제입니다.

2. 방법론: PATCH

저자들은 PATCH(Pruning with a Learnable Tile-level Configuration for Hybrid Sparsity) 를 제안합니다. 이는 하드웨어 호환성을 유지하면서 0% 에서 50% 사이의 연속적인 희소성 비율을 가능하게 하는 프레임워크입니다.

핵심 메커니즘

PATCH 는 가중치 행렬을 타일 (tiles) (예: $b_1 \times b_2$ ) 로 분할합니다. 각 타일마다 모델이 해당 타일이 밀집 (dense, 0% 희소성) 상태로 남을지, 아니면 2:4 희소 (50% 희소성) 상태가 될지 결정하도록 학습합니다.

하이브리드 마스크 생성: 최종 마스크는 "밀집" 옵션과 "2:4 희소" 옵션의 가중 조합입니다.
학습 가능한 분포:
1. 타일 선택: 학습 가능한 로그이트 (logit) 분포가 타일이 밀집인지 희소인지의 확률을 결정합니다. 이는 Gumbel-Softmax를 사용하여 샘플링되어 미분 가능한 최적화를 가능하게 합니다.
2. 패턴 선택: 희소로 지정된 타일 내부에서 별도의 학습 가능한 분포가 6 가지 가능한 순열 중 특정 2:4 패턴을 선택합니다.
최적화 목적 함수: 학습 목적 함수는 다음을 결합합니다.
- 표준 모델링 손실 (예: 다음 토큰 예측).
- 희소성 정규화: 목표 전역 희소성 비율 ( $\rho$ ) 에서의 편차를 패널티하는 항으로, 0–50% 범위에 대한 정밀한 제어를 가능하게 합니다.
- 가중치 정규화: 기울기 전파를 돕기 위해 더 큰 가중치 크기를 장려합니다.

변형

PATCHJoint: 타일 수준의 선택 (밀집 대 희소) 과 희소 타일 내부의 세밀한 2:4 패턴을 모두 공동으로 최적화합니다. 10 억 파라미터 미만의 작은 모델에 사용됩니다.
PATCHTile: 메모리 효율적인 변형으로, 2:4 패턴은 MaskLLM 과 같은 고품질 원샷 방법에서 초기화하여 고정하고, 타일 수준의 밀집/희소 결정만 최적화합니다. 이를 통해 제한된 GPU 메모리 상에서 130 억 파라미터까지의 대규모 모델로 확장할 수 있습니다.

추론 및 배포

STOICC 통합: 표준 GPU 라이브러리 (cuBLAS, cuSPARSELt) 는 혼합 밀집/희소 타일을 지원하지 않으므로, PATCH 는 Triton 기반 컴파일러인 STOICC를 활용합니다. STOICC 는 타일 크기 (예: $128 \times 128$ ) 와 같은 커널 구성을 자동 튜닝하여 하이브리드 실행을 효율적으로 처리합니다.
하드웨어 호환성: 희소 타일이 엄격하게 2:4 패턴을 준수하도록 보장함으로써, PATCH 는 NVIDIA/AMD Tensor Cores 를 활용한 가속을 가능하게 하고, 밀집 타일은 표준 밀집 커널을 활용합니다.

3. 주요 기여

하이브리드 희소성 프레임워크: 동일한 가중치 행렬 내에서 밀집 타일과 2:4 희소 타일을 동적으로 혼합하여 **연속적인 희소성 비율 (0%–50%)**을 가능하게 하는 최초의 방법을 도입했습니다.
학습 가능한 비균일 할당: 고정된 2:4 방법과 달리, PATCH 는 적응적으로 희소성을 할당하는 법을 학습합니다. 민감한 레이어 (예: 초기/후기 Transformer 블록, 어텐션 메커니즘) 에는 밀집성을 유지하고, 중복된 레이어 (예: 중간 블록, MLP up/gate/down 행렬) 에는 희소성을 적용합니다.
엔드투엔드 미분 가능 학습: Gumbel-Softmax 를 사용하여 마스크 선택과 가중치 가지치기를 공동으로 최적화함으로써, 원샷 가지치기와 관련된 정확도 저하를 방지합니다.
실용적 배포: 하이브리드 타일 수준 희소성과 컴파일러 (STOICC) 의 성공적인 통합을 시연하여 소비자급 GPU 에서 실제 속도 향상을 달성했습니다.

4. 실험 결과

저자들은 05 억에서 130 억 파라미터에 이르는 모델 (Qwen-2.5, LLaMA-2/3, Gemma-3) 에 대해 8 가지 제로샷 (zero-shot) 하류 작업과 WikiText2 퍼플렉시티를 사용하여 PATCH 를 평가했습니다.

정확도:
- PATCH 는 MaskLLM, SparseGPT, Wanda, ProxSparse 와 같은 최첨단 2:4 가지치기 방법보다 일관되게 우수한 성능을 보입니다.
- LLaMA-2 7B에서 PATCH(25% 희소성) 는 **51.58%**의 평균 정확도를 달성한 반면, MaskLLM(50% 희소성) 은 48.62%, ProxSparse 는 **45.92%**를 기록했습니다.
- PATCH 는 밀집 모델과의 격차를 크게 좁혔습니다. 25% 희소성에서 밀집 모델의 정확도에서 약 2 퍼센트 포인트 이내로 회복됩니다.
- 퍼플렉시티: PATCH 는 모든 베이스라인보다 낮은 퍼플렉시티를 달성합니다. LLaMA-2 7B(25% 희소성) 의 경우, PPL 은 MaskLLM 의 6.78 대비 5.86입니다.
속도 향상 및 효율성:
- NVIDIA A6000 GPU(LLaMA-2 7B) 에서 PATCH 는 밀집 베이스라인 대비 1.18 배에서 1.38 배의 엔드투엔드 속도 향상을 달성합니다.
- 메모리 풋프린트는 밀집 모델의 0.59 배–0.76 배로 감소합니다.
- PATCH 는 속도 향상이 없는 비구조적 가지치기보다 우수하며, 정확도 저하가 너무 커서 속도 향상을 정당화하지 못하는 경직된 2:4 가지치기보다도 뛰어납니다.
애블레이션 연구:
- 전역 대 레이어별: 전역 희소성 목표 (레이어별 가변 희소성 허용) 는 균일한 레이어별 목표보다 훨씬 우수한 성능을 보입니다.
- 타일 크기: 성능은 타일 크기에 따라 견고하지만, $4 \times 4$ 가 가장 세밀한 제어를 제공합니다. 하드웨어 효율성은 더 큰 실행 타일 ( $128 \times 128$ ) 사용을 요구합니다.
- 초기화: 이 방법은 초기화 사전에 대해 견고하며, 전역 희소성 목표는 학습 중 동적 재할당을 가능하게 합니다.

5. 의의

PATCH 는 "정확성 대 가속화"라는 딜레마를 해결함으로써 효율적인 LLM 추론에서 중요한 진전을 이루었습니다.

간극 해소: 반구조적 희소성의 하드웨어 가속 이점과 비구조적 할당의 유연성을 성공적으로 결합합니다.
실용성: 이론적 가지치기를 넘어 기존 컴파일러 인프라 (STOICC) 를 사용하여 실제 하드웨어에서 실제 속도 향상을 입증합니다.
확장성: 메모리 효율적인 변형 (PATCHTile) 은 가중치 마스크 학습을 위한 막대한 컴퓨팅 예산 없이도 대규모 모델 (130 억+) 에 하이브리드 희소성을 적용할 수 있음을 입증합니다.
미래 방향: 이 프레임워크는 패턴에 구애받지 않으며, 새로운 하드웨어가 지원함에 따라 이론적으로 다른 N:M 패턴 (예: 4:8) 으로 확장될 수 있어 향후 LLM 압축을 위한 다목적 솔루션이 됩니다.

요약하자면, PATCH 는 모델 품질과 추론 속도 간의 트레이드오프를 전례 없는 세밀함으로 조정할 수 있도록 하는 유연하고 학습 가능하며 하드웨어 효율적인 가지치기 전략을 제공합니다.