기술 요약: SparseForge

문제 제기

반구조적 희소성 (예: 2:4 패턴) 은 네이티브 하드웨어 지원 (NVIDIA Sparse Tensor Cores 등) 을 통해 대규모 언어 모델 (LLM) 을 가속화할 수 있는 실용적인 경로를 제공합니다. 그러나 이러한 제약 조건 하에서 훈련 후 희소화를 수행할 때 중요한 병목 현상에 직면합니다: 품질의 상당한 저하.

기존 방법들은 일반적으로 중요도 점수를 계산한 후 희소 구조로 단단히 투영 (hard projection) 하는 방식에 의존합니다. 반구조적 제약 하에서 가지치기 결정은 독립적이지 않으며, 제한된 그룹 내에서 가중치들이 경쟁합니다. 조기 단단한 결정은 개별적으로는 중요하지만 불완전한 점수 산정 하에서 최적이 아닌 가중치들을 제거하여 정확도 손실을 초래합니다. 성능을 회복하기 위해 현재 최첨단 (SOTA) 접근법들 (예: CAST) 은 대규모 희소 재훈련 (예: 400 억 토큰) 에 의존하여 높은 계산 비용과 비효율적인 정확도 - 비용 트레이드오프를 초래합니다.

저자들은 근본적인 병목 현상이 재훈련 토큰의 규모가 아니라 희소성 마스크의 품질이라고 주장합니다.

방법론: SparseForge

SparseForge 는 재훈련 토큰 수를 늘리는 대신 희소성 마스크를 직접 최적화함으로써 회복 효율성을 개선하도록 설계된 훈련 후 프레임워크입니다. 이는 마스크를 하드웨어 실행 가능한 이진 패턴으로 변환하기 전에 연속적이고 최적화 가능한 변수로 취급하는 마스크 어닐링 파이프라인을 사용합니다.

이 프레임워크는 세 가지 핵심 메커니즘을 통해 작동합니다:

1. 듀얼 트랙 재훈련 루프 ("가열" 단계)

SparseForge 는 모델 가중치와 명시적인 소프트 마스크 ($m \in [0, 1]$) 를 통합된 루프에서 공동으로 최적화합니다.

• 분리된 최적화: 가중치는 표준 손실 함수를 통해 매 단계 업데이트되는 반면, 소프트 마스크는 전용 학습 규칙을 사용하여 덜 빈번하게 ($T_{update}$ 단계) 업데이트됩니다. 이는 마스크를 연속 상태로 유지하여 모델이 훈련 초기에 취약한 이진 결정에 서둘러 종속되지 않고 구조화된 대안들을 탐색할 수 있게 합니다.
• SLoRB 브랜치: 가지치기 중 손실된 용량을 보상하기 위해 선택적으로 희소 저랭크 브랜치가 사용됩니다.

2. 헤시안 인식 중요도 추정

그룹 내 경쟁 (2:4 그룹 내 여러 가중치가 생존을 위해 경쟁하는 상황) 을 해결하기 위해 SparseForge 는 단순한 크기 기반 점수 산정을 넘어섭니다.

• 2 차 신호: 가중치 제거에 대한 손실의 민감도를 추정하기 위해 헤시안 인식 기준을 사용합니다. 중요도 점수는 $s = (H + \epsilon) \odot W^2$로 유도되며, 여기서 $H$는 헤시안의 근사 대각선입니다.
• 효율적 추정: 완전한 헤시안을 구성하는 것은 불가능하므로, 라데마커 (Rademacher) 벡터를 사용한 허치슨 (Hutchinson) 스타일의 확률적 추정기로 대각선을 추정합니다.
• 소프트 게이트 합성: 이러한 점수들은 표준화되고 온도 매개변수가 포함된 시그모이드 함수를 통과하여 각 그룹 내의 경쟁을 인코딩하면서 연속성을 유지하는 소프트 게이트를 생성합니다.

3. 점진적 어닐링 ("담금질" 단계)

학습된 소프트 마스크와 필요한 하드 이진 마스크 간의 격차를 해소하기 위해 SparseForge 는 점진적 경화 전략을 사용합니다:

• 이진 선호 정규화 항: $L_{mid} = \sum m_{ij}(1-m_{ij})$ 항이 손실에 추가되어 모호한 마스크 값 (0.5) 을 패널티하고 0 또는 1 로의 값을 장려합니다.
• 점진적 블렌딩: 소프트 게이트는 헤시안 점수에 기반한 그룹 내 상위 $N$개 항목인 "하드 타겟"과 혼합 계수 $\beta$를 사용하여 점진적으로 블렌딩됩니다.
• 온도 어닐링: 시그모이드 온도 $T$는 결정 경계를 날카롭게 만들기 위해 기하급수적으로 어닐링됩니다.
• 최종 투영: 마스크가 충분히 분리되면, 최종 보간 단계가 소프트 마스크를 하드 이진 2:4 패턴으로 변환한 후 투영 오류를 흡수하기 위한 짧은 파인튜닝 단계를 거칩니다.

주요 기여

1. 병목 현상의 재정의: 이 논문은 반구조적 제약 하에서 희소성 회복이 재훈련 규모보다 마스크 품질에 더 제한된다고 규명합니다. 이 통찰력은 토큰 규모 확대에서 마스크 자체 최적화로 초점을 이동시킵니다.
2. SparseForge 프레임워크: 명시적으로 소프트 마스크를 최적화하고 이를 배포 가능한 이진 패턴으로 점진적으로 어닐링하는 새로운 훈련 후 프레임워크입니다. 이는 헤시안 유도 마스크 업데이트 규칙과 점진적 담금질 메커니즘을 도입합니다.
3. 효율성 돌파: SparseForge 는 훨씬 적은 재훈련 토큰으로 최첨단 회복을 달성하여, 데이터 양을 단순히 늘리는 것보다 더 나은 마스크 최적화가 더 효율적인 레버임을 입증합니다.

실험 결과

저자들은 2:4 희소성 하에서 다양한 모델 (GPT-2, OPT, LLaMA-2, Qwen3, DeepSeek-MoE) 에 대해 SparseForge 를 평가했습니다.

• LLaMA-2-7B 성능:
  • SparseForge 는 50 억 개의 재훈련 토큰만을 사용하여 57.27% 의 평균 제로샷 정확도를 달성했습니다.
  • 이는 밀집 모델의 정확도 (56.43%) 를 상회하며, 400 억 토큰이 필요했던 SOTA CAST† 결과 (57.52%) 에 근접합니다 (훈련 비용 8 배 감소).
  • Wanda, SparseGPT, MaskLLM 등 다른 방법들보다 현저히 우수한 성능을 보입니다.
• 모델 간 일관성: 이 방법은 모델 패밀리 전반에 걸쳐 일관된 성능을 보였으며, Qwen3-14B 및 DeepSeek-MoE 와 같은 더 큰 모델조차 밀집 베이스라인 대비 moderate 한 정확도 하락 (일반적으로 3% 미만) 을 보였습니다.
• 하드웨어 가속화: TensorRT-LLM 을 사용한 NVIDIA H800 GPU 에서의 엔드투엔드 추론 테스트는 밀집 베이스라인 대비 1.40 배–1.44 배의 처리량 속도 향상과 42% 의 메모리 풋프린트 감소 (12.55 GB 대비 7.31 GB) 를 보여주었습니다.
• 어블레이션 연구: 헤시안 인식 중요도, SLoRB 브랜치, 또는 점진적 어닐링 구성 요소를 제거하면 정확도가 크게 저하되어 각 구성 요소의 필요성이 확인되었습니다.

의의 및 주장

이 논문은 마스크 중심 최적화가 하드웨어 정렬 희소 LLM 압축을 위한 유망한 방향이라고 주장합니다. 마스크를 연속 변수로 취급하고 2 차 정보를 사용하여 그 진화를 안내함으로써, SparseForge 는 막대한 규모의 재훈련 비용 없이 고품질 반구조적 희소성을 달성할 수 있음을 보여줍니다.

저자들은 겸손하게도 이 방법의 성능이 재훈련 코퍼스 선택에 민감하다는 점 (예: 추론 중심 사전 훈련과 일반 C4 데이터 간의 불일치가 결과에 영향을 줄 수 있음) 을 지적하며, 프레임워크가 다른 패턴 (예: 블록 -16) 으로 일반화되지만 주요 초점과 검증은 여전히 2:4 패턴에 있음을 덧붙였습니다. 이 연구는 희소 모델에서 밀집 수준의 성능을 달성하는 데 있어 최적화의 "방법" (마스크 품질) 이 "양" (토큰 규모) 과 적어도 동등하게 중요함을 시사합니다.