Toward Adaptive Large Language Models Structured Pruning via Hybrid-grained Weight Importance Assessment
이 논문은 구조적 가지치기 시 단일 그레인 의존성의 한계를 극복하고, 미세 및 거시 그레인의 가중치 중요도를 적응적으로 결합한 하이브리드 그레인 가중치 중요도 평가 (HyWIA) 방법을 제안하여 대규모 언어 모델의 성능 저하 없이 효율적인 압축을 가능하게 합니다.