SLiM: One-shot Quantization and Sparsity with Low-rank Approximation for LLM Weight Compression
SLIM은 하드웨어 친화적인 균일 양자화, 반구조적 희소성, 그리고 새로운 돌출도 기반 저계수 근사법을 총체적으로 통합하여, 계산 비용이 많이 드는 재학습의 필요성을 제거하면서 정확도와 추론 속도를 대폭 향상시키는 대규모 언어 모델을 위한 원샷 압축 프레임워크입니다.
대규모 언어 모델은 이야기를 쓰고, 문제를 해결하며, 놀라운 유창함으로 대화를 나눌 수 있는 차세대 인공지능의 엔진입니다. 이 시스템은 정보를 처리하기 위해 함께 작동하는 수십억 개의 수학적 연결, 즉 파라미터로 구축됩니다. 이러한 거대한 규모는 모델이 뉘앙스와 맥락을 이해할 수 있게 해주지만, 동시에 무거운 부담을 안겨줍니다. 모델을 실행하기 위해 엄청난 양의 컴퓨터 메모리와 처리 능력이 필요하기 때문입니다. 이로 인해 스마트폰이나 노트북 같은 일상적인 기기에서 사용하기 어려우며, 종종 값비싸고 특화된 데이터 센터로 제한되곤 합니다. 수년간 연구자들은 모델을 더 접근 가능하게 만들기 위해 크기를 줄이려고 시도해 왔으나, 그 과정은 항상 트레이드오프(trade-off) 관계에 있었습니다. 모델을 압축하는 기술들은 종종 모델의 지능을 저하시켜, 더 작고 빠른 프로그램과 더 똑똑하고 정확한 프로그램 사이에서 하나를 선택해야만 하는 상황을 만들었습니다.
한 연구팀은 이러한 트레이드오프를 깨뜨리는 것을 목표으로 하는 SLIM이라는 새로운 방법을 개발했습니다. 그들의 연구는 특정 과제에 집중합니다. 즉, 비싼 재학습 과정 없이 대규모 언어 모델을 단 한 단계로 압축하면서도, 성능을 원본과 거의 동일하게 유지하는 방법입니다. 연구진은 모델이 사용하는 숫자의 정밀도를 낮추는 것, 불필요한 연결을 제거하는 것, 그리고 작고 유연한 조정을 추가하는 것이라는 세 가지 서로 다른 압축 기술을 결가하여 통합된 프로세스를 만들었습니다. 그 결과, 질문에 답하고 텍스트를 생성하는 능력을 유지하거나 심지어 향상시키면서도 모델을 크게 축소할 수 있는 시스템이 탄생했습니다.
연구진이 직면한 핵심적인 어려움은 모델을 압축할 때 대개 오류가 발생한다는 점이었습니다. 크고 상세한 그림을 작은 프레임에 맞추려고 노력하는 상황을 상상해 보십시오. 만약 단순히 가장자리를 잘라내거나 이미지를 찌그러뜨린다면, 중요한 세부 사항을 잃게 됩니다. 디지털 세계에서는 연구자들이 숫자를 저장하는 데 사용되는 비트 수를 줄이거나 모델 구조의 일부를 삭제할 때 이런 일이 발생합니다. 이전의 방법들은 방대한 양의 데이터로 모델을 재학습시켜 이러한 오류를 해결하려 했으나, 이 과정은 느리고 계산 비용이 많이 들었습니다. 다른 방법들은 단 한 단계로 오류를 수정하려고 시도했지만, 서로 다른 압축 기술을 결합하려 할 때 종종 실패하여 품질이 크게 떨어지는 결과를 초ました.
SLIM 프레임워크는 압축 과정을 세 단계의 조율된 시퀀스로 취급함으로써 이 문제에 접근합니다. 첫째, 연구진은 모델 내부의 숫자를 단순화했습니다. 데이터의 각 부분에 대해 복잡하고 가변적인 척도를 사용하는 대신, 숫자 그룹 전체에 단일하고 균일한 척도를 적용하는 새로운 방식을 개발했습니다. 이를 통해 표준 컴퓨터 하드웨어가 처리하기 훨씬 빠르고 쉽게 만들었습니다. 그러나 연구진은 이러한 균일한 접근 방식이 여전히 일부 부정확함을 남길 것이라는 점을 알고 있었기에, 즉시 두 번째 단계인 가장 중요도가 낮은 연결 제거로 넘어갔습니다. 그들은 모델의 어떤 부분이 가장 적은 일을 하는지 식별하는 검증된 방법을 사용하여 이를 제거함으로써, 처리가 더 빠른 희소(sparse) 구조를 만들었습니다.
세 번째 단계는 혁신이 진정으로 빛을 발하는 지점입니다. 숫자를 단순화하고 연결을 제거한 후에는 모델이 필연적으로 원래의 정밀도 중 일부를 잃게 됩니다. 전체 시스템을 재학습시키지 않고 이 상실된 정확도를 회복하기 위해, 연구진은 작고 낮은 순위(low-rank)의 어댑터를 추가했습니다. 이 어댑터들을 압축된 모델에 부착하여 오류를 수정할 수 있는 미세 조정 도구 세트라고 생각하십시오. 연구진은 모델의 각 부분이 오류에 얼마나 기여했는지를 바탕으로, 이 도구들이 정확히 무엇이어야 하는지를 계산하는 독특한 수학적 방법을 고안했습니다. 데이터의 각 부분에 대한 중요도를 측정하는 특정 함수를 사용하여, 단 한 번의 통과(pass)만으로 이 어댑터들을 위한 완벽한 설정을 수학적으로 도출할 수 있었습니다. 이를 통해 첫 두 단계에서 발생한 오류를 보완하여 모델의 지능을 효과적으로 복구할 수 있었습니다.
이 접근 방식의 결과는 70억 개 및 130억 개의 파라미터를 가진 버전을 포함한 여러 대규모 언어 모델에서 테스트되었습니다. 연구진이 이 방법을 적용했을 때, 압축된 모델이 이전의 시도들보다 훨씬 더 나은 성능을 보인다는 것을 발견했습니다. 70억 파라미터 모델의 경우, 새로운 방법은 다른 원샷(one-shot) 압축 기술에 비해 정확도를 최대 5.66% 향상시켰습니다. 어떤 경우에는 압축되지 않은 원본 모델과 동일한 메모리 용량을 기준으로 측정했을 때, 압축된 모델이 원본보다 더 정확하기도 했습니다. 이는 이 방법이 단순히 품질을 보존하는 데 그치지 않고, 동일한 자원 제한 내에서 원본의 육중한 버전이 달성할 수 없었던 수준까지 모델의 효율성을 최적화할 수 있음을 시사합니다.
정확도 외에도, 이 방법은 상당한 속도 향상을 제공합니다. 모델이 더 작아졌을 뿐만 아니라 현대적인 그래픽 카드가 효율적으로 처리할 수 있는 구조로 되어 있기 때문에 훨씬 더 빠르게 작동합니다. 표준 소비자용 그래픽 카드에서 압축된 모델은 원본 밀집(dense) 모델보다 최대 4.3배 더 빠르게 실행되었습니다. 더 강력한 전문 하드웨어에서도 속도 향상은 여전히 유의미하여 3.8배 더 빨랐습니다. 또한, 이 모델들을 실행하는 데 필요한 메모리가 급격히 줄어들어, 일부 구성에서는 원본 밀집 버전이 필요로 하는 메모리의 4분의 1 미만만을 사용했습니다. 이러한 메모리 점유율의 감소는 이전에 거대한 서버를 필요로 했던 모델들이 잠재적으로 더 접근 가능한 하드웨어에서 실행될 수 있음을 의미합니다.
연구진은 또한 약간의 추가 학습이 더 도움이 될 수 있는지도 탐구했습니다. 그들은 아주 적은 양의 데이터로 작은 어댑터를 약간 조정하게 함으로써 모델의 정확도를 1.66% 더 높일 수 있다는 것을 발견했습니다. 이 선택적인 단계는 애플리케이션이 짧은 조정 기간을 허용할 경우 더 많은 성능을 짜낼 수 있는 방법을 제공하지만, 핵심 방법은 이 과정 없이도 효과적입니다. 연구팀은 자신들의 성과를 다른 선도적인 방법들과 비교했으며, 특히 다양한 유형의 압축을 결합할 때 그들의 접근 방식이 일관되게 더 우수한 성능을 보인다는 것을 확인했습니다. 다른 방법들이 연결 제거와 숫자 정밀도 감소를 동시에 처리하는 데 어려움을 겪는 동안, SLIM은 이를 매끄럽게 통합해 냈습니다.
이 연구는 대규모 언어 모델을 더 넓은 범위의 기기에서 실용적으로 만드는 데 있어 중요한 진전을 의미합니다. 지능을 희생하지 않으면서 모델을 단 한 단계로 압축하는 문제를 해결함으로써, 연구진은 더 흔하고 저렴한 하드웨어에 고급 인공지능을 배포할 수 있는 경로를 마련했습니다. 이 방법은 복잡하고 특수한 하드웨어나 방대한 재학습 노력에 의존하지 않으므로 실세계 애플리케이션을 위한 실행 가능한 솔루션이 됩니다. 효율적이고 접근 가능한 인공지능에 대한 수요가 증가함에 따라, SLIM과 같은 기술은 속도와 메모리에 대한 필요성과 고품질의 지능적 성능에 대한 요구 사이의 균형을 맞추는 방법을 제시합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.