Sensitivity-aligned Mixed-precision Quantization and Low-rank Adaptation for LLMs
본 논문은 대규모 언어 모델을 효율적으로 압축하면서도 FP16 베이스라인 대비 다운스트림 성능과 퍼플렉시티를 유지하거나 심지어 향상시키는 블록 단위 혼합 정밀도 양자화와 적응형 저차원 적응(low-rank adaptation)을 결합한 민감도 가이드 프레임워크를 제안한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
거대 언어 모델은 오늘날 가장 진보된 인공지능 시스템의 엔진 역할을 하며, 이야기를 쓰고, 복잡한 문제를 해결하며, 놀라울 정도로 인간과 유사한 대화를 나눌 수 있는 능력을 갖추고 있습니다. 이러한 시스템은 수십억 개의 매개변수를 포함하는 거대한 수학적 연결망을 기반으로 구축되며, 이를 통해 방대한 양의 텍스트로부터 패턴을 학습할 수 있습니다. 하지만 이러한 지능에는 막대한 대가가 따릅니다. 모델의 규모가 워낙 크기 때문에 엄청난 양의 컴퓨터 메모리와 연산 능력이 필요하기 때문입니다. 이로 인해 스마트폰이나 노트북 같은 일상적인 기기에서 실행하기 어려우며, 값비싼 데이터 센터조차 이러한 대규모 시스템의 에너지와 속도 요구 사항을 감당하는 데 어려움을 겪습니다. 이 강력한 도구들을 더 쉽게 사용할 수 있도록 만들기 위해, 연구자들은 모델의 사고 능력을 잃지 않으면서도 크기를 줄이는 방법을 개발하기 위해 수년간 노력해 왔습니다.
이러한 모델을 축소하는 가장 유망한 방법 중 하나는 양자화(quantization)라고 불립니다. 모든 책이 고해상도 풀컬러 형식으로 작성되어 많은 선반 공간을 차지하는 도서관을 상상해 보십시오. 양자화는 이 책들을 더 작은 글꼴로 다시 인쇄하거나 더 적은 색상을 사용하여 공간을 절약하는 것과 같습니다. 컴퓨터의 세계에서 이는 모델 내부의 숫자를 더 적은 비트의 정보로 표현하는 것을 의미합니다. 이는 모델의 크기를 크게 줄여주지만, 마치 디테일이 손실된 복사본처럼 종종 오류를 발생시킵니다. 압축이 너무 공격적으로 이루어지면 모델의 언어 이해 능력이 저하되어 터무니없거나 틀린 답변을 내놓을 수 있습니다. 과제는 모델을 작은 기기에 들어갈 만큼 충분히 압축하면서도 출력의 품질을 높게 유지하는 방법을 찾는 것이었습니다.
제주대학교 연구진의 새로운 연구는 모델 전체에 단일한 압축 규칙을 적용하는 대신, 모델의 서로 다른 부분들을 다르게 취급함으로써 이 문제에 대한 영리한 해결책을 제시합니다. 그들은 언어 모델의 모든 부분이 똑같이 중요한 것은 아니라는 점을 관찰했습니다. 어떤 섹션은 변화에 매우 민다하며 모델의 추론을 담당하는 핵심적인 중추 역할을 하는 반면, 다른 섹션은 더 견고하여 더 많이 압축되어도 견딜 수 있습니다. 연구진은 이러한 민감한 영역을 지도화하고, 이 영역들에는 높은 정밀도를 할당하여 상세하고 명확하게 유지하는 한편, 덜 민감한 영역들은 더 작고 효율적인 형식으로 압축할 수 있도록 하는 시스템을 개발했습니다. 이 접근 방식은 사진작가가 피사체의 얼굴은 선명하게 초점을 맞추되 배경은 약간 부드럽게 처리하여 공간을 절약하면서도 가장 중요한 디테일은 온전히 유지하는 방식과 유사합니다.
연구진인 사이드 파이잔 후세인 샤(Syed Faizan Hussain Shah)와 김경민은 A2BQ라고 불리는 프레임워크를 만들었는데, 이는 '어텐션 유도 블록 단위 혼합 정밀도 양자화(attention-derived block-wise mixed-precision quantization)'의 약자입니다. 연구진은 모델을 하나의 데이터 블록으로 보는 대신, 이를 더 작은 덩어리(chunk)들로 나누었습니다. 그런 다음 모델이 단어들에 얼마나 주의를 기울이는지에서 유도된 신호를 사용하여, 각 덩어리가 모델 내의 정보 흐름에 얼마나 의존하는지를 분석했습니다. 이 분석을 바탕으로 각 덩어리에 서로 다른 정밀도를 할당했습니다. 어떤 덩어리들은 8비트의 정보를 사용하여 높은 수준의 상세함을 유지했고, 다른 덩어리들은 6비트 또는 심지어 4비트로 압축되었습니다. 이를 통해 가장 중요한 부분은 견고하게 유지하고 덜 중요한 부분은 공간을 절약하기 위해 축소된 혼합 정밀도 지도가 만들어졌습니다.
하지만 단순히 모델을 압축하는 것만으로는, 그것이 영리한 방식이라 할지라도 여전히 오류의 여지가 남아 있습니다. 이를 해결하기 위해 연구진은 qLoRA+라고 불리는 '적응형 저계수 적응(adaptive low-rank adaptation)'이라는 두 번째 단계를 추가했습니다. 이것은 모델이 압축으로 인해 발생한 작은 실수들을 스스로 교정하는 법을 배울 수 있도록 기회를 주는 미세 조정 과정이라고 생각하면 됩니다. 이전 방식에서는 이 미세 조정이 모델 전체에 균일하게 적용되어 모든 부분에 동일한 도움을 주었습니다. 새로운 접근 방식은 더 전략적입니다. 압축이 가장 많이 되었거나 가장 민감하다고 식별된 부분에 더 많은 '학습 능력'을 부여합니다. 모델의 학습 능력을 가장 필요한 영역으로 집중시킴으로써, 연구진은 압축 과정에서 손실될 수 있었던 품질의 상당 부분을 회복할 수 있었습니다.
연구진은 이 결합된 접근 방식을 11억 개에서 80억 개의 매개변수 규모에 이르는 다섯 가지 서로 다른 거대 언어 모델에 대해 테스트했습니다. 그들은 문장에서 다음 단어를 예측하는 것과 같은 표준 언어 작업에서 이 모델들이 얼마나 잘 수행되는지를 측정했는데, 이는 모델이 언어를 얼마나 잘 이해하는지를 보여주는 핵심 지표입니다. 결과에 따르면, 그들의 방식은 단일한 균일 정밀도를 사용하여 압축된 모델들보다 일관되게 우수한 성능을 보였습니다. 실제로 그들이 테스트한 가장 작은 모델의 경우, 이 새로운 방식은 표준 테스트에서 7.884라는 특정 점수를 달성하여 혼합 비트 베이스라인보다 향상된 성능을 보였으며, 동시에 초당 73.11 토큰의 속도로 실행되었습니다. 이는 모델의 어디를 압축하고 어디에 디테일을 유지할지를 신중하게 균형 잡음으로써, 지능을 희생하지 않고도 이러한 강력한 시스템을 더 작게 만들 수 있음을 시사합니다.
이 연구의 가장 중요한 발견 중 하나는 모델이 이론적으로 절약할 수 있는 공간과 실행 중에 실제로 사용하는 메모리 사이의 차이에 관한 것입니다. 연구진은 자신들의 방식이 이론적으로 모델의 저장 용량을 약 4~8% 줄일 수 있지만, 운영 중에 사용되는 실제 메모리는 원래의 압축되지 않은 모델과 거의 비슷하다는 점에 주목했습니다. 이는 현재 시스템이 컴퓨터가 프로세싱하기 전에 압축된 데이터를 표준 형식으로 다시 재구성하기 때문입니다. 이로 인해 현재 설정에서는 디스크 상의 작은 파일이 주는 즉각적인 속도 이점은 아직 완전히 실현되지 않았지만, 다양한 정밀도를 혼합하고 그에 따라 모델을 적응시키는 전략이 품질을 보존하는 데 효과적이라는 점은 입증되었습니다. 또한, 연구진은 이 방식이 언어 모델링 점수를 개선하기는 했지만, 모든 다운스트림 작업에서 균일한 향상을 보장하는 것은 아니라는 점을 발견했습니다. 특정 벤치마크에서의 성능은 원래의 압축되지 않은 모델과 대체로 비슷하게 유지되었으며, 일부 작업에서는 약간의 저하를 보이기도 했습니다. 연구진은 이 접근 방식이 명확한 방향을 제시한다고 주장합니다. 즉, 모델의 어떤 부분이 취약하고 어떤 부분이 견고한지를 이해함으로써, 우리는 효율적이면서도 지능적인 시스템을 설계할 수 있으며, 이를 통해 우리가 매일 사용하는 기기에서 더 유능한 인공지능이 구동될 수 있는 길을 열 수 있다는 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.