OPTIMA: Optimal One-shot Pruning for LLMs via Quadratic Programming Reconstruction
OPTIMA는 레이어별 가중치 재구성을 공유된 헤시안(Hessian)을 가진 독립적인 열 단위 이차 계획법(quadratic programs)으로 공식화하여, 현대적 가속기에서의 계산 효율성을 유지하면서도 휴리스틱 방식보다 우수한 정확도를 달성하는 대규모 언어 모델을 위한 확장 가능한 원샷 사후 학습 프루닝 방법입니다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
거대 언어 모델은 방대한 양의 텍스트를 학습함으로써 인간의 언어를 이해하고 생성하는 법을 배운 강력한 컴퓨터 프로그램입니다. 이들은 이야기를 쓰거나, 복잡한 질문에 답하고, 문제를 해결할 수 있지만, 한 가지 중대한 단점을 가지고 있습니다. 바로 규모가 매우 크다는 점입니다. 이 모델들은 시스템이 언어를 이해하기 위해 조정하는 내부 수치인 '매개변수(parameter)'를 수십억 개 포함하고 있습니다. 이러한 크기 때문에 모델을 실행하려면 비싸고 강력한 하드웨어가 필요하며, 이는 일상적인 작업이나 더 작은 기기에서 사용하기 어렵게 만듭니다. 이 모델들을 더 실용적으로 만들기 위해, 연구자들은 모델의 사고 능력을 잃지 않으면서도 크기를 줄이는 방법을 찾고 있습니다. 한 가지 인기 있는 방법은 '가지치기(pruning)'라고 불리는데, 이는 모델의 크기를 줄이기 위해 가장 중요하지 않은 숫자들을 제거하는 과정을 포함합니다. 하지만 이 과정은 까다롭습니다. 단순히 숫자들을 삭제하기만 하면, 모델은 종종 수행 능력이 크게 떨어집니다. 만약 손실을 보충하기 위해 모든 숫자를 한꺼번에 다시 계산하여 모델을 고치려 한다면, 그 수학적 연산이 너무 무거워져서 현대의 컴퓨터로는 불가능해집니다.
한 연구팀은 이 특정한 문제를 해결하기 위해 OPTIMA라고 불리는 새로운 접근 방식을 개발했습니다. 그들의 목표는 단순히 숫자를 삭제하는 빠르지만 부정확한 방법과, 모든 것을 한꺼번에 고치려는 너무 느린 방법 사이의 절충안을 찾는 것이었습니다. 그들은 숫자를 제거할 대상을 결정한 후, 남은 숫자들을 고치는 작업이 수많은 작고 독립적인 문제들로 나뉠 수 있다는 점을 깨달았습니다. 모델 전체의 수학적 문제를 하나의 거대하고 불가능한 단계로 해결하는 대신, 그들은 모델의 숫자 열(column) 하나하나를 별도로 다루었습니다. 그들은 각 열이 제거된 숫자에 따라 고유한 제약 조건을 갖지만, 모두 공통된 근본 구조를 공유한다는 것을 발견했습니다. 이를 통해 그들은 각 열에 대한 완벽한 대체 값을 찾기 위해 '이차 계획법(quadratic program)'이라 알려진 특화된 수학적 도구를 사용할 수 있었습니다. 모든 열의 구조가 동일했기 때문에, 그들은 수천 개의 작은 문제들을 하나의 컴퓨터 칩에서 하나씩 순차적으로 처리하는 대신 동시에 병렬로 해결할 수 있었습니다.
연구진은 이 기술을 LLaMA나 Gemma와 같은 인기 있는 모델을 포함한 여러 종류의 거대 언어 모델 제품군에 테스트했습니다. 그들은 기존의 다른 방식들에 의해 이미 가지치기가 된 모델들에 이 기술을 적용했는데, 이는 결과물을 개선하기 위한 일종의 최종 다듬기 과정이었습니다. 대부분의 경우, 이 추가 단계는 모델의 정확도를 현저히 높였습니다. 예를 들어, 다양한 표준 과업에 대해 모델을 테스트했을 때, 특히 모델이 매우 작아진 상황에서 이 새로운 방식은 평균 점수를 최대 거의 4점까지 향상시켰습니다. 이 방법은 10억 개의 매개변수를 가진 작은 모델부터 수십억 개의 매개변수를 가진 매우 큰 모델에 이르기까지, 다양한 가지치기 패턴과 모델 크기 전반에서 잘 작동했습니다. 주목할 점은, 이 방법이 정확도를 높였지만 기존의 가장 빠른 방법들보다 실행 시간이 더 오래 걸렸다는 것입니다. 고성능 그래픽 카드 한 장으로 80억 개의 매개변수를 가진 모델을 처리하는 데 약 40시간이 소요되었습니다. 그러나 연구진은 이것이 모델을 사용하기 전에 수행되는 일회성 비용이며, 결과물인 모델은 원래의 가지치기된 버전만큼 빠르게 실행된다는 점을 강조했습니다.
이 연구는 또한 이 접근 방식이 모든 상황에 적용되는 마법 같은 해결책은 아니라는 점을 강조했습니다. 몇몇 특정 사례에서는 새로운 방법이 모델의 성능을 개선하지 못하거나 때때로 오히려 약간 저하시키기도 했는데, 이는 가지치기 방식과 교정 단계 사이의 상호작용이 복잡할 수 있음을 시사합니다. 더욱이, 연구진은 이 방법이 모델이 매우 희소(sparse)해질 때처럼 개선의 여지가 많이 남아 있는 초기 가지치기 상태일 때 가장 잘 작동한다는 것을 발견했습니다. 또한 그들은 이 방법의 성공 여부가 특정 유형의 모델과 가지치기가 처음에 어떻게 이루어졌는지에 달려 있다는 점을 관찰했습니다. 이러한 한계에도 불구하고, 이 연구는 엄격한 수학적 최적화를 사용하여 가지치기된 모델을 복구하는 것이 실용적이고 확장 가능하다는 것을 보여줍니다. 거대하고 불가능한 문제를 수천 개의 작은 병렬 작업으로 나눔으로써, 연구진은 거대 언어 모델의 지능을 희생하지 않으면서도 작고 효율적으로 유지할 수 있음을 보여주었습니다. 이는 더 강력한 언어 도구들을 일상적인 사용에 더 가깝게 가져옴으로써, 현재는 이를 지원하기에 너무 약한 하드웨어에서도 더 유능한 인공지능이 구동될 수 있는 길을 열어줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.