VQ-bench: A Composable Vector Quantization Framework

거대한 도서관의 책들을 아주 작은 배낭에 담으려고 노력한다고 상상해 보세요. 도서관 전체를 다 들고 갈 수는 없으니, 아주 영리하게 행동해야 할 것입니다. 각 책을 한 문장으로 요약하거나, 혹은 가장 중요한 키워드 목록만 남길 수도 있겠죠. 인공지능의 세계에서 이 "배낭" 문제는 **벡터 양자화(vector quantization)**라고 불립니다. 책 대신, AI 시스템은 문장의 의미, 사진 속의 얼굴, 혹은 대화의 기억 등을 나타내는 긴 숫자 리스트인 "벡터"를 다룹니다. 이러한 리스트는 매우 방대하며 많은 공간을 차지합니다. AI를 더 빠르고 저렴하게 만들기 위해, 과학자들은 이 리스트를 마치 1,000페이지짜리 소설을 10자리의 전화번호로 바꾸는 것처럼 아주 작은 코드로 축소하려고 노력합니다.

까다로운 점은 무언가를 축소할 때 보통 세부 정보가 손실된다는 것입니다. 목표는 질문에 올바르게 답할 수 있는 능력을 잃지 않으면서도 최대한 많이 축소하는 것입니다. 예를 들어, 당신이 AI에게 "이 이야기와 가장 유사한 이야기는 무엇인가요?"라고 묻는다면, AI는 축소된 작은 코드만을 보고도 정답을 찾아낼 수 있어야 합니다. 수십 년 동안 연구자들은 이를 위한 다양한 축소 방법을 발명해 왔지만, 그들은 모두 서로 다른 언어를 사용해 왔습니다. 어떤 이들은 이야기가 얼마나 잘 기억되는지로 성공을 측정하고, 다른 이들은 검색이 얼마나 빠른지를 측정하며, 또한 모두 서로 다른 도서관을 대상으로 테스트합니다. 이는 마치 페라리, 자전거, 로켓을 서로 다른 트랙과 서로 다른 결승선을 두고 속도를 비교하려는 것과 같습니다.

이 지점에서 새로운 논문인 VQ-bench가 등장하여 혼돈에 질서를 가져옵니다. 저자인 애슈윈 파다키(Ashwin Padaki), 아미르 잉버(Amir Ingber), 에도 리버티(Edo Liberty)는 거의 모든 서로 다른 축소 방법들이 사실 동일한 작은 레고 블록들로 만들어져 있다는 것을 깨달았습니다. 그들은 이 블록들을 "프리미티브(primitives)"라고 부릅니다. 이 프리미티브를 기본적인 주방 도구라고 생각해 보세요. 섞어주는 블렌더, 분리하는 체, 무게를 재는 저울, 그리고 작게 만드는 분쇄기 같은 것들 말입니다. 이 논문은 어떤 복잡한 양자화 방법이라도 결국 이러한 도구들을 사슬처럼 엮어 만든 특정한 레시피에 불과하다고 주장합니다.

연구팀은 VQ-bench라는 새로운 오픈 소스 프레임워크를 구축하여 하나의 보편적인 주방 역할을 하게 했습니다. 이제 누구의 레시피가 최고인지 논쟁하는 대신, 어떤 방법이든 그들의 레고 블록으로 분해하여 동일한 주방에서 실행함으로써 그것이 정확히 어떻게 작동하는지 확인할 수 있습니다. 그들은 데이터를 "중심화(centering)"하거나, 균일하게 만들기 위해 "회전(rotating)"시키거나, 숫자를 정수로 "반올림(rounding)"하는 것과 같은 7가지 공통 빌딩 블록을 식별했으며, 25가지의 유명한 방법이 단지 이 블록들의 서로 다른 조합임을 보여주었습니다. 예를 들어, "곱 양자화(Product Quantization)"라는 방법은 데이터를 덩어리로 나누고 각 덩어리에 대해 가장 가까운 일치 항목을 찾는 과정에 불과합니다.

이 통일된 시스템을 사용하여, 저자들은 5가지의 서로 다른 데이터셋(AI 데이터 모음)에서 14가지의 서로 다른 방법을 테스트하여 어떤 것들이 실제로 잘 작동하는지 확인했습니다. 그들은 단순히 파일 크기가 얼마나 작아졌는지만을 본 것이 아니라, AI가 여전히 정답을 얼마나 잘 찾을 수 있는지, 메모리를 얼마나 사용하는지, 그리고 실행하는 데 시간이 얼마나 걸리는지를 측정했습니다. 그들의 연구 결과는 기존의 방식들이 빠르기는 하지만 품질을 너무 많이 잃는 경우가 많다는 것을 시사합니다. 반면, EDEN이나 E-RaBitQ와 같은 최신 방법들은 높은 컴퓨팅 파워를 과도하게 요구하지 않으면서도 고품질의 결과를 제공하며 최적의 균형을 맞추는 것으로 보입니다.

중요한 점은, 이 프레임워크가 이미 구축된 모델을 축소하는 "사후 학습(post-training)" 양자화를 위해 설계되었다는 것입니다. 이는 AI가 학습하는 동안 스스로 축소하는 법을 배우는 더 복적한 과정인 "양자화 인식 학습(quantization-aware training)"과는 명확히 구분됩니다. 저자들은 자신들의 프레임워크가 방법론을 비교하는 데 있어 큰 진전이지만, 모든 알고리즘을 완벽하게 만드는 마법 지팡이는 아니라는 점을 주의 깊게 언급합니다. 어떤 방법들은 조직화된 추가 레이어 때문에 커스텀 빌드된 버전보다 이 시스템에서 더 느리게 실행될 수도 있습니다.

요약하자면, VQ-bench는 단순히 데이터를 축소하는 새로운 방법을 발명한 것이 아니라, 데이터를 축소하는 모든 방법에 대해 이야기하는 새로운 방식을 발명한 것입니다. 이 난잡한 기술들의 더미를 깔끔하고 모듈화된 시스템으로 바꿈으로써, 연구자들이 어떤 아이디어가 진정으로 새로운 것인지, 그리고 어떤 것이 그저 새로운 모자를 쓴 오래된 아이디어인지를 명확히 볼 수 있게 해줍니다. 그 결과, 상충하는 보고들의 소음 속에서 길을 잃지 않고도 강력하면서도 효율적인 AI를 구축할 수 있는 더 명확한 경로를 제시합니다.