🤖 machine learning

FluxBin: Flexible LUT-based Ultra-low-bit LLM Inference by Algorithm-Kernel Synergy

FluxBin은 새로운 디커플링 이진 분해 방식과 룩업 테이블 및 가상 컬럼 매핑을 사용하는 특화된 CUDA 커널을 결합하여, 높은 정확도를 유지하면서도 상당한 속도 향상, 에너지 절감 및 메모리 감소를 통해 초저비트 LLM 추론을 가능하게 하는 알고리즘-커널 공동 설계 프레임워크입니다.

원저자: Qingyao Yang, Runming Yang, He Xiao, Wendong Xu, Junyu Chen, Haobo Liu, Chenchen Ding, Ruihan Hu, Yik-Chung Wu, Ngai Wong

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qingyao Yang, Runming Yang, He Xiao, Wendong Xu, Junyu Chen, Haobo Liu, Chenchen Ding, Ruihan Hu, Yik-Chung Wu, Ngai Wong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델은 이야기를 쓰고, 문제를 해결하며, 대화를 나눌 수 있는 강력한 컴퓨터 프로그램이지만, 엄청난 물리적 비용을 수반합니다. 이러한 모델을 실행하려면 방대한 양의 컴퓨터 메모리와 에너지가 필요하며, 종종 소수의 사람들만이 접근할 수 있는 특수하고 값비싼 하드웨어를 요구합니다. 이는 모델이 지식을 거대한 숫자 격자 형태로 저장하며, 이 모든 숫자를 원래의 고정밀 형태로 유지하는 데 너무 많은 공간이 필요하기 때문입니다. 과학자들은 고해解도 사진을 더 작은 파일로 만드는 것과 유사하게, 숫자를 압축하여 이 모델들을 축소하려고 오랫동안 노력해 왔습니다. 이 압축의 한 극단적인 버전은 숫자를 가장 단순한 형태로 줄여, 본질적으로 숫자들을 단지 '켜짐'과 '꺼짐' 스위치의 연속체로 만드는 것입니다. 이론적으로 이는 모델을 믿을 정도로 빠르고 효율적으로 만들어야 하지만, 실제로는 컴퓨터가 속도가 느려지거나 정확도를 잃지 않고 이러한 단순화된 숫자를 사용하는 데 어려움을 겪습니다. 단순화된 숫자를 다시 사용 가능한 형식으로 변환하는 과정이 너무 많은 시간을 소모하여, 그 어떤 속도 이득도 상쇄시켜 버리기 때문에 모델은 이전만큼 느린 상태로 남게 됩니다나.

연구진은 이제 이 교착 상태를 깨뜨릴 방법을 찾아내어, 초간단 모델이 명료하게 사고하는 능력을 잃지 않으면서도 높은 속도로 실행될 수 있도록 만들었습니다. 그들은 FluxBin이라고 불리는 시스템을 개발했는데, 이는 컴퓨터가 모델의 메모리를 읽는 방식을 바꿈으로써 작동합니다. 모델이 무언가를 계산해야 할 때마다 단순화된 숫자를 다시 복잡한 숫자로 변환하려고 시도하는 대신, 이 새로운 시스템은 미리 만들어진 룩업 테이블(lookup table)을 사용합니다. 마치 도서관에서 답을 찾기 위해 모든 책을 일일이 읽는 대신, 선반 위의 코드를 단순히 찾아보고 즉시 완성된 답을 얻는 것과 같습니다. 연구진은 모델의 가장 중요한 부분들을 특별히 세심하게 다루는 방식으로 이러한 룩업 테이블을 생성하는 특수 컴퓨터 프로그램을 구축하였으며, 이를 통해 압축 과정에서 가장 결정적인 정보가 손실되지 않도록 보장했습니다. 또한, 컴퓨터가 희소하거나 흩어져 있는 정보를 읽을 때 발생하는 교통 체증을 피할 수 있도록 데이터를 조직하는 새로운 방법을 설계했습니다.

이 연구의 결과는 극단적인 압축이 반드시 속도의 희생을 의미하지는 않는다는 것을 증로함으로써 매우 중요합니다. 연구진이 강력한 컴퓨터 칩에서 이 시스템을 테스트했을 때, 원래 엄청난 양의 메모리를 필요로 하는 거대한 모델을 단 하나의 표준 그래픽 카드에서 실행할 수 있음을 발견했습니다. 이 시스템은 표준적인, 압축되지 않은 버전의 모델보다 텍anim 생성 속도가 거의 6배 더 빨랐습니다. 게다가, 컴퓨터가 수행하는 작업량이 적고 이동시키는 데이터가 적었기 때문에, 에너지를 약 10배 적게 사용했습니다. 이러한 효율성은 이전에 단일 기기에서 실행하기에 너무 컸던 모델들이 이제 효과적으로 탑재되어 작동할 수 있게 함으로써, 자원이 제한된 곳에서도 더 강력한 인공지능이 사용될 수 있는 문을 열어줍니다.

이 접근 방식의 성공은 데이터가 어떻게 압축되는지와 컴퓨터 하드웨어가 이를 어떻게 읽도록 지시받는지 사이의 세심한 균형에 달려 있습니다. 연구진은 단순히 모든 것을 단순하게 만드는 것만으로는 충분하지 않다는 것을 깨달았습니다. 그들은 모델의 어떤 부분이 오류에 가장 민감한지 식별하고 이를 다르게 취급해야 했습니다. 그들은 모델의 지식을 일반적이고 단순화된 토대와 가장 중요한 부분들을 위한 특별하고 상세한 노트로 분리하는 방법을 만들었습니다. 이러한 하이브리드 방식은 모델이 단순화된 형식의 속도 혜택을 누리면서도 지능을 유지하도록 보장합니다. 이 스마트한 압축 전략을 컴퓨터 프로세서에서 직접 실행되는 맞춤형 프로그램과 결합함으로써, 그들은 이전의 시도들을 괴롭혔던 느린 변환 단계들을 제거했습니다. 이 시스템은 단순화된 데이터를 미리 계산된 결과로 직접 매핑하여, 컴퓨터가 수학적 계산을 완전히 건너뛰고 즉시 정답으로 뛰어넘을 수 있게 합니다.

실험에서 팀은 작은 모델부터 수십억 개의 파라미터를 가진 거대 모델에 이르기까지 여러 다른 버전의 거대 언어 모델을 대상으로 이 방법을 테스트했습니다. 모든 경우에 대해, 새로운 시스템은 극적인 속도 향상과 막대한 에너지 소비 감소를 보여주었습니다. 테스트된 가장 큰 모델들의 경우, 표준 버전은 메모리 부족으로 인해 완전히 실패했을 곳에서 이 시스템은 단 하나의 컴퓨터 카드로 실행할 수 있었습니다. 모델의 정확도는 높은 수준을 유지했으며, 훨씬 더 많은 시간과 컴퓨팅 파워를 필요로 하는 다른 고급 방식들과도 대등한 성능을 보였습니다. 연구진은 이 방법이 모델을 재학습시킬 필요 없이 작동한다는 점에 주목했는데, 이는 기존 시스템에 즉시 적용될 수 있음을 의미합니다. 이는 강력한 인공지능을 일상적인 하드웨어에서 실행하는 것이 더 이상 가능한지의 문제가 아니라, 이미 존재하는 잠재력을 끌어올리기 위한 적절한 도구를 사용하는 문제임을 시사합니다.

이 연구의 함의는 단순히 모델을 더 빠르게 만드는 것을 넘어, 소프트웨어와 하드웨어의 관계를 근본적으로 변화시킵니다. 수년 동안 이 분야는 새로운 알고리즘이 이론적인 효율성을 위해 설계되었음에도 불구하고 하드웨어가 따라오지 못해 실제로 구현되지 못하는 순환에 갇혀 있었습니다. 이 새로운 접근 방식은 알고-리즘과 하드웨어 명령을 함께 설계함으로써 그 간극을 메우며, 모든 단계의 과정이 실행되는 특정 기기에 최적화되도록 보장합니다. 연구진은 데이터를 어떻게 저장하고 접근하는지를 세심하게 관리함으로써, 이토록 고도로 압축된 모델에 대해 이전에는 도달할 수 없다고 생각되었던 수준의 성능을 달 achievement 할 수 있음을 입증했습니다. 인공지능이 계속해서 더 커지고 복잡해짐에 따라, 개인용 기기에서 대규모 데이터 센터에 이르기까지 더 넓은 범위의 응용 분야에서 이러한 기술을 실용적이고 접근 가능하게 만들기 위해 이와 같은 방법들이 필수적일 것입니다. 이 작업은 영리한 수학과 효율적인 엔지니어링의 올바른 조합을 통해 오늘날 기술의 한계를 극복할 수 있으며, 강력한 지능이 사치가 아닌 표준적인 도구가 되는 미래를 허용한다는 것을 보여줍니다.

기술 요약: FluxBin

문제 정의

대규모 언어 모델(LLM)은 그 거대한 규모로 인해 심각한 저장 공간 및 대역폭 제약에 직면해 있습니다. 사후 학습 양자화(Post-Training Quantization, PTQ)가 해결책을 제시하지만, **이진 양자화(binary quantization, 1-bit)**는 부동 소수점 연산을 비트 연산 로직으로 대체함으로써 극단적인 압축과 가속화를 이론적으로 약속합니다. 그러나 기존의 이진 양자화 방법들은 다음과 같은 세 가지 주요 한계로 인해 실제적인 잠재력을 실현하지 못하고 있습니다:

곱셈이 없는 하드웨어 활용 실패: 기존 방식(예: BiLLM, ARB-LLM)은 알고리즘적 충실도를 우선시하는 경우가 많아, 런타임 시 FP16으로 역양자화(dequantization)를 수행하며, 이로 인해 비트 연산의 하드웨어적 이점을 제대로 활용하지 못합니다.
돌출도(Saliency)와 효율성 간의 트레이드오프: 비정형 희소성(unstructured sparsity) 방법은 불규칙한 메모리 접근 문제를 겪으며, 조립 단위(coarse-grained) 방식(예: SLiM-LLM)은 중요하지 않은 요소들을 고정밀도로 유지하여 비트 중복을 발생시 ст룹니다. 미세한 돌출도 적응성과 하드웨어 효율성을 동시에 달성하는 전략이 부재합니다.
저비트 커널의 구현 비효학성: 자기회귀 생성 단계는 메모리 대역폭에 제한을 받습니다. 기존의 룩업 테이블(Look-Up Table, LUT) 커널은 혼합 정밀도 구성과 불규칙한 메모리 접근을 처리하는 데 어려움을 겪으며, 초저비트 PTQ 설정에서 높은 성능을 내지 못합니다.

방법론: FluxBin

FluxBin은 유연한 PTQ 알고리즘과 고도로 최적화된 CUDA 커널을 결합한 알고리즘-커널 공동 설계(algorithm-kernel co-design) 프레임워크입니다. 이 방식은 미세 조정(fine-tuning)이나 증류(distillation) 없이 작동합니다.

1. 알고리즘 혁신

분리된 행-열 이진 분해(Decoupled Row-Column Binary Decomposition): 행 스케일링만 사용하는 기존 방식과 달리, FluxBin은 행( $\alpha_r$ )과 열( $\alpha_c$ ) 스케일링 벡터를 모두 사용하여 이진 기저(binary bases)의 선형 결합으로 밀집 가중치 $W$ 를 근사합니다. 이는 이방성(anisotropic) 가중치 분포를 더욱 효과적으로 포착합니다.
$\hat{W}^{(k)} = (\alpha_r^{(k)} \alpha_c^{(k)\top}) \odot B^{(k)}$
Hessian 유도 돌출도 인지 하이브리드 기저(Hessian-Guided Saliency-Aware Hybrid Bases): 중요한 정보를 보존하기 위해 FluxBin은 하이브리드 전략을 채택합니다. 전체 가중치 행렬에 대한 글로벌 기저(Global Base) 근사와 특정 중요 열에 대한 돌출도 정밀화(Salient Refinement) 브랜치를 사용합니다.
- 돌출도 탐색(Saliency Search): Optimal Brain Quantization(OBQ) 프레임워크를 활용하여, 역 헤시안( $H^{-1}$ )을 통해 가중치 민감도를 근사합니다. 민감도 점수가 높은 열들이 마스크를 형성하도록 선택됩니다.
- 하이브리드 양자화: 최종 가중치는 글로벌 이진 근사값과 중요 열에 적용된 정밀한 근사값의 합으로 구성되며, 이를 통해 전체 재학습 없이도 혼합 정밀도 표현이 가능합니다.

2. 커널 혁신 (CUDA)

FluxBin은 역양자화 오버헤드를 우회하기 위해 맞춤형 LUT 기반 GEMV 커널을 구현합니다.

스케일 퓨전 기반 LUT 구축(LUT-BSF): 임계 경로에서 부동 소수점 연산을 제거하기 위해, 열 스케일링 인자( $\alpha_c$ )를 구축 단계에서 LUT 항목에 직접 융합합니다. 이는 GEMV 루프로부터 스케일링 과정을 분리합니다.
가상 열 매핑(Virtual Columnar Mapping, VCM): 희소한 중요 열의 불규칙한 메모리 접근을 처리하기 위해, FluxBin은 런타임에 논리적 희소 열을 물리적 밀집 행렬로 매핑합니다. 이 변환 레이어는 활성화 값과 스케일링 인자를 수집하여, 희소 구현의 메타데이터 오버헤드 없이 통합된 커널 실행을 가능하게 합니다.
실행 흐름: 커널은 압축된 Uint32 가중치를 스트리밍하고, 비트 연산을 사용하여 패턴 인덱스를 추출하며, 미리 계산된 부분 합(partial sums)을 LUT에서 가져온 뒤, 리덕션(reduction) 과정에서 행 스케일링( $\alpha_r$ )을 적용합니다.

주요 기여

순수 PTQ 프레임워크: FluxBin은 분리된 행-열 이진 기저와 Hessian 유도 하이브리드 기저를 사용하는 학습 불필요(training-free) 양자화 방법을 도입하여, 하드웨어 효율성을 유지하면서 경쟁력 있는 정확도를 달성했습니다.
최적화된 LUT 기반 CUDA 커널: LUT-BSF 및 VCM 전략을 통합하여 고충실도 하이브리드 정밀도 실행을 가능하게 하고, 이진 기반 PTQ를 실질적인 추론 이점으로 전환했습니다.
알고리즘-커널 간극 해소: 역양자화를 우회하도록 커널을 커스터마이징함으로써, FluxBin은 곱셈이 없는 로직을 실제 가속화로 변환하여 상당한 속도 향상과 에너지 절감을 달로했습니다.

실험 결과

NVIDIA A100 (80GB) GPU 환경에서 LLaMA-2, LLaMA-3.1, Qwen3 모델 제품군을 대상으로 평가를 수행했습니다.

속도 및 처리량: FluxBin은 FP16 베이스라인 대비 최대 5.92배의 속도 향상을 달성했습니다. LLaMA-2-7B의 경우 254.39 tokens/s에 도달했습니다. LLaMA-2-70B에서는 SOTA 2-bit 방법인 QuIP#보다 3.25배 높은 처리량을 기록했습니다.
메모리 효율성: FluxBin은 70B 규모의 모델을 단일 A100 GPU에 배치할 수 있게 합니다(약 20.2GB 메모리 필요). 반면 FP16 베이스라인은 메모리 부족(OOM) 오류로 실행이 불가능합니다. 이는 최대 4배의 메모리 감소를 의미합니다.
에너지 효율성: 데이터 이동을 줄이고 전력 소모가 큰 FP16 FMA를 가벼운 덧셈과 SRAM 룩업으로 대체함으로써, FP16 대비 최대 10.19배의 에너지 절감을 실현했습니다.
정확도: 학습이 필요 없음에도 불구하고, FluxBin은 집중적인 미세 조정을 거친 방법들과 대등한 정확도를 보여줍니다. LLaMA-2-7B에서 2b-s16-g128 설정은 평균 제로샷 정확도 59.15%를 달성하여, AQLM(58.64%)을 능가하고 QuIP#(59.41%)과 대등한 수준을 기록했습니다.
확장성: 이 방법은 아키텍처에 구애받지 않는 견고함을 입증하였으며, GQA(Grouped-Query Attention)를 포함한 다양한 크기(7B~70B)의 모델에서 일관된 성능을 보여주었습니다.

의의

FluxBin은 이론적 압축 한계와 실제 하드웨어 가속 사이의 결정적인 간극을 해결합니다. 양자화 알고리즘과 특화된 LUT 기반 커널을 공동 설계함으로써, 비용이 많이 드는 역양자화에 의존하거나 불규칙한 메모리 접근 문제를 겪는 기존 이진 양자화 방법의 한계를 성공적으로 극복했습니다. 본 연구는 초저비트 추론이 매우 정확하면서도 극도로 효율적일 수 있음을 입증하며, 계산 비용이 많이 드는 미세 조정 없이도 거대 LLM(예: 70B 파라미터)을 단일 소비자용 또는 데이터 센터 GPU에 배포하는 것을 가능하게 합니다.