기술 요약: LASER (Loss-Aware Singular-value Decomposition and Rank Allocation)

문제 정의

시각-언어 모델(Vision-Language Models, VLMs)은 강력한 멀티모달 추론 능력을 입증했으나, 거대한 계산 비용, 높은 파라미터 수, 그리고 자기회귀 디코딩(autoregressive decoding) 과정에서의 상당한 메모리 대역폭 요구량으로 인해 배포 측면에서 큰 어려움을 겪고 있습니다. 저차원 분해(low-rank decomposition)가 유망한 압축 기법으로 부상했음에도 불구하고, 기존 방식들은 세 가지 주요 한계점을 가집니다:

1. 국소적 최적화(Local Optimization): 대부분의 방법론이 로컬 행렬 재구성 오차(reconstruction error)나 레이어별 출력 오차를 최적화하며, 이는 엔드투엔드(end-to-end) 모델 손실에 미치는 영향을 간과합니다.
2. 비효율적인 랭크 할당(Inefficient Rank Allocation): 현재의 접근 방식은 종종 균등하거나 휴리스틱한 랭크 할당에 의존하며, 압축에 따른 서로 다른 레이어 및 어텐션 헤드의 다양한 민감도를 반영하지 못합니다.
3. 제한된 범위(Limited Scope): 기존의 노력은 주로 어텐션 프로젝션(Q, K, V)에 집중되어 있으며, 모델 파라미터와 저장 공간의 큰 비중을 차지하는 피드 포워드 네트워크(Feed-Forward Networks, FFN)는 저차원 압축의 대상으로서 거의 탐구되지 않았습니다.

방법론

본 논문은 저차원 압축을 단순한 재구성 충실도가 아닌 다운스트림 VLM 성능에 정렬하도록 설계된 프레임워크인 LASER(Loss-Aware Singular-value dEcomposition and Rank allocation)를 제안합니다. 이 방법론은 네 가지 핵심 구성 요소로 이루어집니다:

1. 손실 인식 특이값 분해 (Loss-Aware Singular Value Decomposition, SVD)

LASER는 가중치 재구성 오차의 프로베니우스 노름(Frobenius norm)을 최소화하는 대신, 모델 손실의 2차 근사로부터 유도된 곡률 가중 SVD 목적 함수를 사용합니다.

• K-FAC 대리 모델(K-FAC Surrogate): 크로네커 인자 근사 곡률(Kronecker-factored Approximate Curvature, K-FAC)을 활용하여, 가중치 섭동 $\Delta W$에 의해 발생하는 손실 증가를 $\Delta L \approx \frac{1}{2}\text{vec}(\Delta W)^\top (G \otimes X)\text{vec}(\Delta W)$로 근사합니다. 여기서 $X$와 $G$는 캘리브레이션 세트에서 추정된 활성화 및 그래디언트 공분산 행렬입니다.
• 변환(Transformation): 가중치 행렬 $W$는 곡률 가중 공간 $\tilde{W} = S_x W S_g$로 변환됩니다 (여기서 $S_x$와 $S_g$는 $X$와 $G$의 촐레스키 인자입니다). $\tilde{W}$에 대해 SVD를 수행하고, 결과로 나온 저차원 인자들을 원래 공간으로 다시 매핑합니다. 이를 통해 절단된 성분들이 모델 손실의 추정 증가량이 가장 작은 부분에 해당하도록 보장합니다.
• 양자화 인식 화이트닝 (Quantization-Aware Whitening, QAW): 저정밀도 추론을 수용하기 위해, K-FAC 인자를 양자화된 캘리브레이션 활성화를 사용하여 추정함으로써 화이트닝 목적 함수를 배포될 저정밀도 레이어와 일치시킵니다.

2. 손실 인식 교차 레이어 랭크 할당 (Loss-Aware Cross-Layer Rank Allocation)

본 논문은 곡률 추정 시의 다양한 스케일링 인자로 인해 K-FAC에서 유도된 특이값들이 서로 다른 레이어나 어텐션 헤드 간에 직접적으로 비교될 수 없음을 식별했습니다.

• 경험적-피셔 중요도 점수 (Empirical-Fisher Importance Score): 전역적 랭크 할당을 가능하게 하기 위해, LASER는 캘리브레이션 그래디언트에 기반한 중요도 점수를 도입합니다. 각 특이 성분에 대해, 이 점수는 특이값의 크기와 원래 파라미터 공간에서의 캘리브레이션 그래디언트와의 정렬 상태를 결합하여 경험적-피셔 이차 손실 근사에 대한 기여도를 측정합니다.
• 전역 최적화 (Global Optimization): 목표 파라미터 예산에 도달할 때까지 파라미터 비용당 가장 높은 중요도 점수를 가진 특이 성분을 탐욕적(greedy)으로 선택하여 랭크를 할당하며, 이를 통해 레이어와 헤드 전반에 걸쳐 비균등한 랭크 분포를 허용합니다.

3. FFN을 위한 하이브리드 SVD-양자화 (Hybrid SVD-Quantization for FFNs)

FFN에 대한 균등한 저차원 분해가 심각한 정확도 저하를 일으킬 수 있음을 인지하여, LASER는 하이브리드 방식을 채택합니다:

• 채널 선택 (Channel Selection): 게이트 및 업 프로젝션(gate and up projections)에 임시 SVD를 적용하여 "SVD 친화적" 은닉 채널(재구성 오차가 낮은 채널)을 식별합니다.
• 하이브리드 아키텍처 (Hybrid Architecture): 선택된 채널은 SVD를 통해 압축되는 반면, 나머지 채널은 밀집(dense) 상태로 유지됩니다.
• 양자화 (Quantization): 아웃라이어를 완화하기 위해 SVD 인자 사이에 직교 회전(orthogonal rotation)을 삽전입한 후, 저차원 브랜치와 밀집 브랜치 모두에 대해 RTN(Round-to-Nearest) 양자화를 수행합니다.

4. 시스템 구현 (System Implementation)

지연 시간 이득을 실현하기 위해, 저차원 FFN 및 저정밀도 셀프 어텐션(Self-Attention, SA) 레이어를 위한 융합된 Triton 커널을 구현했습니다. 이 커널들은 입력 프로젝션, 잠재 활성화 생성, SwiGLU 연산, 그리고 양자화/역양자화 단계를 융합하여 메모리 이동 및 커널 실행 오버헤드를 크게 줄입니다.

주요 기여

1. 손실 인식 목적 함수: K-FAC를 사용하여 국소적 재구성 오차를 넘어 다운스트림 VLM 성능과 정렬되는 곡률 가중 SVD 목적 함수를 도출했습니다.
2. 강건한 랭크 할당: K-FAC 특이값의 레이어 간 비교 불가능성을 식별하고, 신뢰할 수 있는 전역 랭크 할당을 위해 캘리브레이션 그래디언트 기반의 중요도 점수를 도입했습니다.
3. FFN 확장: 민감한 채널은 밀집 연산을 유지하면서 허용 가능한 채널에만 선택적으로 SVD를 적용하는 하이브리드 SVD-양자화 방식을 통해 FFN으로 저차원 압축을 확장했습니다.
4. 시스템 최적화: 저차원 재구성, 양자화 및 비선형 연산을 통합하는 융합된 Triton 커널을 개발하여 상당한 디코딩 속도 향상을 달성했습니다.

실험 결과

본 프레임워크는 ScienceQA-IMG, SEED-Bench-IMG, MMBench에 대해 다섯 가지 VLM(LLaVA-v1.5 7B, LLaVA-Next 7B/13B, Qwen2-VL 7B, SmolVLM 2B)을 대상으로 평가되었습니다.

• 정확도 보존: FP16 추론 환경에서 LASER-noQ(SVD 전용)는 다양한 파라미터 비율($\rho_1$)에 대해 베이스라인(SVD-LLM, QSVD, WSVD)보다 일관되게 우수한 성능을 보였습니다. LLaVA-Next 13B에서 $\rho_1=50\%$일 때, LASER는 전체 FP16 모델과 유사한 정확도를 유지하며 1% 미만의 하락만을 기록했습니다.
• 저정밀도 성능: W8A8 양자화 설정에서, LASER는 FP16 베이스라인 대비 평균 약 0.5%의 정확도 하락만을 기록하면서 KV-캐시 크기를 FP16 모델의 25%로 줄였습니다. 이는 다른 양자화 인식 SVD 방식(QSVD, WSVD) 및 순수 양자화 방식(DuQuant, QVLM)보다 뛰어난 성능입니다.
• 지연 시간 및 속도 향상: RTX 4090 및 5090 GPU에서의 시스템 레벨 평가 결과, LASER는 융합된 커널과 감소된 메모리 트래픽 덕분에 Flash Decoding 대비 4.7배, WSVD 대비 2.3배의 디코딩 속도 향상을 달erm했습니다.

의의 및 주장

본 논문은 LASER가 최적화의 초점을 국소적 재구성에서 전역적 손실 민감도로 전환함으로써 VLM을 위한 원칙적인 저차원 압축 접근 방식을 제공한다고 주장합니다. 균등한 랭크 할당의 한계와 FFN의 무시 문제를 해결함으로써, LASER는 멀티모달 추론 능력을 희생하지 않으면서도 자원이 제한된 장치에서 효율적인 저정밀도 추론을 가능하게 합니다. 본 연구는 손실 인식 분해, 그래디언트 기반 랭크 할당, 그리고 하이브리드 압축 전략의 결방이 정확도 유지와 추론 속도 모두에서 상당한 이득을 얻을 수 있음을 입증합니다.