기술 요약: TileQ - 2D 타일링을 활용한 혼합 전문가 (Mixture-of-Experts) 의 효율적인 저랭크 양자화

1. 문제 제기

혼합 전문가 (MoE) 모델은 희소하게 활성화되는 전문화된 '전문가' 서브네트워크를 통해 대규모 언어 모델 (LLM) 을 확장하는 주된 패러다임이 되었습니다. 이 아키텍처는 추론 중 계산 비용을 줄이지만, 중요한 메모리 병목 현상을 초래합니다. 즉, 토큰당 소수의 전문가만 활성화되더라도 전문가 파라미터 전체가 메모리에 상주해야 하기 때문입니다. 이러한 큰 메모리 점유율은 리소스가 제한된 하드웨어에서의 배포를 심각하게 제한하며 클라우드 추론 비용을 증가시킵니다.

기존의 학습 후 양자화 (PTQ) 방법, 특히 저랭크 접근법은 압축의 길을 제시합니다. 그러나 현재 최첨단 방법들은 MoE 모델에 적용될 때 세 가지 중요한 한계에 직면해 있습니다:

1. 정확도 저하: 단순한 양자화 방식은 극도로 낮은 비트 폭 (예: 2 비트) 에서 심각한 성능 감소를 겪습니다.
2. 메모리 오버헤드: 전통적인 저랭크 PTQ 는 각 전문가마다 저랭크 인자를 독립적으로 저장하거나 전문가 중복성을 완전히 활용하지 못하는 1 차원 공유 전략을 사용함으로써 종종 무시할 수 없는 추가 메모리 오버헤드를 초래합니다.
3. 추론 지연 시간: 고정밀 양자화 방법은 종종 상당한 지연 시간을 도입합니다. 전문가가 작고 희소한 MoE 모델에서 각 전문가마다 분리된 저랭크 행렬을 관리하는 오버헤드는 희소성의 이점을 상쇄하고 추론 속도를 50% 이상 저하시킬 수 있습니다.

더욱이, 파인튜닝 기반 방법 (LoRA 등) 은 모델의 일반화 능력을 저하시키며 재학습 없이 빠른 작업 적응에 적합하지 않습니다. 목표는 파인튜닝 없이 최소한의 추론 지연 시간으로 높은 정확도와 압축 비율을 달성하는 것입니다.

2. 방법론: TILEQ

저자들은 2D 타일링 구조 저랭크 양자화를 적용한 파인튜닝이 불필요한 PTQ 방법인 TILEQ를 제안합니다. 핵심 혁신은 전문가를 독립적으로 처리하거나 단일 차원에서만 공유하는 대신, MoE 전문가의 입력 및 출력 차원 전반에 걸쳐 저랭크 인자를 공유하는 데 있습니다.

2.1. 2D 타일링 구조 저랭크 양자화

이 방법은 각 전문가 $k$의 가중치 행렬 $W_k$를 근사화하기 위해 모든 $K$개의 전문가를 2D 타일 레이아웃으로 배열합니다. 이를 통해 그리드 전반에 걸쳐 저랭크 인자 $U$와 $V$를 공유할 수 있습니다.

이 과정은 다섯 가지 주요 단계를 포함합니다:

1. 스케일링: 보정 데이터에 기반하여 각 전문가의 가중치 행렬에 대각 스케일링 행렬을 적용하여 특이 벡터를 입력/출력 특징 공간에 정렬합니다.
2. 추출: 스케일링된 각 전문가에 대해 근사적인 랭크-$r_0$ SVD 인자 ($U_k, V_k$) 를 추출합니다. 이를 벡터화하고 정규화하여 특징 임베딩을 생성합니다.
3. 클러스터링: 정규화된 임베딩에 이클러스터링 알고리즘 (K-Means) 을 적용하여 각 전문가를 $M \times N$ 타일 그리드의 이상적인 그리드 좌표 $(m, n)$에 할당합니다. 이는 유사한 특이 부분 공간을 가진 전문가들을 그룹화합니다.
4. 2D 타일 배치: 여러 전문가가 동일한 타일에 매핑되는 충돌을 해결하기 위해 탐욕적 공간 할당 전략을 사용합니다. 이는 전문가의 이상적인 클러스터 위치와 실제 물리적 타일 위치 간의 거리를 최소화합니다. 그런 다음 전문가들을 큰 블록 행렬 $W_{big}$에 배치합니다.
5. 양자화: 큰 타일링된 행렬 $W_{big}$은 비용이 많이 드는 SVD 를 피하기 위해 가우시안 스케칭을 통해 근사화된 전역 저랭크 분해를 거칩니다. 결과적으로 생성된 공유 저랭크 인자 ($U, V, \Sigma$) 를 저장하고, 각 전문가의 잔차 오차는 헤시안 인식 방법 (GPTQ/GPTVQ) 과 회전 기술 (LOPRO) 을 사용하여 양자화합니다.

핵심 기술적 통찰: 전문가를 2D 그리드로 구조화함으로써 TILEQ 는 같은 행에 있는 전문가들이 왼쪽 기저 (출력 공간) 를 공유하고 같은 열에 있는 전문가들이 오른쪽 기저 (입력 공간) 를 공유할 수 있게 합니다. 이는 1 차원 공유 또는 요소별 방법에 비해 저장 오버헤드를 크게 줄입니다.

2.2. 효율적인 퓨즈드 희소 저랭크 추론

지연 시간 병목 현상을 해결하기 위해 TILEQ 는 여러 저랭크 전문가 계산을 단일 패스 연산으로 융합하는 추론 알고리즘인 LoTileMoE를 도입합니다.

• 메커니즘: 각 전문가마다 토큰별 희소 디스패치를 수행하는 대신, 알고리즘은 전체 입력 배치의 공유 왼쪽 인자 $(U\Sigma)$에 한 번 투영합니다. 그런 다음 이 투영을 3D 텐서로 재구성하고 라우팅 가중치를 적용하여 활성 타일을 선택한 후, 공유 오른쪽 인자 $V$와 단일 배치 행렬 곱셈을 수행합니다.
• 최적화: 이 방법은 명시적으로 큰 중간 3D 텐서를 구성하는 대신 인-플레이스 누적 버퍼를 사용합니다. 이는 불규칙한 메모리 접근을 현대 하드웨어 (GPU/TPU) 에서 매우 최적화된 규칙적인 밀집 텐서 연산 (GEMM) 으로 대체합니다.
• 복잡도: 이 접근법은 $K$개의 분리된 작은 GEMM 처리를 두 개의 크고 잘 형성된 GEMM 처리로 줄여 하드웨어 활용도를 크게 향상시키고 커널 시작 오버헤드를 감소시킵니다.

3. 주요 기여

1. 2D 타일링 저랭크 PTQ: 2D 타일링을 통해 전문가 유사성을 활용하여 입력 및 출력 차원 전반에 효율적인 공유 표현을 가능하게 하는 새로운 파인튜닝 불필요 양자화 방법으로, 1 차원 공유 또는 독립 방법보다 높은 압축 비율을 달성합니다.
2. 퓨즈드 추론 알고리즘: 저랭크 전문가 계산을 단일 패스 연산으로 융합하여 MoE 모델에서 희소 전문가 디스패치와 관련된 지연 시간 오버헤드를 제거한 최적화된 추론 기술 (LoTileMoE) 입니다.
3. 성능 효율성: 이 방법은 파인튜닝이 필요 없이 최첨단 양자화 정확도를 달성하면서 저랭크 추가 메모리 사용량을 최대 10 배 줄이고, 추론 지연 시간을 기준 오버헤드의 약 5% 로 감소시킵니다.

4. 실험 결과

저자들은 Qwen1.5-MoE-A2.7B, Qwen3-30B-A3B, Qwen3-Next-80B-A3B, Mixtral-8$\times$7B, Deepseek-MoE-16B 를 포함한 여러 대표적인 MoE 모델에서 TILEQ 를 평가했습니다.

• 정확도: TILEQ 는 극단적인 저비트 설정 (2 비트 및 3 비트) 에서 견고성을 보여줍니다.
  • Mixtral-8$\times$7B에서 2 비트일 때, TILEQ 는 4.78 의 퍼플렉시티를 달성하여 GPTQ(15.3) 와 GPTVQ(5.28) 를 크게 능가합니다.
  • 3 비트에서는 TILEQ 가 FP16 성능에 근접합니다 (예: Mixtral 에서 FP16 은 3.87 인 반면 TILEQ 는 4.10). 또한 양자화되지 않은 모델과 비교 가능한 MMLU 점수를 달성합니다.
  • ARC, PIQA, Winogrande, MMLU, HellaSwag 등 다양한 하위 작업에서 GPTQ, GPTVQ, MOEQUANT, LOPRO 와 같은 기준 모델보다 일관되게 우수한 성능을 보입니다.
• 메모리 효율성: TILEQ 는 전문가별 방법에 비해 저랭크 인자에 필요한 추가 메모리 오버헤드를 최대 90% (10 배 감소) 줄입니다. 예를 들어, Qwen3-30B-A3B 에서 전문가별 저랭크 양자화에 비해 메모리 오버헤드를 8 배 감소시킵니다.
• 추론 지연 시간:
  • 프리필 (Prefill): TILEQ 는 불규칙한 희소 디스패치를 구조화된 GEMM 으로 대체하여 지연 시간을 5% 미만으로 줄입니다.
  • 디코드 (Decode): 메모리 바운드임에도 불구하고 TILEQ 는 연속적인 가중치 레이아웃과 벡터화된 접근을 활용하여 낮은 지연 시간 (약 5-10% 오버헤드) 을 유지하는 반면, 요소별 및 1 차원 공유 방법은 15-75% 의 지연 시간 증가를 겪습니다.
• 애블레이션 연구: 실험은 2D 타일링 메커니즘이 성능의 주요 동인임을 확인시켜 주며, 이를 제거하면 유사한 정확도를 유지하면서 비트 폭 요구 사항이 8 배 증가합니다. 이 방법은 다양한 희소성과 전문가 크기를 가진 모델에서 확장 가능합니다.

5. 중요성 및 주장

이 논문은 TILEQ 가 엄격한 메모리 및 계산 제약 하에서 MoE 모델을 배포하기 위한 확장 가능하고 하드웨어 친화적인 솔루션을 제공한다고 주장합니다. 전문가들을 2D 타일링 레이아웃으로 공동 구조화하고 추론 연산을 융합함으로써 TILEQ 는 기존 저랭크 PTQ 방법들이 겪는 정확도, 압축, 지연 시간 간의 트레이드오프를 극복합니다.

저자들은 TILEQ 가 기존 PTQ 프레임워크 (GPTQ 등) 에 대한 가벼운 범용 확장 역할을 하여, 계산적으로 비용이 많이 드는 파인튜닝이나 재학습 없이 차세대 희소 MoE 모델을 배포할 수 있게 한다고 강조합니다. 이 방법은 전통적인 방법이 충실도를 유지하지 못하는 초저비트 양자화 (2-3 비트) 가 필요한 시나리오에서 특히 중요합니다.