1. 문제 정의 (Problem)

• CPU 기반 LLM 추론의 병목 현상: 온디바이스 어시스턴트나 엣지 서버와 같이 GPU 가 없는 환경에서 대규모 언어 모델 (LLM) 을 실행할 때, 메모리 대역폭 (Memory Bandwidth) 이 자동 회귀적 토큰 생성의 주요 병목 현상입니다.
• 기존 양자화 기법의 한계: 가중치를 4 비트 이하로 양자화하여 메모리 압축을 달성하더라도, 기존 추론 시스템 (예: llama.cpp) 은 압축된 가중치를 다시 부동소수점 (Floating-point) 으로 디양자화 (Dequantize) 한 후 일반적인 곱셈 - 누적 (FMA) 연산을 수행합니다. 이로 인해 비트 폭 감소로 인한 잠재적인 이점이 연산 단계에서 사라집니다.
• 삼진법 (Ternary) 가중치의 미활용: {-1, 0, +1} 값을 갖는 삼진법 가중치는 곱셈을 조건부 덧셈, 뺄셈 또는 무작위 연산 (No-op) 으로 대체하여 곱셈을 완전히 제거할 수 있습니다. 하지만 기존 시스템 (예: Fairy2i 의 레퍼런스 런타임) 은 하드웨어 수준에서 이 삼진법 구조를 활용하지 못하고 표준 부동소수점 루틴을 사용합니다.
• 복소수 선형 구조의 복잡성: Fairy2i 와 같은 모델은 복소수 가중치를 사용하며, 이는 '광범위 선형 (Widely-linear)' 변환을 통해 8 개의 실수 GEMV(General Matrix-Vector Multiplication) 연산으로 분해됩니다. 이를 단순하게 8 개의 별도 커널로 실행하면 메모리 재로딩 및 동기화 오버헤드가 발생하여 삼진법 압축의 이점이 상쇄됩니다.

2. 방법론 (Methodology)

저자들은 CPU 에서 곱셈이 없는 LLM 추론을 실현하기 위해 FairyFuse라는 새로운 추론 시스템을 제안했습니다.

• 곱셈 제거 (Multiplication-Free Execution):

  • 16 개의 {-1, 0, +1} 가중치를 32 비트 정수 (uint32) 하나에 압축하여 저장합니다.
  • **BMI2 명령어 (_pext_u32)**를 사용하여 압축된 비트에서 양수 (덧셈) 와 음수 (뺄셈) 마스크를 단일 사이클로 추출합니다.
  • **AVX-512 마스크 연산 (_mm512_mask_add_ps, _mm512_mask_sub_ps)**을 사용하여 활성화 값 (Activation) 에 대해 조건부 덧셈과 뺄셈만 수행합니다.
  • 결과적으로 내부 루프에서 부동소수점 곱셈 연산이나 테이블 조회 (LUT) 가 전혀 발생하지 않습니다.

• 융합된 광범위 선형 커널 (Fused Widely-Linear Kernel):

  • 복소수 선형 계층을 구성하는 8 개의 실수 GEMV 연산을 8 개의 별도 루프가 아닌 단일 병렬 루프로 통합합니다.
  • 4 가지 최적화 전략:
    1. 마스크 재사용 (O1): 한 번 디코딩된 마스크 쌍을 실수 및 허수 경로 모두에 적용하여 디코딩 비용을 분산합니다.
    2. 입력 벡터 재사용 (O2): 활성화 벡터를 한 번 로드하여 8 개의 서브 GEMV 에서 공유합니다.
    3. 부호 스왑 (O3): 켤레 (Conjugate) 항을 처리하기 위해 입력 벡터의 부호를 미리 반전시킨 별칭을 사용하여 런타임 부호 변경을 제거합니다.
    4. 레지스터 내 누적 (O4): 모든 부분 합을 DRAM 으로 내보내지 않고 AVX-512 레지스터에 유지하다가 최종적으로 축소 (Reduction) 합니다.

• 하드웨어 호환성: Intel Xeon (Skylake-X 이후) 과 같은 AVX-512F 및 BMI2 명령어를 지원하는 범용 CPU 를 대상으로 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. x86 CPU 최초의 곱셈 없는 삼진법 GEMV 커널: 내부 루프에서 부동소수점 곱셈이나 테이블 조회 없이 마스크된 AVX-512 덧셈/뺄셈만 사용하는 첫 번째 구현을 제시했습니다.
2. 복소수 광범위 선형 계층의 단일 루프 융합: 8 개의 서브 GEMV 를 마스크 재사용, 입력 공유, 부호 스왑, 레지스터 누적 기법을 통해 하나의 SIMD 친화적 루프로 통합하여 비융합 실행 대비 1.55 배의 속도 향상을 달성했습니다.
3. CPU 가 극단적 양자화의 최적 타겟임을 입증: Roofline 분석을 통해 16 배 데이터 압축이 대역폭이 제한된 CPU 에서는 연산 한계 (Compute Ridge) 로 이동시켜 큰 성능 향상을 가져오지만, 대역폭이 풍부한 GPU 에서는 효과가 미미함을 보였습니다.

4. 실험 결과 (Results)

• 성능 (Throughput):
  • 단일 Intel Xeon 8558P 소켓에서 **초당 32.4 토큰 (tok/s)**을 달성했습니다.
  • 기존 llama.cpp 의 Q4_K_M (4 비트) 설정 대비 1.24 배 빠르며, Q2_K(2 비트) 설정 대비 1.61 배 빠릅니다.
  • GEMV 커널 수준에서 FP32 대비 29.6 배 ~ 54.4 배의 속도 향상을 보였습니다 (48 스레드 기준).
• 모델 품질 (Quality):
  • WikiText-2 Perplexity: 5.52 (FP16 기준 5.47, Q4_K_M 기준 5.68). FP16 모델과 거의 손실 없는 수준을 유지했습니다.
  • 다운스트림 정확도: 평균 66.0% 로 Q4_K_M(65.1%) 보다 높았습니다.
• 메모리 효율성: 70 억 파라미터 모델의 크기를 FP32 대비 16 배 줄인 3.3 GB로 압축했습니다.
• 검증: 어셈블리 코드 분석을 통해 내부 루프에서 곱셈 명령어가 0 개임을 확인했으며, 모든 측정값의 변동 계수 (CV) 가 2% 미만으로 재현성이 높았습니다.

5. 의의 및 결론 (Significance)

• CPU 중심 추론의 새로운 패러다임: GPU 가 아닌 범용 CPU 에서도 곱셈을 제거한 극단적 양자화 (2 비트) 를 통해 고품질 LLM 추론이 가능함을 증명했습니다.
• 하드웨어 아키텍처의 구조적 적합성: CPU 의 제한된 메모리 대역폭과 비트 연산 (Bitwise) 명령어 (BMI2, AVX-512) 의 효율적인 결합이 삼진법 연산에 이상적임을 Roofline 모델을 통해 설명했습니다. 반면, GPU 는 대역폭이 너무 풍부하고 비트 추출 명령어가 부재하여 삼진법 압축의 이점을 충분히 활용하지 못합니다.
• 실용적 배포 가능성: 고사양 GPU 가 없는 엣지 디바이스, 데스크톱, 개인용 서버에서도 70 억 파라미터급 LLM 을 실시간으로 구동할 수 있는 실용적인 경로를 제시했습니다.

이 논문은 알고리즘적 양자화 (Fairy2i) 와 시스템 수준의 최적화 (FairyFuse) 를 결합하여, 하드웨어 제약을 극복하고 고품질 LLM 을 범용 CPU 에서 효율적으로 실행하는 획기적인 솔루션을 제시했습니다.