🤖 machine learning

Search Your Block Floating Point Scales!

본 논문은 저정밀도 생성 모델의 양자화 오차를 크게 줄이고 성능을 향상시키기 위해 맨티사 비트의 세밀한 탐색을 통해 블록 부동 소수점 스케일 인자를 최적화하는 새로운 전략인 ScaleSearch를 소개하며, 이는 거의 성능 손실 없이 달성되는 전용 ScaleSearchAttention 알고리즘을 포함합니다.

원저자: Tanmaey Gupta, Hayden Prairie, Xiaoxia Wu, Reyna Abhyankar, Qingyang Wu, Austin Silveria, Pragaash Ponnusamy, Jue Wang, Ben Athiwaratkun, Leon Song, Tri Dao, Daniel Y. Fu, Chris De Sa

게시일 2026-05-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tanmaey Gupta, Hayden Prairie, Xiaoxia Wu, Reyna Abhyankar, Qingyang Wu, Austin Silveria, Pragaash Ponnusamy, Jue Wang, Ben Athiwaratkun, Leon Song, Tri Dao, Daniel Y. Fu, Chris De Sa

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 "Search Your Block Floating Point Scales!"라는 논문을 쉬운 언어와 일상적인 비유를 사용하여 설명한 것입니다.

큰 그림: 효율적으로 여행 가방 꾸리기

여행을 위해 컴퓨터 메모리라는 여행 가방을 꾸린다고 상상해 보세요. 넣어야 할 물건 (데이터) 이 많지만 가방은 작습니다. 모든 것을 넣기 위해 물건들을 꾹꾹 눌러야 합니다 (이를 양자화라고 합니다).

과거에는 물건 무리를 포장할 때, 무리에서 가장 큰 물건을 보고 "좋아, 가장 큰 물건이 딱 맞게 들어갈 수 있도록 나머지를 모두 줄이겠다"라고 말하며 규칙을 정했습니다. 이것이 현대 AI 칩에서 사용하는 표준 방법입니다.

문제점:
저자들은 가장 큰 물건이 들어간다고 해서 나머지 물건들이 효율적으로 포장된 것은 아니라고 지적했습니다. 때로는 가장 큰 물건을 기준으로 모두 줄이면 빈 공간이 많이 생기거나 작은 물건들이 너무 많이 눌려 나중에 식별하기 어려워집니다. 거대한 테디 베어와 아주 작은 단추를 상자에 넣으려 할 때, 상자를 베어 크기에 맞춰 만들면 단추는 소음 속에 사라져 버리는 것과 같습니다.

해결책: "ScaleSearch"(똑똑한 포장꾼)

이 논문은 ScaleSearch라는 새로운 전략을 소개합니다. 단순히 가장 큰 물건만 보고 한 번 규칙을 정하는 대신, 알고리즘이 작은 "검색등"을 켜고 가방을 포장하는 몇 가지 다른 방법을 확인합니다.

옛 방법: "가장 큰 물건이 10 인치입니다. 제 스케일을 10 으로 설정하겠습니다."
새 방법 (ScaleSearch): "가장 큰 물건이 10 인치입니다. 하지만 잠깐... 만약 스케일을 9.5 로 설정하면 큰 물건은 여전히 들어가고 중간 크기의 물건들은 훨씬 더 선명해집니다. 10.5 로 설정하면 작은 물건들이 더 잘 보입니다. 이 몇 가지 옵션을 빠르게 테스트하여 전체 그룹이 가장 잘 보이도록 하는 것을 선택하겠습니다."

이 논문은 이러한 작고 빠른 검색을 수행함으로써 컴퓨터가 데이터를 훨씬 더 정확하게 포장할 수 있으며, 데이터를 꾹꾹 누르는 과정에서 발생하는 "양자화 오차"를 약 27% 줄일 수 있음을 보여줍니다.

특수 하드웨어: NVFP4

이 트릭이 작동하는 이유는 NVFP4라는 포맷을 사용하는 새로운 초고속 컴퓨터 칩 (NVIDIA 의 Blackwell 아키텍처) 때문입니다.

옛 포장 방법을 자로만 1, 2, 3 같은 큰 눈금만 있는 자를 사용하는 것으로 생각한다면, 새로운 칩은 1.0, 1.1, 1.2 등 아주 작고 정교한 눈금이 있는 자를 가지고 있습니다. ScaleSearch는 단순히 큰 눈금으로 추측하는 것이 아니라, 그 작고 정교한 눈금을 사용하여 완벽한 맞춤을 찾는 기술입니다.

"어텐션" 업그레이드: ScaleSearchAttention

AI 모델 (챗봇 등) 은 다음 단어를 이해하기 위해 이미 말한 단어들에 주의를 기울여야 합니다. 이 "메모리"를 KV 캐시라고 합니다. 이 메모리를 저장하는 것은 많은 공간을 차지하고 속도를 늦춥니다.

저자들은 ScaleSearchAttention이라는 특별한 버전을 만들었습니다.

기능: AI 의 메모리에 "똑똑한 포장꾼" 논리를 적용합니다.
결과: AI 가 문맥을 이해하는 능력을 잃지 않으면서 매우 컴팩트한 형식 (4 비트) 으로 메모리를 저장할 수 있게 합니다.
비유: 보통 사서님이 모든 책 제목을 상세히 기록해야 했던 (느리고 bulky 한) 상황을 상상해 보세요. 이 새로운 방법으로는 사서님이 작고 빠르게 작성할 수 있는 교묘한 약어 코드를 사용하지만, 중요한 세부 사항을 놓치지 않았는지 코드를 다시 한번 확인합니다.

무엇을 증명했나요? (결과)

이 논문은 Llama 와 Qwen 과 같은 실제 AI 모델과 Mochi 와 같은 비디오 생성 도구에서 이를 테스트했습니다.

더 나은 수학 및 추론: 수학 문제에 ScaleSearch 를 적용했을 때, AI 는 훨씬 더 똑똑해졌습니다. 한 모델의 경우 표준 방법과 비교해 수학 테스트 점수가 15 점이나 상승했습니다.
더 나은 언어: AI 가 이야기를 쓰거나 질문에 답할 때 실수가 줄었습니다. "퍼플렉시티"(AI 가 얼마나 혼란스러운지를 측정하는 지표) 가 감소하여 AI 가 더 자연스럽고 인간처럼 들렸습니다.
속도: 가장 좋은 점은 이 "검색"이 매우 빨라 컴퓨터 속도를 거의 늦추지 않는다는 것입니다. 신발을 묶는 세 가지 방법을 확인하는 것과 같습니다. 찰나의 시간이 걸리지만 나중에 넘어지지 않도록 보장합니다. 이 시스템은 표준 방법 속도의 **98%**로 실행됩니다.

요약

이 논문은 다음과 같이 말합니다: "가장 큰 조각을 기준으로 데이터를 줄이는 방법을 단순히 추측하지 마세요. 근처의 몇 가지 옵션을 찰나의 순간에 확인하면, 속도 저하가 거의 없이 훨씬 더 선명하고 정확한 결과를 얻을 수 있습니다."

이것을 ScaleSearch라고 부르며, AI 의 메모리에 적용할 때는 ScaleSearchAttention이라고 부릅니다. 이는 새로운 하드웨어가 필요 없이 AI 모델을 더 똑똑하고 효율적으로 만듭니다.

기술 요약: 블록 부동소수점 스케일을 검색하라!

문제 제기

양자화는 생성 모델 추론을 가속화하는 표준 기법이지만, 초저 비트폭에서 정확도를 유지하는 것은 여전히 어렵습니다. 블록 부동소수점 (BFP) 형식은 동적 범위, 메모리 효율성, 처리량 사이의 균형을 잡은 대안을 제공하지만, 표준 BFP 알고리즘은 블록 내 최대 절대 크기에 의해 결정되는 고정된 스케일에 의존합니다. 저자들은 이 "최대값 스케일링 (max-scaling)" 휴리스틱이 종종 최적이지 않아 불필요한 양자화 오차를 초래한다고 관찰했습니다. 이 문제는 NVIDIA 의 Blackwell 아키텍처 등장과 특히 관련이 깊으며, 이는 NVFP4 와 같은 마이크로스케일 BFP 형식에 대한 하드웨어 지원을 도입했습니다. 전통적인 BFP 와 달리 NVFP4 는 8 비트 블록 스케일 (E4M3 형식) 내에 맨티사 (mantissa) 비트를 포함하여, 표준 최대값 스케일링이 활용하지 못하는 더 세밀한 스케일 선택 정밀도를 제공합니다.

방법론

ScaleSearch

핵심 기여는 ScaleSearch로, 마이크로스케일 형식의 맨티사 비트를 활용하여 최적의 블록 스케일을 찾기 위한 세밀한 검색을 수행하는 알고리즘입니다.

메커니즘: 블록의 최대값을 기반으로 스케일을 엄격하게 선택하는 대신 ( $s = \text{round}(\|x\|_\infty / 6.0)$ ), ScaleSearch 는 이 기본값 주변의 스케일 영역을 탐색합니다. 스케일을 기본 스케일의 비트 표현에 적용된 정수 오프셋 $f$ 로 간주합니다: $s(f) = \text{reinterpret}(\text{reinterpret}(s, \text{int8}) + f, \text{fp8}_{UE4M3})$ .
검색 전략: 이 알고리즘은 주어진 블록 분포에 대한 평균 제곱 오차 (MSE) 를 최소화하는 스케일을 찾기 위해 오프셋의 작은 범위 (예: $f \in [-2, 6]$ ) 를 포괄적으로 검색합니다.
근거: 합성 가우스 데이터와 실제 신경망 활성화 (예: Llama 3.1 Key 상태) 에 대한 실증적 분석은 최적 오프셋의 이분산 분포를 드러냅니다. 기본 스케일 (오프셋 0) 은 최대 크기를 FP4 값 6 에 매핑하는 반면, 블록의 상당 부분은 최대 크기를 FP4 값 4 에 매핑함으로써 더 잘 표현되며, 이는 약 1.5 배 큰 스케일 인자가 필요합니다. ScaleSearch 는 이러한 최적 매핑을 식별합니다.

ScaleSearchAttention

이러한 이점을 어텐션 메커니즘과 KV 캐시로 확장하기 위해 저자들은 ScaleSearchAttention을 제안합니다. 이는 역량 해제를 피하도록 설계된 인과적 언어 모델링을 위한 엔드 투 엔드 FP4 어텐션 알고리즘입니다.

네이티브 NVFP4 실행: Tensor Cores 에서 FP32 누적과 함께 NVFP4 정밀도를 사용하여 QKT 및 PV 행렬 곱셈을 직접 수행합니다.
비일관성 처리 (IP) 및 크기 감소: Q 및 K 텐서의 이상치를 완화하고 양자화 오차를 줄이기 위해 이 방법은 Hadamard 변환 (QuIP# 에 따름) 과 투영된 텐서의 평균 제곱 크기를 줄이면서 어텐션 점수를 보존하는 추가 선형 변환 쌍 ( $Q' = QR^{-T}, K' = KR$ ) 을 사용합니다.
어텐션 싱크 인식 혼합 정밀도 캐싱: 어텐션 점수가 초기 및 최근 토큰 (Attention Sink) 에 집중된다는 점을 인식하여, 이 방법은 KV 캐시의 첫 번째 및 마지막 블록을 전체 정밀도로 저장하고 중간 블록은 압축된 NVFP4 로 저장합니다. 이는 시퀀스 길이에 따라 메모리 사용량을 늘리지 않으면서 중요한 토큰에 대한 높은 정밀도를 보장합니다.

주요 기여

ScaleSearch 알고리즘: 인접한 표현 가능한 스케일을 탐색하여 블록별 양자화 오차를 최소화하는 블록 부동소수점 양자화를 위한 스케일 검색 기법입니다. 이는 특히 NVFP4 E4M3 스케일 형식의 맨티사 해상도를 활용합니다.
ScaleSearchAttention: 거의 0 에 가까운 정확도 저하로 엔드 투 엔드 추론을 가능하게 하는 공동 최적화된 FP4 어텐션 메커니즘입니다. 이는 ScaleSearch, 비일관성 처리, 혼합 정밀도 KV 캐싱을 통합하여 Tensor Cores 에서 NVFP4 로 직접 QKT 및 PV 연산을 수행합니다.
실증적 검증: 대규모 언어 모델 및 확산 모델 전반에 걸쳐 기존 FP4 베이스라인 (SageAttention3 및 Naive-FP4 등) 보다 일관된 퍼플렉시티 및 벤치마크 정확도 향상을 보여주는 광범위한 실험.

실험 결과

훈련 후 양자화 (PTQ)

언어 모델: Qwen3-8B 모델에서 ScaleSearch 는 표준 NVFP4 양자화에 비해 MATH-500 벤치마크에서 최대 15 포인트까지 성능을 향상시켰습니다. 또한 GPQA 및 MMLU 벤치마크에서 격차를 크게 좁혔습니다.
확산 모델: SageAttention3 를 사용하여 Mochi 및 CogVideoX 모델에 적용했을 때, ScaleSearch 는 VQA-a, VQA-t, FScore 지표를 향상시키면서 전체 정밀도 정렬 점수 (CLIPSIM, CLIP-T) 와 일치했습니다.

어텐션 및 퍼플렉시티

퍼플렉시티 (Wikitext-2): ScaleSearchAttention 은 Llama 3.1 70B 의 경우 순수 FP4 양자화에 비해 퍼플렉시티를 최대 **22%**까지 감소시켰습니다. Llama 3.1 70B 의 경우 PPL 을 2.6348로 달성하여 SageAttention3(3.3899) 및 Naive-FP4(3.4000) 보다 크게 개선되었습니다.
GPQA Diamond: Llama 3.1 8B Instruct 모델에서 ScaleSearchAttention 은 32.32% 정확도를 달성하여 SageAttention3(26.26%) 을 능가하고 전체 정밀도 베이스라인 (31.81%) 과 일치했습니다.

효율성 및 오버헤드

양자화 오버헤드: 제한된 검색 범위의 경우, ScaleSearch 는 FP32 에서 NVFP4 로 양자화하는 동안 1.74 배의 최소 오버헤드 (0.0449 ms vs. 0.0258 ms 베이스라인) 를 도입합니다.
처리량: 어텐션 커널에서 ScaleSearch 는 32K 시퀀스 길이의 비인과적 어텐션에 대해 베이스라인 처리량 (SageAttention3) 의 **98.3%**를 달성하여 실행 시간 영향을 무시할 수 있음을 보여줍니다.
지연 시간: 텍스트-비디오 생성의 엔드 투 엔드 지연 시간은 미미하게만 증가했습니다 (예: Mochi 의 경우 353.40 초에서 364.68 초로 증가), 이는 실제 작업 부하에 대한 방법의 실용성을 확인합니다.

중요성

이 논문은 ScaleSearch 가 마이크로스케일 형식에서 이전에 미활용되었던 맨티사 비트를 활용함으로써 표준 BFP 스케일링 전략의 근본적인 비최적성을 해결한다고 주장합니다. 휴리스틱 최대값에 의존하는 대신 최적 스케일을 체계적으로 검색함으로써 이 방법은 양자화 오차를 크게 줄입니다. ScaleSearchAttention 의 도입은 이러한 이점을 메모리 및 연산 집약적인 어텐션 메커니즘으로 확장할 수 있음을 보여주며, 거의 0 에 가까운 정확도 손실로 고통 처리량, 저정밀도 추론을 가능하게 합니다. 저자들은 이 작업을 효율적인 생성형 AI 를 위한 emerging 4 비트 하드웨어 기능 (NVIDIA Blackwell 등) 을 완전히 활용하는 단계로 위치시킵니다.