💻 computer science

TASQ: Temporal-Adaptive Bit Sparsification Quantization for Diffusion Models

이 논문은 저장 공간 오버헤드를 늘리지 않으면서 이미지 품질을 유지하는 동시에, 정적 양자화 대비 계산 사이클을 25~50% 줄이기 위해 디노이징 단계 전반에 걸쳐 덜 중요한 비트를 동적으로 절단하는 시간 적응형 비트 희소 양자화 방법인 TASQ를 소개한다.

원저자: Seokho Han, Dongwei Wang, Jinhee Kim, Yiran Chen, Kang Eun Jeon, Huanrui Yang, Jong Hwan Ko

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Seokho Han, Dongwei Wang, Jinhee Kim, Yiran Chen, Kang Eun Jeon, Huanrui Yang, Jong Hwan Ko

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 단지 당신이 요청했다는 이유만으로 용, 일몰, 혹은 미래 지향적인 도시의 그림을 그려내며 하나의 세계를 꿈꿀 수 있는 세상을 상상해 보십시오. 이것은 확산 모델(Diffusion Models)이라는 인공지능의 마법입니다. 이 모델은 혼돈스러운 정적 노이즈 구름에서 시작하여, 하나의 선명한 그림이 나타날 때까지 단계별로 조금씩 깨끗하게 다듬어 이미지를 생성합니다. 이것은 마치 조각가가 거친 대리석 덩어리를 깎아내는 과정과 같습니다. AI는 최종 걸작을 드러내기 위해 수백 번의 미세한 단계를 거치며 '노이즈'를 깎아냅니다.

하지만 이 조각 과정은 엄청나게 비용이 많이 듭니다. 이 이미지를 만들기 위해 컴퓨터는 메모리에 방대한 양의 지침(이를 '가중치'라고 부릅니다)을 담고 있어야 하며, 이미지를 정화하는 매 단계마다 수십억 번의 미세한 수학 계산을 수행해야 합니다. 이는 마치 긴 하이킹을 하는 동안 첫 1마일에서 망치가 필요하고 마지막 1마일에서 드라이버가 필요함에도 불구하고, 모든 걸음마다 도구가 가득 담긴 무거운 배낭을 메고 가는 것과 같습니다. 이 무거운 짐 때문에 AI는 느려지고 전기를 많이 소모하게 되며, 이것이 연구자들이 그림을 만드는 데 필요한 도구들을 잃지 않으면서도 어떻게 하면 배낭을 더 가볍게 만들 수 있을지 끊임없이 연구하는 이유입니다.

여기에 한국과 미국의 대학 연구진이 발표한 영리한 새로운 방법인 TASQ(Temporal-Adaptive Bit Sparsification Quantization, 시계열 적응형 비트 희소 양자화)가 등장했습니다. 그들은 AI의 '하이킹'에 대해 흥미로운 점을 발견했습니다. 여정의 모든 단계가 똑같이 무거운 도구를 필요로 하는 것은 아니라는 사실입니다. 이미지 생성 과정의 어떤 순간은 매우 민밀하여 고정밀 수학(레이저 커터를 사용하는 것과 같은)이 필요하지만, 다른 순간은 훨씬 덜 까다로워 단순한 저정밀 수학(일반 망치를 사용하는 것과 같은)으로도 충분히 해낼 수 있습니다.

기존 방식의 문제는 이 여정 전체를 동일하게 취급했다는 점입니다. 만약 AI가 단 한 번의 어려운 단계를 위해 고정밀도가 필요하다면, 기존 시스템은 컴퓨터가 전체 여정 동안 그 무거운 고정밀 설정을 사용하도록 강제했습니다. 이는 단 하나의 바위를 깎기 위해 하이킹 내내 레이저 커터를 들고 다니는 것과 같았습니다. TASQ는 게임의 판도를 바꿉니다. 이 방식은 AI가 상황에 따라 도구를 즉각 교체할 수 있게 해줍니다. AI는 메모리에 하나의 마스터 고정밀 지침을 유지하여(여러 개의 무거운 배낭을 들고 다닐 필요가 없도록 함), 각 특정 단계마다 해당 지침의 어느 부분을 무시할지를 알려주는 특별한 '마스크'를 학습합니다.

고화질 영화 파일이 있다고 상상해 보십시오. 대신 세 개의 서로 다른 복사본(4K, HD, 저해상도용)을 만드는 대신, TASQ는 단 하나의 4K 파일만을 유지합니다. 장면이 빠른 액션 폭발 장면일 때는 전체 4K를 재생합니다. 하지만 장면이 조용하고 느린 대화 장면일 때는, 파일을 교체하지 않고도 에너지와 시간을 절약하기 위해 일시적으로 추가적인 디테일 비트들을 '꺼버립니다'. AI는 이미지가 형성됨에 따라 변화하는 요구 사항에 맞춰 언제 이 비트들을 끄고 켤지를 정확하게 학습합니다.

연구진은 이 아이디어를 PixArt-Σ, SANA, SDXL-Turbo와 같은 여러 인기 있는 이미지 생성 모델에 테스트했습니다. 그들은 이러한 동적 전환을 사용함으로써 AI가 무거운 고정밀 버전만큼이나 훌륭해 보이는 이미지를 생성하면서도, 훨씬 적은 작업량으로 이를 수행할 수 있다는 것을 발견했습니다. 실험 결과, TASQ는 도구를 교체하지 않는 표준 방식에 비해 필요한 컴퓨터 사이클을 25%에서 50%까지 줄였습니다. 더욱 놀라운 점은, 고정된 저정밀 방식을 사용하는 기본 버전과 비교했을 때, TASQ는 실행 사이클 측면에서 6.1배에서 7.5배 더 빨랐다는 것입니다.

결정적으로, 이 논문은 이것이 단순히 이론적인 트릭이 아님을 보여줍니다. TASQ는 실제 시뮬레이션과 비트 단위 계산을 처리하도록 설계된 특정 하드웨어에서도 작동합니다. 저자들은 도구의 '저장'과 '사용'을 분리함으로써, 강력한 AI 꿈꾸기 모델을 훨씬 더 빠르고 효율적으로 만들 수 있다고 제안합니다. 이를 통해 아름다운 이미지를 생성하면서도 너무 많은 에너지를 소모하지 않도록 할 수 있습니다. 이는 AI에게 더 가벼운 배낭을 쥐여주어, 완벽한 그림을 만드는 데 필요한 모든 것을 여전히 휴대하면서도 더 빠르게 달릴 수 있게 하는 스마트한 방법입니다.

기술 요약: TASQ - 확산 모델을 위한 시계열-적응형 비트 희소화 양자화 (Temporal-Adaptive Bit Sparsification Quantization)

1. 문제 정의

확산 모델(Diffusion models)은 반복적인 디노이징 과정을 통해 고품질 이미지를 생성하며, 노이즈가 섞인 입력을 깨끗한 샘플로 변환하기 위해 동일한 네트워크를 반복적으로 추론합니다. 양자화(가중치와 활성화 함수를 4비트 이하로 압축하는 것)는 메모리와 연산 비용을 줄여주지만, 기존 방식은 근본적인 비효율성인 시계열적 중복성(temporal redundancy) 문제를 안고 있습니다.

현재의 정적 양자화 방식은 모든 디노이징 단계에 단일 가중치 정밀도를 할당합니다. 이미지 품질을 보존하려면, 이 정밀도는 전체 궤적 중 가장 양자화에 민감한 단계를 수용할 수 있어야 합니다. 결과적으로, 많은 다른 단계들은 훨씬 적은 비트를 감당할 수 있음에도 불구하고, 모델은 전체 디노이징 과정 내내 "최악의 경우"에 해당하는 연산 비용을 반복적으로 지불하게 됩니다. 이는 계산 자원을 낭비하는 결과를 초래합니다. 또한, 최근의 타임스텝 인지 양자화(timestep-aware quantization) 시도들은 주로 활성화 함수에 집중하거나 별도의 가중치 복사본을 저장해야 했기에, 메모리 오버헤드가 발생하거나 가중치의 시계열적 변화를 활용하지 못한다는 한계가 있었습니다.

2. 방법론: TASQ

저자들은 저장 정밀도와 연산 정밀도를 분리하는 TASQ (Temporal-Adaptive Bit Sparsification Quantization) 프레임워크를 제안합니다. TASQ는 별도의 가중치 복사본을 저장하지 않고도 특정 레이어에 대해 서로 다른 디노이징 단계별 가중치 정밀도를 할당할 수 있게 합니다.

핵심 구성 요소

공유 가중치 표현 및 LSB 마스킹 (Shared Weight Representation & LSB Masking): TASQ는 단일 공유 고정밀 가중치 버퍼(예: 8비트)를 저장합니다. 각 단계마다 별도의 가중치를 학습하는 대신, **시계열-공간적 LSB 마스크(Temporal-Spatial LSB Mask)**를 학습합니다. 이 마스크는 각 레이어와 디노이징 단계에서 얼마나 많은 최하위 비트(LSB)를 절단(truncate)할지를 결정합니다.
- 수학적으로, 저장된 $n$ -비트 가중치 $Q_n$ 에 대하여, 단계 $t$ 와 레이어 $l$ 에서의 연산 가중치는 마스크 $M_{t,l}$ 에 따라 비트를 절단하여 도출됩니다:
  $Q^{(t,l)}_{M,n} = Q_n - (1 - M_{t,l}) \cdot \text{LSB}$
- 이를 통해 모델은 단순한 비트 평면 절단(bit-plane truncation) 또는 우측 시프트(right-shifting)를 통해 다양한 유효 정밀도(예: 6비트, 4비트, 3비트)를 동적으로 전환할 수 있으며, 별도의 가중치 복사본이나 런타임 탐색을 피할 수 있습니다.
학습 전략 (Training Strategy):
- LoRA 기반 QAT: TASQ는 양자화 인식 학습(QAT)의 효율성과 성능 사이의 간극을 메우기 위해 저차원 적응(LoRA)과 통합됩니다. 양자화 연산자는 동결된 원본 가중치와 학습 가능한 저차원 어댑터를 결합하여 형성된 유효 가중치에 적용됩니다.
- 가장 먼 단계 우선 학습 (Farthest-Stage-First Training): 인접한 타임스텝 간에 공유 가중치를 공동 업데이트하면 매우 상관관계가 높은 그래디언트가 발생하여 학습 정체기에 빠질 수 있습니다. TASQ는 이를 해결하기 위해 단계를 "가장 먼 단계 우선" 순서(예: 4개 단계의 경우 $0 \to 3 \to 1 \to 2$ )로 학습합니다. 이는 공유된 최상위 비트(MSB)가 궤적의 다양한 부분에 노출되도록 하여, 각 단계별로 별도의 LSB 마스크를 유지하면서도 일반화 성능을 개선합니다.
- LSB 마스크 어닐링 (LSB Mask Annealing): 이진 선택(binary selection)은 미분 불가능하므로, TASQ는 희소화 스케줄을 따르며 스파스화 과정 동안 연속적인 게이트(continuous gate)를 사용하고 이를 이진 결정으로 어닐링합니다.
시계열 정밀도 엔진 (Temporal-Precision Engine, 하드웨어 공동 설계): 계산적 이득을 실현하기 위해 저자들은 시계열 정밀도 엔진을 공동 설계했습니다. 비트 직렬 GEMM(bit-serial General Matrix Multiplication)에서 실행 사이클은 가중치와 활성화 함수의 비트 폭 곱에 비례합니다.
- 이 엔진은 온칩(on-chip)에 활성화 비트 평면을 유지하고, 현재 레이어와 단계에 선택된 가중치 평면만을 스트리밍합니다.
- 이를 통해 페치(fetch)되는 평면의 수를 표준 $2LR $에서$ L+R$로 줄여, 실행 사이클을 표준 루프 대비 3.2~5.1배 감소시킵니다.
- 결정적으로, 정밀도를 전환할 때 측정된 사이클 오버헤드가 발생하지 않는데, 이는 엔진이 공유 버퍼에서 더 적은 수의 비트 평면을 읽기 때문입니다.

3. 주요 기여

저장 및 연산 정밀도의 분리: TASQ는 비트 연산(BitOPs)을 줄이기 위해 가중치 정밀도가 레이어 및 디노이징 단계에 따라 변할 수 있게 하면서도, 저장은 가장 민감한 단계가 요구하는 최악의 정밀도로 고정합니다.
시계열-공간적 LSB 마스크: 단일 공유 가중치 표현 위에서 단계 및 레이어별 정밀도를 학습하는 새로운 메커니즘으로, 단계별 가중치 복사본을 제거합니다.
시계열 정밀도 엔진: 선택된 가중치 평면만을 스트리밍하는 하드웨어 인지 실행 전략을 통해, 표준 8비트 비트 직렬 실행보다 6.1~7.5배 적은 사이클을 달면서도 이미지 품질(FID, ImageReward)을 보존합니다.
학습 혁신: 최적화를 안정화하기 위한 '가장 먼 단계 우선 학습'과 미분 불가능한 비트 선택을 처리하기 위한 'LSB 마스크 어닐링'을 도입했습니다.

4. 실험 결과

저자들은 MJHQ-30K 및 sDCI와 같은 데이터셋을 사용하여 PixArt- $\Sigma$ (0.6B), SANA-1.6B, **SDXL-Turbo (2.6B)**에서 TASQ를 평가했습니다.

품질 대 연산량 (Quality vs. Computation): TASQ는 현저히 줄어든 연산량과 함께 정적 양자화와 대등한(때로는 다른 저비트 방식보다 우수한) 이미지 생성 품질을 달성합니다.
- W4A4 예산에서, TASQ는 정적 양자화 대비 FID를 1.0~3.1 포인트 개선합니다.
- TASQ는 실행 사이클을 약 25~50% 줄이면서도 정적 8비트 양자화의 품질을 유지합니다.
효율성 이득: 표준 정적 8비트 비트 직렬 실행과 비교했을 때, TASQ는 실행 사이클을 6.1~7.5배 감소시킵니다.
절제 연구 (Ablation Studies):
- 시계열 vs. 공간적 (Temporal vs. Spatial): 결합된 시계열-공간적 적응(TASQ)이 공간 전용 또는 시계열 전용 적응보다 성능이 훨씬 뛰어났으며, 이는 정밀도 요구 사항이 레이어와 시간 모두에 걸쳐 변한다는 것을 확인시켜 줍니다.
- 초기화 (Initialization): TASQ는 SVDQuant 초기화 없이도 성능이 향상되었으며, 이는 이 이득이 단순히 시작점 때문이 아니라 시계열적 적응성에서 기인함을 증명합니다.
- 마스크 설계: 제안된 연속 LSB 마스크(CLM)는 LSB 신호의 조기 감쇠를 방지함으로써 표준 시그모이드 게이트보다 우수한 성능을 보였습니다.

5. 의의 및 주장

본 논문은 TASQ가 확산 모델을 양자화하는 방식의 패러다임 변화를 나타낸다고 주장하며, 정적 최악의 경우 할당에서 동적, 궤적 인지 정밀도로의 전환을 보여줍니다.

품질-연산 트레이드오프: TASQ는 여러 모델 체크포인트나 복잡한 런타임 탐색 메커니즘 없이도 시계열 가중치 할당이 품질-연산 트레이드오프를 개선함을 입증합니다.
하드웨어 불가지론 (Hardware Agnosticism): 이 방법은 저장 측면에서는 하드웨어 불가지론적(단일 버퍼)이지만, 사이클 절감을 실현하기 위해서는 정밀도 조절이 가능한 하드웨어(예: 비트 직렬 가속기)에 의존합니다. 저자들은 표준 INT4/INT8 커널과 같은 고정 정밀도 하드웨어에서는 하드웨어가 자체 네이티브 정밀도 미만으로 실행할 수 없는 경우 사이클 절감이 완전히 실현되지 않을 수 있다고 언급했습니다.
실제 배포: 이 접근 방식은 메모리 풋프린트(최악의 단계에 의해 결정됨)를 고정하면서, 각 디노이징 단계의 민감도에 따라 추론 속도를 최적화할 수 있도록 합니다.

저자들은 저장 비용과 연산 비용을 분리함으로써, TASQ가 확산 모델의 내재된 시계열적 중복성을 효과적으로 활용하여 훨씬 낮은 산술 비용으로 고품질 생성을 달medium 할 수 있다고 결론짓습니다.