🤖 machine learning

ReRound: Reconstructive Rounding to Resolve Midpoint Ambiguity in Calibration-Free LLM Quantization

ReRound는 조건부 확산 모델을 활용하여 저비트 LLM 가중치의 중간값 반올림 모호성을 해결함으로써, 3비트 및 4비트 양자화에서 표준 기술들을 일관되게 능가하면서도 오프라인 효율성을 유지하는 캘리브레이션 프리 포스트 트레이닝 양자화 방법입니다.

원저자: He-Yen Hsieh, H. T. Kung

게시일 2026-08-12

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: He-Yen Hsieh, H. T. Kung

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 지식의 도서관을 아주 작은 휴대용 배낭 안에 들어갈 수 있도록 줄이는 상상을 해보세요. 이것이 바로 대규모 언어 모델(LLM)의 세계입니다. 이들은 이야기를 쓰고, 수학 문제를 풀고, 인간처럼 대화할 수 있는 매우 똑똑한 AI 두뇌입니다. 이 두뇌는 '가중치(weights)'라고 불리는 수십억 개의 작은 숫자들로 구성되어 있습니다. 이들을 일반적인 스마트폰이나 노트북에서 빠르고 저렴하게 실행하기 위해, 과학자들은 이 숫자들을 더 작은 상자에 구겨 넣으려고 노력합니다. 이 과정을 **양자화(quantization)**라고 부릅니다.

원래의 전체 크기 숫자를 고해 resolution 사진이라고 생각해 보세요. 공간을 절약하기 위해, 우리는 이 숫자들을 저해상도 픽셀 아트로 바꾸고 싶습니다. 가장 표준적인 방법은 '최근접 반올림(Round-to-Nearest, RTN)'입니다. 이는 숫자를 보고 "이 숫자가 1에 가까운가, 아니면 2에 가까운가?"라고 묻는 것과 같습니다. 만약 숫자가 1.4라면, 1로 내림합니다. 1.6이라면 2로 올림합니다. 이는 단순하고 자동적인 규칙입니다. 하지만 까다로운 지점이 있습니다. 만약 숫자가 정확히 1.5라면 어떻게 될까요? 혹은 1.48처럼 1.5에 매우 가깝다면요? 이 '중간 지점'에서는 결정이 모호해집니다. 내림을 하든 올림을 하든 오차는 거의 비슷하기 때문에, 단순한 규칙은 그저 임의로 하나를 선택할 뿐입니다. 수십억 개의 숫자가 모인 거대한 도서관에서, 이러한 수천 개의 작은 임의적 추측을 반복하다 보면 의도치 않게 전체의 의미를 뒤섞어 놓을 수 있고, 결국 AI를 멍청하게 만들 수 있습니다.

여기서 ReRound라는 새로운 방법이 등장합니다. ReRound는 중간 지점의 숫자를 맹목적으로 추측하는 대신, 숫자의 주변 이웃을 살펴보고 최선의 선택을 하는 탐정처럼 행동합니다. 이 방식은 '확산 모델(diffusion model)'(이미지를 생성하는 데 사용되는 기술과 동일한 기술)이라는 특수한 형태의 AI 학습을 사용하여, AI의 두뇌 속에 숫자들이 어떻게 배치되어 있는지에 대한 숨겨진 패턴을 학습합니다. 숫자가 중간 지점에 걸려 있을 때, ReRound는 "이 숫자가 속한 주변 환경을 보니, 원래 위로 올라가야 할까, 아니면 아래로 내려가야 할까?"라고 묻습니다. 이러한 학습된 패턴을 사용하여 반올림을 유도함으로써, ReRound는 전체 AI를 다시 학습시키거나 새로운 예시를 입력하지 않고도 표준 방식이 만드는 실수를 바로잡을 수 있습니다. 이는 더 작은 배낭에서 더 많은 정확도를 뽑아내는 영리한 방법이며, 값비싼 슈퍼컴퓨터 없이도 강력한 AI를 누구나 사용할 수 있게 만들어 줍니다.

더 나은 AI를 위한 탐정의 가이드

인공지능의 세계에서 모델을 더 작고 빠르게 만들려는 탐구는 종종 '중간 지점 문제(midpoint problem)'라는 벽에 부딪힙니다. 과학자들이 AI 내부의 거대한 숫자들을 축소하려고 할 때(양자화 과정), 보통 다음과 같은 단순한 규칙을 사용합니다. 숫자가 바닥에 더 가까우면 내림하고, 천장에 더 가까우면 올림하는 것입니다. 하지만 숫자가 방 한가운데에 딱 위치한다면 어떻게 될까요? 표준적인 규칙은 그저 동전 던지기를 할 뿐입니다. 논문 ReRound: Reconstructive Rounding to Resolve Midpoint Ambiguity in Calibration-Free LLM Quantization은 이 동전 던지기가 놓쳐버린 기회라고 주장합니다.

저자인 하버드 대학교의 He-Yen Hsieh와 H. T. Kung은 ReRound라고 불리는 새로운 전략을 제안합니다. 숫자가 중간 근처에 있을 때 맹목적으로 반올림하는 대신, ReRound는 '확산 사전 확률(diffusion prior)'—즉, 숫자가 축소되기 전의 원래 완벽한 모습이 어떠했을지에 대한 학습된 추측—을 사용합니다. 여러분이 고양이의 흐릿하고 픽셀화된 사진을 가지고 있다고 상상해 보세요. 표준적인 반올림 규칙은 단순히 주변 이웃을 바탕으로 흐릿한 픽셀의 색상을 추측할 수도 있습니다. 그러나 ReRound는 학습된 AI(구체적으로 U-Net 확산 모델)를 사용하여, 원본의 고품질 이미지로부터 학습한 패턴을 바탕으로 사진의 '전체' 패치가 실제로 어떻게 보여야 하는지를 "재구성(reconstruct)"해 냅니다.

마법이 일어나는 단계는 다음과 같습니다:

학습 단계: AI가 축소되기 전, ReRound는 모델의 전체 정밀도 가중치를 미리 살펴봅니다. 이 가중치들을 64x64 크기의 작은 패치들로 나누고, 저비트의 흐릿한 버전만 보고도 원래의 전체 크기 패치를 예측하도록 확산 모델을 학습시킵니다. 이는 탐정에게 특정 직물의 아주 작고 뭉툭한 조각만 만져보고도 그 질감을 알아맞히도록 가르치는 것과 같습니다.
재구성: 모델을 축소할 때, ReRound는 단순히 숫자를 반올림하지 않습니다. 훈련된 탐정(확산 모델)을 통해 흐릿한 저비트 숫자들을 통과시켜 '재구성된' 가중치를 생성합니다. 이것이 최종 가중치는 아닙니다. 일종의 가이드입니다. 마치 탐정이 "이 흐릿한 픽셀이 중간 지점 근처에 있지만, 전체 패치의 패턴을 보니 원래는 조금 더 높아야 한다"라고 말하는 것과 같습니다.
스마트한 반올림: ReRound는 표준 규칙이 정말로 혼란스러워할 때(중간 지점 근처일 때)만 이 탐정의 조언을 사용합니다. 숫자가 명확하게 바닥이나 천장에 가깝다면 표준 규칙을 따릅니다. 하지만 숫자가 중간에서 흔들린다면, Re-Round는 재구성된 값을 확인합니다. 만약 재구성된 값이 반대 방향으로 반올림할 것을 제안하고, 그 '거리'가 중간 지점에서 너무 멀지 않다면, ReRound는 스위치를 전환합니다.
안전 점검: 너무 많은 스위치를 바꿔서 모델을 망가뜨리지 않도록, Re-Round는 '허용 오차(tolerance)'를 조금씩 다르게 설정하여 몇 가지 다른 버전의 축소된 모델을 생성합니다. 그런 다음 행렬의 '골격'(특이값, singular values)을 살펴보고 승자를 결정합니다. 즉, 원래의 전체 모델이 가진 가장 중요한 구조적 패턴을 가장 잘 유지하는 버전을 선택합니다.

결과는 인상적이며, 특히 작은 규모의 AI 모델에서 두드러집니다. 논문은 Re-Round가 3비트 및 4비트 정밀도로 모델을 압축할 때 표준적인 '최근접 반올림(RTN)' 방식보다 일관되게 우수함을 보여줍니다. 예를 들어, Gemma 2 2B 및 Gemma 3 1B와 같은 모델에서 Re-Round는 다양한 언어 작업에 걸쳐 정확도를 0.1에서 1.3 포인트까지 향상시켰습니다. 어떤 경우에는 '교정 데이터(calibration data, AI가 반올림하는 법을 배우기 위해 수천 개의 예시 문장을 입력하는 것)'를 필요로 하는 방식보다도 뛰어난 성능을 보였는데, Re-Round는 추가 데이터 없이도 독자적으로 작동했기 때문입니다. Re-Round는 오직 모델 자체의 가중치만을 사용하여 오프라인에서 모든 작업을 수행했습니다.

저자들은 이 방법이 모든 문제에 대한 마법의 해결책은 아니라는 점을 분명히 합니다. 이 방법은 양자화 파라미터(스케일 및 제로 포인트 등)가 이미 고정되어 있을 때 가장 잘 작동합니다. 또한 각 특정 AI마다 별도의 확산 모델을 학습시켜야 하므로, 사전에 약간의 시간과 컴퓨팅 자원(모델당 약 2~3시간의 학습 및 몇 시간의 추론 시간)이 필요합니다. 하지만 일단 완료되면, 모델을 축소하는 실제 과정은 단 몇 초에서 몇 분 만에 끝날 정도로 빠릅니다.

결정적으로, Re-Round는 여러분의 스마트폰이나 노트북에서 AI가 실행되는 방식을 바꾸지 않습니다. 단지 메모리에 저장되는 최종 정수 숫자들을 바꿀 뿐입니다. 이는 AI가 이전과 똑같이 빠르게 실행되면서도, 더 많은 지능을 보존할 수 있음을 의미합니다. 이 논문은 '재구성된 가중치'를 반올림의 가이드로 사용하는 이 접근 방식이 AI를 더 작고 똑똑하게 만드는 새로운 표준이 될 수 있음을 시사하며, 때로는 최선의 결정을 내리는 방법이 숫자를 고립시켜 보는 것이 아니라, 그 이웃에게 의견을 묻는 것임을 증명합니다.

기술 요약: ReRound – 미드포인트 모호성 해결을 위한 재구성적 반올림 기반의 캘리브레이션 프리 LLM 양자화

1. 문제 정의

사후 학습 양자화(Post-training quantization, PTQ)는 풀 프리시전(full-precision) 가중치를 저비트 정수로 매핑함으로써 대규모 언어 모델(LLM)의 저장 공간과 메모리 점유율을 줄입니다. 이 과정의 핵심 단계는 양자화된 부동 소수점 가중치를 인접한 하한(floor) 또는 상한(ceiling) 정수 중 하나로 할당하는 최종 반올림 결정입니다.

표준 RTN(Round-to-Nearest) 방식은 오직 스칼라 거리만을 기준으로 이러한 결정을 내립니다. 이는 정수 경계 근처의 가중치에는 모호함이 없으나, 양자화 구간의 중심부(예: $r \approx 0.5$ ) 근처의 가중치에서는 **미드포인트 모호성(midpoint ambiguity)**을 야기합니다. 이 영역에서는 반올림 시 발생하는 스칼라 오차가 거의 동일합니다. 결과적으로 RTN의 결정은 이러한 모호한 구역에서 임의적일 수 있으며, 이러한 결정의 작은 집합이 선형 레이어 전체의 반올림 패턴을 크게 변화시켜 모델 정확도를 저하시킬 수 있습니다. 기존 방법들은 양자화 파라미터(scale, zero-point)를 최적화하거나 캘리브레이션 데이터를 사용하여 반올림 할당을 학습하지만, 활성화 샘플이나 다운스트림 레이블에 의존하지 않고 반올림 단계 자체의 모호성을 직접 다루는 방법은 드뭅니다.

2. 방법론: ReRound

ReRound는 사전 학습된 LLM 자체의 가중치로부터 직접 학습된 정보를 활용하여 미드포인트가 모호한 RTN 결정을 재검토하는 캘리브레이션 프리(calibration-free) 프레임워크입니다. 이 방법은 세 가지 주요 단계로 구성됩니다.

A. 확산 모델을 통한 조건부 가중치 재구성

ReRound는 사전 학습된 LLM의 가중치 행렬을 대상으로 조건부 확산 모델(구체적으로 U-Net)을 학습시킵니다.

학습: 모델은 저비트 확률적 반올림(stochastic rounding, SR) 버전( $P_{low}$ )을 조건으로 하여 풀 프리시전 가중치 패치( $P$ )를 재구성하는 법을 배웁니다. 타겟은 연속적인 풀 프리시전 패치이며, 조건은 양자화된 관측값입니다.
추론: PTQ 단계 동안, 모델은 결정론적인 RTN 양자화 가중치( $P_{cond}$ )를 조건으로 하여 연속적인 재구성 가중치( $W_{rec}$ )를 생성합니다.
목적: 이 재구성된 가중치는 모델 파라미터로 직접 배포되지 않습니다. 대신, 특정 LLM 내의 가중치 분포를 반영하는 학습된 사전 지식(prior) 역할을 수행하여 반올림 모호성을 해결하기 위한 근거를 제공합니다.

B. 위치 의존적 허용 오차를 이용한 재구성 가이드 반올림

ReRound는 재구성된 가중치를 사용하여 원래의 RTN 결정과 반대되는 인접 정수(floor에서 ceiling으로, 또는 그 반대로 전환)로의 대안적인 반올림 할당을 제안합니다.

제안 조건: 재구성된 가중치( $\tilde{w}_{rec}$ )가 원래의 RTN 할당( $q_{rtn}$ )과 다른 반대 방향의 인접 정수( $q_{alt}$ )로 반올림될 때만 변경을 제안합니다.
위치 의존적 허용 오차: 모든 제안이 수용되는 것은 아닙니다. ReRound는 가중치의 양자화 구간 내 소수점 위치 $r$ $r$ 에 기반한 허용 오차 메트릭 $\tau_{pos}(r; \tau)$ $τ_{p os} (r; τ)$ 를 사용합니다.
- 중간 지점( $r \approx 0.5$ ) 근처에서는 허용 오차가 높아 재구성 가이드에 의한 변경이 가능합니다.
- 정수 경계 근처에서는 허용 오차가 지수적으로 감소하여, 스칼라 오차 차이가 유의미한 표준 RTN 결정을 보존합니다.
- 변경은 재구성된 값과 원래 값 사이의 편차가 위치 의존적 허용 오차 범위 내에 있을 때만 수용됩니다.
후보 생성: 허용 오차 파라미터 $\tau$ 를 스윕(sweep)함으로써, ReRound는 수용된 반올림 수정 사항들을 나타내는 서로 다른 후보 양자화 정수 가중치 행렬 집합( $Q_\tau$ )을 생성합니다.

C. 스펙트럴 선택 (Spectral Selection)

캘리브레이션 데이터 없이 최적의 후보를 선택하기 위해, ReRound는 가중치 전용 스펙트럴 기준을 사용합니다.

각 후보 행렬 $Q_\tau$ 는 연속 행렬 $W_\tau$ 를 형성하도록 역양자화됩니다.
$W_\tau$ 의 주요 특이값(leading singular values)을 원래의 풀 프리시전 행렬 $W$ 의 특이값과 비교합니다.
스펙트럴 불일치(spectral discrepancy)가 가장 작은(지배적인 특이값들이 가장 잘 일치하는) 후보가 최종 양자화 가중치 행렬로 선택됩니다. 이는 선택된 반올림 패턴이 원래 레이어의 지배적인 구조적 모드를 보존함을 보장합니다.

3. 주요 기여

ReRound 프레임워크: 미드포인트 모호한 반올림 결정을 가이드하기 위해 모델 자체의 가중치로부터 학습된 사전 지식을 활용하는 새로운 캘리브레이션 프리 접근 방식을 제시합니다.
위치 의존적 허용 오차: 중간 지점 영역을 우선시하면서 경계 근처의 RTN을 보존하도록 재구성 가이드 변경을 동적으로 제어하는 메트릭을 도입했습니다.
스펙트럴 선택 기준: 활성화 샘플, 텍나 텍스트 캘리브레이션, 또는 다운스트림 레이블 없이 특이값 보존을 기반으로 최적의 양자화 정수 행렬을 선택하는 방법을 제공합니다.
호환성: 이 방법은 완전히 오프라인으로 작동하며, 스케일(scales), 제로 포인트(zero-points) 및 추론 절차를 변경하지 않고 오직 양자화된 정수 할당만을 수정하므로, 다른 PTQ 방법의 파라미터를 정교화하는 데도 유용합니다.

4. 실험 결과

본 논문은 3비트 및 4비트 가중치 양자화에 대해 다양한 소규모 LLM(예: Gemma 2 2B, Gemma 3 1B, Qwen3 1.7B, OLMo 2 1B)을 대상으로 ReRound를 평가합니다.

캘리브레이션 프리 베이스라인 대비: ReRound는 테스트된 모든 모델에서 표준 그룹 단위 RTN 및 기타 캘리브레이션 프리 방법(HQQ, BNB FP4, Hadamard-transformed RTN)보다 일관되게 우수한 성능을 보입니다. 모든 모델의 3비트 양자화에서 가장 높은 평균 정확도를 달하며, 대부분의 4비트 양자화에서도 최고 수준의 결과를 달성하거나 능가합니다.
캘리브레이션 종속 베이스라인 대비: ReRound는 캘리브레이션 데이터를 사용하지 않고도 여러 모델(예: Gemma 2 2B에서 SignRound의 67.0% 대비 67.4%의 평균 정확도 달성)에서 GPTQ, AdaRound, SignRound와 같은 캘리브레이션 종속 방법보다 뛰어난 성능을 보입니다.
어블레이션 연구(Ablation Studies): 재구성 가이드, 위치 의존적 허용 오차, 또는 스펙트럴 선택 중 하나라도 제거하면 정확도가 낮아지며, 이는 전체 파이프라인의 필요성을 입증합니다.
일반화 가능성: ReRound는 다른 방법(예: SINQ)에 의해 생성된 양자화 파라미터에 적용될 때도 RTN 베이스라인을 개선하며, 사후 정교화 도구로서의 유용성을 보여줍니다.
효율성: 이 방법은 저비트 추론 시 추가적인 오버헤드를 발생시키지 않습니다. 오프라인 비용은 모델당 한 번의 확산 모델 학습 실행과 모델당 몇 초 내에 완료되는 빠른 PTQ 선택 단계로 구성됩니다.

5. 의의 및 주장

Re-Round는 사전 학습된 가중치의 구조적 패턴을 효과적인 사전 지식으로 활용하는 새로운 양서화(paradigm)를 제시합니다. 이 논문의 주요 의의는 다음과 같습니다.

모호성 해결: 단순한 휴리스틱 규칙 대신 학습된 사전 지식을 사용하여, 표준 RTN의 알려진 한계인 "미드포인트 모호성" 문제를 구체적으로 해결합니다.
캘리브레이션 프리 효율성: 캘리브레이션 데이터 없이도 캘리브레이션 종속적 접근 방식과 경쟁할 수 있는 최첨단 정확도를 달 achieve 함으로써 비용이 많이 드는 캘리브레이션 데이터셋의 필요성을 제거합니다.
추론 보존: 양자화 그리드와 추론 로직을 RTN과 동일하게 유지하면서 정수 할당만을 변경함으로써, 원활한 배포를 보장합니다.

저자들은 모델별 별도의 확산 모델이 필요하다는 점(오프라인 비용 발생)과 현재 소규모 LLM에 집중되어 있다는 점을 한계로 언급했습니다. 향후 연구로는 가중치 사전 지식을 모델 간에 전이하는 방법과 양자화 파라미터를 공동으로 최적화하는 방안을 제시했습니다.