기술 요약: 킬로바이트 모델 (Kilobyte Models)

문제 정의

학습된 신경망의 저장 및 전송 비용는 파라미터 수에 선형적으로 비례하며, 이는 에지 디바이스, 무선 업데이트(over-the-air updates), 대규모 스케일의 어댑터와 같이 대역폭이 제한된 배포 환경에서 결정적인 병목 현상을 야기한다. 프루닝(pruning), 양자화(quantization), 저계수 분해(low-rank factorization), 증류(distillation)와 같은 표준 압축 기술들은 가중치 텐서의 기술(description)을 줄여주지만, 여전히 원래 파라미터 집합의 상당 부분을 저장해야 한다는 한계가 있다. 저자는 배포 가능한 아티팩트(artifact)가 가중치 자체가 아니라, 가중치를 재생성하기 위한 압축된 "레시피(recipe)"가 되어야 한다는 극단적인 압축 패러다임의 필요성을 제기한다.

방법론

본 논문은 신경망을 하나의 결정론적인 정수 시드(integer seed)와 짧고 양자화된 잠재 벡터(latent vector)로 표현하는 킬로바이트 모델(Kilobyte Models) 프레임워크를 소개한다. 이 접근 방식은 네트워크 가중치를 압축된 학습 가능 잠재 벡터와 고정된 무작위 기저(random basis)의 비선형 함수로 표현하는 매핑 네트워크(Mapping Networks) (Sen and Mukherjee 2026)를 기반으로 한다.

핵심 메커니즘

1. 재매개변수화(Reparameterization): 가중치 $\theta$를 직접 최적화하는 대신, 모델은 $d \ll P$ (여기서 $P$는 총 파라미터 수)인 잠재 벡터 $z \in \mathbb{R}^d$를 최적화한다. 가중치는 고정된 맵 $g(z)$를 통해 생성된다:
   $$g(z) = \sigma(W_0 z + \alpha \|z\|_2^2 \mathbf{1} + b_0)$$
   여기서 $W_0$는 고정된 투영 행렬(projection matrix)이고, $b_0$는 고정된 초기화 중심이며, $\sigma$는 비선형 함수(tanh)이다.
2. 시드 기반 재생(Seed-Based Regeneration): 고정된 구성 요소($W_0$ 및 $b_0$)는 저장되지 않는다. 대신, 이들은 재현 가능한 블록 단위 무작위 기저를 사용하여 정수 시드 $s$로부터 결정론적으로 재생성된다. 이를 통해 수신자는 시드를 보유하고 있다면 전체 투영 행렬을 저장하지 않고도 이를 재구성할 수 있다.
3. 아티팩트 구성: 배포 가능한 아티팩트 $A$는 다음으로 구성된다:
   • 시드 ($s$): 기저를 재생성하는 데 사용되는 64비트 정수 (8 바이트).
   • 양자화된 잠재 벡터 ($Q_b(z^*)$): $b$ 비트로 양자화된 학습된 잠재 벡터.
   • 정규화 파라미터 ($\theta_{norm}$): 생성 맵의 범위를 벗어나 있으므로 그대로 저장되는 작은 규모의 정규화 아핀 파라미터(scale/shift).
4. 확장 가능한 기저 생성: 투영 행렬이 디바이스 메모리를 초과하는 네트워크를 처리하기 위해, 저자는 블록 단위 생성 전략을 채택한다. 행렬은 마스터 시드와 블록 인덱스의 조합으로 시딩된 의사 난수 생성기를 사용하여 행 단위로 구축되며, 이를 통해 전체 행렬을 메모리에 올리지 않고도 구현 가능하다.
5. 델타(Delta)로서의 미세 조정: 이 프레임워크는 잠재 벡터를 압축된 어댑터로 취급함으로써 미세 조정(fine-tuning)으로 확장된다. 맵은 고정된 사전 학습된 베이스 모델로부터의 변위(displacement)를 생성한다 ($\theta_{ft} = \theta_{pre} + W_0 z$). 따라서 시드와 양자화된 델타만을 전송하면 된다.

학습 체계

• 단일 잠재 벡터 학습 (SLVT): 단일 잠재 벡터가 모든 파라미터를 생성한다.
• 레이어별 학습 (LWT): 각 레이어에 별도의 잠재 벡터를 할당하여, 레이어의 난이도에 따라 잠재 예산(latent budget)을 더 세밀하게 제어하고 할당할 수 있다.
• 양자화 전략: 논문은 공격적인 비트 폭 감소에서도 성능을 유지하기 위해, 잠의 의한 반올림(simulated rounding)을 적용하여 잠재 벡터를 미세 조정하는 사후 학습 양자화(PTQ)와 양자화 인식 학습(QAT)을 모두 평가한다.

주요 기여

1. 킬로바이트 모델의 공식화: 저자는 배포 가능한 아티팩트의 크기가 파라미터 수 $P$가 아닌 잠재 차원 $d$와 비트 폭 $b$에 의해 결정됨을 정의하여, 저장 용량과 용량(capacity) 사이의 트레이드오프를 공식화하였다.
2. 시드 기반의 확장 가능한 기저: 대규모 네트워크를 위해 투영 행렬을 메모리에 상주시키지 않고도 가중치 재생성을 가능하게 하는 블록 단위의 재현 가능한 무작위 기저를 도입하였다.
3. 미세 조정 적응: 파라미터 효율적 미세 조정 방법들에 대한 초압축 대안으로서, 사전 학습된 모델을 위한 킬로바이트 크기의 어댑터를 만드는 방식으로 매개변수화를 확장하였다.
4. 경험적 검증: 킬로바이트 모델이 공격적으로 양자화된 네트워크의 정확도에 필적하면서도 훨씬 적은 저장 공간을 차지함을 입증하였다.

실험 결과

저자는 다양한 데이터셋(MNIST, FashionMNIST, Beijing Air Quality, HIGGS, Covertype, Oxford-II-Pets)에 대해 CNN, LSTM, MLP를 대상으로 접근 방식을 평가하였다.

• 극한의 압축: 4비트 매핑 모델은 단 2 KB의 저장 공간만 사용하여 MNIST에서 98.6%의 정확도를 달성했다 (양자화된 베이스라인 대비 26배 감소).
• 회귀 작업: 시계열 회귀 작업에서 4비트 QAT 모델은 단 140 바이트를 사용하여 0.00061의 MSE를 달성하였으며, 이는 전체 정밀도(full-precision) 모델보다 약 370배 더 작다.
• 미세 조정 효율성: Oxford-II-Pets 데이터셋에 대해 ResNet-50을 미세 조정할 때, 4비트 QAT 어댑터는 단 4 KB만으로 88.4%의 정확도에 도달했다. 반면, 4비트로 압축된 전체 ResNet-50은 2.9%의 정확도로 붕괴되었다.
• SOTA와의 비교: 킬로바이트 어댑터는 엄격한 킬로바이트 예산(유사한 정확도를 위해 4 KB vs 13.9 KB) 하에서 VeRA(파라미터 효율적 방법)보다 우수한 성능을 보였다. LoRA와 VeRA는 더 큰 저장 예산(최대 0.6 MB)에서는 더 높은 정확도를 달성했지만, 킬로바이트 모델은 초저용량 영역에서 우월한 성능을 유지했다.
• 양자화 영향: 낮은 비트 폭(4비트)에서 정확도를 유지하기 위해서는 양자화 인식 학습(QAT)이 필수적이었던 반면, 사후 학습 양자화(PTQ)는 심각한 성능 저하를 겪었다.

의의 및 주장

본 논문은 킬로바이트 모델이 모델의 저장 크기를 파라미터 수로부터 분리함으로써 대역폭이 제한된 배포를 위한 강력한 전략이 될 수 있다고 주장한다. 저자는 모델의 저장 용량을 완전히 잠재 공간(latent space)으로 전이하고 재현 가능한 무작위 기저를 활용함으로써, 높은 정확도를 유지하면서도 모델을 킬로바이트 단위로 저장하고 전송할 수 있음을 보여준다.

저자는 이 연구가 표준 압축 기술을 대체하기보다는 보완하는 역할을 한다고 위치시킨다. 표준 방식들이 가중치 텐서를 축소하는 데 집중한다면, 킬로바이트 모델은 최적화 과정에서부터 전체 가중치 집합을 표현하는 것 자체를 피한다. 이 프레임워크는 특히 저장 용량이 구속 조건인 시나리오(예: 에지 디바이스를 위한 무선 업데이트)에서 매우 중요하며, 전체 미세 조정이나 표준 파라미터 효율적 방법과 비교했을 때 아티팩트 크기를 5배에서 160배까지 줄일 수 있다(단, 복잡한 데이터셋에서는 약간의 정확도 손실이 있을 수 있음).

인정된 한계점:

• 추론 연산량: 이 방법은 추론 전 가중치를 조밀한 부동 소수점 값으로 재생성하므로, 추론 지연 시간(latency)이나 메모리 사용량을 압축하지는 않는다.
• 용량 병목: 정확도는 잠재 차원 $d$에 의해 제한되며, 이로 인해 어려운 데이터셋에서는 전체 네트워크와 약간의 성능 격차가 발생한다.
• 의존성: 미세 조정을 위해서는 배포 디바이스에 사전 학습된 베이스 모델이 존재해야 한다.
• 아키텍처 범위: 현재 구현은 트랜스포머(Transformers)나 대규모 언어 모델(LLM)까지 확장되지 않았다.