技術要約：キロバイト・モデル（Kilobyte Models）

問題提起

学習済みニューラルネットワークのストレージおよび伝送コストは、パラメータ数に対して線形にスケールするため、エッジデバイス、Over-the-Air（OTA）アップデート、あるいは大規模にスケールするアダプターといった帯域幅制約のあるデプロイメントにおいて、決定的なボトルネックとなっている。従来の圧縮手法（プルーニング、量子化、低ランク分解、蒸留）は、重みテンソルの記述を削減するものの、依然として元のパラメータセットの大部分を保持する必要がある。著者は、デプロイ可能なアーティファクトが重みそのものではなく、それらを再生するためのコンパクトな「レシピ」となるような、極限的な圧縮パラダイムの必要性を指摘している。

手法

本論文では、ニューラルネットワークを決定論的な整数シードと短い量子化された潜在ベクトルとして表現するフレームワークであるキロバイト・モデル（Kilobyte Models）を導入する。このアプローチは、ネットワークの重みを、コンパクトで学習可能な潜在ベクトルと固定されたランダム基底の非線形関数として表現するマッピング・ネットワーク（Mapping Networks）（Sen and Mukherjee 2026）に基づいている。

コア・メカニズム

1. 再パラメータ化（Reparameterization）: 重み $\theta$ を直接最適化する代わりに、モデルは潜在ベクトル $z \in \mathbb{R}^d$ （ここで $d \ll P$ であり、$P$ は総パラメータ数）を最適化する。重みは固定された写像 $g(z)$ によって生成される：
   $$g(z) = \sigma(W_0 z + \alpha \|z\|_2^2 \mathbf{1} + b_0)$$
   ここで、$W_0$ は固定された射影行列、$b_0$ は固定された初期化中心、$\sigma$ は非線形関数（tanh）である。
2. シードに基づく再生（Seed-Based Regeneration）: 固定コンポーネント（$W_0$ および $b_0$）は保存されない。代わりに、これらは再現可能なブロック単位のランダム基底を用いて、整数シード $s$ から決定論的に再生される。これにより、受信側はシードさえ持っていれば、投影行列全体を保存することなく、その行列を再構成できる。
3. アーティファクトの構成: デプロイ可能なアーティファクト $A$ は以下で構成される：
   • シード ($s$): 基底を再生するために使用される64ビット整数（8バイト）。
   • 量子化された潜在ベクトル ($Q_b(z^*)$): $b$ ビットに量子化された学習済み潜在ベクトル。
   • 正規化パラメータ ($\theta_{norm}$): 生成マップの範囲外にあるため、そのまま（verbatim）保存される、小さな正規化アフィンパラメータ（スケール/シフト）のセット。
4. スケーラブルな基底生成: 投影行列がデバイスのメモリを超えるネットワークを扱うために、著者はブロック単位の生成戦略を採用している。行列は、マスターシードとブロックインデックスの組み合わせによってシードされた疑似乱数生成器を用いて、行ごとに構築される。これにより、行列全体の完全な実体化を回避している。
5. デルタとしてのファインチューニング: このフレームワークは、潜在ベクトルを圧縮されたアダプターとして扱うことで、ファインチューニングへと拡張される。このマップは、凍結された事前学習済みベースからの変位を生成する（$\theta_{ft} = \theta_{pre} + W_0 z$）。これにより、シードと量子化されたデルタのみを伝送することが可能となる。

学習レジーム

• 単一潜在ベクトル学習（SLVT）: 単一の潜在ベクトルがすべてのパラメータを生成する。
• 層単位学習（LWT）: 各層に個別の潜在ベクトルを割り当てることで、層の難易度に応じたより微細な制御と潜在予算の配分を可能にする。
• 量子化戦略: 量子化を伴う学習（QAT）と事後量子化（PTQ）の両方を評価している。QATでは、アグレッシブなビット幅削減を生き残るために、シミュレートされた丸め処理を用いて潜在ベクトルを微調整する。

主な貢献

1. キロバイト・モデルの定式化: 著者は、デプロイ可能なアーティファクトのサイズがパラメータ数 $P$ ではなく、潜在次元 $d$ とビット幅 $b$ によって決まることを定義し、ストレージと容量のトレードオフを定式化した。
2. スケーラブルなシード付き基底: 大規模なネットワークにおいて、投影行列をメモリ上に保持することなく重みの再生を可能にする、ブロック単位の再現可能なランダム基底を導入した。
3. ファインチューニングへの適応: パラメータ効率的な手法（PEFT）の超圧縮版として、事前学習済みモデルに対するキロバイトサイズのアダプターを作成するための拡張を行った。
4. 実証的検証: キロバイト・モデルが、アグレッシブに量子化されたネットワークと同等の精度を維持しつつ、極めて小さなストレージ容量を占有できることを示した。

実験結果

著者は、CNN、LSTM、およびMLPを用い、様々なデータセット（MNIST, FashionMNIST, Beijing Air Quality, HIGHS, Covertype, Oxford-IIIT Pets）に対して本手法を評価した。

• 極限の圧縮: 4ビットのマッピングモデルは、わずか 2 KB のストレージで MNISTにおいて98.6%の精度 を達成した（量子化ベースラインと比較して26倍の削減）。
• 回帰タスク: 時系列回帰タスクにおいて、4ビットのQATモデルは、わずか 140バイト でMSE 0.00061を達成した。これはフル精度モデルと比較して約370倍小さい。
• ファインチューニングの効率: Oxford-IIIT Petsデータセットを用いてResNet-50をファインチューニングした際、4ビットのQATアダプターは、わずか 4 KB で 88.4%の精度 に達した。対照的に、4ビットPTQで圧縮されたフルResNet-50は、精度が2.9%に崩壊した。
• SOTAとの比較: キロバイト・アダプターは、厳格なキロバイト予算（4 KB vs 13.9 KB）において、同様の精度を持つVeRA（パラメータ効率的な手法）を上回った。LoRAやVeRAは、より大きなストレージ予算（最大0.6 MB）があれば高い精度を実現できるが、キロバイト・モデルは超低ストレージ領域において優れた性能を維持した。
• 量子化の影響: 低ビット幅（4ビット）において精度を維持するためには、量子化認識トレーニング（QAT）が極めて重要であることが判明した。一方で、事後量子化（PTQ）は大幅な性能低下を招いた。

意義と主張

本論文は、モデルのストレージサイズをパラメータ数から切り離すことで、キロバイト・モデルが帯域幅制約のあるデプロイメントにおける強力な戦略となることを主張している。潜在空間への圧縮負担を完全にシフトし、再現可能なランダム基底を活用することで、高い精度を維持しながらモデルをキロバイト単位で保存・伝送できることを著者は示している。

著者は、本研究を標準的な圧縮技術の代替ではなく、補完するものとして位置付けている。標準的な手法は重みテンソル自体を縮小するが、キロバイト・モデルは最適化の段階から完全な重みセットの表現を回避する。このフレームワークは、ストレージサイズが制約となるシナリオ（例：エッジデバイスへのOTAアップデート）において特に重要であり、フルファインチューニングや標準的なパラメータ効率的手法と比較して、アーティファクトのサイズを5〜160倍削減できる。ただし、複雑なデータセットにおいては、わずかな精度のトレードオフが生じる。

認められている限界事項:

• 推論計算量: 本手法は、推論前に重みが密な浮動小数点値として再生されるため、推論レイテンシやメモリ使用量を圧縮するものではない。
• 容量のボトルネック: 精度は潜在次元 $d$ によって制限されるため、フルネットワークと比較して困難なデータセットではわずかな性能差が生じる。
• 依存関係: ファインチューニングを行うには、ベースとなる事前学習済みモデルがデプロイデバイス上に存在する必要がある。
• アーキテクチャの範囲: 現在の実装は、Transformerや大規模言語モデル（LLM）には拡張されていない。