技術要約：プログラム合成としてのロスレス・テンソル圧縮（Brevis）

問題提起

大規模言語モデル（LLM）やその他のディープラーニング・アーキテクチャの急速な普及により、モデル・チェックポイントの数とサイズは指数関数的に増大している。これらの資産を保存、転送、デプロイすることは、ますますコストがかかるようになっている。gzipやzstdのような汎用圧縮器は広く利用されているが、これらはテンソルの重みを一般的なバイト列として扱うため、テンソルの特定の構造的特性（データ型、形状、浮動小数点レイアウト、要素間の関係など）を無視してしまう。対照的に、既存のテンソル特化型圧縮器は、固定された形式固有のパイプラインや、定義済みの変換に依存することが多く、繰り返される値、頻出する部分シーケンス、あるいは要素間の単純な関係といった、多様でテンソル固有のパターンを捉えきれない場合がある。

核心となる課題は、固定された事前定義済みのスキームに頼ることなく、各テンソルのユニークな構造に適応するロスレス（ビット完全）な圧縮を実現することである。

手法：Brevis

著者らは、ロスレス・テンソル圧縮をプログラム合成問題として定式化するBrevisを提案する。Brevisは、固定のコーデックを選択するのではなく、各テンソルに対して、実行時に元のテンソルをビット単位で完全に再構成できる、コンパクトで自己完結型のプログラムを合成する。

1. 型付きドメイン固有言語（DSL）

Brevisは、繰り返されるテンソル構造を捉えるために設計された、可逆的なオペレータを持つ型付きDSLを採用している。

• Lit: 様々な物理エンコーディング（生のワード、ビットパッキング、Huffman、rANS）を用いて任意のワード・ストリームを格納するユニバーサルなフォールバックであり、最小の表現を選択する。
• Const: 単一のワードとその繰り返し回数を格納する。
• Concat: 隣接する領域のプログラムを結合する。
• Repeat: 非空のチャイルド・プログラムを複数回展開し、繰り返される部分シーケンスを捉える。
• Map: 幅を維持する全単射（例：XOR、剰余加算、ZigZag、Grayコーディング）を適用し、単純な文字列としては見えない関係性を顕在化させる。
• Scan: 初期ワードとその後の更新（XORまたは剰余加算）を格納し、隣接する相関関係を顕在化させる。
• Merge: 親の幅の合計が親の幅に一致する、等長のチャイルド同士を結合する。これは、浮動小数点のフィールド（符号、指数、仮数）やビットプレーンの分割に有用である。

2. 目標指向の合成と有界A*探索

合成プロセスは、$Exec(P) = Bits(X)$かつ$L(P)$を最小化するようなプログラム$P$ を探索する。

• 逆方向探索: プログラムを列挙するのではなく、Brevisはターゲットとなるテンソルから逆方向に探索を行う。部分プログラム内のすべての「穴（hole）」は、それが生成しなければならない正確なストリームとペアになる。分解された子要素の出力の合成がターゲットを正確に再構成する場合にのみ、オペレータが適用される。
• チェックポイント特化型の生成事前分布: 探索を効率的に導くため、Brevisはチェックポイント内のテンソルの小さな決定論的サンプルから、DSLの生成に関する確率分布を学習する。この事前分布は、モデル固有の構造的傾向（例：特定のレイヤーにおけるRepeatやMergeの頻繁な使用）を捉える。
• 有界A*アルゴリズム: 探索は、$g(s) + h(s)$ によって状態が優先順位付けされる有界A*アルゴリズムを使用する。
  • $g(s)$ は学習された事前分布に基づく累積コストである。
  • $h(s)$ は、残りの完了コストに対する許容的なヒューリスティックである。
  • バイトの下限値（$LB_L$）は、現在の最良の解を改善できない状態を枝刈りする。
  • 探索は、展開予算（例：メインの評価における1テンソルあたり1回の展開）およびノード数・深度制限によって制約される。

3. アーカイブ形式と再構成

生成されたアーカイブは、元のsafetensorsのヘッダーとレイアウトを保持する。各テンソル・レコードには、その名前、dtype、shape、および合成されたプログラムが含まれる。デコンプレッション（展開）では、プログラムを解析し、型ルールを検証し、探索や学習された事前分布なしに直接実行することで、ビット完全な再構成を行う。

主な貢献

1. 定式化: 本論文は、ビット完全なチェックポイント圧縮をプログラム合成として定式化し、各テンソルをコンパクトで自己完結型のDSLプログラムとして表現する。
2. DSL設計: 多様なテンソル構造（値、シーケンス、フィールド、およびプレーン）を捉え、かつビット完全な再構成を保証する、可逆的なオペレータを備えた型付きドメイン固有言語。
3. 合成アルゴリズム: 小さなサンプルから学習されたチェックポイント特化型の生成事前分布によって導かれる有界A*合成アルゴリズムにより、実用的な予算内で効率的なコンパクト・プログラムの発見を可能にする。
4. 評価: 言語、オーディオ、画像を含む10個の公開チェックポイント（計2.13 TBのデータ）を用いた包括的な評価。

結果

著者らは、言語、オーディオ、画像生成にわたる10個の公開チェックポイント（2.13 TBのソースデータ）に対してBrevisを評価した。

• ストレージ削減: Brevisは2.13 TBのデータを1.41 TBに削減し、33.93%のストレージ削減を達成した。
• 汎用圧縮器との比較: Brevisは、10個の全チェックポイントにおいて、zstd、gzip、LZ4、およびSnappyよりも小さなアーカイブを作成した。これらのベースラインに対する平均削減率は、**zstdに対して12.94%、Snappyに対して30.87%**であった。
• テンソル特化型圧縮器との比較:
  • ZipNNと比較して、Brevisはすべての10個のチェックポイントでより小さなアーカイブを作成し、合計で10.21 GB削減した。プールされた節約量は0.72%（チェックポイントあたりの平均節約量は0.71%）であった。
  • DFloat11と比較した場合（検証済みのネイティブな結果が存在するLlama-3.1-8Bのチェックポイントにおいて）、Brevisは2.90%小さかった（316.27 MBの節約）。
• スループット: 実用的な並列構成の下で、Brevisは3.60 GB/sの圧縮および6.61 GB/sの展開を達成した。これはパレート最適解上に位置しており、汎用圧縮器よりも優れたストレージ削減を実現しつつ、競争力のあるスループットを維持している。
• 統計的有意性: すべてのペア比較におけるベースラインに対する改善は、Holm補正後も統計的に有意であった（$p_H = 0.0098$）。

意義と主張

本論文は、圧縮をプログラム合成として扱うことで、Brevisが固定されたパイプラインの限界を克服できることを主張している。これは、自己完結型のプログラムが、汎用コーデックが見逃す特定の構造的冗長性に適応し、高度に効率的なビット完全なテンソルの表現となり得ることを示している。

著者らは、以下の点を強調している：

• すべてのソースバイトを保持する（ビット完全）。これにより、損失ありの手法（量子化やプルーニング）とは異なり、アーカイブや正確なチェックポイント転送に適している。
• ハードウェア固有のデコーダや、定義済みのコーデックファミリーを必要としない。
• 多様なモデルタイプやデータ形式（BF16、FP32、FP8）にわたって、大幅なストレージ節約を実現する。

著者らは、現在の実装はテンソルを独立して合成していること（クロス・テンソル合成は行わない）に触れ、評価がすべてのテンソル・ワークロードではなく公開チェックポイントを対象としていることを挙げ、限界を謙虚に認めている。著者らは、Brevisを、増大する大規模モデルのエコシステムに向けた、より適応的で構造を意識したロスレス圧縮への一歩として位置づけている。