技術的概要：方向を保持する数値表現

問題定義

現代の機械学習システムは、電力消費、リソース利用率、スループットの効率化を図るため、低精度の数値形式への依存度を高めています。スカラー量子化は実数ベクトル要素を離散アルファベットに写像し、「積符号（スカラーアルファベットのデカルト積）」を生成しますが、この構造がベクトルの方向に及ぼす幾何学的な影響はしばしば見過ごされています。

既存の大部分の研究は、平均二乗誤差やノルムベースの指標を通じて量子化を評価しています。しかし、ブロックベース形式（例：ブロック minifloat、MX 形式、IEEE P3109）の台頭は、ベクトルの方向を正確に表現する能力である方向忠実度が重要な指標であることを示唆しています。ここで扱われる中心的な問題は、積構造符号が課す幾何学的制限です。達成可能な方向の集合はスカラーアルファベットによって制約され、制約のない球面符号と比較して角度カバレッジに重大な隙間が生じる可能性があります。本論文は、標準的なスカラー形式（2 の補数、固定小数点、浮動小数点）がベクトル方向の保持において最適でないかどうか、およびこの問題を緩和するための新たなアルファベットを設計できるかどうかを検証します。

手法

著者は、積構造符号の方向カバレッジを分析するための幾何学的枠組みを採用しています。この手法は、厳密な理論分析と数値最適化、および実証的評価を組み合わせます。

理論的枠組み

1. 定義: 本論文は、有限スカラーアルファベット $A$ のデカルト積によって形成された正規化ベクトルの集合を、積符号方向集合 $P_n(A)$ として定義します。性能指標は、任意の単位ベクトルと符号内の最も近い表現可能な方向との間の最大角度距離を表す球面カバリング半径 $F_n(A)$ です。
2. 下限（調和証人）: 積符号の限界を確立するために、著者は調和数を用いて特定の「調和証人」方向を構築します。任意の有限アルファベットに対して、積構造ベクトルと本質的に整合しにくい方向が存在することを証明し、最悪ケースの角度誤差に対する解析的下限を提供します。
3. 上限（球面符号）: ランダムパッキングに関する Wyner の定理を用いて、著者は同一点数を持つ制約のない球面符号のカバリング半径の上限を導出します。
4. 漸近解析: 次元 $n$ が増加するにつれての積符号と球面符号の漸近挙動を比較し、カバリング性能における厳密な分離を証明します。
5. 標準形式の分析: 著者は、浮動小数点、固定小数点、2 の補数といった特定のアルファベットファミリーを分析し、最適な積符号に対するその非最適性のギャップを定量化します。

実験的アプローチ

1. 数値最適化: 導関数フリーの最適化フレームワーク（微分進化法とパウエル法の組み合わせ）を用いて、特定のビット幅と次元に対して最悪ケースの角度誤差を最小化するスカラーアルファベットを数値的に探索します。
2. 効率的な探索: カバリング目的関数を効率的に評価するために、著者は要素ごとの量子化におけるすべての可能なベクトルスケーリングを最適化することで、探索空間を単一の次元（スケーリング）に削減する近傍探索法の拡張を実装します。
3. 比較評価: 最適化されたアルファベットを、次元 $d=4$ から $d=64$ にわたって、標準的な 4 ビット形式（特に NVIDIA の NVFP4 E2M1、E3M0、および INT/E1M2）と比較評価します。

主要な貢献

本論文は、以下の 4 つの主要な貢献を行います。

1. 非最適性の解析的証明: 著者は、方向カバレッジにおいて積構造符号が球面符号に対して厳密に非最適であることを厳密に証明します。これは、低次元（特に 2 次元、反極性二値の場合を除く）および高次元における漸近的に成り立ちます。
2. 標準形式のギャップの定量化: 本論文は、2 の補数、固定小数点、浮動小数点といった標準形式が、積符号のクラス内において非最適であることを証明します。正規化された直交性の欠損を用いて「非最適性のギャップ」を定量化し、これらの形式が理論的限界（$\pi/2$）に収束する速度が、最適なアルファベットよりも厳密に劣ることを示します。
3. 最適化された方向保持アルファベット: 本論文は、方向カバレッジに特化して設計されたスカラーアルファベットを導出するための数値最適化アプローチを提示します。これらの最適化されたアルファベットは、既存の形式を評価するためのベンチマークとして機能します。
4. E2M1 パフォーマンスの幾何学的説明: 対数空間分析を通じて、著者は NVIDIA の E2M1 形式（NVFP4 で使用）が理論的に最適化されたアルファベットを近似していることを示します。これにより、低精度機械学習ワークロードにおけるその強力なパフォーマンスに対する幾何学的な正当性が提供されます。

結果

理論的結果

• 次元 2: アルファベットが反極性二値集合 $\{-a, a\}$ である場合を除き、積符号は球面符号に対して厳密に非最適です。
• 高次元: 任意の固定されたアルファベットサイズ $q$ に対して、球面符号が任意の積符号を厳密に凌駕する次元 $N$ が存在します。このギャップは、調和証人から導出された積符号の下限と球面符号の上限との差によって定量化されます。
• 標準形式: ビット幅 $b \ge 3$ において、標準的な浮動小数点および固定小数点形式は漸近的に非最適です。本論文は、標準形式と最適な積符号との間の具体的な定数倍のギャップ（例：4 ビット形式の場合の比率 $\approx 1.528$）を確立します。

実験的結果

• 最適化: 数値最適化により、次元 $d=4$ から $d=64$ にわたって標準形式を一貫して凌駕する、符号対称的な 4 ビットアルファベットが得られました。
• E2M1 の整合性: E2M1 形式（指数部 2 ビット、仮数部 1 ビット）は、最適化されたアルファベットと非常に近い角度誤差率を達成し、E3M0 や INT/E1M2 を大幅に凌駕しました。
• 対数空間分析: 回帰分析により、E2M1 が最適化されたアルファベットとほぼ等長写像（isometry）を示すことが明らかになりました。これは、E2M1 が実質的に、4 ビット浮動小数点ファミリーの制約への最適方向保持構造の特定の丸めであることを示唆しています。

意義と主張

本論文は、低精度数値形式の設計に対する幾何学的視点を提供すると主張しています。その意義は、従来のダイナミックレンジや精度の指標から、機械学習におけるベクトル演算に不可欠な方向保持へと設計の焦点をシフトさせる点にあります。

著者は、積符号が制約のない球面符号と比較して本質的に制限されている一方で、スカラーアルファベット的选择が依然として決定的な要因であると主張します。本論文は以下のことを実証しています。

1. 標準形式は、積構造の制約内であっても、方向保持において最適ではない。
2. 標準形式と最適な積符号の間には定量化可能なギャップが存在する。
3. E2M1 のような既存の高性能形式が成功しているのは偶然ではなく、その構造が最適な方向カバレッジの幾何学的要件と密接に整合しているためである。

本論文は、これらの知見が方向保持に特化して最適化された新しいスカラー形式の開発を動機付け、そのような表現の限界を分析するための理論的枠組みを提供すると結論付けています。著者は、形式的な証明（Lean による）、実験用コード、および最適化されたアルファベットをオープンソースリソースとして公開しています。