Error Analysis of Matrix Multiplication Emulation Using Ozaki-II Scheme

技術要約：Ozaki-IIスキームを用いた行列積エミュレーションにおける誤差解析

問題提起
現代のAIハードウェア、特にINT8行列エンジンを搭載したGPUは、低精度演算において極めて高いスループットを提供し、ネイティブな単精度（FP32）および倍精度（FP64）浮動小数点演算を大幅に上回る性能を発揮する。しかし、古典的なハイパフォーマンス・コンピューティング（HPC）や多くの機械学習のワークロードは、より高い精度の数値的信頼性を必要とする。低精度の演算シーケンスを用いて高精度な結果を再構成するエミュレーション手法は存在するが、これらの手法の精度は、すべての入力分布に対して保証されているわけではない。具体的には、中国剰余定理（CRT）を利用して行列積をエミュレートするOzaki-IIスキームは、高いパフォーマンスを示す一方で、厳密な決定論的誤差解析が欠如していることが指摘されている。先行研究では、入力行列が広い指数分布を持つ場合にスキームの精度が低下し、精度を維持するために多数の低精度乗算が必要になることが示されている。理論的な境界（バウンド）がなければ、特定の精度目標を達成するために必要なモジュラス（法）の数を決定することは困難である。

手法
本論文は、単精度（SGEMM）および倍精度（DGEMM）の両方における、General Matrix-Matrix Multiplication（GEMM）に適用されるOzaki-IIスキームに対する厳密な決定論的誤差解析を提示している。その手法は以下の通りである：

1. Ozaki-IIスキームの定式化： 著者らは、対角スケーリングと切り捨てを通じて、浮動小数点行列 $A$ および $B$ を整数行列 $A'$ および $B'$ へと変換するエミュレーションプロセスを詳述している。これらの整数は、互いに素な整数 $p_\ell$ を法として分解される。積はINT8行列エンジンを用いて計算され、その結果はCRTを用いて再構成されて、積の整数近似を形成し、最終的に浮動小数点形式へと再スケーリングされる。
2. 誤差境界の導出： 著者らは、総誤差を以下の3つの主要な成分に分解している：
   • 切り捨て誤差（Truncation Error）： 浮動小数点入力からスケーリングされた整数への変換に起因する誤差。
   • 累積誤差（Accumulation Error）： 高精度浮動小数点演算におけるモジュロ積の総和に起因する誤差。
   • 最終還元誤差（Final Reduction Error）： CRTの再構成および再スケーリングのステップで発生する誤差。
3. 理論的証明： 論文では、候補解の一意性、切り捨て誤差および累積誤差の境界、ならびに再構成で使用される丸め操作の妥当性を確立する一連の補題（Lemma）の形式的な証明を提供している。これらの補題は、計算結果 $C_b$ に対する誤差 $|AB - C_b|$ の決定論的な上限を与える**定理2（Theorem 2）**へと集約される。
4. 実験的検証： NVIDIA GeForce RTX 4090 GPUを用いた数値実験が行われた。解析から導出された理論的な誤差境界は、様々なダイナミックレンジ（パラメータ $\phi$ によって制御）を持つ行列に対して、観測された数値誤差と比較された。

主な貢献

• 厳密な決定論的誤差解析： 主要な貢献は、Ozaki-IIスキームに対する決定論的な誤差境界（定理2）の導出である。この境界は、入力行列の指数分布と、CRTで使用されるモジュラスの数（$N$）を明示的に関連付けている。
• 洗練された境界： 本論文は、中間整数積 $|A'B'|$ に依存するよりタイトな境界（式16）と、この項を定数の上限に置き換えた、より保守的だが計算コストの低い境界（式20）の2種類の誤差推定を提供している。
• 精度の挙動の検証： 本解析は、なぜスキームの精度が入力の指数分布に依存するのかを理論的に説明し、モジュラスの数を増やすことで切り捨て誤差が減少し、精度が向上することを確認している。
• 実装詳細の正当性の証明： 著者らは、定数へのダブルダブル（double-double）演算の使用や、INT8ラップ（wrapping）の特定の扱いといった具体的な実装上の選択が、最終的な結果を損なうような無制限の誤差を導入しないことを証明している。

結果

• 理論的誤差 vs 観測誤差： RTX 4090における数値実験により、SGEMMおよびDGEMMの両方における観測されたエミュレーション誤差が、定理2で導出された理論的推定値によって一貫して抑えられていることが示された。
• 境界の緊密性： 保守的な境界（式20）と比較して、タイトな境界（式16）の方が観測された誤差の範囲をより正確に捉えることが判明した。しかし、保守的な境界は、潜在的に高価な $|A'B'|$ の計算ではなく、行列ベクトル積のみに依存するため、堅牢な誤差推定として実用的であることが示された。
• ネイティブ精度との比較： 結果は、ネイティブなFP32およびFP64ルーチンと比較したエミュレーションの相対的な精度を明らかにし、適切な数のモジュラスを構成することで、Ozaki-IIスキームが高精度を達成できることを裏付けた。

意義
本論文は、この誤差解析がOzaki-IIスキームの将来の開発における重要な基盤を提供すると主張している。具体的には、入力行列の指数分布に基づいて、目的の数値精度を達成するためのモジュラスの数などの「精度に関連するパラメータの自動チューニング」を可能にする。入力特性と数値的信頼性の関係を明確にすることで、本解析は、スキームの高いパフォーマンスと可変的な精度の間のギャップを埋め、現代のAIハードウェアにおける汎用的な高精度コンピューティングへの適用可能性を高めている。著者らは、この解析的枠組みが、将来の研究において複素数行列積のエミュレーションにも拡張可能であると述べている。