Analysis of Floating-Point Matrix Multiplication Computed via Integer Arithmetic

以下は、提供された論文「ANALYSIS OF FLOATING-POINT MATRIX MULTIPLICATION COMPUTED VIA INTEGER ARITHMETIC（整数演算を用いた浮動小数点行列乗算の解析）」の技術的な要約です。

1. 問題の背景と課題

近年のスーパーコンピュータ（Exascale システム）は、機械学習ワークロード向けに設計されたハードウェアアクセラレータ（NVIDIA Tensor Core や AMD Matrix Core など）を活用して高いスループットを実現しています。これらのハードウェアは、低精度の浮動小数点形式（TensorFloat-32, bfloat16 など）や整数演算（INT8 など）において極めて高速ですが、従来の科学技術計算に必要な高精度（binary64）演算においては性能が低下するか、あるいはサポートされていない傾向にあります。

このギャップを埋めるため、Ozaki 方式（Ozaki scheme）と呼ばれる手法が提案されています。これは、浮動小数点行列乗算を整数行列乗算に変換して計算し、その結果を浮動小数点で累積するアプローチです。しかし、既存の手法には以下の課題がありました。

• 誤差の解析不足: 行列の行や列が badly scaled（スケールが極端に異なる）場合、アルゴリズムが精度を失ったり非効率になったりする条件が明確に定義されていなかった。
• スライスの最適化: 必要な精度を達成するために必要な「スライス（整数部分の分割数）」の数を事前に推定する安価な方法が欠けていた。
• 実装上の課題: 最新のハードウェア（NVIDIA Blackwell など）での性能と精度の実証データが不足していた。

2. 手法とアルゴリズム

Ozaki 方式の整数演算版は、以下のステップで行列積 $AB$ を近似します。

1. ブロック固定小数点表現への変換:
   • 行列 $A$ の各行と行列 $B$ の各列に対して、その行/列内の最大絶対値に基づきスケーリング因子（$\alpha_i, \beta_j$）を決定します。
   • これにより、各要素を $[0.5, 1)$ の範囲に正規化された固定小数点表現に変換します。
2. スライス（分割）:
   • 固定小数点表現を、ハードウェアの整数演算ユニット（MMA）で正確に計算可能なビット数（$t$ ビット）ごとに「スライス」に分割します。
   • $A$ を $s_A$ 個、$B$ を $s_B$ 個のスライスに分割します（$A^{(\ell)}, B^{(h)}$）。
3. 整数行列乗算と累積:
   • 各スライスの積 $A^{(\ell)}B^{(h)}$ を整数演算で正確に計算します。
   • これらの積を浮動小数点演算で累積し、最終結果を得ます。
   • 効率化のため、$A^{(\ell)}B^{(h)}$ のうち、$\ell+h$ が一定の対角線上にある項を整数演算で先に累積する改良版（Uchino et al. による）も検討されています。

3. 主要な貢献

著者らは以下の 2 つの主要な貢献を行いました。

A. 新たな誤差解析とスライス数の推定戦略

• スケーリング依存性の解明: 行列 $A$ の行または $B$ の列が badly scaled（要素間の絶対値の差が大きい）場合、相対誤差が巨大になることを理論的に証明しました。具体的には、スケーリング条件数 $\kappa_A, \kappa_B$ が大きいと、必要なスライス数 $s$ が急激に増加し、アルゴリズムが非実用的になることを示しました。
• 非対称なスライス数の提案: 従来の手法では $A$ と $B$ で同じ数のスライスを使用していましたが、著者らは $A$ と $B$ で異なるスライス数（$s_A \neq s_B$）を使用することを提案しました。
  • 一方の行列が badly scaled で他方がそうでない場合、well-scaled な方の行列のスライス数を減らすことで、精度を維持しつつ計算コスト（乗算回数）を削減できることを示しました。
• 安価な推定法: 行列の最大値と最小値の比率（$\kappa$）を計算するだけで、目標精度を達成するために必要な最小スライス数を推定する安価な戦略を提案しました。

B. 広範な数値実験とハードウェアベンチマーク

• シミュレーションと実機検証: MATLAB でのシミュレーションに加え、最新の NVIDIA GPU（H100 搭載の Grace-Hopper システムと、2025 年リリースの Blackwell B200 GPU）での実験を行いました。
• Badly Scaled 行列への脆弱性: badly scaled な行列に対して、既存の手法（Ootomo et al. や Uchino et al. の実装）が予期せぬ大誤差を示すことを確認しました。
• ブロック LU 分解への適用: 連立一次方程式を解くブロック LU 分解アルゴリズムにおいて、Schur 補更新に Ozaki 方式を適用した際、行列の種類によって最適なスライス数が異なること、そして $s_A \neq s_B$ の設定が有効であることを示しました。
• Blackwell GPU での初報告: NVIDIA Blackwell GPU 上での Ozaki 方式のパフォーマンス結果を初めて報告しました。

4. 実験結果

• 精度と性能のトレードオフ:
  • 乱数行列（均一なスケーリング）の場合、スライス数 $s=3$ で cuBLAS（標準 binary64 実装）に対し約 2.4 倍（GH200）〜7.6 倍（B200）の高速化が可能ですが、精度は $10^{-10}$ 程度まで低下します。
  • スライス数を $s=7$ または $8$ に増やすと、精度は binary64 と同等（$10^{-19}$ 程度）になりますが、性能は低下します。
  • Blackwell B200 は INT8 と binary64 の性能比が非常に大きいため（約 112.5 倍）、$s=7$ 程度でも binary64 実装を上回る性能を維持しつつ高精度を達成できる可能性があります。
• ** badly scaled 行列の問題**:
  • 条件数 $\kappa_D$ が $10^{30}$ 以上のような badly scaled な行列では、スライス数を増やしても（$s=18$ まで）、binary64 精度を達成できず、誤差が許容範囲を超えました。これは、この手法が badly scaled な行列に対しては binary64 演算の完全な代替にはなり得ないことを示唆しています。
• 高次アルゴリズムへの影響:
  • 行列乗算単体のベンチマークでは良好な結果が出ても、QR 分解や対称固有値問題（DSYEVD）などの高次アルゴリズムでは、安定性を保つためにより多くのスライス（$s=8$ など）が必要になることが示されました。

5. 意義と結論

• ハイブリッド精度計算の進展: 整数演算ユニットを活用した混合精度行列乗算は、科学技術計算における高性能化の有力な候補ですが、その適用範囲と限界を明確にしました。
• 実用的な指針: 入力行列のスケーリング状態（$\kappa$）に応じてスライス数を動的に調整する戦略は、精度と性能のバランスを最適化する上で重要です。
• 限界と今後の課題:
  • badly scaled な行列に対しては精度が保証されないため、この手法は binary64 演算の完全な代替ではなく、特定の条件下での加速技術として位置づけられます。
  • 現在の Ozaki 方式は、IEEE 754 の特殊値（NaN, 無限大, 負のゼロなど）を正しく処理できないという制限があります。
  • 今後の研究では、これらの特殊値の処理や、より広範な行列クラスに対する堅牢性の向上が求められます。

総じて、本論文は整数演算を用いた浮動小数点行列乗算の理論的基盤を強化し、実機における性能と精度の限界を明確に示すことで、次世代スーパーコンピュータにおける混合精度アルゴリズムの実用化に向けた重要な指針を提供しています。