テクニカル・サマリー：過去へのキャリブレーション・ベット

問題提起

金融予測モデルは通常、フル精度（FP32）で学習されますが、メモリ、レイテンシ、およびハードウェアの制約を満たすために、プロダクション環境へのデプロイ時には低精度での推論が求められることがよくあります。ポストトレーニング量子化（PTQ）は、再学習なしでこれらのモデルをデプロイすることを可能にしますが、活性化関数の量子化の信頼性が決定的なボトルネックとなります。重みとは異なり、活性化の範囲は学習されたパラメータによって決定される固定値ではなく、過去のキャリブレーション・データセットから推定され、その後の推論中も固定される必要があります。

これは、キャリブレーションが過去の市場データに依存している一方で、デプロイは将来の市場条件下で行われるという、根本的なデプロイメント上の課題を生み出します。広い活性化範囲は稀な極端な値を保持しますが、典型的な値に対する数値解像度を低下させます。一方、狭い範囲は解像度を向上させますが、クリッピング（情報の欠落）を増加させます。金融予測において、市場レジームがシフトする中で、静的な活性化範囲の選択は、PTQの文脈において十分に理解されていない、極めてリスクの高い意思決定となります。既存の研究はコンピュータビジョンや言語モデルに焦点を当てており、時系列金融予測における活性化キャリブレーションが予測性能にどのように影響するかについての理解には空白が存在します。

メソドロジー

著者らは、S&P 500におけるクロスセクショナルなボラティリティ予測における、PTQのための活性化キャリブレーションに関する体系的な研究を提示しています。

• データセットとタスク: 本研究では、2008年6月から2025年12月までのS&P 500構成銘柄501社のデイリー・パネルを利用しています。タスクは、5日先のボラティリティを予測することです。パフォーマンス指標は、予測されたボラティリティ・スコアと実現ボラティリティ・スコアの間のクロスセクショナルなスペアマン相関として定義される情報係数（IC）です。
• 実験プロトコル: 8年間のテスト期間（2018年〜2025年）にわたってウォークフォワード評価プロトコルを採用しています。各テスト年 $Y$ について、モデルは $Y-8$ から $Y-2$ までで学習し、$Y-1$ で検証を行い、$Y$ でテストされます。このセットアップにより、キャリブレーション・データ（$Y-1$）がテスト期間（$Y$）に先行することを保証しています。
• モデル: 7つの代表的なニューラルアーキテクチャを評価しています：DLinear、TSMixer、TimeMixer、vanilla Transformer、PatchTST、iTransformer、およびSegRNN。合計1,260個の独立して訓練されたモデル（7つのアーキテクチャ $\times$ 8つのフォールド $\times$ 10個のシード）を分析しています。
• 量子化設定: 以下のいくつかの精度処理を比較しています：
  • FP32: フル精度ベースライン。
  • W8A8 / W4A4: 固定のキャリブレーション範囲を用いた、重みと活性化の静的量子化（INT8/INT4）。
  • W4: 重みのみの量子化（INT4の重み、FP32の活性化）。
  • Dynamic INT8: 推論中に活性化範囲を再計算する方式（リファレンスとして使用）。
• キャリブレーション戦略: 活性化範囲 $A$ を設定するための2つの主要な戦略を比較しています：
  • Abs-Max: キャリブレーション・セットにおける $\max(|x|)$。
  • Percentile: 活性化の大きさの $p$ 番目のパーセンタイル $P_p(|x|)$ を選択（例：p99、p99.9）。
• ダメージ指標: 量子化によるダメージ（$\Delta$）は、フル精度のICと量子化されたICの差として定義されます。

主要な貢献

1. 初の体系的研究: ウォークフォワード評価プロトコルの下での、金融予測におけるPTQのための活性化キャリブレーションに関する初の体系的な調査です。
2. 劣化の分解: 著者らは、4ビットの活性化による劣化が2つのコンポーネントで構成されていることを明らかにしました：
   • 範囲回復可能な損失（Range-Recoverable Loss）: 最適ではない範囲選択によって引き起こされるダメージであり、abs-maxからパーセンタイル・キャリブレーションへの切り替えによって大幅に軽減できます。
   • 残留損失（Residual Loss）: 最適な範囲選択を行っても残る、アーキテクチャ依存のダメージであり、特に再帰型（SegRNN）やマルチスケール型（TimeMixer）のモデルにおいて顕著です。
3. 市場レジームへの感度: 好ましい活性化範囲は静的ではなく、市場期間を通じて進化することを本研究は示しています。狭い範囲（パーセンタイル）は典型的な状況下では良好に機能しますが、テスト期間の市場の分散がキャリブレーション履歴を超えた場合（例：2020年のCOVIDショックのようなストレスイベント時）、大幅に性能が低下します。
4. 実用的なデプロイメント・ガイドライン: 観測されたダメージパターンに基づき、単純なパーセンタイル調整から、8ビット活性化や重みのみの量子化といったフォールバック戦略に至るまで、量子化戦略を選択するための意思決定フレームワークを提供します。

主要な結果

• 8ビットおよび重みのみの量子化: 8ビットの活性化量子化（W8A8）と4ビットの重みのみの量子化（W4）は、ほとんどのアーキテクチャにおいて、無視できる程度の予測ダメージ（通常、FP32信号の0.2%未満）しか導入しません。
• 静的4ビット活性化（W4A4）のリスク: デフォルトのabs-maxキャリブレーションの下では、静的な4ビット活性化量子化は、アーキテクチャに応じてフル精度のICの11%から62%に及ぶ大幅な性能低下を引き起こします。
  • 最も影響を受けたもの: TimeMixer（62%の損失）およびSegRNN（59%の損失）。
  • 最も影響を受けなかったもの: DLinear（損失は最小だが、ベースラインのIC自体がゼロに近い）。
• パーセンタイル・キャリブレーションによる回復: abs-maxをパーセンタイル・キャリブレーション（例：p99またはp99.9）に置き換えることで、失われた性能の大部分が回復します：
  • Transformer: ダメージの94%を回復。
  • TSMixer: 80%を回復。
  • SegRNN: 73%を回復。
  • TimeMixer: 53%を回復。
  • 回復はされるものの、再帰型およびマルチスケール型のモデルは依然としてかなりの残留感度を保持しており、これは範囲選択だけでは量子化の問題を完全に解決できないことを示唆しています。
• レイヤーごとの感度: Transformerアーキテクチャにおいて、単一のレイヤー（畳み込みトークン埋め込み）がW4A4による全ダメージの72%を占めています。この特定のレイヤーを8ビット精度に保ち、残りを4ビットに量子化することで、劣化を事実上排除できます。
• レジームのミスマッチ: テスト対象の市場がキャリブレーション期間よりもボラティリティが高い場合（例：2020年）、狭いパーセンタイル範囲は重要なテール活性化をクリップしてしまい、キャリブレーション・エンベロープ内と比較して1.5倍から3.6倍高いダメージを引き起こします。逆に、より穏やかな時期（例：2021年）には、abs-maxキャリブレーションは発生しない極端な値のために解像度を犠牲にするため、最適ではなくなります。

意義と主張

本論文は、活性化キャリブレーションは単なる数値的な実装の詳細ではなく、金融予測における信頼性の高い4ビットPTQのための第一級のデプロイメント決定事項であると主張しています。

• 戦略的含意: 選択される活性化範囲は、低精度モデルが予測的な有用性を維持できるかどうかを直接決定します。デフォルトの戦略（abs-max）は、金融時系列データの非定常性のために、不十分であることが多いです。
• 堅牢性: 8ビット量子化および重みのみの4ビット量子化は、信号損失を最小限に抑えた堅牢なデプロイパスを提供しますが、4ビットの活性化量子化には注意深いキャリブレーションが必要です。
• 実行可能なガイダンス: 著者らは以下のデプロイメント手順を提案しています：
  1. デフォルトのW4A4ダメージを測定する。
  2. ダメージが大きい場合は、デプロイ前のデータを用いてパーセンタイル範囲をスイープし、回復可能な損失と残留損失を推定する。
  3. 残留損失が高い場合は、8ビット活性化、重みのみの4ビット、またはレイヤーごとの混合精度へとフォールバックする。
  4. デプロイ中に「キャリブレーション・エンベロープ」（キャリブレーション中に観察された最大分散）を監視する。テスト条件がこのエンベロープを超えた場合は、再キャリブレーションを実行するか、より保守的な範囲（例：p99.9）またはより高い精度に切り替える。

本研究は、PTQの成功は、活性化キャリブレーションを固定された前処理ステップとしてではなく、動的なポリシー決定として扱うことに懸かっていると結論付けています。