技術的概要：不確実性トリガー型特徴経路探索による CTR 予測のための選択的テスト時計算スケーリング

1. 問題定義

本論文は、産業用クリック率（CTR）予測における根本的な非対称性に取り組む。すなわち、学習段階ではモデルが多様な特徴の組み合わせに曝されるのに対し、推論段階ではしばしば希少または未見の組み合わせに遭遇し、それが信頼性の低い予測をもたらすという点である。既存の学習段階の解決策（適応的ゲーティング、特徴相互作用アーキテクチャなど）は、それ自体が同じデータ希少性の影響を受ける固定された選択関数を学習するに留まり、展開時に特定インスタンスに対する救済策を提供しない。

推薦システムにおける現在のテスト時最適化の試みは、主に逐次行動の拡張（アイテムドロップアウトなど）に焦点を当てているが、これは CTR の希少なカテゴリカル特徴フィールドには適用不可能である。さらに、大規模言語モデル（LLM）のテスト時スケーリング技術を直接転用することは、二値 CTR 分類にはトークンレベルの生成尤度が存在しないため、実行不可能である。核心的な課題は、厳格な産業用レイテンシ制約を違反することなく、インスタンスごとの不確実性に比例して推論深度をスケーリングする、学習不要かつモデル非依存のフレームワークを開発することである。

2. 手法：UTTSI フレームワーク

著者は、事前学習済み CTR モデルの上位で動作し、そのパラメータを変更せず再学習も必要としない UTTSI（不確実性トリガー型テスト時選択的推論：Uncertainty-Triggered Test-Time Selective Inference） というフレームワークを提案する。UTTSI は、各インスタンスの推定不確実性スコアに基づき計算リソースを動的に割り当てる。

このフレームワークは、3 つの緊密に統合されたコンポーネントから構成される。

A. 頻度事前分布推定

特徴値の信頼性を定量化するため、UTTSI は訓練データにおける各特徴値の頻度を追跡する確率的ハッシュ構造（Count-Min Sketch に着想を得たもの）を維持する。これにより、オフラインかつデータレベルの信頼性シグナルが得られる。カウントは飽和閾値に対して正規化され、頻度スコア $\tilde{s}_{freq}(f_i) \in [0, 1]$ を生成する。

B. 二重シグナル不確実性推定

UTTSI は、2 つの相補的なシグナルを組み合わせることでインスタンスごとの不確実性 $u(x)$ を推定する。

1. モデル内部の信頼性（$s_{model}$）: 予測ロジットから導出され、検証セット上のロジットの 95 パーセンタイルである定数 $\gamma$ によって正規化される。これは決定境界付近の偶然的不確実性（aleatoric ambiguity）を捉える。
2. データレベルの頻度信頼性（$s_{freq}$）: 特徴頻度のアトリビューション重み付き平均である。アトリビューションは、各特徴埋め込みに対するロジットの勾配ノルム（$\|\nabla_{e_i} \text{logit}(x)\|^2$）によって計算される。これにより、実際に予測を駆動している特徴の頻度が、無関係な特徴よりも重く評価されることを保証する。

最終的な不確実性スコアは以下のように計算される。
$$u(x) = 1 - [\alpha \cdot s_{model}(x) + (1 - \alpha) \cdot s_{freq}(x)]$$
追加の探索経路の数 $K(x)$ は、この不確実性に比例して割り当てられる。$K(x) = \lfloor K_{max} \cdot u(x) \rfloor$。

C. 特徴フィルタリングと経路探索

推論プロセスは 2 つの段階で進行する。

1. 適応的特徴フィルタリング（全インスタンス）: 任何の探索を行う前に、各特徴に対して頻度とアトリビューションを組み合わせた合成スコア $w(f_i)$ が計算される。訓練データからのオフライン計算された分位点に基づき算出されたフィールドごとの閾値 $\tau_i$ 未満の特徴は破棄される。これにより、すべてのインスタンスに対して信頼性の低い埋め込みが除去される。
2. 確率的経路探索（不確実なインスタンスのみ）: $K(x) > 0$ であるインスタンスに対して、UTTSI は $K(x)$ 個の追加推論経路を生成する。各経路は、洗練された特徴集合の部分集合を確率的にサンプリングすることで構築される。サンプリング確率は合成スコア $w(f_i)$ によって誘導され、情報量の多い希少特徴が優先的に保持されることを保証する。
3. 一貫性重み付け集約: ベースの洗練済み経路からの予測と、すべての $K(x)$ 個の探索経路からの予測が集約される。一貫性重み付けの投票方式は、アンサンブル平均と整合する予測に高い重みを割り当て、重要な特徴を隠蔽した可能性のある外れ値経路の重みを低下させる。

信頼性の高いインスタンス（$K(x)=0$）は探索段階を完全にバイパスし、初期の順伝播とフィルタリングのコストのみを負う。

3. 主要な貢献

• CTR における初の学習不要なテスト時フレームワーク: UTTSI は、再学習やアーキテクチャ変更なしに、インスタンスごとの不確実性に基づいて推論深度を選択的にスケーリングする、初のモデル非依存フレームワークとして提示される。
• 二重シグナル不確実性推定器: 本論文は、モデルロジットの信頼性と頻度ベースの事前分布を組み合わせる新規推定器を導入し、認識的不確実性（希少カバレッジ）と偶然的不確実性を効果的に区別する。
• 非対称な推論設計: このフレームワークは、すべてのインスタンスが軽量な特徴フィルタリングを受けるが、不確実なインスタンスのみが高コストのマルチパス探索を受けるという非対称戦略を採用する。これにより、性能向上と計算効率のバランスが取れている。
• 実証的検証: 本アプローチは、3 つのバックボーンアーキテクチャを用いた 4 つのデータセット（Criteo、Avazu、KDD12、および産業用データセット）および 7 日間のオンライン A/B テストを通じて検証された。

4. 実験結果

• オフライン性能: UTTSI は、すべてのデータセットにおいて、DeepFM、HSTU、PLE、OptFu を含む最先端の CTR モデルを一貫して上回った。OptFu バックボーンに適用した場合、AUC は +0.0037 から +0.0048 向上し、LogLoss は -0.0116 から -0.0142 減少した。性能向上は、特徴の希少性が高いデータセット（KDD12 および産業用データセット）で最も顕著であった。
• アブレーション研究: 二重シグナル推定、アトリビューション誘導サンプリング、マルチパス集約のいずれかを除去すると、一貫した性能低下が生じ、各コンポーネントの必要性が確認された。
• 不確実性の較正: 推定された不確実性スコアは、産業用データセットにおける実際の予測誤差と強いスピアマン順位相関（$\rho=0.91$）を示し、システムが困難なインスタンスを正しく識別していることを検証した。
• オンライン A/B テスト: 大規模 EC プラットフォームでの 7 日間の展開において、UTTSI は生産ベースラインと比較して クリック率（CTR）で 5.3% の相対的改善 を達成し、統計的有意性（$p < 0.01$）が確認された。
• 計算オーバーヘッド: 平均計算コストはベースモデルの約 2.8 倍 である。しかし、大多数のインスタンス（約 62%）が信頼性が高く探索をバイパスし、かつ経路が並列化可能であるため、最悪ケースのレイテンシは単一の順伝播と同等のままである。

5. 意義と主張

本論文は、UTTSI によって テスト時における選択的推論 が、学習段階の進展に対する原理的かつ補完的な方向性として確立されたと主張する。実際のインスタンスが観測されるまで追加計算の割り当てを先送りすることで、このフレームワークは既に学習済みのパラメータからのリターンを最大化する。これは、特徴の希少性によって引き起こされる CTR 予測における「信頼性のギャップ」に特に対処し、予測精度の向上に効果的であると同時に、管理可能なオーバーヘッドと並列化可能性により産業展開が可能であるという解決策を提供する。著者は、このアプローチが学習段階の最適化と競合するものではなく、各入力インスタンスの特定の信頼性に合わせて推論行動を適応させることで、それらを強化するものであることを強調している。