技術概要：クリック率予測における異質性認識型特徴生成のための自己平衡勾配配分

1. 問題定義：生成難易度の不均衡

本論文は、DGenCTR や SGCTR などの既存の生成型クリック率（CTR）予測手法における根本的な限界を特定している。これらの手法は、最終的な二値ラベルのみを監督する判別モデルとは異なり、離散拡散モデルを用いてすべての特徴フィールドにわたる密な再構成監督を提供することに成功しているが、特徴生成を均質なタスクとして扱っている。

実際には、CTR 特徴空間は高度に異質であり、以下を含む：

• 数百万の一意の値を持つ高カーディナリティ ID フィールド（例：ユーザー ID、アイテム ID）。
• 中程度のカーディナリティを持つ疎なカテゴリ属性。
• 密な数値特徴。
• 可変長の行動シーケンス。

著者らは、これらのフィールドが著しく異なる本質的な再構成難易度を有すると主張する。高カーディナリティの ID フィールドやシーケンスは、低カーディナリティのカテゴリまたは数値フィールドに比べて再構成がはるかに困難である。既存の手法は、トレーニング中にすべてのフィールドに等しい損失重みを割り当てる。これにより生成難易度の不均衡が生じる：

1. 勾配支配：再構成が容易なフィールドは早期に収束し、トレーニング勾配を支配して、共有モデルパラメータをこれらの単純なフィールドを優先する表現へと引き寄せる。
2. 慢性的な未学習：下流の CTR タスクにとって最も情報量の多いフィールド（高カーディナリティ ID とシーケンス）は、その難易度に対して十分な勾配信号を受け取らないため、未学習のままとなる。
3. アテンションの不均衡：ノイズ除去ネットワーク内では、収束した容易なフィールドがアテンション機構を支配しやすく、より困難で信号の強いフィールドへのクロスフィールド情報フローを抑制する。

既存のマルチタスク学習技術（GradNorm、PCGrad など）は離散的なタスク境界向けに設計されており、特徴生成における連続的なフィールドごとの難易度変動には直接適用できない。

2. 手法：HeteGenCTR

著者らは、離散拡散に基づいた異質生成フレームワークHeteGenCTRを提案する。中核的な革新は、追加のハイパーパラメータを導入することなく、2 つの協調メカニズムを同時に駆動する統一されたフィールドごとの難易度信号である。

中核コンポーネント：学習可能な対数難易度パラメータ

モデルは、各特徴フィールド $i$ に対して、そのフィールドの再構成不確実性の対数分散（ホモスケダスティック難易度）を表すスカラーパラメータ $s_i$ を学習する。これらのパラメータは、ノイズ除去ネットワークと共同でトレーニングされる。

メカニズム 1：自己平衡損失

Kendall らに触発されたマルチタスク最尤推定フレームワークから導出され、総生成損失はフィールドごとの不確実性重みを含むように再定式化される。

• 定式化：目的関数は負の対数尤度を最小化する：
  $$\mathcal{L}_{bal} = \sum_{i=1}^{N} \left[ \exp(-s_i) \cdot \ell_i + \frac{s_i}{2} \right]$$
  ここで $\ell_i$ はフィールドごとの再構成損失である。
• 動的再バランス：重み $\exp(-s_i)$ は再構成難易度に反比例する。
  • フィールドの再構成が困難な場合（高い $\ell_i$）、平衡条件は $s_i$ を小さく駆動し、結果として損失重みを大きくする。
  • フィールドが容易な場合（低い $\ell_i$）、$s_i$ は増大し、その重みを減少させる。
• 安定性：著者らは、固定されたネットワークパラメータに対して、この平衡が一意の厳密な凸大域最小値であることを証明する。このメカニズムは、現在最も必要としているフィールドへ勾配予算を自動的に再配分する負のフィードバックループを創出する。

メカニズム 2：難易度誘導アテンション

表現レベルでの不均衡に対処するため、学習された $s_i$ パラメータは、HSTU（階層的逐次トランスデューサーユニット）ノイズ除去ネットワーク内のアテンション機構を調節する。

• クエリスケーリング：フィールド $i$ のアテンションクエリは $\exp(-s_i/2)$ によってスケーリングされる：
  $$\tilde{q}_i = \exp\left(-\frac{s_i}{2}\right) \cdot q_i$$
• 効果：
  • 困難なフィールド（小さい $s_i$）は大きなクエリノルムを受け取り、関連するコンテキストを積極的に収集する鋭いアテンション分布をもたらす。
  • 容易なフィールド（大きい $s_i$）は小さなクエリノルムを受け取り、プールされた表現への影響を減らす、より柔らかく均一なアテンションをもたらす。
• 整合性：スケーリング因子 $\exp(-s_i/2)$ は、アテンションレベルの重み付けが損失レベルの重み付け（$\exp(-s_i)$）と整合するように数学的に導出されており、両方のメカニズムが同じ難易度信号を強化することを保証する。

トレーニングパイプライン

HeteGenCTR は、結合された 2 段階のパラダイムに従う：

1. 事前トレーニング：モデルは、自己平衡損失と難易度誘導アテンションを使用して、すべての特徴フィールド（クリックラベルを追加のフィールドとして扱ったものを含む）を再構成する。
2. ファインチューニング：事前トレーニングされたスコアリング関数を直接継承し、標準的な二値交差エントロピーを使用して CTR 予測向けにファインチューニングする。アーキテクチャの変更はない。

3. 主要な貢献

1. 問題の形式化：本論文は「生成難易度の不均衡」を正式に特定・特徴付けし、特徴フィールドの均一な扱いが、容易なフィールドが高信号の ID およびシーケンスフィールドの学習を抑制することを示す。
2. 統一フレームワーク（HeteGenCTR）：単一の学習可能な難易度パラメータセットを使用して同時に駆動するフレームワークを提案する：
   • 自己平衡損失集約（損失レベルの勾配再バランス）。
   • 難易度誘導アテンション調節（表現レベルの情報フロー制御）。
3. 理論的保証：自己平衡平衡が厳密な局所最小値であることを示す安定性分析を提供し、損失重み付けとの整合性を保証するためのアテンションスケーリング係数を導出する。
4. パラメータ効率：この解決策は、調整すべき新しいハイパーパラメータを導入せず、モデルにフィールドごとに 1 つのスカラーパラメータ（合計 $N$ 個）のみを追加する。

4. 実験結果

著者らは、HeteGenCTR を 5 つのデータセット（Criteo、Avazu、KDD12、Amazon、および独自産業データセット）で評価し、オンライン A/B テストを実施した。

• 性能：HeteGenCTR は、すべてのデータセットにおいて、最先端の判別モデル（DeepFM、DCN、HSTU）および生成モデル（GenCTR、DGenCTR、SGCTR）ベースラインを一貫して上回った。改善は、特徴異質性が高いデータセット（Amazon、産業データ）で最も顕著であった。
• アブレーション研究：
  • 自己平衡損失を除去し（アテンション調節のみを維持）、パフォーマンスが大幅に低下したことは、損失再重み付けが主要な駆動因子であることを確認した。
  • アテンション調節を除去し（損失再重み付けのみを維持）してもパフォーマンスが低下したことは、アテンション機構が容易なフィールドに偏ったままの場合、勾配再バランスだけでは不十分であることを確認した。
• 難易度パラメータ分析：
  • 学習されたパラメータ $s_i$ は期待通りに進化し、容易なフィールド（数値、低カーディナリティ）の値は急速に増加（重みを減少）し、困難なフィールド（ID、シーケンス）の値は緩やかに増加して高い重みを維持した。
  • 収束した重みは、ID およびシーケンスフィールドが他のフィールドよりも有意に高い実効損失重みを受け取ったことを示した。
• コールドスタートへの影響：モデルは、ID 埋め込みが最も疎で再構成が最も困難な、コールドスタートユーザー（10 未満の履歴クリック）およびロングテールアイテムに対して不均衡な利益を提供した。
• オンライン A/B テスト：大規模 EC プラットフォームに展開され、HeteGenCTR は、生成コンポーネントが完全にオフラインであるためサービングレイテンシの増加なしに、CTR で 4.7% の相対改善を達成した。

5. 意義と主張

本論文は、異質性認識型生成が、生成型 CTR モデリングの以前に見過ごされていた重要な次元であると主張する。生成難易度の不均衡を解決することで、HeteGenCTR は、最も情報量の多い特徴（ID とシーケンス）が事前トレーニング中に適切な監督を受けることを保証する。

著者らは、彼らの解決策が包括的かつパラメータフリーであり、損失再重み付けとアテンション調節の両方を単一の学習信号から導出することを強調している。彼らは、このアプローチがランキング指標（AUC）を改善するだけでなく、疎なデータ領域における確率較正（LogLoss）と頑健性も向上させ、現在の生成モデルがマルチフィールド目的を集約する方法における根本的な欠陥に対処すると主張している。