技術要約：グラム不適合性下におけるニューラルネットワークの好みの逆転

1. 問題提起

ニューラルネットワークは、汎化性能を向上させるために、異種混合のソース（異なる集団、時期、または動作条件）から得られたプールドデータをますます活用するようになっている。しかし、そこには重大な信頼性のギャップが存在する。データの統合はエビデデンスの基盤を拡大させる一方で、個々のソースによって一貫して支持されているアクションの順序付けを覆してしまう可能性がある。

標準的な集計精度指標は、この問題を検出できない。なぜなら、それらは予測性能を測定するものであり、相対的なアクション・ランキングの一貫性を測定するものではないからである。プールドデータで再学習されたモデルは、ソースモデル全体が合意している好みを逆転させることがあるが、その際、全体の精度に低下は見られない。本論文は、**組成的な好みの保存（compositional preference preservation）**が失敗する条件を扱う。具体的には、固定された表現と最小二乗法（OLS）出力ヘッドを用いて訓練されたプールドモデルが、なぜ、そしていつ、両方のソースデータセットによって支持されている厳密なペア比較の好みを逆転させるのかを調査する。

この問題は、事例ベース意思決定理論（Case-Based Decision Theory: CBDT）、特にその組成公理（A2）を通じて定式化される。この公理は、ソースメモリによって支持された順序付けは、それらの結合においても生存しなければならないと要求する。本論文は、ニューラルネットワークにおけるこの公理の失敗が、エビデンスを重み付けするために使用される逆グラム行列の幾何学的な不整合、すなわち**グラム不適合性（Gram incompatibility）**によって引き起こされると仮定している。

2. 手法

理論的枠組み

著者らは、特徴抽出器 $\phi$ が凍結されており、OLSリードアウトヘッドのみが適合される固定表現ニューラルネットワークを分析する。

• ソース・マージン: ソース $j$ について、アクション $a$ と $b$ の間の好みのマージンは、$\Delta_{j}(x) = \phi(x)^\top G_j^{-1} \Phi_j^\top d_j(a,b)$ と定義される。ここで、$G_j$ はソース $j$ の非中心化グラム行列である。
• プールド・マージン: ソースをプールする場合、グラム行列は $G_1 + G_2$ となり、エビデンスベクトルは加算される。プールド・マージンは $\Delta_{12}(x) = \phi(x)^\top (G_1 + G_2)^{-1} (\Phi_1^\top d_1 + \Phi_2^\top d_2)$ である。
• 逆転のメカニズム: 本論文は、$\Delta_1 > 0$ かつ $\Delta_2 > 0$ である場合でも、再計算された逆幾何構造 $(G_1 + G_2)^{-1}$ が、結合されたエビデンスを回転または再重み付けすることで、$\Delta_{12} < 0$ とし得ることを示している。これは、$G_1$ と $G_2$ が互いのスカラー倍ではない場合に発生する（グラム不適合性）。

分析結果

• 厳密な保存: もし $G_1 = \kappa_1 G_0$ かつ $G_2 = \kappa_2 G_0$ である場合（スカラー整列）、プールド・マージンはソース・マージンの凸結合となり、順序の保存が保証される。
• 近似的な保存: 非スカラー整列の場合、著者らはマージン依存の保証を導出する。彼らは、スケール不変なグラム不一致尺度 $\delta_{norm}(G_1, G_2) = \|\tilde{G}_1 - \tilde{G}_2\|_F$ を定義する（ここで $\tilde{G}$ はフロベニウス正規化されたグラム行列である）。
• 安定性証明書: 保存のための十分条件が（系1として）導出される。これは、正規化された不一致、ソースのマージン、エビデンスのノルム、およびコンディショニングを結びつけるものである。重み付けされたソース・マージンが、不一致に比例するペナルティ項を上回る場合、順序は保存される。

運用のためのツール

1. スクリーニング: 再学習前の監査対象となる候補プールを優先順位付けするために、スケール不変なグラム不一致尺度が導入される。
2. 正則化: 訓練のために、2つの幾何学的目的関数が提案される。
   • グラム・ホワイトニング（Gram Whitening）: ソース・バッチを共有された単位行列のリファレンスに整列させる。
   • 直接整列（Direct Alignment）: ソースのグラム方向を、低需要のソース段階からの凍結されたリファレンスに整列させる。
3. 3段階の監査: 逆転の影響を追跡するためのフレームワーク：
   • 第1段階: 厳密なペア比較の逆転率（A2 一貫性）。
   • 第2段階: 意思決定の変化率（ソースのコンセンサスと異なるアクションを選択したクエリ）。
   • 第3段階: タスク定義の効用損失（有害な意思決定 vs 有益な意思決定の変更）。

3. 主な貢献

1. 組成的な信頼性の定式化: 論文は、固定表現OLSネットワークにおけるプールド・再学習の信頼性を、組成的な好みの保存として定式化し、逆グラムによる再構成が共有された好みを逆転させることを証明した。
2. 幾何学的特性の解明: グラム不適合性を逆転の根本原因として特定し、厳密な保存（スカラー整列）および近似的な保存（マージン依存）の条件を導出した。
3. 運用のためのフレームワーク: スクリーニングのためのスケール不変なグラム不一致尺度と、幾何学的性質を制御する正則化手法を導入した。
4. 結果の監査: 組成的な失敗から生じる、厳密なペア逆転から実際の意思決定の変化、そしてタスク固有の効用損失へと至るプロセスを分離する3段階の監査手法を開発した。これにより、すべての逆転が有害なわけではないが、有害な意思決定の明確なクラスが存在することを示した。

4. 実験結果

制御されたメカニズム研究

制御された設定において、著者らは正規化されたグラム不一致と厳密なA2一貫性の間に強い負の相関（$-0.903$）があることを示している。不一致が増大するにつれて、厳密な一貫性は急激に低下し、不一致の値が1.07–1.27付近で転換点が見られる。これは、グラム不適合性が好みの逆転を誘発することを裏付けている。

ロードベースの入札プロキシ

ロードベースの入札プロキシを用いて、結果の連鎖を追跡した：

• 逆転率: 対象となるクエリ・アクション・ペアの1.80%において、厳密なペア比較の逆転が発生した。
• 意思決定の変化: ソース・コンセンサスがあったクエリのうち、1.12%でプールド決定の変化が生じた。
• 害（Harm）: 変更された意思決定のうち、53.64%がソース・コンセンサスに対して有害であった。これにより、組成的な失敗から生じる、測定可能でゼロではない「有害な意思決定」のクラスが確立された。

幾何学–意思決定の動作点

正則化手法（正則化なし、グラム・ホワイトニング、直接整列、ウェイト減衰）を比較した実験により、明確な動作点が明らかになった：

• グラム・ホワイトニング ($\lambda_{reg}=0.01$) は、最高の精度と厳密なA2一貫性を達成したが、ベースラインと比較して有害率を大幅に減少させることはなかった。
• 直接整列 ($\lambda_{reg}=0.1$) は、最も低い有害率を示したが、精度はわずかに低下した。
• 結論: 低い幾何学的不一致が必ずしも意思決定の害の低減を保証するわけではない。異なる目的関数は、精度、一貫性、幾何学、および害の間でトレードオフの関係にある。

クロスドメインの範囲（医療および金融）

UCI心疾患およびクレジットカードデフォルトのデータセットを用いた監査では、同程度の幾何学的不一致であっても、保存率が大きく異なることが示された（例：99.91% vs 89.22%の一貫性）。これは、不一致が監査の優先順位付けには有用なツールであるが、ソースのマージンやコンディショニングを考慮しない限り、単独では失敗の予測因子としては不十分であることを裏付けている。

5. 意義と主張

本論文は、組成的な信頼性を測定可能かつ運用可能にすることを主張している。抽象的なグラム行列の幾何学と具体的な意思決定の結果を結びつけることで、著者らは以下のためのフレームワークを提供している：

• スクリーニング: $\delta_{norm}$ 指標を用いて、再学習前に高リスクなデータプールを特定する。
• 認証: 特定のクエリ・アクション・ペアに対して保存を認証するための解析的条件を使用する。
• 訓練: 訓練中にソースの幾何学を形成し、不適合性を緩和する。
• 監査: 幾何学的不一致から効用損失に至るフルチェーンを追跡する。

著者らは、本フレームワークがすべての失敗を排除するものではないものの、グラム不適合性に起因する特定のクラスの「好みの逆転」を検出し、定量化し、軽減するために必要なツールを提供すると控えめに主張している。彼らは、集計精度は組成的な一貫性のための不適切な代用指標であり、意思決定レベルの監査が多源的な統合において不可欠であることを強調している。