CORAL: Constrained Oblique Rotation with Anchored Loadings for Fidelity-Constrained Decorrelation

技術要約：アンカー付きローディングを用いた制約付き斜交回転（CORAL）

問題提起
多変量システムの非相関化は標準的な統計的手法であるが、それはしばしば解釈性の犠牲を伴う。主成分分析（PCA）のような従来の手法は、元のソースの密な混合物である変換変数をもたらし、変換された座標と指定されたソース変数との一対一の対応関係を破壊してしまう。白色化変換（ZCAなど）は元の座標への近接性を保持するが、各変換変数が特定のソース変数に対して宣言された最小限の量で相関を持ち続けることを明示的に保証するものではない。本稿が扱う中心的な問題は、「各変数ごとに、変換された座標が指定されたソース座標に対して、宣言された最小限の量（$\rho_{min}$）以上の相関を維持することを保証しつつ、システムをどの程度正確に非相関化できるか？」という問いである。

手法
本稿では、単位分散およびソース・フィデリティ（ソースへの忠実度）制約（$\text{Cor}(\tilde{X}_j, X_j) \geq \rho_{min}$）の下で、残留相関の二乗和を最小化するフレームワークである**制約付き斜交回転（Constrained Oblique Rotation with Anchored Loadings: CORAL）**を導入する。

1. 理論的特性化:
   著者らは、正定値相関行列 $R$ に対して、すべての平方な厳密な非相関化行列の族は $T = R^{-1/2}Q$ （ここで $Q$ は直交行列 $Q \in O(p)$）で与えられることを確立した。この特性化により、厳密な非相関化は一意的ではないことが明らかになった。本稿では、厳密な非相関化を維持しながら達成可能な最大共通ソース・フィデリティとして $\rho^\star(R)$ を定義する。

2. 最適化定式化:

• 主問題: 単位分散およびソース・フィデリティ制約の下で、非対角要素の相関の二乗和（残留相関）を最小化する。
• 再パラメータ化: 単位分散を厳密に強制するために、斜交多様体（oblique manifold）を用いて問題を再パラメータ化する。$W = R^{1/2}T$ と定義することで、単位分散制約は $W$ の列に関する単位ノルム制約（$W \in OB(p,p)$）となる。ソース・フィデリティ制約は $W$ に関して線形となる。
• ソルバー: 問題は、斜交多様体上のリーマン最適化（信頼領域ステップ）を用いて解かれ、制約は拡張ラグランジュ法（ALM）を通じて適用される。問題の非凸性により、最良の実行可能解を見つけるために複数のランダムな初期化が必要となる。

3. 双対定式化:
   双対問題も提示されており、これは残留相関の予算（$\epsilon$）を固定し、共通ソース・フィデリティの下限（$\gamma$）を最大化するものである。これにより、非相関化とフィデリティの間のトレードオフの境界（フロント）を追跡することができる。

4. 理論的境界:
   本稿では、$\rho^\star(R)$ に関する厳密な境界を導出している。

• 下限: $Q$ を最適化することによって得られる構成的なもの（例：ZCAは $Q=I$ に対応する）。
• 上限: $R^{1/2}$ のトレースおよび、よりシャープな部分核ノルム境界に基づく解析的なもの。これらの境界は、真の $\rho^\star(R)$ をタイトに挟み込んでいる。

5. サポート制限:
   本フレームワークは、特定の変換係数をゼロに強制する場合（スパース変換）にも拡張され、「混合」の幾何学的構造を制限することが達成可能な非相関化にどのように影響するかを分析している。

主な結果
本手法は、シミュレーションデータ（$p=6, 18, 50$）および2つの実証データセット（世界開発指標（WDI, $p=8$）およびUCIワインデータ（$p=13$））を用いて評価された。

• 高いフィデリティの保持: シミュレーションされたシステムにおいて、CORALは厳密な非相関化を達成しつつ、0.972 ($p=6$), 0.959 ($p=18$), 0.949 ($p=50$) という高いソース・フィデリティを維持した。
• ZCAとの比較: ZCA（$Q=I$）は構成的な下限を提供したが、劣っていた。CORALは、すべてのケースにおいてZCAの最小フィデリティを改善した（例：$p=50$ において 0.9215 から 0.9491 へ）。
• PCAとの比較: PCAはソース・フィデリティの観点で著しく劣っていた。最も有利な符号不変な割り当ての下でも、PCAの最良の最小フィデリティは 0.358 ($p=6$), 0.329 ($p=18$), 0.172 ($p=50$) であった。
• 実証データ: 実世界のデータに対しては、フィデリティレベル 0.751 (WDI) および 0.826 (Wine) で厳密な非相関化が可能であった。より高いフィデリティ目標（例：0.85）では、厳密な非相関化は不可能となり、基礎となる相関構造のために残留相関が避けられなくなった。
• サポート制限: 変換係数が制限された場合（スパース・サポート）、厳密な非相関化は一般に不可能であり、高いフィデリティレベルにおいても残留相関はゼロにならないまま残った（例：最大残留は約0.16〜0.20）。

意義および主張
本稿は、ソース変数の同一性の喪失は、厳密な非相関化の固有の結果ではなく、選択された非相関化手法の結果であると主張している。

• 解釈性の再定義: 著者らは、解釈性は、固定された回転（PCAのような）に対する事後的な解釈ではなく、厳密な非相関化の族（$R^{-1/2}O(p)$）内における制約付き選択問題として捉えるべきであると論じている。
• 定量化可能なトレードオフ: CORALは、非相関化とソース・フィデリティの間のトレードオフを定量化するフレームワークを提供する。また、特定のフィデリティ要件に対して厳密な非相関化が不可能となる理論的限界（$\rho^\star(R)$）を特定する。
• 理論的貢献: 厳密な非相関化の族の特性化と $\rho^\star(R)$ のタイトな境界の導出により、研究者は数値ソルバーの失敗と理論的な実行不可能性を区別することができる。
• 既存手法との区別: スパースPCA（スパースなローディングを求めるもの）や独立成分分析（統計的な独立性を求めるもの）とは異なり、CORALは、指定されたソース変数との宣言された最小限の相関を維持しながら、厳密な非相関化を明確にターゲットとしている。

結論として、PCAは分散集中には最適であるが、変換された座標が個別に特定のソース変数にアンカーされている必要があるアプリケーションにおいては、CORALが適切なツールであり、解釈性と非相関化のバランスを取るための数学的に厳密な方法を提供するものである。