技術要約：Anchor PCA

問題提起

主成分分析（PCA）は、最大分散を捉える低次元部分空間を見出すための標準的な教師なし次元削減手法である。しかし、データが関連性はあるものの異質な複数のドメイン（例：異なる地理的場所、時点、または実験条件）にわたって収集される場合、主成分部分空間は大きく異なる可能性がある。

poolPCAのような標準的なアプローチは、平均説明分散を最大化する。著者らは、このアプローチには欠陥がある可能性があると主張している。すなわち、一部のドメインにのみ存在する高分散な方向（偽の方向）を優先してしまう一方で、すべてのドメインにわたって頑健かつ不変な方向を捉えることに失敗する場合がある。その結果、poolPCAは未知のターゲットドメインにおいて説明分散がほとんど得られなかったり、物理的に意味のある不変な構造を復元できなかったりする可能性がある。本論文は、説明分散と、複数のドメインにわたる共有された不変な変動方向の発見とのバランスを取る手法の必要性に取り組んでいる。

手法：Anchor PCA

著者らは、共有された低ランク埋め込みとドメイン固有の低ランク埋め込みとの間の合意（agreement）に対して、全体の説明分散を明示的にトレードオフするフレームワークであるAnchor PCAを提案する。この手法は2つのバリアントとして定義される。

1. 最大不変部分空間 ($S^\star$)

著者らはまず、最大不変部分空間 $S^\star$ を、すべての $E$ 個のソースドメインのトップ-$k$ 主成分部分空間の共通部分として定義する：
$$S^\star := \bigcap_{e=1}^E \text{Im}(\Pi^{(e)}_k)$$
ここで $\Pi^{(e)}_k$ は、ドメイン $e$ の共分散行列 $\Sigma_e$ のトップ-$k$ 固有ベクトルへの射影行列である。

2. AnchorPCA$_\infty$ (ハード不変性)

不変性を厳格に遵守するランク-$k$ 部分空間を見出すために、著者らはAnchorPCA$_\infty$を定義する。この手法は、すべてのドメイン固有のトップ-$k$ 部分空間との不一致（射影行列の差のフロベニウスノルムで測定）を最小化しつつ、それらの解の中でプールされた説明分散を最大化する部分空間を探索する。
形式的には以下を解く：
$$W^{\infty}_k \in \arg \max_{W \in O_{p \times k}} \text{Tr}(W^\top \Sigma W) \quad \text{subject to} \quad W \in \arg \min_{\tilde{W}} \sum_{e=1}^E \| \Pi_{\tilde{W}} - \Pi^{(e)}_k \|_F^2$$
ここで $\Sigma$ は平均共分散であり、$\Pi_{\tilde{W}} = \tilde{W}\tilde{W}^\top$ である。

3. AnchorPCA$_\lambda$ (ソフト不変性)

厳密な不変性（$S^\star = \{0\}$）が存在しない、あるいは制約が強すぎる可能性があることを考慮し、著者らはトレードオフ・パラメータ $\lambda > 0$ を持つAnchorPCA$_\lambda$を導入する。この手法は、ハードな制約をソフトなペナルティへと緩和する：
$$W^{\lambda}_k \in \arg \max_{W \in O_{p \times k}} \left( \text{Tr}(W^\top \Sigma W) - \lambda \sum_{e=1}^E \| \Pi_W - \Pi^{(e)}_k \|_F^2 \right)$$
この定式化は、修正されたターゲット行列 $M_\lambda$ に対して標準的なPCAを実行することと等価である：
$$M_\lambda := \Sigma + 2E\lambda \Pi$$
ここで $\Pi = \frac{1}{E} \sum_{e=1}^E \Pi^{(e)}_k$ は平均射影行列である。この等価性により、AnchorPCA$_\lambda$ は標準的な固有値分解を用いて効率的に解くことができる。

4. 有限サンプル実装

有限のデータに対して、著者らは経験的推定量を提案する。AnchorPCA$_\infty$ の場合、推定ノイズが固有値ブロックを分割するため、直接的なプラグイン推定器は一致性を持たない。そこで、経験的な平均射影行列 $\hat{\Pi}$ の連続する固有値を許容誤差 $tol_n$ 内でグループ化するブロック安定化アルゴリズムを導入し、経験的な不変部分空間を復元する。また、部分共通主成分分析（PCPCA）から適応させた逐次テスト手順であるFindS$^\star$も提案し、不変部分空間の次元を直接推定する。

主な理論的貢献

1. 復元保証:

   • 定理 3.1: 非自明な最大不変部分空間 $S^\star$ が存在する場合、AnchorPCA$_\infty$ はそれを包含することが保証される（$S^\star \subseteq \text{Im}(\Pi^{\infty}_k)$）。さらに、$\lambda \to \infty$ となるにつれ、AnchorPCA$_\lambda$ の主要な方向は $S^\star$ に収束する。
   • 一致性: 緩やかな条件（有限の4次モーメント、厳密な固有値ギャップ）の下で、AnchorPCA$_\lambda$ およびブロック安定化されたAnchorPCA$_\infty$ の両方の経験的推定子は、サンプルサイズが増大するにつれて一致性を持つ。

2. ミニマックス再構成の解釈:

   • 定理 4.1: AnchorPCA$_\lambda$ はミニマックス解釈を持つ。これは、共分散行列が局所的なトップ-$k$ 固有空間内で有界なドメイン固有の膨張（inflation）を受ける、摂動を受けたターゲットドメインの集合に対する、最悪ケースの平均再構成誤差を最小化するランク-$k$ 射影体である。具体的には、以下を最小化する：
     $$\max_{(\Sigma'_1, \dots, \Sigma'_E) \in \mathcal{C}_\lambda} R(W; \Sigma'_1, \dots, \Sigma'_E)$$
     ここで $\mathcal{C}_\lambda$ は、膨張が $2E\lambda \Pi^{(e)}_k$ によって制限された共分散を表す。AnchorPCA$_\infty$ は、不一致のペナルティ（最悪ケースの誤差の傾き）が最初に最小化される極限に対応する。

実験結果

著者らは、合成データおよび実世界のデータを用いてAnchor PCAを検証している。

1. 動機付けとなる例: 3つのドメインを持つ合成4D例において、poolPCAは、ある一つのドメインにのみ存在する高分散な方向 $w$ に支配されたため、真の不変方向 $b$ を復元できなかった。AnchorPCA$_\lambda$ と AnchorPCA$_\infty$ は、いずれも不変部分空間の復元に成功した。AnchorPCA$_\lambda$（有限の $\lambda$）は分散と不変性のバランスを取り、AnchorPCA$_\infty$ は不変性を優先した。

2. 不変部分空間の復元: ランダムな部分空間を用いたシミュレーションにおいて、ブロック安定化されたAnchorPCA$_\infty$ と FindS$^\star$ は、サンプルサイズの増加に伴い、真の次元および $S^\star$ の部分空間を一貫して復元した。この手法は、非ガウス分布（ガウス混合モデル）の下でも頑健であった。

3. ガスセンサーアレイのドリフト: 時間的ドリフトを示す実世界のガスセンサーデータを用い、時間的バッチをドメインとして扱った。

   • 設定: ソースバッチ（B1–B6）を適合に使用し、ターゲットバッチ（B7–B10）をホールドアウトとした。
   • 結果: AnchorPCA$_\infty$ は、poolPCA（75.5%）や最悪ケースのベースライン（norm-maxRegret）と比較して、ターゲットバッチにおける平均説明分散（87.3%）において最も高い値を示した。AnchorPCA$_\lambda=1$ は、より多くのソース分散を保持するものの、ターゲット性能は無限ペナルティ版よりもわずかに低いというトレードオフを示した。AnchorPCA$_\infty$ は、すべてのホールドアウト・ターゲットバッチにおいてpoolPCAを上回る性能を示した。

意義と主張

本論文は、Anchor PCAが多ドメインデータからの頑健な教師なし次元削減のための有望なアプローチであることを確立している。その意義は以下の点にある：

• 理論的厳密性: 最大不変部分空間の復元に関する形式的な保証を提供し、構造化された共分散膨張の下でのミニマックス再構成の解釈を提示している。
• 実用的有用性: 共有された変動の方向に焦点を当てることが、標準的なプーリングや最悪ケース最適化のベースラインと比較して、未知のドメインに対してより良く汎化する埋め込みをもたらすことを示している。
• 効率性: 本手法は修正された行列に対する標準的なPCA問題に帰着するため、計算効率が高い。
• 因果関係への接続: 不変学習およびアンカー回帰から着想を得ており、因果的不変性と教師なし表現学習の間の架け橋となっている。

著者らは、限界についても言及している。これには、固有値の近接したタイ（tie）に対する感度や、摂幅が局所的なトップ-$k$ 部分空間内の膨張であるという仮定（平均シフトや回転ではない）が含まれる。また、オートエンコーダを用いた非線形への拡張についても今後の課題として挙げている。