🤖 machine learning

TreeCCA: Canonical Correlation Analysis via Gradient-Boosted Trees

本論文は、カスタムのエッカート・ヤング損失を用いて勾配ブースティング決定木アンサンブルを正準相関分析エンコーダとしてエンドツーエンドで学習させることで、標準的な決定木ライブラリのプラグアンドプレイの信頼性と効率性を維持しつつ、最先端の非線形相関抽出と解釈可能性を実現する新しい手法であるTreeCCAを導入する。

原著者： James Chapman

公開日 2026-07-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： James Chapman

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、手がかりが詰まった2つの異なるノートを持つ、ある謎を解こうとしている探偵だと想像してください。一方のノートには容疑者の身長、体重、靴のサイズが記されており、もう一方のノートには彼らの好きな食べ物、音楽ジャンル、趣味が記されています。あなたの仕事は、これら2つのリストの間にある隠れたつながりを見つけ出すことです。例えば、背が高い容疑者はジャズを好む傾向があるとか、あるいは辛い食べ物が好きな人はハイキングを好むといった具合です。これが、統計的な探偵ゲームである「正準相関分析（Canonical Correlation Analysis: CCA）」の核心です。CCAは、遺伝子と疾患、あるいは脳活動と行動のように、世界の異なる部分がどのように互いに影響し合っているかを理解するために、科学者が用いるツールです。

長い間、探偵たちは単純な直線的な定規を使ってこれらのつながりを見つけてきました。彼らは、「背が高い＝ジャズ好き」という関係のように、その関係が非常に単純なものだと想定していました。しかし、現実の世界は乱雑で曲線的です。時には、直線的な定規では測ることのできない、ねじれた複雑な曲線が関係性となることもあります。これを解決するために、科学者たちは「ディープラーニング（深層学習）」を使い始めました。これは、複雑な曲線のパターンを見つけ出すための、非常にスマートで柔軟なロボットのチームを雇うようなものです。これらのロボットは強力ですが、調整が難しく、少量のデータでは混乱してしまうことがあり、一度答えを見つけると、なぜその選択をしたのかを説明することが困難です。彼らは、プロセスを示すことなく、ただ答えだけを提示するのです。

ここで、新しい論文が登場し、新鮮なアイデアを提示します。ジェームス・チャップマン率いる著者たちは、「もし、すでに表形式データ（tabular data）の王である『勾配ブースティング決定木（Gradient-Boosted Trees）』を使ってこの謎を解けるとしたらどうだろうか？」と問いかけます。これらの「木」は、住宅価格やローンのリスク予測などの予測コンテストでほぼ全ての勝利を収めているXGBoostやLightGBMといったツールのエンジンとして知られています。これらは信頼性が高く、使いやすく、そして最も重要なことに、透明性に優れています。木を見れば、どの手がかりが最も重要であったかを正確に把握できるのです。この論文は、これらの決定木ベースのエンジンを「エンコーダー」として訓練する手法である「TreeCCA」を紹介しています。

相関を学ぶ木

この論文は、勾配ブースティング決定木のアンサンブルをCCAのための「エンコーダー」として訓練する初めての手法であるTreeCCAを提案しています。エンコーダーとは、生のデータ（数値のリストなど）を取り込み、最も重要な関係性を強調する「秘密のコード（埋め込み/embedding）」へと変換する翻訳者のようなものです。通常、これらの翻訳者はニューラルネットワーク（ロボット）ですが、TreeCCAはロボットを決定木の森へと置き換えます。

これを可能にする秘訣は、「エッカート・ヤング（Eckart-Young: EY）損失」と呼ばれるものです。かつて、この目的のために木を訓練することは、犬に微積分を教えるようなもので、数学的な仕組みが適合しませんでした。しかし、EY損失は、木が相関を見つける能力を高めるために、枝をどのように調整すべきかを指示する特別な一連の命令（勾配）を提供します。これは、木に対して「ここで分岐すれば、真実に近づく」と教える地図を与えるようなものです。これらの指示は非常に明確であるため、ソフトウェアを書き換えることなく、XGBoostやLightGBMのような標準的な決定木ライブラリに直接組み込むことができます。

なぜ木はロボットよりも優れている可能性があるのか

著者らは、TreeCCAを現在のチャンピオンである「Deep CCA（ロボットのアプローチ）」および「線形CCA（直線的な定規）」と比較検証しました。結果は驚くべきもので、いくつかのケースでは木がレースに勝利しました。

トリッキーな設計が施された合成テストにおいて、TreeCCAはロボットよりも強い相関を見つけ出しました。例えば、「Signed Power」と呼ばれるテストでは、TreeCCAは2.61を記録し、Deep CCAの2.43を上回りました。また、関係性が非常に複雑で直線的な定規では全く捉えられない（スコアがゼロに近い）「Hermite」テストでは、TreeCCAは2.93という強い信号を見つけ出し、Deep CCAの2.89を僅差で上回りました。

しかし、真のマジックは、データが膨大になったり、あるいは乱雑になったりした時に起こります。手書き数字の膨大なデータセット（54,000枚の画像を用いたSplit MNIST）を用いたテストでは、ロボットのアプローチ（Deep CCA）はルールを学習する代わりに訓練データを丸暗記し始め、練習時のスコアとテスト時のスコアの間に大きな乖ップ（比率1.95）が生じました。対してTreeCCAは、冷静かつ一貫性を保ち、比率はわずか1.04でした。木は「考えすぎ」をしない性質を持っており、それが大量のサンプルを持たない現実世界のデータにおいて、より信頼性の高いものにしているようです。

「なぜ」という力の源

TreeCCAの最もエキサイティングな部分は、単に機能することではなく、それが「どのように機能するか」を説明できる点にあります。ニューラルネットワークはしばしば不透明であると批判されます。どの特徴量を使用して決定を下したのかを簡単に知ることはできません。一方で、木は「温度は70度以上か？はい／いいえ」といった分割に基づいて構築されています。この構造により、木には「ネイティブな解釈可能性」が備わっています。

著者らは、スマートフォンのセンサー（加速度計やジャイロスコープ）を用いて人間の動きを追跡する「UCI HAR」データセットを用いてこれを実証しました。彼らは、動きの「大きさ（magnitude）」（デバイスがどれほど回転しているか）が、活動を特定するための鍵であることをモデルが突き止められるかどうかを検証しました。TreeCCAは単に正しい答えを出しただけでなく、その「特徴量の重要度（feature importance）」スコアによって、回転の物理学的な仮説に完璧に一致する形で、動きの大きさが最も重要であることを明確に示しました。ニューラルネットワークは正しい答えを出しましたが、その理由は説明できず、数百万のパラメータの中に「なぜ」を隠したままにしておきました。TreeCCAは、その推論のプロセスをテーブルの上にさらけ出したのです。

ノイズの中の信号を見つける

この論文は、他の手法が失敗する特定の課題、すなわち「スパースな信号（sparse signals）」にも取り組みました。例えば、500個の手がかりがある中で、実際に重要なのはわずか5つだけで、しかもその関係性が非線形（曲線的）である場合を想像してください。「PMD」と呼ばれる一般的なスパースCCAツールは、線形数学に依存しているため、このような信号に対して完全に混乱し、ランダムな推測と変わらない性能しか発揮できません。しかし、TreeCCAはこれを「20の質問」ゲームのように扱いました。「どの特徴量で分割すべきか？」と問いかけ、495個の無意味なノイズ特徴量を自然に無視したのです。50個の特徴量を用いたテストにおいて、TreeCCAは完全な精度（1.00）を達成し、毎回5つの真の手がかりを正確に特定しましたが、PMDは何も見つけられませんでした。

結論

TreeCCAは単なる新しいアルゴリズムではなく、視点の転換です。これは、表形式のデータ（行と列の数値）を含む多くの問題において、深い繋がりを見つけるために、複雑で調整が難しいニューラルネットワークに頼る必要はないということを示唆しています。代わりに、すでにこの分野を支配している、堅牢で信頼性が高く、説明可能な「木」を利用することができるのです。

著者らは、TreeCCAが精度においてDeep CCAと同等またはそれ以上の性能を発揮し、一部のベンチマークでは5倍速く動作し、かつ推論の根拠を明確に説明できることを見出しました。論文では、木がどのように収束するかについての厳密な数学的証明はまだ研究段階であると述べていますが、シミュレーションと実世界のテストの結果は強力です。これは、木がラベルなしでデータから学習できる「自己教師あり学習」の新しい扉を開くものであり、線形の手法では決して見ることができない問題を解決する可能性を秘めています。データサイエンスの世界において、TreeCCAは「時には、最も複雑な道具ではなく、どの枝を辿るべきかを正確に知っている道具こそが最良の道具である」ということを思い出させてくれるのです。

技術要約: TreeCCA

問題定義

正準相関分析（CCA）は、対応する2つのビューの投影を求め、ビュー間の相関を最大化するための基本的な手法である。CCAはマルチオミクスなどの領域において、ゲノミクス、トランスクリプトミクス、プロテオミクスの間の関連性を解明するために成功裏に適用されてきたが、既存の手法には以下のような重大な限界がある：

線形性: 古典的なCCAは線形投影に依存しており、非線形な関係を捉えることができない。
ニューラルネットワークの限界: Deep CCA (DCCA) はニューラルエンコーダを用いて非線形性に対処するが、勾配ブースティング決定木 (GBT) が閾値構造、特徴量の相互作用、および中規模のサンプルサイズをより優れた手法で扱うため、表形式データにおいてはDCCAが性能を下回ることが頻繁にある。
スパース性の盲点: スパースCCA手法（例：PMD）は、特徴量選択のためにL1ペナルティを使用するが、線形なビュー間共分散がゼロである信号に対しては構造的に盲目である。
解釈可能性: ニューラルエンコーダはネイティブな解釈可能性を欠いており、どの特徴量がビュー間の相関を駆動しているのかを理解することが困難である。

現在、GBTが表形式機械学習のベンチマークを支配しているにもかかわらず、GBTをCCAエンコーダとして利用する手法は存在しない。

手法: TreeCCA

著者らは、勾配ブースティング決定木アンサンブルをCCAエンコーダとしてエンドツーエンドで訓練する初めての手法である TreeCCA を提案する。この核心となる技術的イネーブラーは、CCAを埋め込み行列 $Z_1$ および $Z_2$ に関する無制約最小化問題へと再定式化し、一般化固有値問題を回避する Eckart-Young (EY) 損失 である。

主要な技術構成要素

EY 損失と勾配:
EY 損失は次のように定義される：
$L_{EY}(Z_1, Z_2) = -2 \text{tr}(C) + \|V\|_F^2$
ここで、 $C$ は対称化されたクロス共分散、 $V$ はビュー内の共分散である。極めて重要な点は、この定式化が 閉形式のサンプルごとの勾配 を提供することである：
$\frac{\partial L_{EY}}{\partial Z_{1,i}} = \frac{4}{N-1} (-Z_{2c,i} + V Z_{1c,i})$
これらの勾配は経験的な埋め込みのみに依存し、エンコーダのアーキテクチャには依存しない。これにより、標準的なGBTライブラリ（XGBoost, LightGBM）を修正することなく、カスタム目的関数APIを介して直接勾配を供給することが可能になる。
訓練手順:
- 2エンコーダ構成: ビュー $X_1$ と $X_2$ を埋め込み $Z_1$ と $Z_2$ にマッピングするために、2つのブースター $B_1$ と $B_2$ を訓練する。
- 増分埋め込みキャッシュ: すべてのラウンドで全ツリーを再評価することによる $O(R^2NK)$ のコストを避けるため、本手法ではキャッシュされた埋め込み $Z$ を保持し、新しく追加されたツリーのみを評価することで増分的に更新する。これにより、50〜100倍の高速化を実現する。
- 単位ヘシアン: 本手法では、すべてのサンプルに対してヘシアン $h_i = 1$ と設定する。真のEYヘシアンを使用すると、リーフの重みの計算における分母がL2正則化項 $\lambda$ によって支配され、発散を引き起こす。単位ヘシアンを使用することで、リーフの値が平均勾配と一致し、安定性が確保される。
- 勾配正規化: 生のEY勾配は $O(1/\sqrt{N})$ でスケールする。本手法では、勾配を固定のターゲット標準偏差（ $\sigma_{target} = 0.1$ ）に正規化し、訓練速度をデータセットサイズから切り離し、学習率の解釈を一様に保つ。
拡張:
- TreeMCCA: ペアごとのEY目的関数を合算することで、 $M > 2$ のビューへと一般化する。
- TreeCCA-SSL: 自己教師あり学習のための、共有ブースターを独立して拡張されたビューに対して訓練する、サイアミーズ・シングルエンコーダ・バリアント。

主要な貢献

初のGBTベースのCCA: EY損失が、ライブラリの変更なしに、EY損失のグローバルな最適化ランドスケープ（偽の局所解が存在しない）を利用して、CCAエンコーダとしてGBTを訓練することを可能にすることを実証した。
効率的な訓練: 増分埋め込みキャッシュと原理的な単位ヘシアンを導入し、大幅な高速化と安定性を実現した。
非線形特徴の回復: 線形なクロスビュー共分散がゼロであるスパースかつ非線形な信号において、完全な精度での回復を実現した。これはPMDが完全に失敗する領域である。
ネイティブな解釈可能性: ニューラルエンコーダとは異なり、TreeCCAはゲイン重要度を提供し、追加コストなしにどの特定の特徴量がビュー間の相関を駆動しているかを明らかにする。
スケーラビリティと汎用性: 大規模なデータセット（Split MNIST）において、Deep CCAと比較して優れた汎化性能を示し、GBT固有の正則化によって過学習を回避した。

実験結果

論文では、合成および実世界のベンチマークを用いてTreeCCAを評価している：

合成ベンチマーク (Signed Power & Hermite):
- TreeCCAは、Total Correlation Captured (TCC) においてDeep CCAおよびKernel CCA (KCCA) を上回る。
- 線形共分散がゼロであるHermiteベンチマークにおいて、TreeCCAは2.93 TCCを達成し、Deep CCAの2.89を上回り、Linear CCAはほぼゼロであった。
- 訓練時間はDeep CCAよりも大幅に短い（~50s vs ~300s）であり、KCCAの $O(N^2)$ メモリ問題も回避している。
スケール (Split MNIST):
- $N=54,000$ 、 $K=50$ のデータセットにおいて、Deep CCAは過学習する（Train/Val TCC比 = 1.95倍）が、TreeCCAは効果的に汎化する（比 = 1.04倍）。
センサー融合 (UCI HAR):
- TreeCCAは、Deep CCAと同等の精度（プローブ精度 0.466 vs 0.510）を、5倍低い実時間コスト（17s vs 80s）で達成した。
- 解釈可能性: XGBoostのゲイン重要度は、物理学に基づいた仮説を検証した：マグニチュード特徴（角速度に関連するもの）がジャイロスコープ・ビューにおける相関の主要な駆動因子であった。これは、ニューラルエンコーダからは容易に得られない構造的な洞察である。
スパース回復:
- 線形クロスビュー共分散がゼロの合成ベンチマークにおいて、TreeCCAは $p=50$ において Precision@S = 1.00 を達成したが、PMDはランダムなベースラインに留まった。
マルチビュー (TreeMCCA):
- 5つの実世界のマルチビューデータセット（Caltech101-7, 3Sourcesなど）で評価。TreeMCCAは、TCCおよびダウンストリームの分類精度において、一貫してLinear CCAと同等またはそれを上回る結果を示し、特にクロスビュー信号が高度に非線形である場合に最大の利点が見られた。
自己教師あり学習 (TreeCCA-SSL):
- 符号の相互作用により、アフィンエンコーダでは信号が不可視となる合成ベンチマークにおいて、TreeCCA-SSLは0.630の精度（ランダムの3.8倍以上）を達成した。一方、PCAはランダムな確率（0.159）で失敗した。

意義と主張

論文は、TreeCCAがこれまで単一の手法では得られなかった特性のユニークな組み合わせを提供すると主張している：

非線形およびスパース信号の回復: 合成ベンチマークにおいてDeep CCAと同等またはそれを上回る性能を示し、大規模なスケールでもより良く汎化する。また、線形スパース手法が構造的に捉えられない信号を回復する。
解釈可能性: データの仮説（例：物理学に基づいた信号構造）を直接検証できるネイティブな特徴診断（ゲイン重要度）を提供する。
実用的な広範さ: 標準的なGBTのデフォルト設定を超えたアーキテクチャ探索やハイパーパラメータ調整を必要とせず、Deep CCAと同等の性能を大幅に低い計算コストで実現する。

著者らは、TreeCCAを、特にサンプルサイズが中規模で、データが表形式であり、解釈可能性が極めて重要となるマルチオミクスや臨床応用などの分野において、実務者がマルチビュー解析を開始する際の自然な第一歩として位置づけている。論文では、非常に高い $p/N$ 比におけるスパース回復精度の低下や、交互に繰り返されるGBT更新手順に関する形式的な収束理論の欠如といった限界についても言及している。