🤖 machine learning

FloDR: An invertible dimensionality reduction method based on a normalising flow

FloDRは、使用されない座標を保持することで高次元情報を保存する正規化流に基づく可逆的な次元削減手法であり、2D埋め込みの信頼性と情報損失を定量化するための条件付きスプレッドや隠れたコントラストといった診断的可視化を可能にする。

原著者： Abdallah Baraka, Daniel Probst

公開日 2026-07-30

📖 1 分で読めます☕ さくっと読める

原著者： Abdallah Baraka, Daniel Probst

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大な三次元の彫刻を、平らな二次元の写真の中に収めようとしている場面を想像してみてください。あなたがどのように彫刻を回転させたとしても、ある部分は重なり合い、ある距離は引き伸ばされ、ある細部は押しつぶされて消えてしまいます。これは、「高次元データ」を扱うデータサイエンティストが日々直面している苦闘です。画像の数百万のピクセルであれ、数千の化学反応であれ、あるいは単一細胞の複雑な遺伝コードであれ、この情報は数百、あるいは数千もの方向を持つ世界に存在しています。この情報を理解するために、私たちは「次元削減」を用いて、それを私たちが実際に目にすることができる平らな地図へと押しつぶします。

しかし、ここに落とし穴があります。3Dオブジェクトを2Dに押しつぶすと、情報は失われます。t-SNEやUMAPのような従来のツールは、優れた写真を撮るものの、その「奥行き」のデータを捨ててしまう熟練のカメラマンのようなものです。一度写真が撮られてしまうと、近くに見える2つの点が、実は現実の世界でも隣り合わせの存在なのか、それとも単に偶然そこに重なってしまっただけなのかを判断することはできません。また、元のオブジェクトの形状のうち、どれほど多くの部分が平らな表面の背後に隠れてしまっているのかを知ることもできません。科学者たちは長い間、人々がこれらの平らな地図を読みすぎ、地図が到底サポートできないような距離やグループ分けを推測してしまうことを懸念してきました。大きな疑問はこうでした。「見た目が良く、全体像を維持しつつ、同時に私たちが『何を知らないのか』を正確に教えてくれる地図を作れるだろうか？」

そこで登場したのが、カメラというよりも、魔法のような可逆的なプロジェクターのように振る舞う新しい手法、FloDRです。データを単にスナップショットとして撮って残りのデータを捨てるのではなく、FloDRは「正規化流（normaling flow）」と呼ばれる特殊な数学的エンジンを使用します。このエンジンは、データを平坦にするために折りたたんだりねじったりできる、伸縮自在で透明なシートのようなものだと考えてください。ただし、これには一つの超能力があります。それは、決して布地を引き裂いたり、失ったりしないということです。FloDRは「奥行き」の情報を安全な隠しポケットの中に保持し続けます。

この論文は、FloDRを、失われた情報の秘密のバックアップを保持しながら2Dマップを作成する方法として紹介しています。マップを見るとき、あなたは通常の写真と同じように最初の2つの座標を見ることになります。しかし、その仕組みの裏側では、FloDRは他の $D-2$ 次元の情報（残差）を記憶しています。数学的に完全に可逆であるため、著者たちはマップを逆方向に走らせて、「もしマップ上のこの地点を選んだとしたら、元のデータの何がまだ謎として残っているのか？」や「特定のラベル（例えば細胞型）に関する情報のどれくらいを、私たちは誤って捨ててしまったのか？」といった問いを投げかけることができるのです。

研究者たちは、FloDRが既存の最も人気のあるツールに対して強力な競合相手であることを発見しました。手書き数字の画像や化学反応データを含む4つのベンチマークデータセットにおいて、FloDRは、既存の最高の手法とほぼ同等のレベルで局所的な近傍（似たもの同士の小さなグループ）を維持しながら、全体的な構造（大きなグループ同士の関係性）を維持することにおいてより優れた成果を上げました。実際、テストされたデータセットにおいて、FloDRは局所的構造と全体的構造の両方を同時にバランスよく保つという点で、UMAPよりも優れていました。

しかし、論文はFloDRがすべてにおいて完璧であると主張しているわけではありません。もし唯一の目的が、極めて小さな局所的近傍を完璧に維持することであるならば、openTSNEと呼ばれる別のツールの方が依然としてわずかに優れている、と明示的に述べています。また、FloDRは、未知の新しいデータポイントを瞬時にマップ上に投影できるものの、簡単な追加の最適化ステップを実行しない限り、それらのポイントが必ずしも「正確な」局所的近傍に配置されるとは限らないことも認めています。しかし、大部分において、FloDRは「最高の組み合わせ」を提供します。つまり、見た目が正しく、感覚が正しく、そして組み込みの「真実計」を備えたマップです。

この真実計こそが、この論文の最も遊び心があり、かつ強力な機能です。FloDRは、マップの上に塗り重ねることができる2つの特別な「診断フィールド」を生成します。

条件付き拡散（Conditional Spread）: 特定の場所で霧が濃くなる様子を想像してください。この霧は、その地点における元のデータの変動がどれくらいあるかを教えてくれます。もし霧が濃ければ、それはマップが、現実の世界では非常に異なっていたものを押しつぶして一つにまとめてしまったことを意味します。
隠れたコントラスト（Hidden Contrast）: これは「秘密のデコーダーリング」のようなものです。これは、特定のラベル（例えば「これは癌細胞か？」）に関する情報が、目に見えないデータの部分にどれくらい隠されているかを教えてくれます。もしある地点で隠れたコントラストが高い場合、それは2Dマップが、そこに座っているグループ間の大きな違いを隠していることを意味します。

決定的なのは、著者たちがこれらの値を単に推測したのではなく、厳密にテストしたことです。彼らはデータを分割し、一部のデータでマップを学習させ、その後、他の部分を予測することで、診断フィールドが実際に真実を語っているかどうかを確認しました。その結果、ほとんどのデータセットにおいて、これらのフィールドは高い信頼度でテストをパスしました。例えば、ヒト胎児骨髄細胞のデータセットでは、隠れたコントラストは $p$ 値 0.01 で認証されました。これは、そのシグナルが非常に強力であり、単なるランダムなノイズではないことを意味します。

結局のところ、FloDRは単に綺麗な絵を見せるだけではありません。それは、自らの限界を説明する「取扱説明書」が付いた絵を提供します。それは、マップが信頼できる場所と、単なる錯覚に過ぎない場所を示してくれます。残差データを安全に保持し、可逆的な数学的トリックを用いることで、科学者がデータの形状だけでなく、それが落とす影をも見ることができるようにし、投影が本来サポートできなかった結論を導き出してしまうことがないようにしてくれるのです。

技術要約: FloDR – 正規化流に基づく可逆的次元削減手法

1. 問題提起

高次元データは、しばしば2次元の埋め込み（例：t-SNE、UMAT）を用いて可視化される。しかし、これらの手法は、読者にその統計的根拠を超えた解釈を強いることが少なくない。標準的な手法の最適化プロセスは、そのような解釈を支えるために必要な情報を破棄してしまうため、クラスター間の距離、空白領域の有意性、および特定の点に隠された構造の量は、一般に不可視である。さらに、既存の手法はトレードオフに直面している。近傍埋め込みは局所的な構造を保持するがグローバルな幾何学を歪め、一方で線形手法（PCAなど）はグローバルな構造を保持するが局所的な近傍をぼかしてしまう。加えて、アウトオブサンプル（未知のデータ）の埋め込みを可能にするパラメトリックなアプローチは、真の逆関数ではない、分離された近似的なエンコーダー・デコーダー対に依存することが多く、モデルの誤差が説明に混入してしまう。

2. 手法

FloDR（Flow-based Dimensionality Reduction）は、非可逆な投影ではなく、可逆な正規化流（バイジェクション $f_\theta: \mathbb{R}^D \to \mathbb{R}^D$ ）を通じてデータを埋め込むことで、これらの問題に対処する。

アーキテクース

マッピング: コアとなるのは、混合層を持たない $L=4$ 個のアフィン結合層（RealNVPスタイル）の合成である。入力は、最初の2つの主成分上にレイアウトを初期化するために、固定された線形変換によってホワイトニングおよび回転される。
埋め込み vs 残差: モデルは $D$ 個の座標を出力する。最初の2つの座標（ $y \in \mathbb{R}^2$ ）は2D埋め込みとして機能する。残りの $D-2$ 個の座標（ $r \in \mathbb{R}^{D-2}$ ）は、破棄されるのではなく、**残差（residual）**として保持される。
可逆性: 写像がバイジェクションであるため、任意のペア $(y, r)$ は、正確な逆関数 $f^{-1}_\theta$ を介して（浮動小数点の丸め誤差を除いて）入力 $x$ へと正確に写像される。これにより、変数変換の公式を用いた正確な密度推定が可能になる。

学習目的関数

レイアウトは、2D座標 $y$ にのみ適用される複合損失関数を用いて学習される：

局所構造: ファジー $k$ -近傍グラフ（ $k=15$ ）を構築し、引力項と斥力項を用いるUMAPに従う。
グローバル構造:
- 斥力を打ち消すための、有界なミッドレンジ引力項。
- 順序項（Ordinal Term）: 入力空間におけるペア間の距離比較の「符号」を、埋め込み空間におけるそれと比較して最適化する、非計量的MDS項。この項はユーザーが調整可能な重み $w$ によって制御される。
- 密度項: 残差座標の過度な引き伸ばしを防ぐために、学習中にオプションで導入される負の対数尤度項。

アウトオブサンプル配置

新しいデータポイントは、単一のフォワードパス（ $y' = f_\theta(x')_{1:2}$ ）によって埋め込まれる。これはグローバルな構造を保持するが、局所的な近傍を保持できない場合がある。これに対処するため、FloDRは、学習済みのマップを凍結した状態で、訓練データの近傍に対する引力に対して新しい点の位置を200ステップ最適化する、配置ステップ（UMAPのtransformに類似）をオプションとして提供する。

3. 主要な貢献：認定診断

FloDRの主要な革新は、補助的なモデルのアーティファクトではなく、与えられた2D位置に投影された入力の分布の特性である**診断フィールド（diagnostic fields）**を生成できることにある。これらのフィールドは、正確な逆関数と残差分布 $p(r|y)$ から導出される。

2つの診断フィールド

条件付き広がり（Conditional Spread: $\sigma(y)$ ）:
- 定義: $\sigma(y) = \sqrt{\text{trace}(\text{Cov}(x | y))}$ 。
- 意味: 特定の埋め込み位置 $y$ において、元の入力データのどれだけの部分が未決定のまま残っているかを測定する。高い値は、レイアウトが元の高次元空間では異なっていた入力を結合してしまったことを示す。
- 推定: フィットされた $p(r|y)$ から残差を抽出し、正確な逆関数を通じてマッピングすることで計算される。
隠れたコントラスト（Hidden Contrast: $h(y)$ ）:
- 定義: $h(y) = I(G; R | Y=y)$ 。ラベル付けされたコントラスト $G$ （例：細胞型）と残差 $R$ との間の相互情報量（埋め込み位置 $Y=y$ の下で）。
- 意味: ラベル付けされたグループに関する情報が、2つのプロットされた座標によってどれだけ破棄されたかを測定する。高い値は、近くに描画されている点が、残差によって依然として区別可能な異なるグループに属していることを示す。
- 推定: $p(G|y)$ と $p(G|y, r)$ を推定するために、容量一致（capacity-matched）分類器を使用して計算される。

認定プロセス

過剰な解釈を防ぐため、すべてのフィールドは**保持検証による認定プロセス（held-out certification process）**を受ける。

フィールドは訓練セットでフィットされ、保持されたセットで検証される。
検証には、埋め込み空間のビン化（binning）と、フィールドの予測値に対する実際の保持検証測定値の回帰が含まれる。
基準: フィールドが、傾き $b \in [0.7, 1.3]$ および $R^2 \geq 0.6$ を伴って検証ターゲットを追跡する場合にのみ「認定」される。
帰無検定: 隠れたコントラストについては、フィールドを、ラベルがビン内でシャッフルされた帰無仮説と比較する。
結果: これらのテストに失敗したフィールドは、診断として「拒否（refused）」と明示的にマークされ、ユーザーが信頼できない診断に基づいた結論を導き出すことを防ぐ。

4. 結果

著者らは、4つのベンチマークデータセット（MNIST, Fashion-MNIST, Paul15 myeloid progenitors, Schneider reaction data）と3つのシングルセル・アトラス（ヒト胎児骨髄, マウス小脳, シロイヌナズナ種子）を用いてFloDRを評価した。

グローバル vs ローカルのトレードオフ: FloDRはほぼ垂直なトレードオフ曲線を実現する。順序重み $w$ を調整することで、グローバル構造の保持（ペア間距離のスペアマン相関、CPDで測定）は、局所的な近傍の再現性をほとんど損なうことなく、大幅に向上する（例：MNISTにおいて0.337から0.562へ）。
ベースラインとの比較:
- vs. UMAP: FloDRは、すべての4つのベンチマークにおいて、グローバルおよびローカルの両方の軸でUMAPを上回る。
- vs. openTSNE: openTSNEは局所構造をわずかに良く保持するが、グローバル構造において大きな代償を払う。
- vs. PCA: PCAはグローバル構造をよく保持するが、局所的な近傍には失敗する。FloDRは、局所構造を維持しながらPCAのグローバル性能に匹敵またはそれを上回る。
- vs. SQuadMDS: SQuadMDSはシングルセル・アトラスにおいて高いグローバルCPDを達成するが、局所的な近傍情報はほとんど保持しない（再現率 $\approx 0$ ）。
アウトオブサンプル性能: FloDRのフォワードパスはグローバル構造を効果的に保持する。オプションの配置ステップを使用した場合、局所的な忠実度は、ベンチマークにおいてopenTSNEと同等のレベルまで回復する。
効率性: FloDRは計算効率が高く、 $10^6$ 個のポイントの埋め込みをGPU上で222秒で完了した。これはUMAP（403秒）やt-SNE（273秒）よりも速い。

5. 意義と主張

本論文は、FloDRが次元削減の解釈におけるパラダイムシフトを提示していると主張している：

単一オブジェクトの一貫性: 分離されたエンコーダーとデコーダーを使用する手法とは異なり、FloDRのレイアウト、逆関数、および密度は、単一の訓練されたバイジェクションの特性である。これにより、診断的可視化が、生成されたレイアウトの近似的な補助ネットワークではなく、正確な逆関数から導出されることが保証される。
測定可能な主張: この手法は、マップを単に「読む」ことから、マップに関する測定可能な主張を行うことへと移行させる。条件付き広がりと隠れたコントラストのフィールドを導入することで、FloDRは2D投影によって何が隠されているかを定量化する。
反証可能性: 認定プロセスの導入により、診断フィールドは単なる視覚的なオーバーレイではなく、経験的に検証されたものとなる。フィールドが保持検証に失敗した場合、それは拒否されるため、ユーザーが根拠のない結論を下すことを防ぐ。
限定的な範囲: 著者らは、自身が優れた再構成品質（デコーダーの方が優れている）を主張しているわけでも、あるいは他の手法に対して単一の軸（局所またはグローバル）ですべてを支配すると主張しているわけでもないことを明示している。むしろ、FloDRは両方の軸において同時に非常に競争力のある手法であり、結果として得られる2Dマップの限界を解釈するための厳格な枠組みを提供するものであると提示されている。