🤖 machine learning

Measure-to-measure Regression with Transformers

本論文は非線形測度間回帰の定式化を導入し、確率分布間の写像を学習するための静的写像と動的速度場という 2 つのスケーラブルなトランスフォーマーベースのアプローチを提案し、合成データ、物理データ、および生物学的データセットにおける集団進化の予測におけるそれらの有効性を示す。

原著者： Matthew Vandergrift, Martha White, Yury Polyanskiy, Philippe Rigollet, Lazar Atanackovic

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Matthew Vandergrift, Martha White, Yury Polyanskiy, Philippe Rigollet, Lazar Atanackovic

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに、人々の群れがどのように移動するかを予測させる方法を教えると想像してください。

従来の方法（古典的回帰）：
通常、移動を予測したい場合、一人ずつを見ています。「アリスが左に歩けば、彼女はここに到達する。ボブが右に歩けば、彼はあそこに到達する」と言います。ここでは、全員を独立した旅行者として扱います。

新しい問題（測度から測度への回帰）：
しかし、魚の群れ、蜂の群れ、あるいは体内の細胞の群れなど、多くの現実世界の状況では、人々は単独で移動しません。集団として移動します。群れ全体が移動するのは、彼らが互いにどのように相互作用するかによるものです。一人だけを見ていてはダメです。人々の「雲」（分布）全体を見て、その雲全体がどのように形を変えていくかを予測しなければなりません。

この論文では、これを測度から測度への（M2M）回帰と呼んでいます。ある一点がどこへ行くかを予測するのではなく、点の集合体や形状全体が、新しい形状へとどのように変換されるかを予測するのです。

解決策：「トランスフォーマー」を群れ管理者として

著者らは、この問題を解決するために、トランスフォーマー（多くの現代のチャットボットの背後にある技術）と呼ばれる特定の AI タイプを使用することを提案しています。ただし、彼らはそれを特別な方法で利用します。

標準的なトランスフォーマーを、アイテムのリストを見て、他のアイテムに基づいてそれぞれをどう扱うか決定する、超整理された管理者だと考えてください。

魔法： この論文では、トランスフォーマーは単にリストを見るのではなく、群れ全体を単一の存在として見ています。「この群れの現在の形状を踏まえて、この形状をあの新しい形状に変えるために、一人ひとりはどのように動くべきか？」と問うのです。

この論文では、これを行うための 2 つの主要な方法を紹介しています。

1. 「スナップ」方式（静的トランスフォーマー）

出発位置の群れの写真と、完成した位置の群れの写真があると想像してください。

仕組み： AI は出発の写真を見て、即座に「魔法の地図」を計算します。この地図は、一人ひとりが目的地へ到達するために、一度の大ジャンプでどこへ飛ぶべきかを正確に示します。
比喩： 監督が「全員、今すぐ最終地点へジャンプしろ！」と叫ぶようなものです。すると群れは一瞬で新しい編成へテレポートします。
長所/短所： 高速ですが、全員に対して一度にその完璧な「ジャンプ」を計算するのは数学的に非常に難しく、厄介な場合があります。

2. 「流れ」方式（動的トランスフォーマー / M2M-TFM）

これがこの論文のスター選手です。大ジャンプの代わりに、群れが流体や川のように移動すると想像してください。

仕組み： AI は人々にどこへ飛ぶかを指示するのではなく、風や流れのように働きます。「速度場」を計算し、群れを押し進める穏やかなそよ風を計算するのです。
- 時間 0 では、そよ風は弱いです。
- 時間 0.5 では、そよ風は特定の方向により強く押し出します。
- 時間 1 では、群れは滑らかに新しい形状へと流れています。
比喩： 水差しからコップへ水を注ぐことを考えてください。すべての水分子にどこへ行くかを指示するのではなく、流れそのものを制御するだけで、水は自然にコップを満たす道を見つけます。
なぜ優れているか： この論文は、この「流れ」方式の方がはるかに柔軟で正確であることを示しています。単に始点と終点を暗記するのではなく、移動の規則を学習するからです。

どこでテストされたのか？

著者らは理論について語るだけでなく、この「群れ管理者」を 3 つの具体的な課題でテストしました。

形を変える文字： 彼らは「A」や「B」などの文字を形成する点の雲を採取し、それらを破損させ（点を散らしました）。AI は、散らばった点を正しい文字の形に戻す方法を学習しなければなりませんでした。この場合、彼らの「流れ」方式が最も優れていました。
シミュレーション物理学： 粒子が相互作用する複雑なシステム（「キュラモトモデル」のように、連なって振れる振り子のグループのようなもの）をシミュレーションしました。AI は、集団が時間とともにどのように進化するかを予測しなければなりませんでした。これも再び、「流れ」方式が勝利しました。
現実世界の生物学（大腸がん）： これが最大の課題です。彼らは患者由来のオルガノイド（患者の腫瘍から培養された微小な 3 次元の細胞クラスター）のデータを使用しました。
- 設定： 治療前と治療後の患者の細胞の姿を示すデータを持っていました。
- 目的： 9 人の患者のデータで AI を訓練し、これまで見たことのない10 人目の患者の治療反応を予測させました。
- 結果： AI は、これらの特定のがん細胞が薬にどのように反応するかという「規則」を成功裏に学習し、以前の手法よりも新しい患者の転帰を予測できました。

結論

この論文は、細胞、粒子、あるいは群れのように一緒に移動する集団を扱う場合、それらを個体として扱うべきではないと主張しています。それらを、変化する単一の「雲」として扱うべきです。

トランスフォーマーを用いて、「スナップ」地図または「流れ」の潮流として機能させることで、彼らはこれらの雲をどのように形変えるかを学習できるツールを作成しました。彼らの「流れ」アプローチ（M2M-TFM）は特に強力です。なぜなら、群れ全体を移動させるという複雑な問題を、滑らかで段階的な旅に分解し、学習しやすく、さらに完全に新しい状況であっても予測をより正確にするからです。

技術的概要：トランスフォーマーを用いた測度間回帰

問題定義

本論文は、個々のデータ点間ではなく、確率測度間の写像を学習することを目的とする測度間（M2M）回帰問題に取り組む。細胞生物学や分子生物学など多くの科学分野において、個体群は独立した実体としてではなく、集合体として進化するため、データは自然に点雲や分布（測度） $\mu$ および $\nu$ として表現される。目標は、有限の観測入力 - 出力ペアの集合 $\{(\mu_i, \nu_i)\}_{i=1}^n$ が与えられたとき、 $\nu = T^*(\mu)$ となるような作用素 $T^*: \mathcal{P}(\mathbb{R}^d) \to \mathcal{P}(\mathbb{R}^d)$ を学習することである。

古典的な回帰ではサンプルが独立して変換されるのに対し、M2M 回帰では分布全体を根本的なデータ点として扱う。重要な課題は、学習された作用素が、訓練中に観測された経験的サポート間を単に補間するだけでなく、異なるサポートサイズや滑らかな極限を持つような未見の測度にも一般化しなければならない点である。既存のアプローチは、複雑な非線形力学に対して表現力やスケーラビリティが不足している線形輸送マップやカーネル法などの限られた関数クラスに依存することが多い。

手法

著者らは、トランスフォーマーを確率測度上の作用素として活用することを提案する。これは、トランスフォーマーが持つ本質的な測度依存性と平均場構造を利用するものである。自己注意機構により、トランスフォーマーはトークン（粒子）の集合を集合体として処理でき、実質的に入力の実験的分布に条件付けられた出力を生成する。

本論文は、非線形 M2M 作用素を $T(\mu) = (f_\mu)^\sharp \mu$ という形式のプッシュフォワード写像として定式化する。ここで、輸送写像 $f_\mu$ は明示的にソース測度 $\mu$ に依存する。2 つの異なるトランスフォーマーに基づくパラダイムが導入される。

1. 静的 M2M 回帰（ワンステップ・プッシュフォワード）

このアプローチは、変換をトランスフォーマーでパラメータ化された直接的一ステップ写像 $F_\mu: \mathbb{R}^d \to \mathbb{R}^d$ としてモデル化する。

メカニズム: トランスフォーマーは入力測度 $\mu$ を定義する粒子の集合を受け取り、ターゲット測度 $\nu$ を表す変換された粒子の集合を出力する。
訓練: 入力測度と出力測度間のカップリング $\gamma_i$ に対して分布損失 $D(F_\mu(x), y)$ を最小化することでモデルを訓練する。著者らは、Sinkhorn アルゴリズムによって計算される最大平均不一致（MMD）、エネルギー距離（ED）、およびワッサーシュタイン距離（ $W_1, W_2$ ）を含む様々な損失を利用する。
限界: 高次元における分布距離の最適化は、統計的・計算的に困難である。

2. 動的 M2M 回帰（トランスフォーマー・フロー・マッチング - M2M-TFM）

直接分布最適化の困難さを克服するため、著者らは変換を連続時間フローとしてモデル化する動的アプローチを導入する。

メカニズム: 単一の写像の代わりに、変換は測度の現在の状態に依存する時間依存速度場 $\chi_t[\mu(t)]$ によって定義される。測度の進化は連続方程式 $\partial_t \mu(t) + \nabla \cdot (\mu(t) \chi_t[\mu(t)]) = 0$ によって支配される。最終出力は、この常微分方程式（ODE）を $t=0$ から $t=1$ まで積分することで得られる。
アーキテクチャ: 時間依存トランスフォーマーが速度場 $\chi_t$ をパラメータ化する。トランスフォーマーは、現在の粒子集合と時間ステップ $t$ を処理し、各粒子の速度ベクトルを予測する。
訓練（M2M-TFM）: この手法は**条件付きフロー・マッチング（CFM）**を採用する。ソース粒子とターゲット粒子間の線形補間経路 $\phi_t(x, y) = (1-t)x + ty$ のターゲット速度に速度場を一致させるように訓練する。損失関数は、測度ペアのデータセット上で周辺化された、予測速度とターゲット速度 $(y-x)$ との二乗誤差を最小化する。これにより、困難な分布最適化問題を扱いやすい点ごとの回帰タスクに変換する。
推論: 新しい入力測度が与えられると、モデルは予測された出力測度を生成するために ODE の軌跡をステップごとにシミュレートする。

主な貢献

定式化: 本論文は、確率測度の空間 $\mathcal{P}(\mathbb{R}^d)$ 上の作用素を学習することとして非線形 M2M 回帰を厳密に定式化し、直接写像と連続時間ダイナミクスを区別する。
新規フレームワーク: スケーラブルで表現力のある 2 つのアプローチを導入する。
- 静的トランスフォーマー: 標準的なトランスフォーマーを用いて M2M 写像を直接近似する。
- M2M-TFM: フロー・マッチングとトランスフォーマーの測度依存性を統合した動的フレームワークであり、訓練中の明示的な分布損失最適化を不要にする。
実証的検証: 著者らは、3 つの異なる設定におけるこれらの手法の有効性を示す。
- 合成マルチ測度オブジェクト: 文字形状や多物体構成における拡散およびカーネル相互作用プロセスの逆を予測する。
- マックイーン - フラソフ系: 2 次元、50 次元、100 次元の系（クラーモト、フィッツハグ - ナグモ、平均場アトラス）における個体群ダイナミクスの進化を予測する。
- 実世界応用: 大規模な患者由来オルガノイド（PDO）データセットを用いた大腸がんの治療反応を予測する。ここでは、モデルは未見の患者にも一般化しなければならない。

結果

提案された手法、特に動的なM2M-TFMは、すべての実験設定において既存のベースラインを一貫して上回る。

合成オブジェクト: M2M-TFM は、ワッサーシュタイン距離（ $W_1$ ）およびエネルギー距離（ED）の誤差が最も低く、条件付きフロー・マッチング（CFM）、メタ・フロー・マッチング（Meta-FM）、およびワッサーシュタイン・フロー・マッチング（WFM）を大幅に上回った。
マックイーン - フラソフ系: 高次元（100 次元）の設定において、M2M-TFM はニューラル・マックイーン - フラソフ（NMKV）および平均場トランスフォーマー（MF-Transformer）と比較して優れた一般化能力と表現力を示し、誤差を大幅に削減することが多かった。
生物学的応用: 大腸がんデータセットにおいて、M2M-TFM はすべての指標（ $W_1$ 、ED、 $r^2$ ）でバランスの取れた性能を発揮した。一方、静的な手法は特定の損失関数に対応する指標においてのみ優れる傾向があった。M2M-TFM は最高の $r^2$ （0.9029）および競争力のある $W_1$ スコアを達成し、未見の患者に対する堅牢な一般化を示した。

意義と主張

本論文は、トランスフォーマーが測度依存ダイナミクスをモデル化する能力に起因し、M2M 回帰にとって自然かつ強力なアーキテクチャであると主張する。 $\mathcal{P}(\mathbb{R}^d)$ 上の作用素という視点を通じて問題を定式化することで、著者らはトランスフォーマーの理論的平均場極限と実用的な応用の間のギャップを埋めている。

主な意義は、M2M 回帰問題に対するスケーラブルで表現力のある解決策を提供するM2M-TFMフレームワークにある。複雑な分布作用素の学習を速度場上の点ごとの回帰に還元することで、この手法は分布距離を直接最適化することに伴う「次元の呪い」を回避する。著者らは、この研究を科学的応用における集合的ダイナミクスをモデル化するための多用途な基盤として位置づけ、特にデータが本質的に分布している細胞進化や治療反応の予測におけるその成功を強調している。

本論文は理論的保証については控えめであり、深層トランスフォーマーが M2M 写像の普遍近似子であることは知られているものの、フロー・マッチングフレームワーク下でのベクトル場モデルによる非線形作用素の学習に関する形式的保証は、今後の研究における未解決の方向性であると指摘している。同様に、現在の実装は線形補間経路と決定論的ダイナミクスを仮定しており、非線形、確率的、および不均衡な設定への拡張は今後の研究課題として残されている。