🤖 machine learning

LongMoE: Longitudinal Multimodal Learning via Trajectory-Aware Mixture-of-Experts

LongMoEは、コンテキスト認識型補完、周波数領域の時系列トークン化、および軌跡認識型のSparse Mixture-of-Expertsルーティングを統合することで、不規則で不完全なマルチモーダルな受診シーケンスにわたる堅牢な患者固有のモデリングを可能にし、臨床学習におけるモダリティの欠損と縦断的ダイナミクスという二重の課題に対処する統一フレームワークである。

原著者： Maxx Richard Rahman, Prakhar Kumar, Wolfgang Maass

公開日 2026-06-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Maxx Richard Rahman, Prakhar Kumar, Wolfgang Maass

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、LONGMOEの論文を、シンプルな概念と日常的な比喩を用いて解説したものです。

大きな問題：「欠けたパズルのピース」と「動く映像」

アルツハイマー病の患者を診断しようとしている医師を想像してみてください。彼らは巨大なパズルを解こうとしていますが、ピースは異なる箱から届きます。

箱1： 脳スキャン（MRI）
箱2： 血液検査と髄液サンプル
箱3： 遺伝データ
箱4： 認知機能テストのスコア（記憶力ゲームなど）

課題1：欠けているピース（モダリティの欠損）
現実の世界では、患者がすべての診察時にすべての箱を持ってくるわけではありません。血液検査だけしか持っていないこともあれば、脳スキャンしかないこともあります。従来のコンピュータモデルは、融通の利かないシェフのようなものです。もしすべての材料が揃っていなければ、調理を拒否するか、あるいはデタラメに推測してしまいます。彼らは、先月患者が来院していたという事実を無視して、あらゆる診察を完全に新しい、孤立したイベントとして扱ってしまいます。

課題2：動く映像（縦断的なダイナミクス）
アルツハイマー病は、一瞬の静止画ではなく、映画です。脳のスキャンで海馬（記憶を司る部分）が「中程度の大きさ」であることは、その患者の脳が過去1年間で急速に縮小しているのか、あるいはここ10年間安定しているのかによって、全く異なる意味を持ちます。古いモデルは、映画の現在のフレームを見ることはできても、前のシーンのプロット（筋書き）を忘れてしまうことがよくあります。

解決策：LONGMOE（スマートで適応力のあるチーム）

著者らは、欠けているピースと動く映像の両方を同時に扱うために設計された新しいAIシステム、LONGMOEを提案しています。これは単なる一人のロボット医師ではなく、共に働く専門的な医療チームだと考えてください。

このシステムの4つの主要な部分は、次のように機能します。

1. 「コンテキスト認識型インピュテーション」（賢い穴埋め役）

特定の検査（例：MRIなし）がない状態で患者が到着した場合、システムは単に空白のままにしたり、ランダムに推測したりはしません。

比喩： 本を読んでいるときに、数ページが欠けている状況を想像してください。もし直前のストーリーでキャラクターが部屋に入ったところであれば、次の段落でもそのキャラクターがまだ部屋にいると合理的に推測できます。
仕組み： もし患者が先月MRIを受けていたなら、システムはその最後の既知の値を一時的なプレースホルダーとして「前方に持ち運び」ます。もしそれが最初の診察でデータが存在しない場合は、他の利用可能な検査（血液検査など）を使用して、欠けているMRIが「おそらくどのようであったか」を論理的に推測します。単なる空白ではなく、文脈（コンテキスト）を用いて隙間を埋めるのです。

2. 「アテンショナル・トークナイゼーション」（タイムスタンプ付きの時計）

システムは、何が起きたかだけでなく、「いつ」起きたかを理解する必要があります。受診の間隔は一定ではありません。6ヶ月ごとに来る患者もいれば、2年ごとに来る患者もいます。

比喩： 音楽を考えてみてください。音符だけを聞いても、メロディは分かります。しかし、もし「テンポ（速度）」を知らなければ、その曲は正しく聞こえません。LONGMOEはデータに「テンポ」の層を加えます。特別な数学的コード（ユニークな時計の針のようなもの）を使用して、診察の間にどれだけの時間が経過したかをAIに正確に伝え、病気がゆっくり変化しているのか（スローなワルツ）、あるいは急速に変化しているのか（速いドラムソロ）を検知できるようにします。

3. 「軌跡認識型エンコーダー」（ストーリーテラー）

これがオペレーションの「脳」です。すべての受診記録（過去と現在）を取り込み、それらを一つの物語へと編み上げます。

比喩： ランナーの写真を一枚見るのではなく、レースのビデオ全体を見るようなものです。このモジュールは、現在まさにトラックの同じ地点にいるランナーであっても、減速しているランナーと、走り始めたばかりのランナーでは状態が異なることを理解します。患者の履歴を組み合わせることで、現在の状態を理解します。

4. 「スパース混合エキスパート（Sparse Mixture-of-Experts）」（専門家チーム）

これが最もユニークな部分です。一つの巨大なAIがすべてにおいて優れようとするのではなく、LONGMOEには**ルーター（Router）とエキスパート（Experts）**のチームがあります。

ルーター： これは「交通整理の警官」です。患者が到着すると、ルーターはその患者の具体的な状況を確認します。「おや、この患者は遺伝学と血液検査のデータはあるが、脳スキャンがない。そして、衰退の初期段階にいるな」といった具合です。
エキスパート： その後、ルーターはその仕事に必要な特定のスペシャリストを呼び出します。
- 例えば、エキスパートA（遺伝学に長けている）を起動させるかもしれません。
- あるいは、エキスパートB（緩やかな衰退の追跡が得意）を起動させるかもしれません。
- そして、エキスパートC（現在存在しない脳スキャンの読み取りに特化した専門家）は無視します。
メリット： これにより、システムは効率的かつ非常に高精度になります。必要のないエキスパートにエネルギーを無駄遣いせず、患者が持っている特定のデータの組み合わせに対して、適切なスペシャリストが対処することを保証します。

何を見出したのか？（結果）

研究者たちは、このシステムを3つの大規模な実世界の医療データセット（ADNI、OASIS-3、MIMIC-IV）でテストしました。

「欠けているピース」テスト： データを削除したとき（すべての検査を受けなかった患者をシミュレート）、従来のモデルは性能が低下したり、うまく機能しなくなったりしました。しかし、LONGMOEは強力なまま維持されました。それは、レシピの履歴に基づいて材料を代用できる方法を知っているシェフが、もしパントリーが半分空っぽであっても、美味しい料理を作り続けられるようなものです。
「フルデータ」テスト： すべてのデータが利用可能な場合でも、LONGMOEは既存の最高水準のモデルと同等、あるいはそれ以上の性能を発揮しました。
「ストーリー」テスト： システムは、患者の履歴（軌跡）を知ることが極めて重要であることを証明しました。AIの「ストーリーテリング」部分を取り除くと、性能が著しく低下しました。これは、過去を見ることが現在を見ることと同じくらい重要であることを証明しています。

まとめ

LONGMOEは、乱雑で不完全で、時間の経過とともに分散している患者データから、コンピュータが学習するための新しい手法です。それは、次のようなスマートな医療チームとして機能します。

過去から得た知識を用いて、欠けている情報を補完する。
病気のタイミングと速度を理解する。
患者が持っている特定のデータの組み合わせを分析するために、適切なスペシャリストを動的に選択する。

その結果、完璧なデータが稀であり、患者の履歴が複雑である現実の臨床現場において、より堅牢で信頼性の高いシステムを実現しています。

技術要約: LONGMOE

問題提起

マルチモーダルな臨床学習は、既存の手法では同時に解決できない、相互に関連する2つの根本的な課題に直面しています。

モダリティの欠損性（Modality Missingness）: 現実世界の臨床コホートでは、異種的な取得プロトコルやリソースの制約により、特定の患者受診時において、任意のサブセットのモダリティ（例：画像、テキスト、遺伝子データ）が利用できないことが頻繁にあります。
縦断的ダイナミクス（Longitudinal Dynamics）: 観測値の診断的意義は、患者の進化する疾患軌跡と不可分です。バイオマーカーの価値は、単一の静的なスナップショットにおける絶対値ではなく、個々の低下の軌跡におけるその位置に依存します。

既存のアプローチは、これらの課題を個別に扱っています。欠損モダリティへのフレームワーク（例：Flex-MoE、FuseMoE）は、通常、各受診を独立した静的なスナップショットとして扱い、時間的コンテキストを破棄してしまいます。逆に、縦断的モデル（例：GRUベースのアプローチ）は、多くの場合、すべての受診において完全なモダリティの可用性を想定しており、系統的な欠損に対して性能が低下します。既存のモデルの中で、不規則な受診間隔、任意のモダリティの組み合わせ、および集団の異質性の問題を同時に効果的に扱うものはありません。

手法: LONGMOE アーキテクチャ

著者らは、モダリティの欠損性と縦断的ダイナミクスの両方に共同で対処するために設計された統一フレームワークである LONGMOE (Longitudinal Mixture-of-Experts) を提案しています。このアーキテクチャは、患者の縦断的な受診シーケンスを4つの連続するモジュールを通じて処理します。

1. モダリティ固有の埋め込み（Modality-Specific Embeddings）

各モダリティ $m_l$ は、その構造的特性に合わせた専用のエンコーダ $\phi_l$ によって処理されます。

MRI: 3D畳み込みエンコーダとそれに続くMLP投影。
臨床スコア、バイオマーカー、および遺伝学: モダリティ固有のMLP。
時間的埋め込み: 受診のタイムスタンプは、絶対的な時間と受診間隔を捉える学習された埋め込みとしてエンコードされます。
観測されていないモダリティは、初期状態ではゼロベクトルとして設定されます。

2. モダリティの補完とトークン化（Modality Imputation and Tokenization）

このモジュールは、欠損データを処理し、統一された受診トークンを作成します。

コンテキスト認識型補完（Context-Aware Imputation）:
- キャリーフォワード（Carry-Forward）: もしモダリティが前の受診で観測されていた場合、最も新しい埋め込みを複製します（これはバイオマーカーの強い短期自己相関に基づいています）。
- コンテキスト的補完（Contextual Imputation）: もし過去の観測が存在しない場合、現在の受診における利用可能なモダリティを条件として、埋め込みを生成する学習済みネットワークを使用します。この際、欠損信号からの汚染を防ぐためにゼロマスキングを用います。
アテンショナル・トークン化（Attentional Tokenization）:
- モダリティ融合: 補完されたモダリティ埋め込みに対してマルチヘッド自己注意（Multi-head self-attention）を適用し、モダリティ間の依存関係を学習します。
- Viscode エンコーディング: 連続時間マルチ周波数正弦波位置エンコーディングは、受診タイムスタンプを固定次元のベクトルにマッピングします。このエンコーディングは、非一様サンプリングされたシーケンスに対して**証明可能な単射性（provably injective）**を持ち、一様な受診間隔を仮定することなく、緩やかな縦断的傾向と急速な変化率の両方を捉えます。
- 融合: モダリティ埋め込みとViscodeエンコーディングは要素ごとの加算によって融合され、受診トークン $z_t$ を生成します。

3. 軌跡を考慮した縦断的モデリング（Trajectory-Aware Longitudinal Modeling）

スタックされたTransformerエンコーダブロックが、受診トークンのシーケンス $\{z_t\}$ を処理します。

因果的マスキング（Causal Masking）: 因果的アテンションマスクにより、受診 $t$ における表現が履歴 $\{v_1, \dots, v_t\}$ にのみ依存することを保証し、将来の情報漏洩を防ぎます。
出力: これにより、患者の全疾患進行軌跡を統合したコンテキスト化された埋め込み $h_t$ が生成され、ルーティングモジュールへの豊かな入力として機能します。

4. コンテキスト認識型疎なMoEルーティング（Context-Aware Sparse MoE Routing）

最終層には、患者固有の異質性とモダリティパターンを処理するために、Sparse Mixture-of-Experts (SMoE) アーキテクチャを採用しています。

エキスパート構成: レイヤーには、 $K=8$ $K = 8$ のエキスパートが含まれ、以下に分割されます。
- 個別エキスパート（Individual Experts）: 異なる患者サブグループに特化したサブネットワーク。
- 共有エキスパート（Shared Experts）: 全ての入力にアクセス可能であり、集団レベルの共通パターンを捉え、過度な専門化を防ぐためのもの。
ルーティング: ルーターネットワークは、軌跡埋め込み $h_t$ をスコアベクトルにマッピングします。ハードTop-1ルーティングにより、最も関連性の高い単一のエキスパート（および常に活性化される共有エキスパート）を選択します。
集約: 最終的な予測は、ルーターの信頼度によって重み付けされた、全受診にわたるエキスパート出力のアテンショナルな集約を通じて得られます。
正則化: ロードバランシング損失がルーターの崩壊を防ぎ、エキスパートの均一な利用を保証します。

主な貢献

統一フレームワーク: LONGMOEは、モダリティの欠損性と縦断的な時間ダイナミクスを、マルチモーダル臨床学習において共同で対処する最初のモデルです。
新規のアーキテクチャ構成要素:
- 過去のデータと現在のコンテキストの両方を活用するコンテキスト認識型補完モジュール。
- 不規則なシーケンスに対して、クロスモーダル・アテンションと、証明可能な単射性を持つマルチ周波数時間エンコーディングを組み合わせたアテンショナル・トークン化モジュール。
- 疾患の進行をモデル化する軌跡認識型エンコーダ。
- 観測されたモダリティの組み合わせと患者の軌跡に基づいて動的にエキスパートを選択するコンテキスト条件付きSMoEルーティング層。
堅牢性: 本フレームワークは、モダリティが欠損している場合や弱い場合でも堅牢性を示しつつ、完全なモダリティ設定においても競争力のある性能を維持します。

実験結果

著者らは、ADNI (Alzheimer's Disease Neuroimaging Initiative)、OASIS-3、および MIMIC-IV の3つのデータセットでLONGMOEを評価しました。

性能: LONGMOEは、ADNIおよびMIMIC-IVにおける全てのモダリティの組み合わせにおいて、最高のAUC-ROCを達成しました。OASIS-3においては、特に画像および遺伝子が支配的な設定において、他のベースラインが崩壊する中で、7つの組み合わせのうち4つでトップとなりました。
欠損モダリティに対する堅牢性:
- ADNIにおいて、LONGMODは単一のモダリティしか存在しない場合でも高い性能（AUC $\approx$ 0.94–0.97）を維持しましたが、TFのようなベースラインはランダムチャンス（0.50）へと崩壊し、他のモデルも大幅に劣化しました。
- 軌跡認識型エンコーダが、欠損した同時期のモダリティ情報の代わりに縦断的コンテキストを効果的に補完したため、モダリティが除去されても性能の低下曲線はほぼ平坦でした。
アブレーション研究: 縦断的エンコーダ（LE）またはViscodeエンコーディング（VE）を取り除くと、最大の性能低下が見られ、それらの決定的な役割が確認されました。また、共有エキスパートとロードバランシングメカニズムも、特に深刻な欠損がある設定や小規模なコホートにおいて極めて重要であることが示されました。
複雑性: LONGMOEは、軌跡認識型Transformerの存在により、静的なベースライン（例：Flex-MoEの183Kパラメータに対し、4.4Mパラメータ）と比較して、パラメータ数およびフォワードパスのレイテンシが高くなります。しかし、著者らはこれはオフラインのバッチ推論においては実用的であるが、リアルタイムのベッドサイドでの使用には適さないと述べています。

意義と主張

本論文は、LONGMOEが縦断的を考慮したマルチモーダル臨床学習の強力な基礎を確立することを主張しています。その主な意義は、データの欠損処理と疾患進行のモデリングの間の溝を埋めることにあります。患者の履歴を、独立したスナップショットの連続としてではなく、連続的で不規則な軌跡として扱うことで、現在の受診時に重要なモダリティが欠けている場合でも、識別的な信号を抽出することができます。

著者らは、LONGMOEが複雑で不完全な臨床記録を扱うオフラインのバッチ推論には非常に効果的である一方で、軌跡認識型エンコーダによる計算コストの増加が、リアルタイムのベッドサイドサポートへの適用を制限していることを明示しています。さらに、エンコーダは意味のある埋め込みを生成するために少なくとも1つの過去の観測を必要とするため、モデルは過去の受診履歴がない初診患者に対して縦断的コンテキストを活用することはできません。