🤖 AI

TRACE: A Temporal Conditional Estimation for Multimodal Time Series Foundation Models

本論文は、時間的な不整合や一部のモダリティの欠損に対処するために、利用可能な補助的モダリティから不完全なターゲットモダリティを体系的に推論する、マルチモーダル時系列基盤モデルのための条件付き推定パラダイムであるTRACEを提案しており、既存の手法と比較して、ヘルスケアおよび感情コンピューティングのベンチマークにおいて優れた堅牢性と性能を実証している。

原著者： Ziwen Kan, Yishuo Chen, Kecheng Li, Andrew Wen, Xiaomeng Wang, Liwei Wang, Jihao Duan, Song Wang, Hongfang Liu, Tianlong Chen

公開日 2026-06-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ziwen Kan, Yishuo Chen, Kecheng Li, Andrew Wen, Xiaomeng Wang, Liwei Wang, Jihao Duan, Song Wang, Hongfang Liu, Tianlong Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

複雑なパズルを解こうとしている場面を想像してみてください。しかし、写真を見るたびにいくつかのピースが足りず、手元にあるピースも、バラバラのタイミングでテーブルの上に散らばっています。これは、コンピュータがマルチモーダル・タイムシリーズ（多峰性時系列）データ（心拍数、血圧、医師のメモ、あるいはビデオにおける音声、テキスト、映像など）を分析しようとする際の、日常的な現実です。

現実の世界では、センサーは故障し、メモは遅れて書かれ、データは異なる速度で到着します。既存のコンピュータモデルは通常、単純な数学（例えば、既知の2点間を直線で結ぶような方法）を使って欠落した部分を推測したり、あるいは単にその空白を無視したりすることで、この問題に対処しようとします。この論文は、それが「隣にあるピースの色だけを見て、欠けているピースの色を推測することでパズルを完成させようとする」ようなものであると指摘しています。

以下に、論文が提案するTRACEの簡単な内訳を説明します。

1. 問題点：「壊れたパズル」

患者の健康データを、3人の異なる語り手によって語られる物語だと考えてみてください。

語り手A（心拍モニター）は、1秒ごとに話します。
語理手B（医師のメモ）は、医師が何かを書いた時だけ話します。
語り手C（X線検査）は、スキャンが行われた時だけ話します。

時として、語り手BやCは長い間沈黙します。古いコンピュータモデル（FuseMoEなど）は、最後に聞いた内容に基づいて「最善の推測」を行うことで、その沈黙を埋めようとします。しかし、これは、BやCの空白を埋めるために、語り手Aが「今まさに」何を言っているのかを聞き取ろうとしないため、しばしば歪んだ物語を作り出してしまいます。

2. 解決策：TRACE（「賢い探偵」）

著者らは、TRACEを提案しています。これはTemporal Conditional Estimation（時間的条件付き推定）の略です。

単独で欠落したピースを推測するのではなく、TRACEは利用可能なすべての手がかりを使用して、失われた物語の断片を再構成する探偵のように振る舞います。

比喩： パーティーの騒音の中で、友人が何を言っていたかを思い出そうとしている場面を想像してください。数文聞き逃してしまったとしても、単にランダムな言葉を推測するのではなく、その前後に友人が何を言ったか、そして同時に周りの友人たちが何を言っていたかを聞くことで、空白を埋めるのです。
仕組み： TRACEは**拡散（Diffusion）**と呼ばれる手法を使用します。これは、彫刻家が粘土の塊（ランダムなノイズ）から始まり、他の語り手からの「手がかり」に導かれながら、ゆっくりとノイズを削ぎ落として、明確でリアルな形を浮かび上がらせるプロセスに似ています。単に線を引くのではなく、存在する他のすべての文脈に基づいて、欠落したデータを「想像」するのです。

3. 2段階のプロセス

TRACEは、2人組のチームのように、2つの明確なステージで動作します。

ステップ1：再構成チーム（条件付き拡散）
チームが最終的な問題を解く前に、まず協力して「壊れたデータ」を修理します。もし心拍モニターのデータが一部欠けている場合、チームは医師のメモやX線検査を参照し、その欠落した部分が「おそらくどのような姿であったか」を確率的（数学的）に再構成します。単に静的な数値で埋めるのではなく、文脈に適合する「可能性の雲」を作り出します。
ステップ2：意思決定チーム（混合エキスパート）
データが「修理」されると、次に「混合エキスパート（Mixture-of-Experts）」と呼ばれる第2のチームが、完成した全体像を見て予測を行います（例：患者が退院するかどうか、あるいはビデオが「幸せ」なものか「悲しい」ものかなど）。データがよりクリーンで正確であるため、このチームはより優れた意思決定を下すことができます。

4. 研究結果（結果）

研究者たちは、TRACEを2種類の「パズル」でテストしました。

感情分析（CMU-MOSI/MOSEI）： テキスト、音声、ビデオに基づいて、ビデオクリップがポジティブかネガティブかを判断します。
ヘルスケア予測（MIMIC-IV）： バイタルサイン、メモ、X線、ECGなどに基づき、患者の転帰（死亡率や入院期間など）を予測します。

判定：

精度の向上： TRACEは一貫して従来のモデルを上回る性能を示しました。ヘルスケアのテストにおいて、TRACEは患者の転帰を予測する上でより優れていました。
回復力（レジリエンス）： データが欠落すればするほど、TRACEの真価が発揮されました。他のモデルがデータの欠落（30%以上の欠損）によって崩壊していく一方で、TRACEは冷静さを保ちました。
現実に近い： 論文は、TRACEが作成する「修理された」データが、単純な推測を行う他のモデルよりも、真の現実（すべてのセンサーが完璧に機能していた場合に起こったであろう状態）に近いことを示しています。

まとめ

要約すると、TRACEはコンピュータが欠落したデータを扱う方法を変革します。「単純な平均値でこの隙間を埋めよう」とするのではなく、「今まさに他に何が起きているのかを見て、欠落しているものを知的に再構成しよう」とするのです。これにより、過去のより鮮明なイメージが得られ、コンピュータは将来に対してよりスマートな予測を行うことが可能になります。

技術要約: TRACE – マルチモーダル時系列基盤モデルのための時間的条件付き推定

1. 問題提起

時系列基盤モデル（TS-FM）は、多様なダウンストリームタスクに適応可能な、汎用的な時間的表現を学習することを目指している。しかし、ヘルスケアやアフェクティブ・コンピューティングなどの領域における実世界のマルチモーダル時系列データは、頻繁に**時間的な不整合（temporal misalignment）と部分的なモダリティの欠損（partial modality missingness）**に直面する。これらのシナリオでは、異なるモダリティが異質な時間スケールで観測されたり、不規則なサンプリングやセンサーの故障によって特定のモダalityが部分的に欠落したりする。

既存のアプローチは通常、融合（fusion）の前段階として、ナイーブな補完（例：ゼロ埋め、最近傍値による補完）やマスキング戦略を用いてこれらの問題に対処している。著者らは、これらの手法はクロスモーダルな依存関係を考慮できていないと主張している。決定論的に欠損値を補完することで、既存のモデルは条件付きの不確実性を崩壊させ、結果としてダウンストリームの融合を歪め、バイアスを生じさせる可能性がある。さらに、現在の多くのTS-FMは、欠損を単なる前処理のステップとして扱っており、条件付き推定すべき潜在的な時間変数として扱っていないため、深刻な疎性（sparsity）に対する堅牢性が制限されている。

2. 手法: TRACE

著者らは、疎でイベント駆動型の観測をどのように扱うかを再定式化するパラダイムであるTRACE（Temporal Conditional Estimation）を提案する。決定論的な補完を行う代わりに、TRACEは欠損したモダリティ入力を、融合前に利用可能な補助モダリティから条件付き推定されるべき潜在変数として扱う。このアーキテクチャは、2段階のパイプラインで動作する。

ステージ1: マルチモーダル条件付き拡散（Multimodal Conditional Diffusion）

このステージでは、信号レベルでの欠損成分の確率的な推定を行う。

クロスモーダル・コンテキストの構築: ターゲットとなるモダリティ $m$ に対して、モデルは混合専門家（Mixture-of-Experts: MoE）に着想を得たゲーティング機構を用いて、補助モダリティ（ $M \setminus \{m\}$ ）からの観測されたコンポーネントを集約する。ゲーティング関数は、観測された特徴量に基づいて各補助モダリティへの重要度スコアを割り当て、重み付けされたクロスモーダル・コンテキスト $x^{(m)}_c$ を生成する。
条件付き拡散プロセス: TRACEは、条件付きデノイジング拡散モデル（DDPMに基づく）を採用し、未観測のコンポーネント $x^{(m)}_U$ $x_{U}^{(m)}$ を推定する。
- プロセスは、ターゲットモダリティの観測部分 $x^{(m)}_O$ と、集約されたクロスモーダル・コンテキスト $x^{(m)}_c$ に条件付けられる。
- フォワード・ノイジング・プロセスは、欠損しているコンポーネントにのみガウスノイズを加え、観測されたエントリは固定されたままにする。
- ニューラルネットワーク $\epsilon_\theta$ によってパラメータ化されたリバース・デノイジング・プロセスは、マルチモーダル・コンテキストに条件付けられた上で、ノイズを予測し、欠損値を確率的に再構成することを学習する。
学習: 拡散ネットワークは、CSDIに着想を得た自己教師ありマスキング戦略を用いて学習される。ここでは、観測された値のサブセットがマスクされ、残りの観測値およびクロスモーダル・コンテキストに条件付けられた補完ターゲットとして扱われる。

ステージ2: マルチモーダル融合と予測（Multimodal Fusion and Prediction）

欠損コンポーネントが確率的に推定された後、完成したモダリティ表現がダウンストリームの融合層に渡される。

MoE融合: TRACEは、FuseMoEから採用されたMoE融合層を採用している。この層は、疎なゲーティングメカニズムを使用して、モダリティ固有の表現を共有されたフィードフォワード・エキスパートのプールへとルーティングし、それらをタスク固有の予測ヘッドのための統一された埋め込みへと集約する。
正則化: エキスパートの利用を均衡させ、エキスパートの崩壊を防ぐために、エントロピーに基づく正則化項が損失関数に追加される。

3. 主な貢献

問題の特定: 著者らは、融合前における欠損観測の決定論的な補完が、TS-FMパイプラインにおける決定的なボトルネックであり、しばしば不整合または劣化させた表現を招くことを特定した。
TRACEパラダイム: 彼らは、マルチモーダルTS-FMのための条件付き推定パラダイムであるTRACEを提案している。これは、欠損データを推論するために補完的なマルチモーダル・コンテキストを明示的に活用する、拡散ベースのメカニズムを通じて具体化される。
実証的検証: 広範な実験を通じて、著者らはTRACEが多様なデータセットと欠損パターンにおいて、一貫してダウンストリームの性能を向上させることを示し、時間的条件付き推定が効果的なシステムレベルのレバレッジポイントであることを確立した。

4. 実験結果

TRACEは、感情分析と臨床予測にわたる3つのベンチマーク（CMU-MOSI、CMU-MOSEI、MIMIC-IV）で評価された。

感情分析 (CMU-MOSI/MOSEI): TRACEは、すべての指標（MAE、Accuracy、Correlation、F1）において、最先端のベースライン（MulT、MAG、TFN、FuseMoEを含む）を上回った。特に、予測誤差が低く、分散が小さいことから、より安定したクロスモーダル推定を実現していることが示された。
臨床予測 (MIMIC-IV): 48時間以内院内死亡率（48-IHM）、入院期間（LOS）、フェノタイプ分類（25-PHE）などのタスクにおいて、TRACEはAUROCおよびF1スコアの平均性能で最も高い数値を示し、FuseMoE、MISTS、HAIM（ほとんどの指標において）といったベースラインを凌駕した。
欠損に対する堅牢性: アブレーション研究および制御された欠損実験において、TRACEは欠損率が増加しても優れた堅牢性を示した。ナイーブな補完（FuseMoE）は、高い欠損率（例：30-50%）の下で表現が劣化したが、TRACEは「オラクル（完全観測）」のグラウンドトゥルースに近い表現を維持した。
アブレーション研究:
- 条件付き拡散: クロスモーダルな条件付けを除去するか、無条件の拡散を使用した場合は性能が著しく低下した。これは、補助モダリティを活用する必要性を裏付けている。
- MoEルーティング: 適応的なルーティングを無効にした場合（固定重みを使用した場合）、性能が低下した。これは、データ依存的なエキスパート選択の重要性を強調している。
- エキスパート数: 拡散モジュールにおける性能は5つのエキスパートでピークに達し、それ以上の数ではスパースな監督による減退が見られた。
効率性: TRACEのパラメータ数は約2.7Mである。拡散ステップのため、推論は決定論的なベースラインよりも遅いが、ステップ数を50から10に減らすことで、性能の損失を最小限に抑えつつ4倍の高速化を実現しており、厳密なリアルタイム応答が必ずしも必要とされない臨床現場においても実行可能である。

5. 意義と主張

本論文は、TRACEが現在のマルチモーダル時系列モデリングにおける根本的な限界、すなわち欠損データを静的な値充填問題ではなく、動的な条件付き推定タスクとして扱うことの重要性に対処していると主張している。

パラダイムシフト: 本研究は、焦点を作りのための「ギャップを埋める」ことから、「潜在変数を推定する」ことへと転換し、欠損データの確率的構造を保持し、クロスモーダルな依存関係を活用するものである。
表現の忠実度: 著者らは、TRACEの主な利点は、単なる点ごとの補完精度の向上ではなく、深刻な欠損下においても潜在空間における意味のある時間的表現を保持することにあると主張している。これにより、ダウンストリームの融合層がより忠実なデータに基づいて動作できるようになり、結果として優れた堅牢性がもたらされる。
汎用性: 現在の具体例は、モダリティが部分的に観測されている設定（モダリティ内欠損）に焦点を当てているが、フレームワーク自体はTS-FMのための一般的なパラダイムとして設計されている。著者らは、モダリティが完全に欠如している場合、システムは欠損した入力を回避するようにバックボーンが機能することに依存しているが、核心的な貢献は、データが存在するものの疎である場合の表現の洗練にあると述べている。
限界: 著者らは、特定のドメイン固有の帰納バイアスに大きく依存するタスク（例：フェノタイプ分類におけるHAIM）においては、専門的なアーキテクチャが依然として優れた性能を示す可能性があることを認め、謙虚に記述している。彼らは、軽量なドメイン事前知識をTRACE内に組み込むことが今後の研究方向であると示唆している。また、現在の範囲は部分的な観測を対象としており、完全に欠如したモダリティの生成を目的としたものではないことも述べている。

結論として、TRACEは、拡散を用いた明示的な時間的条件付き推定が、堅牢で汎用的なマルチモーダル時系列基盤モデルを構築するための、ナイーブな補完よりも優れた戦略であることを示している。