🤖 machine learning

Heteroscedastic Diffusion for Multi-Agent Trajectory Modeling

本論文は、4 つのスポーツデータセットにおいて最先端の手法を上回る性能を発揮し、生成されたモードに対して状態ごとのヘテロスケダスティックな不確実性推定と誤り確率のランキングを提供しながら、マルチエージェント軌道の補完と予測を同時に実行する統合拡散モデル U2Diffine を導入する。

原著者： Guillem Capellera, Antonio Rubio, Luis Ferraz, Antonio Agudo

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Guillem Capellera, Antonio Rubio, Luis Ferraz, Antonio Agudo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが混沌としたバスケットボールの試合を観戦していると想像してください。選手たちは走り回り、パスを通し、互いに避け合っています。次に、あなたがコーチで、数秒後に全員がどこにいるかを予測しようとしていると想像してください。あるいは、あなたがビデオ編集者で、カメラが一時的に選手を見失ったノイズの多い録画を修正しようとしており、ビデオを再び滑らかに見せるために「欠落したフレームを埋める」必要があると想像してください。

この論文は、まさにそれを行うように設計された新しいコンピュータの脳（AI モデル）であるU2Diffine（およびその高速な兄弟であるU2Diff）を紹介しています。これは、複数の人（または物体）の移動経路を同時に予測し、修復することを目的としています。

以下に、彼らが何を行ったかを簡単な比喩を用いて解説します。

1. 課題：未来（そして過去）の推測

移動を予測するほとんどの AI モデルは、未来を推測するために過去だけを見る占い師のようなものです。彼らは、「あなたがどこにいたかに基づいて、おそらくここに行くでしょう」と言います。

欠点: 彼らはしばしば「もしも」を無視します。実際のゲームでは、選手が止まったり、向きを変えたり、ブロックされたりする可能性があります。AI は通常、その推測に対してどの程度確信があるかを伝えることなく、単一の「最善の推測」経路、またはいくつかのランダムな推測を与えるだけです。
欠落している要素: AI が不確かな場合、それは「私は確信が持てない。経路はこの大きな円のどこかになり得る」と言うべきです。確信がある場合は、「私は非常に確信がある。経路はこの小さな線だ」と言うべきです。この論文では、それを「不確実性」と呼びます。

2. 解決策：「不確実性を考慮した」拡散モデル

著者たちは、拡散モデルに基づいたシステムを構築しました。拡散を粘土で働く彫刻家と考えてください。

プロセス: 完璧な像（実際の移動経路）を持っていると想像してください。AI はまずそれをノイズの塊（ランダムな静電ノイズ）に変えます。その後、そのノイズを段階的に像に戻す方法を学習します。
ひねり: 通常、彫刻家は単に像が正しく見えるようにしようとします。しかし、著者たちは彼らの彫刻家に、各段階で手がどれだけ揺れているかを頭の中で記録するように教えました。
- 手が揺れている場合、AI は経路の周りに大きくぼんやりとした雲を描きます。
- 手が安定している場合、きつく精密な線を描きます。
結果: AI は単に経路を与えるだけでなく、予測がリスクにさらされている場所と安全な場所を正確に示す「確信マップ」を付加した経路を提供します。

3. 2 つのバージョン：「精密さ」対「スピードスター」

著者たちは、異なるニーズに適応させるために、この AI の 2 つのバージョンを作成しました。

U2Diffine（精密彫刻家）: このバージョンは非常に慎重です。ノイズから現実世界へ不確実性がどのように広がるかを正確に計算するために、複雑な数学（「一次テイラー近似」と呼ばれるもの）を使用します。それは、ミリメートル単位で測定する巨匠の彫刻家のようです。最も正確ですが、実行には時間がかかります。
U2Diff（スピードスター）: このバージョンは時間を節約するために複雑な数学をスキップします。すべての重い計算を行うことなく、不確実性について賢明な推測を行います。これは精密バージョンよりも約 4 倍高速であり、経路の予測においてはほぼ同等の性能を発揮しますが、「確信マップ」の精度はわずかに劣ります。

4. 「ランキング」アシスタント（RankNN）

時々、AI は 20 の異なる未来（20 の異なる「もしも」シナリオ）を生成します。どれが最も起こり得るものか、どのようにしてわかるのでしょうか？

従来の方法: 最も「滑らか」に見えるものを選ぶかもしれません。
新しい方法（RankNN）: 著者たちは、20 のすべてのシナリオを見て、それぞれに「誤る可能性のスコア」を割り当てる特別な「審査員」（ニューラルネットワーク）を追加しました。
比喩: スポーツアナリストが 20 の異なるゲームの再放送を観戦していると想像してください。単に推測するのではなく、このアナリストは選手たちの動きと予測の「揺らぎ」を見て、「シナリオ#3 は 90% の確率で正しいが、シナリオ#15 はおそらく間違っている」と言います。これにより、最良の予測を自動的に選択できます。

5. 彼らはどこでテストしましたか？

彼らはこれを医療データや自動運転車ではテストしていません（論文にそう書かれていない限り、そうではありません）。彼らは厳密にスポーツデータでテストしました。

バスケットボール: 10 人の選手とボールを追跡。
アメリカンフットボール: 22 人の選手とボールを追跡。
サッカー: 22 人の選手とボールを追跡。

6. 大きな勝利

この論文は、彼らの手法が現在の最高水準（State-of-the-Art）の手法よりも 2 つの主要な点で優れていると主張しています。

精度: 特にビデオの欠落部分を「修復」しようとする際（軌道補完）、選手がどこにいるかをより正確に予測します。
信頼性: 不確実であることを認識する能力がはるかに優れています。AI が「私は確信が持てない」と言う場合、それは通常、状況が実際には混沌としており、予測が難しいことを意味します。これにより、スポーツ映像の修復などの実世界への応用において、システムははるかに信頼性のあるものになります。

要約すると: 彼らは、コンピュータがスポーツを観戦し、選手の動きを予測し、壊れたビデオ録画を修復するためのより賢い方法を開発しました。その際、いつ推測しているときで、いつ確信を持っているかを正直に認めることを可能にしました。

技術的サマリー：マルチエージェント軌道モデリングのための異方性拡散

問題定義
マルチエージェント軌道モデリングは、伝統的に将来状態の予測に焦点を当てており、軌道の補完（欠落または未観測部分の軌道の推論）といったより広範なタスクを見落としてきた。GAN、CVAE、標準的な拡散確率モデル（DDPM）に基づく既存の手法は、通常、状態ごとの異方性不確実性の指標を提供することなくエージェントの状態を予測する。さらに、人気のある多モーダルサンプリング手法は、同一の事前観測条件下で生成された各シーンに対する誤り確率の推定値を欠いており、推論時に予測の信頼性をランク付けすることを困難にしている。各予測状態の尤度を定量化し、真値との近接性に基づいて生成された複数のモードをランク付けする能力において、依然として重要なギャップが存在する。

手法
著者は、軌道補完を実行しつつ、同時に状態ごとの異方性不確実性の推定を提供するように設計された統合拡散モデル「U2Diffine」を導入する。このフレームワークは、以下の主要コンポーネントに基づいている。

統合拡散フレームワーク: CSDI（Conditional Score-based Diffusion Imputation）に触発され、このモデルは時間的処理のために双方向の MambaSSM を、エージェント間の相互作用のために Social Transformer を使用する。従来の Transformer エンコーダーに代わって、これらを採用することで、固定された位置符号化なしに時間的ダイナミクスをより適切に処理する。
異方性不確実性の推定: 単一のノイズベクトルを予測する標準的なデノイジング損失とは異なり、U2Diffine は逆ノイズを2 変量ガウス分布としてモデル化する。これは、各エージェントの各タイムステップにおいて、平均ノイズ状態（ $\epsilon^\mu_\theta$ ）と $2 \times 2$ 共分散行列（ $\epsilon^\Sigma_\theta$ ）の両方を学習する。これは、標準的なデノイジング損失に負対数尤度（NLL）項を付加することで達成され、モデルが方向依存性や回転した不確実性楕円を含むデータ依存（アレトリア）不確実性を捉えることを可能にする。
逆ガウスサンプリング（U2Diffine）: 潜在空間の不確実性を実状態空間へ伝播させるため、著者は一次テイラー近似を導出する。この手法は、現在の平均周りでスコアネットワークを線形化してヤコビ行列（ $J_s$ ）を計算し、これらを逆サンプリングプロセス中の共分散行列の更新に使用する。これにより、高価なモンテカルロサンプリングに頼ることなく、精密で堅牢かつ一貫した状態ごとの不確実性推定値が得られる。
加速されたベースライン（U2Diff）: ヤコビ行列に必要な勾配計算の計算コストに対処するため、著者はU2Diffを提案する。この変種はゼロ勾配（ $J_s = 0$ ）を仮定し、より単純な単変量不確実性モデルを使用する。潜在的な分散の膨張を緩和するため、「分散遅延」戦略を採用し、中間デノイジングステップ後にのみ不確実性の伝播を開始する。このアプローチは、競合する変位誤差を維持しつつ、推論時間を約 4 倍短縮する。
ランクニューラルネットワーク（RankNN）: 生成された複数のモードをランク付けするという課題に対処するため、著者は事後処理の教師ありアーキテクチャを導入する。RankNN は、生成されたモード、その予測平均、および分散を入力として受け取る。これらを Social-temporal ブロックと Multi-scene Transformer を通して処理し、各モードの誤り確率スコアを出力する。このモデルは、これらの予測スコアと実際のシーン平均変位誤差（SADE）との間のスピアマン相関を最大化するように訓練される。

主要な貢献

統合フレームワーク: 可変数のエージェントとタイムステップに適応可能な単一のフレームワーク内で、予測、補完、未観測エージェントの推論を統合する、軌道補完のための拡散ベースのアプローチ。
状態ごとの不確実性: 各予測潜在状態に対する異方性不確実性の推定を可能にするため、2 変量負対数尤度損失を拡散フレームワークに付加。
解析的不確実性伝播: 逆ガウスサンプリングのための一次テイラー近似の開発により、潜在不確実性を出力空間へ伝播させ、精密な状態ごとの推定値を導出。
誤り確率推定: 生成された各モードの誤り確率推定値を提供し、真値の誤差と高い相関を示す、新しい事後処理の教師ありアーキテクチャ（RankNN）。
効率性: サンプリング中の勾配計算を回避し、同程度の誤変位誤差で約 4 倍高速な推論を提供する、高速な変種 U2Diff の提案。

実験結果
この手法は、4 つの困難なスポーツデータセット（NBA、Basketball-U、Football-U、Soccer-U）で評価された。

軌道補完: U2Diffine および U2Diff は、3 つの補完データセット全体において、UniTrajを含む最先端の手法を上回った。特に、U2Diffine は Football-U および Soccer-U データセットにおいて、minSADE20 でそれぞれ約 33% および 44% の改善を達成した。
軌道予測: NBA データセットにおいて、統合アプローチはシーンレベルの指標（minSADE20/minSFDE20）において最先端のパフォーマンスを達成し、単純な i.i.d. サンプリング戦略を使用しているにもかかわらず、LED、MART、MoFlow などの主要な手法を 3% 以上上回った。
不確実性の質: モデルは高い精度率（AccRate）を達成し、U2Diffine は Football-U および Soccer-U データセットで 95% 超に達した。2 変量モデリングにより、空間データ分布とよく一致する回転した不確実性楕円の予測が可能になった。
ランク付け性能: RankNN フレームワークは、予測された不確実性と実際の誤差との相関を大幅に改善した。単純な不確実性指標（AvgUcty）は中程度の相関（スピアマン $\rho \approx 0.3$ ）を示したが、RankNN によって予測された誤り確率は高い相関（ $\rho$ は 0.58 から 0.79 の範囲）を達成した。これにより、ランダムまたは分散ベースの選択と比較して、生成されたモードの効率的なランク付けが可能となり、Top-1 シーン誤差が大幅に減少した。

重要性
本論文は、マルチエージェント設定における不確実性定量化の決定的な欠如に対処することで、軌道補完および予測における新たなベンチマークを確立すると主張している。状態ごとの異方性不確実性と、誤り確率によって生成されたモードをランク付けるメカニズムを提供することで、このアプローチはスポーツのような複雑な相互作用環境における生成軌道の信頼性を高める。著者は、U2Diffine が厳密な解析的伝播を通じて優れた尤度推定を提供する一方で、推論遅延が重要なアプリケーションには U2Diff が実用的で高速な代替手段を提供することを強調している。RankNN の統合は、生成されたモードから最も信頼性の高い予測を選択することを可能にすることで、生成的多様性と実用性の間のギャップをさらに埋めている。