技術概要：モードを系列として扱う

1. 問題定義

自動運転におけるマルチモーダル運動予測は、「本質的な教師信号の不足」という根本的な課題に直面しています。現実世界の訓練データでは、各シーンから得られるのは実現された単一の未来軌道のみですが、複数の妥当な未来（モード）が存在します（例：車両が左折する、直進する、または譲る）。すべての妥当なモードに対する正解ラベルの不足は、既存の並列デコーディングパラダイムにおいて以下の 2 つの主要な問題を引き起こします。

1. モード崩壊: モデルは、妥当だが異なる未来を区別するための明示的なメカニズムを欠いているため、冗長でほぼ重複する仮説を生成する傾向があります。
2. 信頼性スコアの不安定な順位付け: 勝者以外のモードに対する明確な教師信号がないため、信頼性スコアが曖昧になり、下流のプランナーが最も確からしい軌道を選択することが困難になります。

現在の解決策は、しばしば高密度な候補プールを生成し、その後ヒューリスティックな後処理（例：ノンマキシマムサプレッション）や勝者総取り（WTA）の訓練戦略に依存しており、これらは不安定なモードの区別と非効率な推論をもたらす可能性があります。

2. 手法

本論文は、**モードを系列として扱う（Mode-as-Sequence）**という統合デコーディングフレームワークを提案します。これは、順序のないモードの集合を生成することから、順序付けられたモードの系列を生成することへとマルチモーダル予測を再定義するアプローチです。この手法は、各モードが以前に生成されたモードに条件付けられるという、モード間の依存関係を明示的にモデル化します。

中核コンポーネント

• 逐次モードモデリング（ModeSeq）:

  • メカニズム: $K$ 個のモードを並列に予測する代わりに、デコーダはそれらを自己回帰的（$k=1 \to K$）に生成します。$k$ 番目のモードは、シーン埋め込みと、以前に生成されたすべてのモード（$m_1, \dots, m_{k-1}$）の埋め込みに条件付けられます。
  • 利点: これにより、後続のモードが以前のものを複製するのではなく、補完的な挙動を探求することを促す帰納的バイアスが生まれます。これにより、高密度な候補なしで多様性が自然に向上し、冗長性が削減されます。
  • アーキテクチャ: 以前モードに注意を向ける「メモリトランスフォーマー」と、モードをシーンに根ざす「コンテキストトランスフォーマー」を用いた再帰的構造を利用します。

• 並列 ModeSeq:

  • 動機: 特に大きな $K$ や結合型マルチエージェント予測において、自己回帰的生成のレイテンシボトルネックを克服するため。
  • メカニズム: 逐次モデリングの因果的依存関係を維持しつつ、すべての $K$ 個のモードを単一のフォワードパスでデコードします。これは、モード $k$ がモード $j \leq k$ のみに注意を向けられることを保証する下三角マスクを用いたマスク付きモード間自己注意によって実現されます。
  • 利点: 逐次的依存の構造的利点を維持しつつ、効率的で GPU 親和性の高い推論を可能にします。

• 早期一致総取り（EMTA）訓練:

  • 戦略: 教師信号の不足に対処するため、EMTA は閾値 $\delta$ 内で正解と一致する系列内の最も早いモードを特定します。このモードは、回帰と信頼性に対する正のサンプルとして教師付けされます。
  • 効果: 残りのモードは、暗黙的に一致しない代替の未来をカバーするように押しやられます。これにより、モデルは最初の数個のモードが非常に代表的で信頼性が高いような、多様な仮説の集合を学習することが促されます。
  • 拡張（MA-EMTA）: 結合型マルチエージェント予測の場合、正解の結合未来と一致する最も早い結合モードを教師付けるように拡張され、相互作用の一貫性のあるロールアウトを確保します。

• 補助コンポーネント:

  • モード再配置: デコーディング層の間で、モードは予測された信頼性スコアに基づいて再順序付けされます。これにより、系列インデックスが順位付けと整合し、その後の精緻化層が最も有望な仮説に優先的に焦点を当てることが保証されます。
  • 順位付け正則化: 信頼性の逆転（一致しないモードが一致するモードより高いスコアを得る現象）を防ぐためのマージンベースの損失が追加されます。これは mAP などの指標にとって重要です。

3. 主要な貢献

1. 統合フレームワーク: Mode-as-Sequenceの導入。順序のないモード集合を順序付けられた系列に変換し、モード間の依存関係を明示的にモデル化するパラダイム。高密度な候補なしで、スパースなマルチモーダリティの問題に対処します。
2. 二重の実装:
   • ModeSeq: 多様で適切に順位付けされた仮説のための再帰的デコーダ。
   • 並列 ModeSeq: 因果的注意を用いた並列化された実装。効率的な大規模 $K$ 推論とスケーラブルな結合シーンの予測を可能にします。
3. 訓練戦略: EMTAおよびMA-EMTAの開発。逐次的構造を活用して、一致する最も早いモードに教師信号を割り当てることで、モードのカバレッジと信頼性の較正を改善します。
4. 最先端のパフォーマンス: 大規模ベンチマークでの検証。Waymo Open Dataset チャレンジでトップランクを達成。

4. 実験結果

本フレームワークは、Waymo Open Motion Dataset (WOMD)およびArgoverse 2で評価されました。

• Waymo 運動予測（2024 チャレンジ）:

  • ModeSeqは、LiDAR 非依存の運動予測トラックで1 位を獲得しました。
  • LiDAR 点雲やモデルアンサンブルを使用せずに、ランキング指標（Soft mAP/mAP）およびミスレート（MR）において、MTR v3 や QCNet などの強力なベースラインを上回りました。
  • 検証セットにおいて、ModeSeq は Soft mAP を QCNet の 0.4508 から 0.4562 に改善しました。

• Waymo 相互作用予測（2025 チャレンジ）:

  • 並列 ModeSeqは、相互作用予測チャレンジで1 位を獲得しました。
  • IMPACT や TrajFlow などの最近のベースラインと比較して、ランキング（mAP v2: 0.2949）および軌道精度（Min FDE: 1.6897）の両方で優れた性能を示しました。
  • この手法は、相互作用の一貫性を持つ結合型マルチエージェントの未来を正常に処理しました。

• アブレーション研究:

  • 逐次 vs 並列: 同じエンコーダを使用した場合、両方のバリアントは標準的な並列デコーダ（DETR 風）を上回りました。
  • EMTA: WTA を EMTA に置き換えることで、Soft mAP と MR が大幅に改善され、早期一致教師の利点が確認されました。
  • モード外挿: 6 モードで訓練されたモデルは、推論時に最大 24 モードまで正常にデコードでき、収益逓減は見られるもののカバレッジの一貫した改善を示し、逐次モデリング能力を検証しました。
  • 効率性: 再帰的 ModeSeq はレイテンシが高いものの、並列 ModeSeq はシーンあたり約 48ms を達成し、リアルタイム展開に適しています。

5. 意義と主張

本論文は、Mode-as-Sequenceがマルチモーダル予測における「スパースな教師信号」の問題に対する原理的な解決策を提供すると主張しています。独立した並列生成から因果的逐次モデリングへと移行することで、このフレームワークは以下の点を実現します。

• 高密度な候補プールや（NMS のような）ヒューリスティックな後処理の必要性を排除します。
• 系列順序が確からしさと相関するため、信頼性順位付けを自然に誘発し、較正されたスコアの学習を簡素化します。
• 以前の方法よりも精度と多様性のバランスを効果的に取ります。これは、ランキング指標（mAP）と軌道誤差（Min FDE）の同時改善によって実証されています。
• 並列 ModeSeqバリアントを通じて効率的にスケーリングし、高品質な仮説と低レイテンシの両方が求められる自動運転システムにおける実用的な展開を可能にします。

著者は、彼らのアプローチが特定のエンコーダアーキテクチャに依存しないこと（結果には QCNet を使用したが、他との互換性を指摘）を強調しており、単一エージェントおよび複雑な結合型マルチエージェント予測の両方に対して一般化可能なフレームワークを提供しています。