Towards Collaborative Joint Perception and Prediction: Framework, Baseline Evaluation, and Deployment Perspectives

あなたは、自分自身で考えることができる車を運転していると想像してみてください。これは自動運転の世界であり、コンピューターがハンドルを握ることで、私たちの安全を守り、交通の流れをスムーズに保ちます。しかし、どんなに賢い車であっても「死角」が存在します。大きなトラックが視界を遮ったり、建物が角を曲がる歩行者を隠したりすると、車の「目」（カメラやレーザー）には次に何が来るのかが見えなくなります。それは、目隠しをしてサッカーをしているようなものです。ルールは分かっていても、ボールが見えないのです。

これを解決するために、科学者たちは車同士、あるいはスマートな街灯と会話する方法を教えています。これは「V2X（Vehicle-to-Everything）」通信と呼ばれます。自分のフロントガラスの外を見るだけでなく、車は「自分が見ているもの」を共有できるのです。もし通りの先にある車が歩行者を見つけたら、その歩行者が見えていない車に対して、「おい、気をつけろ！」と叫ぶことができます。このチームワークは「協調型知覚（Collaborative Perception）」と呼ばれます。しかし、問題があります。単に「今、何がどこにいるか」を知るだけでは不十分なのです。車は、その歩行者が数秒後にどこにいるのかを予測しなければなりません。これが「予測（Prediction）」という難しい部分です。もし車がチームを組んで未来を予測すれば、一台の車だけで行うよりも優れた予測ができるかもしれません。しかし、それらのデータをすべて共有するには大量のインターネット帯域幅が必要であり、もし間違った種類の情報を共有してしまえば、かえって混乱を招く可能性があります。これが、科学者たちが解こうとしているパズルです。「いかにして、ネットワークを混雑させることなく、適切な情報を適切なタイミングで共有し、安全に未来を予測するか？」

---

明日のチームワーク：車が未来を「見る」ための新しい方法

本論文は、**協調型結合知覚・予測（Co-P&P: Collaborative Joint Perception and Prediction）**と呼ばれる新しいアイデアを紹介しています。これは、自動運転車のためのスーパーチーム戦略のようなものです。著者であるXITASOおよびカールスルーエ工科大学の研究者たちは、車が単に「私が見ているもの」のリストを共有するのではなく、次に何が起こるかを予測する「前」に、世界全体の完全な3D画像を構築するために協力し合うシステムを提案しています。

この論文は、自動運転を困難にしている2つの大きな問題に取り組んでいます。

1. 死角： 木や他の車に隠れて見えないもの。
2. 「モグラ叩き」エラー： 従来のシステムでは、車はまず物体を見つけ、次にそれを追跡し、それからどこへ行くかを予測します。もし最初のステップ（物体の発見）で小さなミスを犯すと、そのミスは未来を予測する段階までにどんどん大きくなってしまいます。それは、すでに少し間違ったスケッチに基づいて都市の地図を描こうとするようなものです。最終的な地図は悲惨なものになるでしょう。

著者らは巧妙な解決策を提案しています。それは、車がまず欠けている絵の「空白を埋める」ために協力し、その完璧な絵を使ってから予測を行うという方法です。

「魔法の鏡」と「水晶玉」

この仕組みを説明するために、車が巨大で壊れた鏡のある部屋にいると想像してください。それぞれの車が鏡の破片を持っています。

• 従来の方法（モジュール型パイプライン）： 車Aが自分の鏡の破片を見て人物のスケッチを描き、次に車Bが自分の鏡の破片を見てスケッチを描き、それから二人はその人がどこを歩くかを予測しようとします。もし車Aのスケッチがぼやけていれば、予測は間違ったものになります。
• 新しい方法（Co-P&P）： 車はまず、それぞれの鏡の破片を共有して、部屋全体の巨大で透明な一つの完成した画像を作り上げます（これは協調型シーン補完と呼ばれます）。一度完璧な画像ができたら、それを使って「水晶玉」（結合知覚・予測モジュール）を用い、その人がどこへ行くかを予測します。画像が完璧であるため、予測の精度は格段に向上します。

大きな発見：最後まで待つな！

この論文における最も重要な発見は、「いつ」データを共有すべきかについてです。研究者たちは、データを共有する3つの異なるタイミングをテストしました。

1. 最初（検出レベル）： 「ここに車がいる」という生のデータを共有する。
2. 中間（追跡レベル）： 「この車はこのような方向に動いている」というデータを共有する。
3. 最後（予測レベル）： 「この車は3秒後にここにいる」というデータを共有する。

論文では、最後での共有を明確に否定しています。 彼らは、車がすでに独自の予測を終えてから、その予測結果を共有しようとすると、実際には状況が悪化することを発見しました。それは、二人の人がレースの勝者を予想しようとしているのに、レースが終わった後にしか最終的な予想を共有しないようなものです。その時には、もし一人が論理的なミスを犯していた場合、間違った答えを共有しても助けにはならず、単にエラーを広めるだけになってしまいます。論文は、予測レベルの融合（prediction-level fusion）はシステム全体のパフォーマンスを低下させることを示しています。

代わりに、最も良い結果をもたらしたのは、早い段階（検出または追跡レベル）での共有でした。これにより、車は未来を予測する「前」に、互いのミスを修正することができるのです。データによれば、早い段階での共有は、隠れた物体（木の後ろの歩行者など）を見つける能力を大幅に向上させましたが、遅い段階での予測共有は役に立たず、より多くのインターネットデータを使用するだけでした。

「圧縮」のトリック

もう一つの面白い発見があります。あの膨大な3Dレーザーデータ（ポイントクラウドと呼ばれます）を共有することは、通常、膨大なインターネット容量を消費します。著者らは、RENOと呼ばれる特別な「ニューラルコーデック」（スマートな圧縮技術）を用いたプロトタイプを構築しました。その結果、未来を正確に予測する能力を失うことなく、共有データを約34分の1に（巨大なファイルから極小のファイルへ）圧縮できることが分かりました。

友人にフルHDの映画を送る場面を想像してください。ただし、ファイル全体を送る代わりに、コンピュータがその映画を完璧に再構築する方法を伝える、ごく短いテキストメッセージを送るようなものです。これがこの圧縮の仕組みです。論文は、これほど強力な圧縮を行っても、車は全く会話をしなかった場合よりも未来を正確に予測できたことを示しています。

テスト内容とその結果

研究者たちは、中国のリアルワールドデータセットであるDAIR-V2X-Seq（車と路側センサーのデータを含む）を使用して、アイデアをテストしました。

• 結果： データを早い段階（検出レベル）で組み合わせると、メインの車からは見えない位置に隠れている車、自転車、歩行者を検知する能力が大幅に向上しました。
• 警告： また、現在のシステムは、大きな車と比較して、歩行者や自転車のような小さな物体に対してまだ苦戦していることも判明しました。
• 確信： 論文は、これらを測定可能な実験結果として提示しています。彼らは単に推測したのではなく、数値を算出しました。彼らは、「早い段階での共有」戦略が有効である一方で、「遅い段階での共有」戦略は有害であることを示しました。また、彼らのエンドツーエンドのプロトタイプ（すべてを一気に行うもの）は、従来のステップバイステップの手法よりも未来の予測において優れており、古い手法（ステップバイステップ）がいかにエラーを蓄積させるかを証明しました。

なぜこれが重要なのか

この論文は、自動運転車がどのように互いに会話すべきかについての明確なロードマップを提供しています。それは次のように伝えています。「予測を済ませてから助けを求めるのではない。見ている最中に助けを求めよ」ということです。また、私たちは、インターネット接続上で動作するように、このチームワークを効率的に（データの軽量化を実現して）行うことができるということも示しています。

著者らは、あらゆる状況（小さな歩行者など）に対して完璧なシステムを構築することはまだ進行中の課題であり、これらのシステムを十分に訓練するためのさらなるデータが必要であると認めていますが、彼らの知見は明確な進むべき道を示しています。車が未来を予測する「前」に、完全な絵を構築するために協力できるようにすることで、そしてスマートな圧縮を用いてデータを軽量に保つことで、自動運転車をより安全にし、周囲の世界をより深く認識させることができるのです。