Li-ViP3D++: Query-Gated Deformable Camera-LiDAR Fusion for End-to-End Perception and Trajectory Prediction

ロボットに車の運転を教えようとしている場面を想像してみてください。これを安全に行うためには、ロボットには2つのスーパーパワーが必要です。まず、周囲のすべて（車、歩行者、自転車など）を「見る」ことができなければなりません。そして次に、それらが数秒後にどこにいるかを「推測」しなければなりません。これが「自動運転」の世界であり、コンピュータが車両の目と脳として機能する分野です。長い間、エンジニアはこれらのシステムをリレーレースのように構築してきました。あるチームが物体を検出し、次のチームにバトンを渡し、3番目のチームがその将来の経路を予測するという仕組みです。しかし、実際のريレーレースと同じように、最初のランナーがバトンを落としたり転んだりすると、チーム全体が失敗してしまいます。エラーが積み重なり、ロボットは混乱してしまうのです。

これを解決するために、科学者たちは今、「エンド・ツー・エンド」のシステムを構築しようとしています。これは、生のカメラ映像から歩行者がどこに踏み出すかを判断するまで、すべてを一度に行う、一つの超スマートな脳のようなものです。これらのシステムでは多くの場合、「クエリ（問い合わせ）」が使われます。これは、コンピュータが「ここに車はありますか？」「それはどこへ向かっていますか？」と尋ねるための、小さなデジタル付箋のようなものです。大きな課題は、これらのロボットには通常、2種類の目があることです。一つは、私たちのように色や形を見るカメラ、もう一つは、正確な距離を測定するために目に見えないレーザー光を放つLiDARです。カメラは「それが何か」を認識することには優れていますが、影や悪天候に騙されることがあります。一方、LiDARは「それがどこにあるか」を測定することには優れていますが、赤いトラックと青いトラックを簡単に区別することはできません。大きな疑問は、これら2つの全く異なる種類の視覚を、いかに速度を落とすことなく、一つの完璧で間違いのない脳へと融合させるかということです。

これこそが、新しい研究である**Li-ViP3D++**が取り組んでいるパズルです。研究者たちは、これら2種類の視覚を融合させるよりスマートな方法を構築しました。これにより、以前のモデルよりも正確であるだけでなく、より高速なシステムを作り上げました。

問題点：感覚スタイルの衝突

あなたが友人に誰かの特徴を説明しようとしている場面を想像してください。あなたには高精細な写真を撮るカメラがあり、そしてその人の身長や距離を正確に伝える3Dマップを与えるレーザースキャナーがあります。もし、写真とマップを不器用にただ貼り合わせてしまったら、奇妙で一致しない絵になってしまうかもしれません。従来の手法は、カメラのデータとレーザーのデータを硬直したグリッドに無理やり合わせたり、一連の固定されたルールを用いて「最適な」データポイントを選んだりすることで、これを行おうとしてきました。著者らは、これはあまりにも不器用すぎると主張しています。それは、油と水をスプーンでかき混ぜるだけで混ぜようとするようなものです。滑らかなブレンドではなく、ぐちゃぐちゃな分離が生じてしまいます。これらの古い手法はしばしば「バイアス（偏り）」を生じさせ、つまり、システムがある一種のデータに固執してもう一方を無視したり、存在しないものを捏造したり（幻覚）することがありました。

解決策：「スマートゲート」（QGDF）

この論文は、**Li-ViP3D++と呼ばれる新しいアーキテクチャを提案しており、そこにはQuery-Gated Deformable Fusion (QGDF)**という巧妙なメカニズムが導入されています。

「クエリ（デジタル付箋）」を、現場を駆け回る小さな探偵だと考えてください。旧来のシステムでは、これらの探偵はカメラからの画像とLiDARからのレーザースキャンを掴み取り、それらをただ一緒にかき混ぜていました。しかし、Li-ViP3D++では、各探偵にはスマートゲートが備わっています。

1. カメラの探偵： クエリがカメラを見る際、単に一つの画像をつかむのではありません。それは、すべてのカメラと、すべての異なるズームレベル（遠くから写真を眺め、それからズームインするように）を見渡します。そして、「マスクされたアテンション（注意）」システムを使用して、遮られていたりフレーム外にあったりする部分を無視し、有用な手がかりだけに集中します。
2. レーザーの探偵： クエリがLiDARを見る際、単一の点を選ぶのではありません。それは「デフォーマブル（変形可能）」な技術を使用します。つまり、対象物がわずかに動いていたり、データが少し曖昧であったりしても、最適なレーザーポイントを見つけるために、探索範囲を伸ばしたり曲げたりすることができるのです。
3. スマートゲート： これこそが主役です。クエリがカメラとレーザーの両方から手がかりを集めた後、ゲートがそれぞれをどの程度信頼するかを決定します。もしカメラがぼやけていれば（例えば雨が降っていれば）、ゲートは「レーザーをもっと信頼せよ！」と言います。もしレーザーがまばらであれば（例えば対象物が遠くにあります）、ゲートは「カメラをもっと信頼せよ！」と言います。この決定は、あらゆる物体に対して、毎回自動的に行われます。

分かったこと：少ない間違い、より速い結果

研究者たちは、この新しいシステムをnuScenesと呼ばれる、現実世界の走行シーンの膨大なデータセットでテストしました。彼らは、この新しい「スマートゲート」システムを古いモデルと比較し、印象的な結果を得ました。

• ゴーストの減少： ロボットの運転における最大の懸念事項の一つは、「幻覚（ハルシネーション）」、つまり車がない場所に車を見ることです。旧システムでは、この間違いが約**22.1%の割合で発生していました。新しいLi-ViP3D++システムは、このエラー率をわずか6.9%**にまで下げました。これは、ロボットが理由もなくブレーキをかけてしまう原因となる「ゴーストカー」の大幅な削減です。
• より高い精度： システムは、物体の将来の動きを予測することにおいて非常に優れたものとなりました。このシステムは、EPA（エンド・ツー・エンド予測精度）において0.505というスコアを達成しましたが、これは従来の最高値である0.250からの大幅な向上です。また、物体を正しく識別する能力（mAP）も0.616へと向上しました。
• スピード： 通常、システムを賢くすると遅くなります。しかしここでは、新しいシステムの方が以前のバージョンよりも高速でした。旧モデルが意思決定に145.91ミリ秒かかったのに対し、新システムは139.82ミリ秒で決定を下しました。

堅牢性（ロバストネス）：状況が悪化したときでも

著者らは、完璧な条件下でのみテストを行ったわけではありません。ロボットの世界が乱れた時に何が起こるかを知りたかったのです。彼らは以下の実験を行いました。

• HDマップの除去： ロボットが車線を知るために通常使用するデジタルマップを取り除きました。
• カメラ品質の低下： カメラ画像を非常にぼやけさせ、小さくしました。

これらのハンディキャップがあっても、Li-ViP3D++は力強さを維持しました。カメラの解像度が下がった場合でも、システムは依然として高いmAP 0.631を達成し、低いエラー率を維持しました。マップとカメラの両方の品質が低い場合でも、システムはすべての古いモデルを凌駕しました。これは、「スマートゲート」が2種類の視覚をバランスさせる能力が非常に高いため、ロボットが優れた仕事をするために完璧な入力（インプット）を必要としないことを示唆しています。

結論

本論文は、物体ごとにカメラとレーザーのどちらをどの程度信頼するかをシステムに動的に判断させることで、より安全で信頼性の高い自動運転車を構築できると結論付けています。「スマートゲート（QGDF）」は単にデータを混ぜるのではなく、最適な証拠をインテリジェントに選択し、速度を落とすことなくエラーや幻覚を減らします。このシステムは依然としてマップや高品質なカメラの恩恵を受けますが、ツールが完璧でない場合でもロボットが安全かつ正確に動作できることを証明しています。研究者たちは、このアプローチが、条件が決して完璧ではない現実世界において、自動運転を実用化するための大きな一歩になる可能性があると示唆しています。