Multi-View In-Cabin Monitoring System for Public Transport Vehicles

本論文は、同期されたRGBおよび深度画像と3Dアノテーションを備えた、公共交通機関車両向けのマルチビュー車内モニタリングデータセット、ならびにマルチビュー3D検出モデルを評価するためのキャリブレーション・パイプラインおよびベンチマーク・ツールを紹介するものである。

要約

混雑した走行中の都市バスを、賑やかな、動くリビングルームだと想像してみてください。通常、もしその部屋の全員がどこに座り、立ち、動いているのかを正確に知りたいと思ったら、あらゆる角度から観察しているクリップボードを持った調査員チームが必要になるでしょう。しかし、自動運転バスの世界では、コンピュータがこの仕事を自動で行う必要があります。

この論文は、それらのコンピュータ・ブレインのための新しい「トレーニング校（訓練校）」を紹介するものです。研究者たちが何を構築し、どのように行ったのかを、簡単な比較を用いて解説します。

1. 問題点： 「死角」のあるバス

ほとんどの自動運転技術は、窓の外を見て道路を見る「目」を持った車のようです。しかし、バスの「内部」で何が起きているのかはどうでしょうか？

• 課題: バスの中では、人がお互いを遮ったり（オクルージョン）、座席が光を反射したり、カメラが部屋のごく一部しか捉えられなかったりします。もしカメラが1台しかなければ、それは、たった一つの座席からの単一のフレームだけを見て、映画全体のストーリーを理解しようとするようなものです。情報の半分を見逃してしまいます。
• ギャップ: コンピュータにクリアに見えるよう教えるための、複数の角度から見たバス内部の人々の例を十分に備えた優れた「教科書（データセット）」が存在していませんでした。

2. 解決策： 「スーパービジョン」を備えたスマートバス

チームは、ドイツでデジタル化された特別な都市バスを構築しました。これには「スーパービジョン」システムが装備されています。

• 目: 部屋の隅に立つ警備員のように、内側を向いた4台のカメラと、部屋の3Dマップを作成するためにコウモリの反響定位（エコーロケーション）のように機能する**回転式レーザースキャナー（LiDAR）**を設置しました。
• データ: これらのセンサーが連携して動作した、9,000以上の同期された瞬間を記録しました。これは、4つの異なる角度から部屋を見ることができ、さらに3D深度マップも加わった「4D映画」を持っているようなものです。

3. マジックトリック： 教師なしでコンピュータに「見る」ことを教える

通常、コンピュータに人を認識させるためには、人間が何千枚もの写真に対して手作業でボックスを描く必要があります。それには膨大な時間がかかります。

• パイプライン: 研究者たちは、一つひとつに手作業でボックスを描く代わりに、「ロボット助手」によるパイプラインを作成しました。
  1. 探偵: AIを使用して、ビデオ内の人々を見つけ出します。
  2. 3D彫刻家: 単なる2Dカメラ画像に基づいて、その人の体の3D形状を推測する別のAIを使用します。
  3. 審判: 4台のカメラが同じ人をそれぞれ少しずつ異なる方法で見ている可能性があるため、研究者たちは「審判」として機能するシステムを構築しました。このシステムは、4つの異なる推測を取り込み、それらを比較し、最も正確な「平均的な」3D位置を選び出します。
  4. 結果: これにより、すべての人物に精密な3D「スケルトン（骨格）」と3Dボックスが付与されたデータセットが、人間の手をほとんど借りずに自動的に生成されました。

4. テスト： コンピュータは学習できるか？

研究者たちは単にデータを作っただけではありません。既存のコンピュータ・ブレインがこのデータから学習できるかどうかをテストしました。

• 試験: 彼らは有名なAIモデル（「Lift-Splat-Shoot」や「BEVFusion」など）を取り上げ、この新しいデータを使ってバス内の人々を特定する方法を教え込みました。
• スコア: モデルは、多少の誤差を許容した場合、まずまずの成果を上げました。しかし、このテストは、単一のカメラビューのみを見ることがいかにリスクが高いか（角度によって19%から60%の人々を見逃す）を明らかにしました。これは、全体像を把握するためには、本当に複数のカメラが必要であることを証明しています。

5. 箱の中身は何？

研究者たちは、このパッケージ全体を他の科学者たちのために無料で公開しています。これには以下が含まれます。

• ビデオデータとレーザーデータ。
• 3Dラベルを生成するための「ロボット助手」ツール。
• 標準的な自動運転ソフトウェア（nuScenes形式）に適合するフォーマット。

まとめ

この論文を、自動運転バスのための**「ハイテクなトレーニングジム」**の建設だと考えてください。これまでは、バスは片方のぼやけた目で車内を見ようとしていました。しかし今、彼らは4台の高精細カメラと3Dレーザースキャナー、そして（座席の後ろに隠れていたり、密集していたりする場合でも）乗客を追跡する方法を学ぶための「完璧に採点された」練習テスト（データセット）を備えたジムを手に入れたのです。

彼らが明確に「行わなかったこと」:
この論文は、あくまで「人がどこにいるか」「何をしているか（座っている、立っている、歩いている）」を検出することに特化しています。このシステムを実際の交通状況下にある走行中のバスでテストしたわけではなく、また、これが医療上の緊急事態を解決したり、人間のドライバーに取って代わったりできると主張しているわけでもありません。これは、将来の研究のための基礎的なツールです。

技術概要

技術概要：公共交通車両向けマルチビュー車内モニタリングシステム

問題提起
自動運転技術は外部知覚において著しく進歩している一方で、車両内部（特に公共交通機関）の理解は依然として発展途上である。車内モニタリングは、乗客のカウント、位置特定、アクセシビリティ支援、および安全性（例：攻撃的行為や破壊行為の検知）において極めて重要である。しかし、既存のソリューションはデータボトルネックに直面している。現在の車内データセットは、規模が限定的であることが多く、単一カメラのビューに依存しており、バスの車内に特有の深刻な遮蔽、混雑、反射面に対処するために必要なマルチモーダル同期を欠いている。さらに、内向きのカメラは視野の重なりが最小限であるため、マルチセンサーのキャリブレーションが困難であり、標準的なキャリブレーション技術を適用することが難しい。

手法
著者らは、デジタル化されたドイツの市バスから、マルチビュー車内データセットをキャプチャ、キャリブレーション、およびアノテーションするための包括的なパイプラインを提示している。

1. データ取得:

   • センサー: セットアップには、4台の内向きIntel RealSense D435iカメラ（RGBおよびステレオ深度を提供）と、回転するOuster OS0-128 LiDARを使用する。
   • 同期: カメラは15 Hz、LiDARは10 Hzで動作する。データはタイムスタンプを介して同期され、各LiDARフレームに時間的に最も近いカメラフレームがペアリングされる。
   • コンテンツ: データセットは、様々な活動（座る、立つ、歩く、飲む、喫煙する）を行う1〜2人の乗客と、安全に関わるイベント（破壊行為、喧嘩、車椅子での乗車）をキャプチャしている。

2. センサーキャリブレーション:

   • 外部パラメータ（Extrinsics）: カメラ間の重なりが限定的であるため、著者らは2段階のキャリブレーションプロセスを採用している。まず、散在するArUcoマーカーに基づき、COLMAP（Structure from MotionおよびMulti-View Stereo）を用いて車内の幾何学的構造を再構成する。
   • メトリック整合: 再構成された構造は、既知のマーカーサイズと、車両のセンターラインに配置された特定の「原点マーカー」を使用して、スケール調整および方向付けが行われ、地上に整合したメトリックフレームが確立される。
   • LiDARの整合: LiDARの点群は、ICP（Iterative Closest Point）を用いてCOLMAPの再構成にレジストレーションされ、RMSE（平方根平均二乗誤差）0.0071 mを達成している。

3. 疑似ラベル生成（Pseudo-Labeling）パイプライン:

   • 2D検出: 2D検出器が候補となる人物を特定し、その後、誤検出（例：ポスター）を除去するための手動フィルタリングを行う。
   • 3Dポーズ推定: パイプラインは、2D検出と既知のカメラ内部パラメータから3Dヒューマンメッシュおよびスケルトンを生成するために、SAM 3 Body 3Dを使用する。
   • マルチビュー集約: ビュー間の不一致（最大で約1 mの差が生じ得る）を解決するために、著者らは3段階の集約を実装している：
     1. カメラ制約付きクラスタリング: 同一カメラからの検出結果が同じクラスターに入らないことを保証しながら、ポーズの仮説をクラスタリングする。
     2. 中央値ポーズ選択: 外れ値の影響を軽減するために、クラスター重心に最も近い仮説を選択する。
     3. 精緻化: Nelder–Meadアルゴリズムを用いて、選択されたポーズのグローバルな平行移動を最適化し、マルチビュー再投影誤差を最小化する。
   • 3Dバウンディングボックス: 精緻化された3Dメッシュから、中心、寸法、および被験者の腰の回転に対するヨー角によって定義される、方向付けられた3Dバウンディングボックスが導出される。

4. データセット形式:

   • 最終的なデータセットはnuScenes形式に変換され、既存の自動運転知覚コードベースとの互換性を容易にしている。

主な貢献

• データセット: 3Dポーズおよび方向付けられた3Dバウンディングボックスのアノテーションを含む、9,136個の同期サンプルを備えたマルチビュー・マルチモーダル（RGB、深度、LiDAR）車内データセット。これは、このような種類の3Dポーズアノテーションを持つ最初の公開データセットである。
• パイプライン: 重なりの少ないマルチビュー環境においても、高品質な3Dアノテーションを生成できる、実用的なキャリブレーションおよび疑似ラベル生成パイプライン。
• ベンチマーク: 車内データにおける最先端のマルチビュー3D検出モデル（Lift-Splat-Shoot、BEVFusion）のベースライン結果。

実験結果
著者らは、7,128の訓練データと2,008の検証データの分割を用いて複数のモデルを評価した：

• カメラのみのモデル: ResNet-50およびSwinTバックボーンを用いたLift-Splat-Shoot (LSS) は強力な性能を示し、AP@0.5mにおいて、ResNetで0.9630、SwinTで0.7563に達した。
• マルチモーダルモデル: LiDARとカメラを融合させたBEVFusionは、カメラのみのLSSバリアントよりも性能が低かった（AP@0.5m: 0.7337）。著者らは、この原因を、制限された疎な車内環境において、モデルがLiDARに過度に依存しており、LiDARが密なカメラ特徴と比較して効果的ではないためであるとしている。
• ビュー分析: 単一ビュー検出のミス率は、フロント左の18.78%からセンター左の60.69%まで幅があり、堅牢な車内知覚にはマルチビュー融合が不可欠であることを示している。

意義と主張
本論文は、本研究を公共交通機関における堅牢な車内知覚への基礎的なステップとして位置づけている。著者らは以下の通り主張している：

1. データ不足への対処: 本データセットは、車両内部の困難な幾何学構造に特化した大規模なマルチモーダルリソースを提供することで、重要なギャップを埋めている。
2. キャリブレーションの実現可能性: 提案されたキャリブレーションパイプラインは、内向きカメラの低オーバーラップ制約を正常に処理し、メトリック的に一貫した3D再構成を可能にしている。
3. ベンチマークとしての有用性: nuScenes形式への変換とベースライン結果は、マルチビュー車内知覚の将来の研究のための標準化されたテストベッドを提供する。
4. 限定的な制約: 著者らは、パイプラインは効果的ではあるものの、失敗のないものではないことを認めている。激しい遮蔽が発生した場合、アイデンティティの結合や分裂が起こり得ること、また、厳格な検出閾値においてラベルノイズが残る可能性があることを指摘している。また、現在のデータセットは単一の車両タイプと静止シナリオに限定されていることを述べており、今後の研究は多様性と汎用性の向上に焦点を当てるべきであるとしている。