Phys-3D: Physics-Constrained Real-Time Crowd Tracking and Counting on Railway Platforms

本論文は、列車の到着時にプラットフォームをスキャンする単一カメラを用いて、物理法則に基づく 3 次元運動モデルと仮想カウントバンドを導入することで、密な遮蔽やカメラの動きに頑健なリアルタイムな混雑検出・計数を実現する「Phys-3D」というフレームワークを提案し、鉄道プラットフォームの安全性向上に貢献するものである。

要約

この論文は、**「電車の窓から見えるホームの混雑状況を、AI がリアルタイムで正確に数える」**という画期的な技術について書かれています。

通常、駅のホームの混雑を測るには、天井から下りた「固定されたカメラ」を使いますが、この研究では**「電車そのもの」にカメラを付け、動きながらホームをスキャンする**という逆転の発想を採用しています。

難しい専門用語を避け、わかりやすい例え話を使ってこの技術を解説します。

---

🚂 1. 課題：動くカメラは「酔う」？

まず、なぜこれが難しいのか考えてみましょう。

• 固定カメラの限界： 天井のカメラは「止まっている」ので、人が動けばわかります。でも、視野が狭く、遠くの人や、他の人に隠れた人は見逃してしまいます。
• 動くカメラの難しさ： 電車の窓から外を見ると、ホームは**「近づいてくるにつれて、みるみるうちに大きくなり、歪んで見える」**という現象が起きます。
  • 例え話： あなたが電車に乗ってホームに近づいているとき、ホームにいる人たちは「遠くでは小さな点」だったのが、「すぐ近くでは巨大な巨人」のように見えます。
  • さらに、電車は急ブレーキをかけるため、「止まっているはずの人」が、カメラの視点では「後ろに流れていくように」見えてしまいます。
  • これまでの普通の AI は、この「電車の動きによる錯覚」と「人の実際の動き」を混同してしまい、「同じ人を何回も数えたり」「行方不明にしたり」して、正確な人数がわからなくなってしまいます。

💡 2. 解決策：「物理の法則」を AI に教える

この研究の核心は、**「Phys-3D（フィズ・スリーディー）」**という新しい仕組みです。

• 従来の AI： 「映像の中で、この点がどう動いたか？」だけをみて追跡します。
• 新しい AI（Phys-3D）： **「物理の法則」**を頭に入れて追跡します。
  • 例え話： 普通の AI が「風で舞う葉っぱ」を追いかけるのに対し、この AI は「重りがついた石」を追いかけるように考えます。
  • 電車から見た場合、ホームに立っている人の「実際の位置（3 次元）」はほとんど変わらないはずです。変に動くのは「カメラ（電車）が近づいているから」に過ぎません。
  • このシステムは、「カメラの動き」と「人の動き」を数学的に分離し、「あ、これは電車が近づいたから大きく見えているだけで、実はその人は動いていないな」と判断します。
  • これにより、人が隠れて一時的に見えなくなっても、「物理的にここにいるはずだ」と予測して、見失わずに追跡し続けることができます。

👀 3. 検知の工夫：「顔」ではなく「頭」を見る

混雑したホームでは、全身が見えないことが多いです。

• 工夫： 全身を認識しようとするのではなく、**「頭（髪や帽子）」**だけを狙って検知します。
• 例え話： 混雑したコンサートで、誰が誰だか顔が見えなくても、「頭」だけが見えていれば「あそこに人がいる」とわかります。
• 頭は体が隠れても見えやすく、AI が「ここにいる！」と確信しやすいからです。

🎯 4. 正確な数え方：「通る線」ではなく「安全なゾーン」

ただ「線を越えたら 1 人」と数えるだけでは、人が揺れて線をまたいだり戻ったりすると、**「1 人が 2 人」と誤って数えたり、逆に「見逃したり」**します。

• 新しい方法： **「バーチャル・カウント・バンド（仮の計測ゾーン）」**という、幅のあるエリアを設けます。
• 例え話： 改札口で「ゲートを 1 回通れば 1 人」とするのではなく、**「この広いエリアに、2 秒間以上、じっと留まっていれば『通過した』とみなす」**というルールです。
• 人が揺れて一時的にエリアから外れても、すぐに戻れば「まだカウント中」として扱われるため、「揺れ」や「一時的な隠れ」に強く、正確な人数が得られます。

🏆 5. 結果：驚異的な精度

このシステムを実際のデータでテストしたところ、誤差はわずか 2.97% でした。

• つまり、100 人がいる場所を数えても、97〜98 人〜103 人程度で、ほぼ正確に数えられます。
• これまで「動き回るカメラでの正確な数え上げ」は難しかったのですが、「物理の法則（3 次元の動きのルール）」を AI に組み込んだことで、この難問を解決しました。

🌟 まとめ：なぜこれがすごいのか？

この技術は、単に「人を数える」だけでなく、**「電車が安全に運行できるか」「ホームが混みすぎて危険ではないか」**をリアルタイムで判断する助けになります。

• 従来の方法： 止まったカメラで、遠くの人や隠れた人を「推測」する。
• この研究： 動く電車から、物理法則を使って「正確に」数える。

まるで、**「酔い止め薬を飲んだ AI」**が、揺れる電車の中でも、ホームの状況を冷静かつ正確に把握しているようなイメージです。これにより、将来の駅の混雑管理や、より安全な電車運行が実現するかもしれません。

技術概要

以下は、提示された論文「Phys-3D: Physics-Constrained Real-Time Crowd Tracking and Counting on Railway Platforms」の技術的な要約です。

1. 問題定義 (Problem)

鉄道プラットフォームにおける乗客の密度推定とリアルタイムな人数計数は、安全確保や運行管理（適応型発車制御など）において極めて重要です。しかし、従来の静止カメラベースの監視システムには以下の限界がありました。

• 視点の制約: 静止カメラは視野が限られ、遠近歪みや遮蔽（オクルージョン）に弱い。
• 移動カメラの課題: 列車からプラットフォームをスキャンする移動カメラ（オンボード）を使用する場合、以下の要因により既存の追跡手法が機能しなくなります。
  • 強い遠近歪み: 列車が接近するにつれて、遠くの乗客の頭部が急激に拡大する。
  • 自己運動（Ego-motion）: カメラ自体の動き（減速など）が、歩行者の実際の動きと区別しづらく、軌跡のドリフトや ID 切替（Identity Switch）を招く。
  • 高密度な遮蔽: 乗客同士の重なりにより、全身検出器は性能が低下し、検出の不安定さや見落としが発生する。

既存の「検出 - 追跡（Tracking-by-Detection）」アプローチの多くは、静止カメラを前提とした定速度モデルや物理的な整合性を無視した運動モデルを使用しており、動的な鉄道環境では信頼性の高い計数が困難でした。

2. 手法 (Methodology)

著者らは、検出、追跡、計数を統合した**「Phys-3D」**と呼ばれる物理制約付きリアルタイムパイプラインを提案しました。このシステムは列車の車載カメラからプラットフォームをスキャンし、以下の 3 つの主要コンポーネントで構成されます。

A. ヘッド検出と特徴量エンコーディング

• 検出器: 密集した環境でも安定して検出可能な「頭部」に焦点を当て、YOLOv11m を採用。
  • 学習戦略: CrowdHuman データセットで事前学習し、独自に作成したドメイン固有データセット（RailwayPlatformCrowdHead）でファインチューニングを行う 2 段階転移学習を実施。これにより、遠近歪みやモーションブラーに対する頑健性を向上。
• 再識別（Re-ID）: 検出された頭部をEfficientNet-B0 でエンコードし、128 次元の埋め込みベクトルを生成。一時的な遮蔽後の ID 維持を可能にします。

B. Phys-3D: 物理制約付き 3D 追跡

従来の DeepSORT などの 2D 画像平面での追跡モデル（定速度・定加速度）の限界を克服するため、ピンホールカメラモデルと**列車の自己運動（Ego-motion）**を統合した 3D カルマンフィルタを開発しました。

• 3D 状態空間: 画像平面の座標 $(x, y)$ ではなく、カメラに対する 3D 位置 $(X, Y, Z)$ を状態ベクトルとして定義します。
  • 状態ベクトル: $[X, Y, H, Z, \dot{Z}, \ddot{Z}]^T$ （位置、頭部高さ、距離、速度、加速度）。
• 物理的制約:
  • プラットフォーム上の人物の横位置 $(X, Y)$ と頭部高さ $H$ はほぼ一定と仮定。
  • 距離 $Z$ の変化は、主に列車の減速運動（定加速度 $\ddot{Z}$）によって支配されると仮定。
  • ピンホールモデル $Z(t) = f_y \cdot H / h(t)$ を用いて、画像上のBounding Box 高さ $h(t)$ と 3D 距離 $Z(t)$ を結びつけます。
• 効果: これにより、カメラの動きに起因する見かけの運動と、歩行者の実際の運動を分離し、物理的に整合性の取れた軌跡推定を実現します。

C. バーチャルカウントバンド（Virtual Counting Band）

• 単純なラインクロッシング法では、遮蔽や検出のジッターにより重複カウントや見落としが発生します。
• 画像幅の特定の割合（例：左端 5%〜20%）に「バーチャルカウントバンド」を定義し、ターゲットがその領域に連続して N フレーム滞在した場合のみカウントする「持続性（Persistence）」を導入しました。これにより、一時的な遮蔽やジッターを平滑化し、安定した地域別集計を可能にします。

3. 主要な貢献 (Key Contributions)

1. リアルタイムなエンドツーエンドパイプラインの設計: 列車接近時の前方視覚に基づき、オンボードでのプラットフォーム感知を可能にするシステムの実装。
2. Phys-3D カルマンフィルタの提案: 物理的に根拠のある自己運動制約を組み込むことで、強い遠近歪みとカメラ運動下での追跡不安定性を解決。
3. 新規データセットの公開: 列車からの視点での頭部検出と分析を促進するため、RailwayPlatformCrowdHead データセット（MOT-RPCH）を公開。
4. 物理モデルと深層学習の融合: 物理ベースの運動モデルと深層視覚表現を組み合わせることで、交通分野における物理制約付きビジョンタスクの精度と安定性を向上させることを実証。

4. 結果 (Results)

独自に作成した評価データセット「MOT-RailwayPlatformCrowdHead (MOT-RPCH)」を用いた実験結果は以下の通りです。

• 検出性能: 2 段階学習（事前学習＋ファインチューニング）により、mAP50 は 79.4% から**98.0%へ、mAP50-95 は 54.7% から81.6%**へ大幅に向上。
• 追跡性能: 標準的な定速度モデル（CV-8D）や定加速度モデル（CA-12D）と比較して、Phys-3D は以下の指標で優位性を示しました。
  • MOTA: 67.19%
  • IDF1: 76.32%
  • ID 切替数: 平均 24.5 回（他モデルに比べて大幅に少ない）。
• 計数精度:
  • MAPE (平均絶対パーセント誤差): 2.97%（CA-12D の 6.99%、CV-8D の 14.59% を大きく下回る）。
  • MAE (平均絶対誤差): 0.9、RMSE: 1.36。
  • バーチャルカウントバンドを用いることで、ラインクロッシング法に比べ誤差が劇的に減少しました（MAPE 93.43% → 10.87%）。

5. 意義と結論 (Significance)

この研究は、移動する列車からの視点でプラットフォームの乗客を正確に計数する実用的なソリューションを提供します。

• 安全性と効率性: 物理法則（幾何学と運動の先験知識）を深層学習モデルに組み込むことで、複雑な遮蔽やカメラ運動下でも信頼性の高い追跡を実現しました。これは単に運動モデルを複雑化するだけでなく、物理的な整合性を課すことが重要であることを示しています。
• 実用性: 誤差 2.97% という高精度は、リアルタイムな安全管理、乗降客の密度管理、列車の発車スケジュール最適化、およびインフラ計画に直接活用可能です。
• 将来展望: 現在のデータセットは夜間や悪天候を含まないため、将来的にはマルチモーダルセンサー（LiDAR、レーダー等）との融合や、より多様な環境へのドメイン適応が期待されます。

総じて、Phys-3D は、従来のコンピュータビジョン手法が苦手とする「動的な移動視点」と「物理的制約」を同時に解決する、交通分野における画期的なアプローチです。