Perception Characteristics Distance: Measuring Stability and Robustness of Perception System in Dynamic Conditions under a Certain Decision Rule

本論文では、自律走行の安全性向上のために確率的な不確実性を考慮した新たな評価指標「知覚特性距離（PCD）」と平均値（aPCD）を提案し、Virginia スマートロードで収集した多様な気象・照明条件下のセンサーデータセット「SensorRainFall」を用いて、従来の指標では捉えられない環境変化に対する知覚システムの安定性と頑健性を定量化する手法を提示しています。

要約

この論文は、自動運転車の「目（認識システム）」が、雨や夜などの過酷な状況でどれだけ頼りになるかを測る、新しいものさしとデータセットについて紹介しています。

専門用語を抜きにして、わかりやすく解説しますね。

1. 問題点：従来の「ものさし」は不十分だった

これまでの自動運転の評価では、「平均精度（AP）」や「IoU」といった指標が使われていました。これらは**「テストの点数」**のようなものです。

• 例え話： 学生がテストで 90 点取れたかどうかが評価されます。
• しかし、自動運転には不向き： 自動運転の「目」は、遠くにある車や歩行者を見るとき、**「見えているけど、自信がない」**という状態が頻繁に起こります。
  • 近い距離では「100% 確信」で「車だ！」と判断します。
  • 遠くなると「多分、車かな？でも揺らぎがある…」という**「不安定な状態」**になります。
  • 従来の「点数」は、この「遠くでぐらぐらする不安定さ」を無視して、単に「見えていれば OK」としてしまっていました。これでは、急ブレーキが必要な時に「実は見えていなかった（揺らぎが大きかった）」というリスクを見逃してしまいます。

2. 新しい解決策：「知覚特性距離（PCD）」

そこで著者たちは、**「知覚特性距離（PCD）」**という新しい概念を提案しました。

• どんなものさし？
  これは**「信頼できる距離」**を測るものさしです。
• 仕組み：
  「AI が『これだ！』と自信を持って言えるのは、どれくらい遠くまでか？」を統計的に計算します。
  • 例え話： 暗い森で懐中電灯を照らしているようなものです。
    • 近い場所では、木がはっきり見えます（高信頼）。
    • 遠くに行くと、木がぼやけたり、影と間違えたりします（低信頼・不安定）。
    • PCD は**「この懐中電灯の光が、どれくらい先まで『木だと確信して』照らせるか」**という距離を測ります。
  • もし雨で視界が悪くなると、この「確信できる距離」は短くなります。PCD はその短さを数値で表します。

3. 実験データ：「SensorRainFall」データセット

この新しいものさしをテストするために、**「SensorRainFall」**という特別なデータセットを作りました。

• どこで撮ったの？
  バージニア州にある「スマート・ロード」という、天気を人工的に作り出せる実験施設です。
• どんな条件？
  • 晴れの昼
  • 雨の昼
  • 雨の夜
  • 雨の夜（街路灯あり）
  • 雨の強さは「64mm/h」という激しい雨（滝のような雨）を人工的に降らせています。
• 何を見せた？
  赤いセダン（車）と、雨合羽を着た人形（歩行者）を、自車の前方に配置して、カメラやレーダー、LiDAR（レーザーセンサー）で撮影しました。
  これにより、「雨の夜に、激しい雨が降っている中で、どれくらい遠くの歩行者を AI が正確に捉えられるか」を厳密に測定できました。

4. 実験結果：何がわかった？

最新の AI モデルを使って実験したところ、以下のようなことがわかりました。

1. 従来の指標は「雨の夜」の弱点を見逃していた

   • 従来の「点数（AP）」だけを見ると、いくつかのモデルは雨の中でもそこそこ良いスコアを出していました。
   • しかし、**PCD（信頼できる距離）**で見ると、雨の夜には「信頼できる距離」が極端に短くなっていることが明らかになりました。
   • 例え話： 雨の夜に、遠くから「もしかして車？」と疑いながら見ている状態を、従来の指標は「見えているから OK」と評価していましたが、PCD は「いや、それは遠すぎて危険だから、もっと近くに来るまで信用できないよ」と警告しました。

2. AI モデルによって「性格」が違う

   • モデル A は、遠くまで見えても「ぐらぐら」して不安定でした。
   • モデル B は、距離が遠くなるとすぐに「見えない」と判断する代わりに、見えている間は非常に安定していました。
   • PCD は、この「安定性」の違いを明確に捉えることができました。

5. なぜこれが重要なのか？

自動運転の安全性を高めるためには、「AI が何を見ているか」だけでなく、**「AI がその見方をどれくらい信じていいか」**を知る必要があります。

• 安全圏の決定： 「この雨の夜、この AI モデルなら、50 メートル先まで安全に運転できる」という「安全圏（セーフティ・エンベロープ）」を、PCD を使って正確に設定できます。
• 柔軟な判断： 緊急ブレーキが必要な場合は「少し遠くても、確信度が低くても見つけてほしい」という設定に、高速走行時は「確信度が高いものだけ見てほしい」という設定に、PCD の基準を調整することで、状況に応じた安全運転が可能になります。

まとめ

この論文は、**「自動運転の目は、遠くで『揺らぎ』ながら見ている」という現実を認め、その「揺らぎを含めた信頼できる距離」を測る新しいものさし（PCD）と、それを検証するための「激しい雨のデータセット」**を提案しました。

これにより、従来の「点数」だけでは見抜けなかった、過酷な天候下での自動運転の弱点を明らかにし、より安全で丈夫な自動運転システムの実現に貢献します。

技術概要

論文サマリー：Perception Characteristics Distance (PCD)

1. 背景と課題 (Problem)

自動運転システム（ADS）や高度運転支援システム（ADAS）の安全性は、距離や走行条件にわたる正確な知覚（Perception）に依存しています。しかし、現在の知覚評価指標には以下の重大な限界があります。

• 確率的性質の欠如: AI 知覚アルゴリズムの出力は確率的（Stochastic）であり、特に遠距離では検出の信頼度（Confidence Score）が不安定に振動します。従来の指標（AP, IoU, F1 スコアなど）は、フレーム単位の静的な評価に依存しており、この時間的・空間的な連続性や確率的な変動を反映していません。
• 距離依存性の無視: 従来の指標は、検出が「成功したか失敗したか」の二値的な判断に焦点を当てがちですが、距離が遠くなるにつれて検出信頼度がどのように劣化し、どの距離でシステムが信頼できなくなるかを定量的に捉えることができません。
• 意思決定への影響: 実際の車両制御ロジックは閾値ベースの検出に依存しており、遠距離での信頼度の不安定な振動は、加速やブレーキなどの安全な意思決定を困難にします。

2. 提案手法：知覚特性距離 (PCD) と平均 PCD (aPCD)

本研究では、知覚システムの安定性と頑健性を距離の関数として定量化する新しい指標**「知覚特性距離（Perception Characteristics Distance: PCD）」**を提案しました。

2.1 PCD の定義

PCD は、特定の検出閾値（検出品質閾値 $y_{thres}$ と確率閾値 $p_{thres}$）において、知覚システムが一貫して信頼できる検出を維持できる最大距離として定義されます。

• 評価対象: 単なる IoU や Confidence ではなく、これらを掛け合わせた**「IoU × Confidence スコア」**を評価指標とします。これにより、空間的精度と予測の確実性の両方を考慮します。
• 統計的アプローチ: 距離に対する IoU × Confidence スコアの分布を分析し、分散（Variance）が急激に変化する点（Change Points）を統計的に検出します。
• 確率的カットオフ: 各距離区間において、IoU × Confidence スコアが閾値を超える確率が $p_{thres}$ 以上となる最大距離を PCD とします。これにより、モデル出力の不安定性（分散）を考慮した信頼区間を定義できます。

2.2 平均 PCD (aPCD)

単一の閾値に依存するのではなく、システム全体の知覚能力を包括的に評価するため、異なる $y_{thres}$ と $p_{thres}$ の組み合わせに対して計算された PCD の平均値を**「平均 PCD (aPCD)」**として定義しました。これは、ROC 曲線下の面積（AUC）と同様に、異なる閾値設定全体にわたるシステムの性能を要約する指標です。

2.3 分散変化点の検出アルゴリズム

PCD 計算の核心は、距離データにおける分散の急激な変化点を検出することです。

1. スプライン回帰: 距離と IoU × Confidence の関係に対してスプライン回帰を行い、平均構造を推定します。
2. 仮説検定: 残差の分散が一定であるという帰無仮説 ($H_0$) と、分散が変化する対立仮説 ($H_1$) を設定し、Schwartz 情報基準（SIC）に基づく検定統計量を用いて変化点を特定します。
3. 逐次検定: 検出された変化点でデータを分割し、再帰的に変化点を検出することで、距離ごとの統計的性質が異なるセグメントを正確に区別します。

3. データセット：SensorRainFall

評価の妥当性を検証するため、SensorRainFall データセットを公開しました。

• 特徴: Virginia Smart Road 施設で収集された、降雨条件を精密に制御したデータセットです。
• 環境条件: 晴天・昼、雨天・昼、雨天・夜、街灯ありの雨天・夜の 4 条件。降雨量は制御された 64 mm/h で統一されています。
• センサー: カメラ、レーダー、LiDAR を搭載。
• アノテーション: 赤いセダンとダミーの歩行者（2 対象）に対して、バウンディングボックス、インスタンスセグメンテーションマスク、および正確な距離（DGPS 測定）を付与。
• 意義: 従来の自然な走行データ（NuScenes, KITTI など）とは異なり、気象条件を制御して知覚性能の距離依存性と不安定性を分析できる唯一の公開データセットです。

4. 実験結果

State-of-the-Art（SOTA）の検出モデル（YOLOX, Grounding DINO, GLIP, Mask2Former など）とセグメンテーションモデルを用いたベンチマーク実験を行いました。

• 従来の指標との乖離:
  • 従来の指標（AP50:95, AP50 など）では性能が同等、あるいは高いと評価されたモデルでも、PCD/aPCD 評価では「遠距離での信頼性の低下」や「振動の激しさ」が明確に現れました。
  • 例：DyHead は AP 指標で高いスコアを出しましたが、遠距離での信頼度低下が急激で PCD は短かった一方、GLIP は遠距離まで安定した出力を示し、PCD が長くなりました。
• 環境条件の影響の可視化:
  • 雨天や夜間条件下では、PCD が大幅に短縮され、閾値に対する感度（不安定性）が高まることが確認されました。
  • 従来の指標では見逃されがちな、悪天候下での「検出の失敗領域（Failure Tail）」の広がりを PCD は明確に捉えました。
• 安全性エンベロープの定義:
  • PCD を用いることで、特定の信頼度要件を満たす「安全な運用領域（Safety Envelope）」を定義できます。これにより、状況に応じた安全マージンの設定が可能になります。

5. 主要な貢献 (Key Contributions)

1. 新しい評価指標 PCD/aPCD の提案: 距離依存性と確率的な不確実性を統合的に評価し、従来の静的指標では捉えきれない「システムの安定性」を定量化する手法を開発しました。
2. SensorRainFall データセットの公開: 気象条件を制御し、対象物までの距離と知覚性能の関係を詳細に分析できる高品質なベンチマークデータセットを提供しました。
3. 実用的な知見: 従来の指標が過大評価する可能性のあるモデルの遠距離性能の脆弱性を明らかにし、安全な自動運転システム設計における「信頼性ベースの距離評価」の重要性を示しました。

6. 意義と将来展望

この研究は、自動運転システムの安全性評価において、単なる「検出精度」だけでなく、「どの距離まで、どの程度の確実性で検出できるか」という動的な信頼性を重視するパラダイムシフトを促すものです。

• 安全性向上: 制御ロジックが依存する「信頼できる検出距離」を明確にすることで、過信による事故を防ぎ、より堅牢な ADS/ADAS の設計を支援します。
• 柔軟な評価: 緊急ブレーキ（低閾値で早期検出重視）や高速レーンキープ（高閾値で高精度重視）など、用途に応じた閾値調整により、システム性能を最適化するための指針となります。

今後は、PCD をより多様なデータセットや知覚タスク（深度推定、トラッキングなど）へ拡張し、実社会での自動運転安全性向上への貢献を目指します。