論文「Uncertainty in Real-Time Semantic Segmentation on Embedded Systems」の技術的サマリー

本論文は、自律走行車や人間とコンピュータのインタラクションなど、安全クリティカルな分野におけるリアルタイムセマンティックセグメンテーションにおいて、リソース制約のある組み込みシステム上で「不確実性（Uncertainty）」を推論する課題に焦点を当てています。既存のリアルタイムモデルは推論速度は速いものの、モデルの不確実性を十分に評価できず、安全性の確保が困難であるという問題点を指摘し、これを解決するための軽量な確率的アプローチを提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 背景と問題定義

• 課題: セマンティックセグメンテーションモデルは、自律走行やロボット制御などでリアルタイム性が求められます。しかし、安全クリティカルな応用では、予測の「不確実性（特にエピステミック不確実性：モデル自体の知識不足によるもの）」を定量化することが不可欠です。
• 既存手法の限界:
  • ベイズ推論: 完全なベイズ推論は深層学習モデルでは計算的に困難（intractable）であり、近似推論のためにモンテカルロ法（例：MC Dropout）が用いられますが、これには多数の順方向パスが必要となり、リアルタイム処理には適しません。
  • 決定論的アプローチ: 既存のリアルタイムモデルは点推論（Point Estimate）に依存しており、不確実性を考慮していません。
  • ハードウェア制約: 組み込みデバイス（エッジデバイス）では計算リソースとメモリが限られているため、既存の不確実性推定手法をそのまま適用することは不可能です。

2. 提案手法

著者らは、事前学習済みモデルの決定論的な特徴抽出機能と、確率的な回帰モジュール、およびモーメント伝播（Moment Propagation）を組み合わせることで、リアルタイムかつ計算コストの低い不確実性推定を実現する手法を提案しました。

2.1 モデル構造

• 特徴抽出（決定論的）: 事前学習済みのセマンティックセグメンテーションネットワーク（エンコーダ）を固定パラメータ $\theta$ として使用し、入力画像から特徴量 $\Phi(x)$ を抽出します。
• 確率的分類層: ネットワークの最終層を、パラメータ $\omega$ を確率変数として扱う確率的回帰層に置き換えます。
  • 重みとバイアスをランダム変数 $\omega$ とみなし、これらに対して推論を行います。
  • 特徴量と確率パラメータの積（内積）を、等価な畳み込み演算として計算します。

2.2 推論手法（対数空間での近似）

• 対数空間での回帰: 最終的なカテゴリ確率（Softmax 出力）ではなく、ロジット（Logit）空間で推論を行うことで、線形回帰モデルとして扱えるようにします。
• 事後分布の近似:
  • 事前分布をガウス分布と仮定し、共役事前分布の性質を利用します。
  • Diagonal SWAG (Stochastic Weight Averaging-Gaussian): 学習中の SGD 反復から得られるパラメータの平均と分散（対角共分散行列）を近似して使用します。これにより、完全な共分散行列の計算を避け、メモリ使用量と計算量を大幅に削減します。
  • 事前学習済みモデルの最終層の重みを平均値 $\bar{\omega}$ として利用し、学習中のパラメータ記録を最小化します。

2.3 不確実性の定量化（モーメント伝播）

• EPSoftmax: Softmax 関数を適用した後の分布を厳密に計算するのではなく、モーメント伝播（Expectation Propagation の概念）を用いて近似します。
  • ロジットのガウス分布を対数正規分布に変換し、そのモーメント（平均・分散）を計算します。
  • 比分布（Ratio Distribution）の近似（テイラー展開に基づく）を用いて、最終的なカテゴリ確率の平均と分散を導出します。
• 不確実性の種類:
  • エピステミック不確実性 (Epistemic Uncertainty): モデルパラメータの分散（共分散行列）から導出される、削減可能な不確実性。エントロピーや分散として可視化されます。
  • アレトリアック不確実性 (Aleatoric Uncertainty): データ自体のノイズに起因する、削減不可能な不確実性。最終カテゴリ分布のエントロピーで近似されます。
  • クラス条件付き不確実性: 特定のクラス（例：歩行者、車両）に対する不確実性を個別に評価します。

3. 主要な貢献

1. 軽量な不確実性推定手法の提案: モーメント伝播とベイズ手法を組み合わせ、組み込みハードウェア上でリアルタイムに実行可能なセマンティックセグメンテーションの不確実性推定手法を開発しました。
2. 意味のある不確実性メトリクスの開発: エピステミック、アレトリアック、およびクラス条件付きの不確実性を定量化するメトリクスを提案し、これらがどのようにエンドユーザーや意思決定プロトコルに情報を提供するかを調査しました。
3. 既存モデルへの容易な適応: 事前学習済みモデルの最終層を置き換えるだけで実装可能であり、組み込みデバイス上でリアルタイムの不確実性定量化を可能にしました。

4. 実験結果

• 実験環境: NVIDIA Jetson AGX Xavier（組み込みプラットフォーム）を使用。
• データセット: CityScapes, CamVid（都市景観・自動運転）、ADE20k, CoCoStuff（一般物体・ロボット応用）。
• ベースラインモデル: ENet, BiSeNetV1/V2, PIDNet, PPLiteSeg など。
• 性能評価:
  • 精度: 提案手法（Bayes-モデル）は、点推論モデル（Point Estimate）と比較して、mIOU や F1 スコアにおいて同等の予測精度を維持しました（わずかな低下はあるが許容範囲）。
  • 速度: 確率的推論のオーバーヘッドにより FPS は低下しましたが、多くのモデルで依然としてリアルタイム（例：BiSeNetV1 で約 57 FPS、PIDNet で約 69 FPS）を達成しました。
  • ハードウェア特有の課題: 一部のモデル（BiSeNetV2 など）では、TensorRT 上での最適化不足により、従来のハードウェアよりも予測時間が長くなる傾向が見られましたが、それでも実用的な速度でした。
• 定性的評価:
  • 生成された不確実性マップは、物体の境界や不明瞭な領域で高い値を示し、直感的に意味のある結果となりました。
  • エピステミック不確実性は物体内部や特徴的な領域で、アレトリアック不確実性は物体の境界で顕著に現れることが確認されました。
  • クラス条件付き不確実性は、特定のクラス（例：「車」や「人」）の境界に集中して可視化されました。

5. 意義と将来展望

• 安全性の向上: 組み込みシステム上でもリアルタイムに不確実性を評価できるため、自律走行車やロボットが「自分が何を見ているか分からない」領域を特定し、安全な意思決定（例：減速、人間の介入要請）を行うことが可能になります。
• 計算効率: 従来のモンテカルロ法に依存しない解析的なアプローチにより、高次元データに対する推論オーバーヘッドを最小化し、リソース制約のある環境での実用化を可能にしました。
• 将来の課題:
  • 学習段階でアレトリアック不確実性を明示的にモデル化するトレーニング手法との統合。
  • 不確実性情報をどのように意思決定プロセスに統合し、計算オーバーヘッドをさらに最適化するかという実用的な課題への取り組み。

結論として、本論文は、深層学習モデルの「ブラックボックス」化を避け、リソース制約のあるエッジデバイス上でも信頼性の高い、不確実性を考慮したセマンティックセグメンテーションを実現するための重要なステップを示しています。