Conformal Prediction Sets for Instance Segmentation

技術要約：インスタンス・セグメンテーションのための共形予測集合

問題提起
現在のインスタンス・セグメンテーション・モデルは、高い平均性能を達成しているものの、原理的な不確実性の定量化に欠けている。出力されるロジットや信頼度スコアなどは、しばしば較正（キャリブレーション）されておらず、予測されたマスクが正解（グラウンドトゥルース）に近いという保証を与えない。既存の不確実性指標（境界確率など）は、しばしば較正されておらず、解釈も困難である。さらに、近年のセグメンテーションに対する共形予測のアプローチは、単一のモデル予測マスクを変更すること（例：膨張や境界拡張）に制約されている。これらの手法は局所的な境界の不確実性は捉えられるが、隣接する領域を単一のオブジェクトとして扱うべきか、あるいは複数のオブジェクトに分割すべきかという「構造的不確実性」に対処できていない。この限界は、すべてのクエリに対して単一の「最適な」パラメータ設定が存在しない可能性がある実世界のアプリケーションにおいて極めて重要である。

手法
著者らは、画像とピクセル座標のクエリに対して、インスタンス予測の**適応的信頼集合（adaptive confidence sets）**を生成する共形予測アルゴリズムを提案している。この手法は、以下のフレームワークの下で動作する：

1. 設定: 入力は画像 $I$ とクエリ点 $(z_1, z_2)$ である。目標は、クエリを含むオブジェクト・インスタンスに対するバイナリマスク $Y$ を予測することである。本手法は、多様な予測 $\hat{Y} = f(X, T)$ を生成するために、調整可能なパラメータ $T$（例：ウォーターシェッドの閾値、ロジット閾値、またはマスクのインデックス）を受け取るインスタンス・セグメンテーション・モデル $f$ を利用する。
2. 較正（キャリブレーション）: $n$ 個の画像・クエリのペアと正解マスクからなる較正データセットを用いて、$k$ 個のパラメータ値 $\{t_1, \dots, t_k\}$ のグリッドによって生成された予測のIoU（Intersection-over-Union）を評価する。
3. 集合構築（集合被覆）: 目標とするIoU閾値 $\tau$ と誤差率 $\alpha$ に対して、成功した予測（IoU $> \tau$ となるもの）の和集合が、少なくとも $(1-\alpha)n$ 個の較正例をカバーするような、最小のパラメータインデックスのサブセット $J_{\alpha, \tau}$ を特定する。このステップは集合被覆問題として定式化され、貪欲法による実行とその後のブルートフォースによる精緻化によって、集合サイズを最小化するように解かれる。
4. 予測: 新しいテスト入力に対し、アルゴリズムは選択されたパラメータ・サブセット $J_{\alpha, \tau}$ を用いて予測を生成し、初期の信頼集合 $C_{\alpha, \tau}(X_{test})$ を形成する。
5. 適応的精緻化（重複除去）: 冗長性を避けるため、アルゴリズムはドミナティング・セット（支配集合）の手法を用いて、二次的なIoU閾値 $\eta$ によって定義される近傍の重複マスクを除去する。これにより、クエリの難易度に応じて変化する適応的な集合サイズが得られる。
6. 保証: 本手法は、確率 $\ge 1-\alpha$ で、最終的な信頼集合に再較正された閾値 $\tilde{\theta}$ 以上のIoUを持つ少なくとも一つのマスクが含まれるという漸近的な保証を提供する。また、サンプル分割と共形リスク制御（CRC）を用いた有限サンプル版も提供される。

主な貢献

1. 新規の定式化: 本論文は、構造的不確実性を捉えるための、インスタンス・セグメンテーションにおける初の共形予測の定式化を導入している。単一のマスクを摂動させる従来の手法とは異なり、本アプローチは複数のモデル構成にわたる多様な予測集合を構築する。
2. 非単調な設定における実現可能性: 本手法は、単調な損失関数（標準的な共形リスク制御や「Learn Then Test」フレームワークの要件）を必要としない。これにより、セグメンテーション・パラメータに対して本質的に非単調であるIoUベースの損失関数を使用することが可能となる。
3. 適応的信頼集合: アルゴリズムは、クエリの難易度に基づいてサイズが変化する予測集合を生成し、ユーザーを圧倒することなく、より情報量の多い表現を提供するために重複を除去する。
4. 理論的保証: 本研究は、カバー率に関する漸近的および有限サンプルの理論的保証を提供し、集合内の少なくとも一つの予測が正解と高いIoUを持つことを保証する。

実験結果
アルゴリズムは、農業分野の境界画定、細胞セグメンテーション、および車両検出の3つの異なるタスクで評価された。

• カバー率: 本手法は、目標値 $(1-\alpha)$ に近い経験的なカバー率を達成し、ベースラインを大幅に上回った。例えば、車両検出では、カバー率は66.1%（素朴な最良パラメータ・ベースライン）から84.3%へと向上した。
• ベースライン比較: 「最良パラメータの選択（単一のグローバルなパラメータを選択する）」および「形態学的膨張（単一のマスクを拡張する）」のベースラインは、構造的な曖昧さを捉えることに失敗した。提案手法は、ベースラインがオブジェクトの過剰分割または過小分割を起こしたケースを正常に回復できた。
• 適応性: 予測集合のサイズはクエリの難易度に適応した。曖昧なシナリオ（例：境界が不明瞭な農地）では、集合は複数の妥当なマスクを含むように拡大したが（最大5つ）、明確なケース（例：はっきりとした細胞）では、集合はサイズ1または2へと収束した。
• 閾値: 再較正されたIoU閾値 $\tilde{\theta}$ は、元の目標 $\tau$ に近いか、あるいはそれを上回り続けた。これは、重複除去がカバー率の保証を著しく低下させなかったことを示している。

意義と主張
著者らは、多様なセグメンテーション予測の信頼集合を構築することにより、インスタンス・セグメンテーションにおける構造的不確実性を捉えた最初の研究であると主張している。その意義は、単一の「最善」の予測（それは構造的に誤っている可能性がある）を提供するパラダイムから、多様な仮説の証明可能な集合を提供するパラダイムへの転換にある。このアプローチは、曖昧な画像（低コントラストの農地、重なり合う細胞など）において、単一のマスクでは不十分であることが多いという事実を認めている。本手法は、真のオブジェクトが集合内に含まれる確率を明示的に定量化することで、セグメンテーション・モデルの信頼性を形式化する。

論文内では、共形予測は基礎となるセグメンテーション・モデル固有の限界を克服することはできない（ベースモデルがある一定のIoUを達成できない場合、信頼集合はその保証ができない）という点についても謙虚に述べている。さらに、本手法は、意味のある多様性を誘発する調整可能なパラメータが存在することを前提としている。著者らは、今後の課題として、マスクの多様性を明示的に促す学習戦略の開発や、より大きなパラメータ空間を扱うための、組合せ最適化ステップ（集合被覆および重複除去）のスケール可能な近似手法の開発を挙げている。