💻 computer science

Open-World Semantic Segmentation with Sensitivity Modeling

本論文は、既存のプロトタイプ型および対照学習型のアプローチを補完し、優れたアノマリーセグメンテーションと未知クラスの発見を実現しつつ、クローズドセットの精度を維持するために、微細なテクスチャの不規則性と活性化の不安定性を捉える第3の「センシティビティ・デコーダ」を統合することで、未学習または異常なコンテンツの検出を強化する、新しいオープンワールド・セマンティックセグメンテーション・フレームワークを提案する。

原著者： Anastasios Romanos Varvarigos, Nikos Giakoumoglou, Tania Stathaki

公開日 2026-08-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Anastasios Romanos Varvarigos, Nikos Giakoumoglou, Tania Stathaki

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたはロボットに車の運転を教えていると想像してください。あなたは道路、車、歩行者の写真を100万枚見せ、ロボットにすべてのピクセルを完璧にラベル付けすることを学習させました。しかし、そのロボットを現実の世界に連れ出した途端、目の前に巨大なネオンピンクのキリンが帽子を被って現れたり、ハイウェイに謎の光る瓦礫の山が現れたりしました。教室という「クローズド・ワールド（閉じた世界）」の中では、ロボットにはそれらを指すラベルがありません。しかし、ロボットは「それが何か分からない！」と言う代わりに、「あれは車だ！」「あれは木だ！」と自信満々に推測してしまいます。この過剰な自信は危険です。もしロボットがゴミの山を道路だと思い込んだら、そのまま突っ込んでしまうかもしれません。

これが「オープンワールド・ビジョン」の問題です。科学者たちは、単に知っているものを認識するだけでなく、自分が「知らないもの」を見つけ出すことができるAIを構築しようとしています。彼らは、AIが「あれは車だ」と言えるのと同時に、「あれは奇妙で未知の塊だ」とも同じ確信を持って言えるようにしたいと考えています。課題は、ほとんどのAIモデルが、たとえ全く分からなくても答えを無理に推測してしまう「せっかちな生徒」のようであることです。彼らは、あらゆる「奇妙なもの」の例を何百万個も見せられなくても、奇妙なものを見た時に「不確かさ」を感じられる方法を必要としています。

ここで、この問題を解決するために新しい種類のAIの脳を構築した、インペリアル・カレッジ・ロンドンの研究者たちを紹介しましょう。彼らはこの手法を「オープンワールド・セマンティック・セグメンテーション」と呼んでいますが、これはロボットにより優れた探偵になるよう教えることだと考えてください。

旧式の探偵の問題点

この問題を解決するためのこれまでの試みは、「デュアル・デコーダー（二重デコーダー）」システムを使用していました。これは、二人の助手を持つ探偵を想像してください。

セマンティック・アシスタント（意味論的助手）: この助手は、既知の容疑者を特定することに長けています。彼はピクセルを見て、既知のカテゴリーのリストに基づき、「あれは道路だ！」「あれは車だ！」と判断します。
コントラスティブ・アシスタント（対照的助手）: この助手は、画像の「雰囲気」を見ます。彼は、ピクセルの特徴が既知のものの一般的なパターンに適合しているか、あるいは「未知の領域」へと遠く離れて浮いているかをチェックします。

問題は、両方の助手が全体像を見ていることです。彼らは丘の上に立って森を見ているようなもので、木々の一般的な形は見えますが、木の根元に生えている小さくて奇妙なキノコは見逃してしまうかもしれません。もし奇妙な物体が一部隠れていたり、変な質感を持っていたりした場合、これら二人の助手は依然として「うーん、これは車に近いようだ」と考えてしまい、異常を見逃してしまう可能性があります。彼らはあまりにも粗い（大まかすぎる）ため、細部における微妙な「未知の違和感」を捉えることができないのです。

新しい第三の探偵：センシティビティ・デコーダー

論文の著者たちは、何を見ているかではなく、AIがそれに対してどう感じているかに焦に当たる、第三の助けが必要であることに気づきました。彼らはこれを**センシティビティ・デコーダー（感度デコーダー）**と呼んでいます。

このセンシティビティ・デコーダーを、虫眼鏡と非常に鋭い鼻を持った探偵だと考えてください。他の二人の助手が大きな形や距離を見ている間、この新しい助手は細部にズームインしています。それは「活性化の不規則性」を探します。

ここにある魔法のような比喩を使いましょう。AIの脳を巨大なオーケストラだと想像してください。普通の車を見ているとき、ミュージシャン（ニューロン）は滑らかで安定した調べを奏でます。しかし、何か奇妙なもの――例えば、一部が隠れた奇妙な物体――を見たとき、ミュージシャンは言葉に詰まったり、リズムが狂ったり、あるいは場違いな高音を鳴らし始めたりします。センシティビティ・デコーダーは、まさにその「言葉に詰まり」や「音の狂い」を専門に聴き取る指揮者なのです。それは、その奇妙な物体が「何であるか」を知る必要はありません。ただ、音楽が「震えて」いて「不安定」であることを知っているのです。

これは極めて重要な区別です。最初の二人の助手は、距離（これは既知の車からどれくらい離れているか？）とエネルギー（これは既知のもののように見えるか？）を測定します。一方、新しいセンシティビティ・デコーダーは不安定性を測定します。それは、「この物体を見ている時、AI自身の脳は揺れているか？」と問いかけるのです。

どのように連携するか

研究者たちは、三つの並列した「ヘッド（デコーダー）」が協力して働くシステムを構築しました。

セマンティック・ヘッド: 既知のもの（道路、車、人）を特定します。
コントラスティブ・ヘッド: 全体的に奇妙かどうか（既知のパターンから外れているか）をチェックします。
センシティビティ・ヘッド: 局所的で微細な奇妙さ（質感の乱れ、不安定な活性化）をチェックします。

これら三つのヘッドが共同で投票を行います。もしセンシティビティ・ヘッドが「おっと、この質感はガタついているぞ！」と言い、他の二つが確信を持てない場合、システムはその領域を「未知（Unknown）」または「異常（Anomaly）」としてフラグを立てます。

結果：グリッチを捕らえる

チームは、この新しい三つのヘッドを持つ脳を、二つの有名な走行データセット、Cityscapes（都市の街路の画像集）とBDD-Anomaly（瓦礫や奇妙な車両など、予期せぬ障害物で満ちた画像）でテストしました。

結果は有望でした。この「センティビティ・デコーダー」を追加することで、システムは混乱することなく、未知のものを検知する能力が大幅に向上しました。

BDD-Anomalyデータセットにおいて、彼らの手法は異常検知能力を**2.4%**向上させました（AUROCという、悪いものを見つける能力を示すスコアで測定）。
また、「誤検知率（通常のものを奇妙なものと間違える割合）」を2.5パーセントポイント減少させました。
決定的なのは、これらすべてを、従来のモデルと同等の精度で通常の車や道路を認識しながら実現したことです。

さらに素晴らしいことに、この新しい「センティビティ・デコーダー」は非常に軽量です。モデルに加わるパラメータは100万未満であり（これは全脳サイズの3.6%未満です）、巨大なロボットを鈍くさせることなく、非常に敏感な耳を追加するようなものです。これは**毎秒24フレーム（24 fps）**で動作し、リアルタイムの運転に十分な速さです。

これが意味すること

この論文は、局所的な不安定性を探る「感度」の層を加えることで、未知のものを察知するAIをより良くできることを示しています。著者らは、このアプローチが強力なツールである理由として、あらゆる「奇妙なもの」の例を何百万個も見せる必要がないことを挙げています。代わりに、データが不安定に見えるときに、AI自身の「直感」を信じるように教えているのです。

この論文は、オープンワールド・ビジョンの問題を永遠に解決したと主張しているわけではありませんが、この特定の「感度」というトリックが強力な道具であることを証明しています。それは、未知のものを見つけるためには、単に全体像をより一生懸命見るだけでなく、音楽の中の小さな「言葉詰まり」に耳を澄ませる必要があるということを示しているのです。

技術要約：感度モデリングを用いたオープンワールド・セマンティックセグメンテーション

問題提起
現代のビジョンシステムは、固定された定義済みのクラスセットに対して学習を行う「クローズドワールド」の仮定の下で動作することが多い。現実世界の「オープンワールド」のシナリオでは、予期せぬ路上の瓦礫、未知の車両タイプ、あるいは文脈依存的な異常値など、分布外（OOD）のコンテンツに遭遇する。従来のセマンティックセグメンテーションモデルは、このような未知のコンテンツに対して過度に自信を持った誤分類を行う傾向があり、自動運転などのアプリケーションにおいて安全上のリスクをもたらす。核心となる課題は、オープンワールド・セマンティックセグメンテーションである。これは、既知のクラスをセグメンテーションすると同時に、追加の教師なしで未知または異常なコンテンツを検出し、グループ化するという共同タスクである。これには、既知のクラスに対しては識別性を持ち、未知のコンテンツに対しては適切に不確実性を持つモデルが必要であるが、これらの目的は標準的な学習パラダイム下ではしばしば相反するものである。

既存のデュアルデコーダー・アプローチは、セマンティック・ブランチ（ロジット空間における既知のクラス分布のモデリング）と、コントラスティブ・ブランチ（既知と未知の特徴量をグローバルに分離するために埋め込みノルムを構造化する）を組み合わせることで、この解決を試みている。しかし、これらの手法は、粗いグローバルな集約信号（プロトタイプ距離や埋め込みノルム）に依存している。そのため、不規則なテクスチャパターン、非典型的な活性化頻度、あるいはオブジェクト境界における不一致といった、異常を示す微細なローカルな手がかりを捉えきれないことが多く、これらはグローバルなプーリングや階層的なアップサンプリングによって消失してしまう可能性がある。

手法
著者らは、共有エンコーダ・デコーダ設計に基づいた3デコーダー・アーキテクチャを提案している。本フレームワークは、第3の直交する目的関数である**感度モデリング（sensitivity modeling）**を導入することで、デュアルデコーダーのベースライン（ContMAV）を拡張したものである。

共有エンコーダ: NonBottleneck-1Dブロック、Squeeze-and-Excitationモジュール、およびピラミッドプーリングを備えたResNet-34ベースのエンコーダが、マルチスケールの特徴マップを抽出する。中間特徴量はスキップ接続を介してデコーダに渡される。
セマンティック・デコーダー ( $f_{sem}$ ): ガウスプロトタイプを用いて既知のカテゴリに対するクローズドセット・セグメンテーションを行う。フォーカルロス、ソフトダイスロス、およびクラスごとのガウスプロトタイプからの偏差をクラスごとの標準偏差で正規化して罰則を与える特徴整合損失（ $L_{feat}$ ）を組み合わせたマルチロス目的関数を利用する。
コントラスティブ・デコーダー ( $f_{con}$ ): 特徴空間において既知の画素と未知の画素を分離する。単位ハイパースフィア上での既知のクラスの平均正規化特徴量と履歴プロトタイプとの整合を図るコントラスティブ損失と、既知の画素を原点から遠ざけ、未知の画素を原点に引き寄せることで放射状の分離を強制するオブジェクトスフィア損失を採用している。未正規化埋め込みのノルムは、グローバルな「未知性」のプロキシとして機能する。
感度デコーダー ( $f_{sen}$ ): 本論文の主要な貢献である。活性化の不規則性やテクスチャの異常から生じる微細かつ局所的な不確実性を捉えるよう設計されており、3つのピラミッドレベルからなるエンコーダ特徴マップを独立して処理する。各レベルは、軽量なヘッド（レイヤー正規化とReLUを備えた3つの $1\times1$ $1 \times 1$ 畳み込み層）を使用する。得られたスケールごとの感度マップはアップサンプリングされ、要素ごとの加算によって融合され、シグモイド関数を通過して画素ごとの不確実性マップを生成する。
- 学習信号: $f_{sen}$ は、「プロキシ未知ラベル」に対してバイナリクロスエントロピーを用いて学習される。これらのラベルは、データセット内のボイド（空）アノテーションと、CutPaste拡張によって合成されたOODパッチから生成される。
- 相補性: 他のブランチとは異なり、 $f_{sen}$ はクラスのメンバーシップや特徴量の距離を予測するのではなく、局所的な活性化の不安定性に基づいて、モデルが「どこで」不確実になるべきかを学習することに特化している。

推論と融合
最終的な未知性スコアは、3つのデコーダーからの信号を融合することで導出される：

セマンティックな未知性は、セマンティック・ロジットのガウス尤度から導出される。
コントラスティブな異常スコアと感度マップは平均化される。
最終的なスコアは、セマンティック・スコアとコントラスティブ・感度スコアの平均である。
融合前に、すべてのスコアはスケールの支配を防ぐために画像ごとにMin-Max正規化される。閾値（ $\delta=0.99$ ）を超える画素は「未知」とラベル付けされ、それ以外はセマンティック・デコーダーのラベルが採用される。

主な貢献

感度デコーダー: プロトタイプベースやノルムベースの不確実性とは概念的に異なる、微細な不確実性モデリングのための新しいモジュールであり、特に曖昧な境界やテクスチャの異常を検出するように設計されている。
統一アーキテクチャ: 単一のコンシューマ向けGPU上でエンドツーエンドで学習可能な、完全畳み込み型の3デコーダー・アーキテクチャ。未知のクラスに対する追加の監督を必要としない。
包括的な評価: クローズドセットの指標（mIoU）と専用のオープンワールド指標（AUROC、AUPR、FPR@95TPR）の両方を用いて、ベースラインに対する一貫した改善を実証した。

実験結果
本手法は、Cityscapes（クローズドセット）およびBDD-Anomaly（オープンワールド）で評価された。

クローズドセット性能: Cityscapesにおいて、提案手法は**69.88%**のmIoUを達成し、再現されたContMAVベースライン（69.28%）や、DMLNet、RAMLといった他のオープンワールド手法を上回った。
オープンワールド性能: BDD-Anomalyにおいて、異常検知指標を大幅に向上させた：
- AUROC: 63.4%（ベースライン）から**65.8%**に増加。
- AUPR: 41.8%から**44.3%**に増加。
- FPR@95TPR: 67.4%から**64.9%**に減少（低いほど良い）。
効率性: 感度デコーダーは100万パラメータ未満（全モデルの3.6%未満）のパラメータしか追加せず、計算オーバーヘッドも無視できる程度であり、NVIDIA L40s GPUにおいて24 fpsの推論速度（ベースラインの23 fpsと比較）を維持している。

意義と主張
本論文は、3つのデコーダーが真に相補的な信号を提供していると主張している。すなわち、ロジット空間におけるクラスレベルのOOD距離、埋め込み空間におけるグローバルな特徴エネルギー、そしてエンコーダスケールにわたる局所的な活性化の不安定性である。アブレーション研究により、各コンポーネントがオープンワールド問題の異なる側面に対処しており、感度デコーダーがクローズドセットの精度を低下させることなく、未知領域の検出に特に寄与していることが確認された。著者らは、本手法を、重いバックボーンや複雑なマルチステージ学習スケジュール（例：RAML）を必要とせず、グローバルな信号が見逃してしまう微細な異常の検出において優れた性能を発揮する、軽量なシングルステージのソリューションとして位置づけている。今後の課題として、学習された融合戦略や、感度ブランチのためのより豊かなOOD合成の探索が挙げられている。