💻 computer science

From Keypoints to Predictive Distributions: Post-Hoc Uncertainty for YOLO-Pose Models

本論文は、YOLO-Poseモデルに対し、空間的な不確実性を定量化するための較正済み二変量予測分布を付加する軽量な事後確率的拡張を導入するものであり、これによりキーポイントレベルの信頼性ランキングと、視覚ベースの航空機着陸のようなダウンストリームアプリケーションの向上を可能にする。

原著者： Alexej Klushyn, Juan Rivero Sesma, Florian Seligmann, Richard Kurle, Kinh Tieu, Jayant Sen Gupta

公開日 2026-07-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Alexej Klushyn, Juan Rivero Sesma, Florian Seligmann, Richard Kurle, Kinh Tieu, Jayant Sen Gupta

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、実世界のシーン（混雑した空港の滑走路や賑やかな通りなど）を見ながら、「ウォーリーをさがせ！」というハイレベルなゲームをしていると想像してください。あなたには、超高速で超スマートなコンピュータビジョン・システム（一種のAI）があります。それは、人々、車、あるいは滑走路を瞬時に見つけ出し、それらの重要なパーツ（鼻、肘、あるいは滑走路の角など）がどこにあるかを正確に指し示すことができます。このシステムは驚くほど速く効率的ですが、ある秘密の欠陥を抱えています。それは「知ったかぶり」をすることです。システムはある地点を指して、「これは100%確実に鼻です！」と言い切りますが、「実は、この部分はぼやけているか、あるいは影かもしれないので、確信度は60%です」といったことは決して認めません。

AIの世界において、これは大きな問題です。コンピュータが推測を行うとき、その推測をどの程度信頼すべきかを知る必要があります。これは「不確実性（uncertainty）」と呼ばれます。天気予報を例に考えてみましょう。質の低い予報は、「午後2時に雨が降ります」と言います。良い予報は、「午後1時55分から2時05分の間に、90%の確率で雨が降ります」と言います。後者は、予測の周囲に「信頼のバブル（自信の泡）」を作り出します。航空機の着陸を支援したり、ロボットが群衆の中をナビゲートしたりするような、安全性が極めて重要な仕事においては、その「信頼のバブル」の大きさを知ることは、対象物がどこにあるかを知ることと同じくらい重要です。もしAIが間違っているのに、正しいと思い込んでいたら、衝突を引き起こすかもしれません。また、正解しているのに、自信がないと思って機会を逃してしまうかもしれません。課題は、これらの超高速なAIシステムに、その性能や魔法のような速さを損なうことなく、自身の正確性に対する「直感」を与える方法を見つけることです。

この論文の核心：YOLOに「信頼のバブル」を与える

この論文は、YOLO-Pose（You Only Look Once - Pose）と呼ばれる、人気の高いAIモデルのファミリーを用いてこの問題に取り組みます。これらのモデルはスピード狂のようなもので、一度の目にも止まらぬ速い眼差しで、物体とその身体部位（キーポイント）を見つけ出すことができます。しかし、これらは通常、各身体部位に対して単一の点を出すだけで、その点がどれほど揺らいでいるかについての概念を持っていません。著者たち（エアバスおよびその他の機関の研究者）は、シンプルな問いを投げかけました。「すでに学習済みの、これら超高速なモデルを丸ごと再学習させることなく、予測の周囲に『信頼のバブル』を描くように教えることはできるだろうか？」

彼らの答えは、巧妙な「ポストホック（事後的）」なトリックでした。元の高速なモデルを完全に凍結させ、一切手を加えないまま、その横に小さくて軽量な「確率的なヘッド（追加モジュール）」を取り付けるという方法です。このアドオンは、メインモデルと同じ画像と予測結果を見ますが、単に「ここに鼻があります」と言う代わりに、「ここに鼻があり、そしてここに、鼻がどれくらい揺れる可能性があるかを示す楕円形のバブルがあります」と伝えます。

AIに「心配すること」を教える方法（そして落ち着かせる方法）

研究者たちは、これらのバブルがどのくらいの大きさになるべきかを勘で決めたわけではありません。彼らは、アドオンがメインモデルの犯したミスから学習するように訓練しました。彼らは、**重要度重み付き負の対数尤度（importance-weighted negative log-likelihood）**という特別な数学的ツールを使用しました。簡単に言えば、これは、ラボでの練習中に起きたミスではなく、現実世界で使用される際に実際に発生する種類のミスに対して、アドオンがより注意を払うように教える方法です。

彼らは、「バブル」の形は状況に応じて異なる必要があることを発見しました。時には不確実性は完璧な円（ガウス分布）になりますが、影や他の人による遮蔽などの厄بな状況により、間違いは「ヘビーテイル（厚い裾）」を持つことがよくあります。これは、ほとんどの推測は近い位置にあるものの、時折、大きく外れた極端な外れ値が発生することを意味します。これに対処するため、彼らは2種類のバブルをテストしました。

ガウス・バブル（Gaussian Bubble）: 標準的で滑らかな楕円。これは、他の数学的ツール（航空機のナビゲーションなどで使用されるもの）と親和性が高いものです。
スチューデントt分布バブル（Student-t Bubble）: より「重い」バブルであり、より柔軟で、時折発生する極端な外れ値を捉えるのに優れています。

実験の結果、スチューデントt分布バブルが、現実世界の画像の複雑な実態を記述する上で最も優れていることが示されました。これは、標準的なガウス・バブルよりも、エラーの「ヘビーテイル」をはるかにうまく捉えることができました。しかし、ガウス・バブルも、他のシステムが利用しやすいという点で非常に有用です。

「プルーニング（枝刈り）」のトリック：悪い推測を切り捨てる

著者たちが発見した最も素晴らしいことの一つは、これらの信頼のバブルを使って、AIの出力をクリーンアップできることです。例えば、人の足がぼやけた写真を見ていると想像してください。AIは左膝と右膝がどこにあるかを推測するかもしれませんが、混乱して両方を入れ替えてしまうかもしれません。従来のAIは、両方の推測をそのまま提示します。しかし、新しいシステムは、自身の信頼のバブルを見て、「おっと、この膝については本当に自信がないぞ。バブルが大きすぎてめちゃくちゃだ」と言うことができます。

論文では、**不確実性に基づくプルーニング（uncertainty-based pruning）**と呼ばれる手法を紹介しています。これは、信頼のバブルが大きすぎる、あるいは乱れている推測を、システムが自動的に削除できることを意味します。「たぶん」という推測を捨て、「ほぼ確実」なものだけを残すことで、システムははるかに信頼できるものになります。有名なCOCOデータセット（AIの学習に使用される膨大な画像コレクション）を用いたテストでは、このプルーニングは「良い推測」の精度を変えることなく、「悪い推測」を取り除き、残されたデータをよりクリーンなものにしました。

実世界のテスト：飛行機の着陸

これが単なる数学的な遊びではないことを証明するために、研究者たちは非常に深刻なタスク、すなわち視覚ベースの航空機着陸を用いて彼らの手法をテストしました。彼らは、飛行機のカメラから滑走路の角を見つけるためにAIを使用しました。これは、不確実性を知ることが生死を分ける状況です。

彼らは、AIが滑走路の角を予測できるだけでなく、さらに重要なことに、各角に対して校正された「不確実性のバブル」を提供できることを発見しました。これらのバブルを使用して飛行機の位置を計算したところ、システムは完璧に機能しました。不確実性の推定値は適切に校正されており、つまり、システムが「95%の信頼度」と言えば、実際に95%の確率で正しかったのです。これにより、飛行機のナビゲーションシステムは、カメラからのデータを信頼し、それを他のセンサー（GPSなど）と融合させて安全に着陸することができました。

ただし、論文は一つの限界についても指摘しています。霧の状態（AIがこれまで見たことのない状況）でテストを行った際、信頼のバブルは、システムが混乱していることを警告するほど大きくならなかったのです。AIは霧の中でも依然として「過剰に自信満々（overconfident）」でした。これは、彼らの手法が通常の条件下では優れているものの、全く新しい、予期せぬ状況（激しい霧など）に対処するには、まだ助けが必要であることを示唆しています。

まとめ

この論文は、AIの不確実性に関するすべての問題を解決したと主張しているわけではありません。その代わりに、既存の高速なAIモデルに追加でき、それらに自身の正確性に対する「直感」を与えるための、実用的で軽量なツールを提案しています。巧妙なアドオンを使用して「信頼のバブル」（特に、より正確なスチューデントt分布を使用）を描くことを学習させ、それらのバブルを使って悪い推測をフィルタリングすることで、研究者たちは、高速なAIモデルを航空機の着陸のような重要なタスクにおいて、より安全で信頼性の高いものにできることを示しました。これは、AIが単に「何が見えるか」を知るだけでなく、「どれくらい確信しているか」をも知るようになるための、一歩となります。

技術要約：キーポイントから予測分布へ

問題提起

YOLO-Poseモデルは、その効率性とシングルパス推論能力により、リアルタイムのキーポイント局在化において広く展開されている。しかし、これらのモデルは各キーポイントに対して決定論的な単一の座標とインスタンスレベルの信頼度スコアを出力するのみであり、キーポイント固有の空間的不確実性を定量化することはできない。センサーフュージョンやトラッキングなどの安全性が極めて重要なダウンストリームアプリケーションにおいて、個々のキーポイントの信頼性を評価できないことは、システムの堅牢性を制限する要因となる。

YOLOファミリーにおける既存の不確実性定量化手法は、主に物体検出（バウンディングボックス）に焦点を当てているか、あるいは不確実性を予測するためにモデルの共同再学習を必要とする。この共同学習パラダイムは、認証要件によって再学習が制約されているデプロイ済みモデルや、損失関数の変更が確立された平均予測性能を低下させる可能性がある環境においては、望ましくないことが多い。さらに、標準的なObject Keypoint Similarity (OKS) 損失は、標準的なガウス仮定では捉えにくいヘビーテイルな残差分布を誘発するため、不正確なキャリブレーションされた不確実性推定につながる。

手法

著者らは、元のキーポイント予測を変更することなく、学習済みで凍結されたYOLO-Poseモデルを拡張する、軽量なポストホック（事後）確率的拡張を提案している。このアプローチは、主に以下の3つのコンポーネントで構成される。

1. アーキテクチャの拡張

本手法は、元のポーズヘッドを模倣した追加の確率的ヘッドを導入する。これらのヘッドは、共有されたマルチレゾリューション・ネックの特徴量を利用して、各キーポイントに対してヘテロスケダスティック（不等分散）かつ入力依存の $2 \times 2$ 分散行列 ( $\Sigma$ ) を予測する。この行列は、チャレスキー分解を通じて正定値となるよう制約される。予測分布の平均は元のYOLOの予測 ( $\hat{y}$ ) に固定され、分散行列が空間的な不確実性を捉える。

2. 重要度重み付きNLLによる学習

分散構造を学習するために、著者らはOKS損失の代用としてガウス負の対数尤度 (Gaussian Negative Log-Likelihood: GNLL) を採用している。学習時のラベル割り当てと推論時の後処理（例：信頼度閾値処理、NMS）との間のミスマッチに対処するため、重要度重み付き学習目的関数を導入している：

保持重み ( $w_{ret}$ ): インスタンスレベルの信頼度スコア ( $c_{det}^\alpha$ ) に基づき、推論時に予測が保持される確率を近似する。
スケール重み ( $w_{scale}$ ): 物体面積の逆数 ( $1/s^2$ ) に基づき、大きな物体が最適化信号を支配する傾向を相殺し、物体スケール間でのバランスの取れたキャリブレーションを保証する。
この目的関数は、一致した予測とグランドトゥルースのペアに対して、重み付きGNLLを最小化する。

3. キャリブレーション・スキーム

OKS損失が（ロバストで外れ値を抑制する性質により）ヘビーテイルな残差を誘発することを認識し、著者らは、保持されたキャリブレーションセットに適用される2つの補完的なキャリブレーション戦略を提案している：

ガウス・キャリブレーション: 学習された分散行列に温度スケーリング ( $\tau^2$ ) を適用する。これにより、予測分布 $\mathcal{N}(\hat{y}, \tau^2\Sigma)$ が得られ、ダウンストリームの共分散ベースの手法（例：カルマンフィルタ）との互換性が確保される。
Student-t キャリブレーション: 分散行列に温度スケーリング ( $\tau^2$ ) と自由度パラメータ ( $\nu$ ) の両方を適用し、これを $T_\nu(\hat{y}, \tau^2\Sigma)$ というStudent-t分布のスケール行列として扱う。これは、 $\nu > 2$ における原理的な共分散解釈を維持しつつ、経験的なヘビーテイルな残差特性をより良く捉えることができる。

4. 不確実性に基づくプルーニング

キャリブレーションされた共分散は、スカラーの局在化信頼度スコア（例：共分散のトレースを使用）に変換される。検証セット上でYouden's J統計量を用いて選択された閾値を下回るキーポイントは、平均推定値を保持しつつ、信頼性の低い予測を除去するために、ダウンストリーム処理の前にプルーニングされる。

評価プロトコル

本論文は、ヘテロスケダスティックなキーポイント回帰のための包括的な評価フレームワークを導入している：

平均キーポイント精度 (Average Keypoint Precision: AKP): COCOスタイルのメトリックをキーポイントレベルに拡張したもの。不確実性スコアが正しさによってキーポイントを効果的にランク付けでき、信頼性の低いキーポイントの選択やプルーニングを可能にするかどうかを評価する。
分布的キャリブレーション診断:
- カバレッジ (Coverage): 公称確率領域（例：95%楕円）が経験的な頻度と一致するかどうかを評価する（Average Coverage Error: ACE）。
- 分散キャリブレーション (Variance Calibration): 予測された分散の大きさを、不確実性レベルごとの経験的な二乗残差と比較する（Expected Normalized Calibration Error: ENCE）。
- Q-Qプロット: 参照法則に対する予測分布の形状と裾の挙動を評価する。

主な結果

COCOデータセット（YOLO-NAS-Pose NanoおよびLargeを使用）を用いた実験により、以下のことが示された：

信頼性ランキング: 学習された不確実性推定は、効果的なキーポイントレベルの信頼性ランキングを提供し、ランダムなベースラインを大幅に上回る高いAKPスコアを達成した。
キャリブレーション性能:
- ガウス・キャリブレーションは分散キャリブレーション（低いENCE）を改善するが、裾の誤指定によりカバレッジ（高いACE）に苦慮する。
- Student-t キャリブレーションは、ENCEおよびNLLを維持または改善しながら、ACEを大幅に減少させ（ほぼ完璧なカバレッジ）、最高の全体的パフォーマンスを達成した。これは、経験的な残差分布がヘビーテイルなStudent-t分布によってより良くモデル化されることを裏付けている。
プルーニングの有効性: 不確実性に基づくプルーニングは、信頼性の低いキーポイント（特に膝や足首のような曖昧な肢部）を効果的に除去し、保持されたセットのキャリブレーション指標を向上させる。
アブレーション研究: 重要度重み付け（特に保持重みとスケール重み）は、バランスの取れたキャリブレーションのために極めて重要である。完全なヘテロスケダスティック共分散行列は、等方的または対角近似よりも優れている。

アプリケーションの実演：視覚ベース航空機着陸

著者らは、大規模な内部データセットを用い、視覚ベース着陸（VBL）シナリオにおける本手法の有用性を実証している。

ワークフロー: 滑走路のキーポイントが検出され、そのキャリブレーションされた2D共分散が、共分散重み付きPerspective-n-Point (PnP) アルゴリズムを通じて伝播され、航空機の3D位置と共分散を推定する。
センサーフュージョン: 得られた3D位置推定値と共分散は、他のナビゲーションセンサー（GNSS、ILS、IRS）と共に拡張カルマンフィルタ（EKF）に統合される。
知見: ガウス・キャリブレーションされたモデルは、位置推定をサポートする適切にキャリブレーションされた画像平面共分散を提供する。本手法は、VBLの低遅延要件を維持する。
限界: 霧の状態（分布外：OOD）では、モデルは増大したエピステミック不確実性を捉えることができず、現在のポストホックなアプローチが学習分布内のアレオリック（偶然的）不確実性をモデル化している一方で、分布シフトを本質的に検知するものではないことを浮き彫りにしている。

意義と主張

本論文は、元のモデルを再学習したり元の予測を変更したりすることなく、キーポイントの局在化誤差に対してキャリブレーションされた予測分布を提供する、YOLO-Poseモデルの最初の拡張であると主張している。

主な貢献は以下の通りである：

ポストホックの柔軟性: 不確実性推定を点予測から分離することで、既存の認証済みモデルのキャリブレーションを可能にする手法。
分布の忠実度: ロバストなOKS損失によって誘発されるヘビーテイルな残差を捉えるには、Student-t キャリブレーションが必要であることを実証し、標準的なガウス仮定を凌駕することを示した。
評価基準: 二変量のヘテロスケダスティックなキーポイント回帰に特化したAKPおよび一連のキャリブレーション診断を導入し、不確実性がしばしば定性的またはスカラーの信頼度としてのみ評価されてきた文献のギャップを埋めた。
実用的な有用性: 安全性が重要なドメイン（航空）における検証を通じて、キャリブレーションされた共分散がダウンストリームのセンサーフュージョンにおいて機能的な要件であり、不確実性に基づくプルーニングがシステムの堅牢性を向上させることを示した。

著者らは、エピステミック不確実性については控えめな立場を維持しており、現在のアプローチは分布内の残差に依存しており、分布外の入力（例：深刻な天候）を扱うにはエピステミック不確実性モデリングに関する今後の作業が必要であることを認めている。