🤖 machine learning

GeoFlowVLM: Geometry-Aware Joint Uncertainty for Frozen Vision-Language Embedding

GeoFlowVLM は、積超球面上におけるリーマン流整合を利用する事後アダプターを導入し、凍結された双方向エンコーダー型視覚言語モデルに偶然的不確実性と認識的不確実性の両方の推定値を付与することで、検索およびゼロショット分類タスクにおいてほぼ理想的な較正を達成します。

原著者： Mayank Nautiyal, Li Ju, Andreas Hellander, Ekta Vats, Prashant Singh

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mayank Nautiyal, Li Ju, Andreas Hellander, Ekta Vats, Prashant Singh

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

超優秀な図書館司書（ビジョン・ランゲージモデル）が、数百万枚の画像とその説明を丸暗記していると想像してください。この司書に犬の画像を見せれば、瞬時に「かわいい犬」というテキストを見つけ出せます。逆に「かわいい犬」というテキストを見せれば、その画像を見つけることもできます。

しかし、ここに問題があります。この司書は自信過剰なのです。「わからない」「これは難しい質問だ」とは決して言いません。犬のように見えるぼやけた猫の写真を示せば、推測していることを認めずに、依然として自信を持って「犬」と答えるかもしれません。また、未来のエイリアンの写真のように、これまで見たこともないものについて問われたとき、自分がそれを知らないことに気づくこともありません。

本論文は、この司書のための自信計として機能する新しい「アドオン」モジュール、GeoFlowVLM を紹介します。これは司書の脳そのものを変えるのではなく、司書の発言を聞き取り、どの程度の確信を持つべきかを判断するだけです。

以下に、簡単なアナロジーを用いてその仕組みを説明します。

1. 問題点：「平面地図」対「地球儀」

現在のほとんどのシステムは、画像とテキストのペアを平らな紙上の点（ユークリッド空間）として扱っています。しかし、本論文は、この司書の記憶は実際には地球儀（超球面）の形をしていると主張しています。

アナロジー：地球の地図を平らな紙に描こうとすると、端に行くほど距離が歪みます。現実が地球儀であるのに、平らな地図上で不確実性を測定しようとすれば、測定結果は誤ったものになります。
解決策：GeoFlowVLM は「地球儀」の形状を尊重します。司書の知識が平らな紙ではなく、曲がった表面に存在していることを理解しています。

2. 「わからない」の 2 つの種類

本論文は、システムに 2 つの異なる種類の不確実性を区別することを教えます。

A. 「1 対多」の混乱（偶然的不確実性）

時には、ある画像が複数の正当な方法で記述できる場合があります。

アナロジー：赤いボールを持った人の写真を司書に見せるとします。
- 「ボールを持った人」でしょうか？
- 「キャッチをしている人」でしょうか？
- 「赤い球体を持った人」でしょうか？
  これらはすべて真実です。司書が混乱しているのは、司書が愚かだからではなく、世界が曖昧だからです。
GeoFlowVLM の役割：これは**「検索エントロピー」**を計算します。これは、司書の頭の中に浮かんでいる異なる答えがいくつあるかを測る尺度と考えるとわかりやすいでしょう。答えが多くの可能性に広がっている場合、システムは「高い不確実性：これは厄介で曖昧な質問だ」と言います。答えが一つの明確なピークに集まっている場合、「低い不確実性：これは簡単だ」と言います。

B. 「見たこともない」の混乱（認識的不確実性）

時には、司書が訓練データとは全く異なるものについて問われることがあります。

アナロジー：司書に「きらめく紫色のドラゴン」の写真を示します。司書はドラゴンを見たことがなく、ましてや紫色のドラゴンを見たこともありません。司書は「知識の地球儀」の、これまで訪れたことのない領域にいます。
GeoFlowVLM の役割：これは**「典型性スコア」**を計算します。「この画像とテキストのペアは、私が学んだ数百万のペアに似ていますか？」と問います。ペアが訓練データと比較して奇妙で稀である場合、スコアは上昇し、「これは認識できない；幻覚を起こしているかもしれない」というシグナルを送ります。

3. 仕組み：「フロー」と「マスク」

このシステムは、リーマン流整合（Riemannian Flow Matching）と呼ばれる数学的手法を使用します。

アナロジー：司書の知識を、混沌としたノイズのある源（ランダムなノイズ）から、明確で組織化された目的地（実際の画像とテキスト）へ流れる川だと想像してください。
「フロー」：GeoFlowVLM はこの川の流れの方向を学びます。ランダムな点を特定の画像・テキストのペアへ導く方法を学習します。
「マスク」：ここが巧妙な部分です。システムは、異なる「マスク」を着けることができる単一の「脳」（ニューラルネットワーク）を使用します。
- マスク 1（結合）：川全体（画像とテキストがどのように一緒に流れるか）を学習します。
- マスク 2（条件付き）：テキストにマスクをかけ、「もしこの画像があれば、テキストはどこへ流れるか？」と問います。
- マスク 3（条件付き）：画像にマスクをかけ、「もしこのテキストがあれば、画像はどこへ流れるか？」と問います。
  これら 3 つを同時に学習するため、司書を再訓練することなく、「この質問はどの程度曖昧か」と「これは新しいものか」の両方に答えることができます。

4. 結果：より優れたコンパス

著者らは、このシステムを 3 つの主要なタスクでテストしました。

画像からのテキスト検索：システムが「高い不確実性」と言ったとき、司書は実際に間違ったテキストを選ぶ可能性が高いことが示されました。「低い不確実性」と言ったときは、司書は通常正しいです。これは非常に信頼性の高いコンパスです。
テキストからの画像検索：同じ結果が得られました。システムは、テキストの説明が特定の 1 つの画像を特定するには曖昧すぎる場合を正しく識別します。
未知の発見：システムをこれまで見たことのない画像（異なる種類の鳥や物体など）でテストしたところ、「典型性スコア」が奇妙なものを正しく検知しました。

「秘密の調味料」（連鎖律）

本論文は、数学的なトリックも発見しました。画像とテキストのペアの総「驚き」は、2 つの部分に分割できることがわかりました。

「典型性」部分：このペアは司書にとってどの程度奇妙か？（これが認識的不確実性スコアです）
「一致」部分：画像とテキストはどの程度よく合っていますか？（これは単に一致の良さを測るものであり、司書がどれほど不確実であるかを示すものではありません）

本論文は、司書が新しいデータについて不確実かどうかを測定するには、「典型性」部分のみを使用すべきであると証明しています。「一致」部分を使用すると、実際にはシステムを混乱させてしまいます。

まとめ

GeoFlowVLM は、既存の AI ビジョン・ランゲージモデルに「自信ゲージ」を取り付けるツールです。AI の記憶の曲がった形状を尊重することで、以下のように教えてくれます。

「この質問は、正解が複数あるため、本質的に難しいものです」
「この質問は、以前に似たようなものを一度も見たことがないため、難しいものです」

これは元の AI を変更することなく行われるため、いつ AI を信頼し、いつ懐疑的になるべきかを知るための安全かつ効果的な方法です。

技術的サマリー：GeoFlowVLM

問題定義

CLIP や SigLIP などの標準的な双エンコーダ型ビジョン・ランゲージモデル（VLM）は、 $\ell_2$ -正規化を通じて、画像とテキストを共有単位超球面上の決定論的点にマッピングする。検索やゼロショット転送においては効果的であるが、この決定論的表現は予測の不確実性を定量化できない。具体的には、アレイタロイック不確実性（1 つの入力が複数の有効な出力にマッピングされる内在的なクロスモーダルな曖昧さ）もエピステミック不確実性（訓練分布外のクエリに対するサポートの欠如）も明らかにしない。

既存の事後不確実性定量化（UQ）手法は、主に以下の 2 つの限界に苦しんでいる：

幾何学的無視（Geometry Agnosticism）： 多くの手法は、VLM 埋め込み空間を定義する $\ell_2$ -正規化制約を無視し、周囲のユークリッド空間で動作する。
不完全な不確実性モデリング： ほとんどの手法は、アレイタロイックまたはエピステミックのいずれか一方の不確実性のみを捉えるか、両方のモダリティに対して超球幾何学を同時に尊重することに失敗する。例えば、ProbVLM は両方を捉えるが、超球構造を見落とし、アダプターの不確実性をバックボーンの密度ではなくヒューリスティックなアプローチで測定する。

中心的な課題は、基盤エンコーダーの再トレーニングなしに凍結された VLM 埋め込みから両方の不確実性タイプを定量化し、かつ積超球幾何学（ $S^{d-1} \times S^{d-1}$ ）を厳密に尊重することである。

手法：GeoFlowVLM

著者らは、積超球面上のペアリングされた $\ell_2$ -正規化埋め込みの同時分布を学習する、事後確率的アダプターであるGeoFlowVLMを提案する。

コアアーキテクチャとトレーニング

リーマン流マッチング： モデルは、多様体 $M = S^{d-1} \times S^{d-1}$ 上の同時密度 $p_\phi(e_I, e_T)$ を学習するためにリーマン流マッチングを利用する。これは、高価な熱核近似を回避し、閉形式の測地線接線目標に回帰する。
単一マスク速度場： 重要な設計選択として、ブロック構造の二値マスク $m \in \{0, 1\}^{2d}$ $m \in {0, 1}^{2 d}$ を持つ単一のニューラルネットワークを使用する。この単一速度場 $v_\phi(z_t, m)$ $v_{ϕ} (z_{t}, m)$ は、異なるマスクを通じて 3 つの異なるモードを処理する：
1. 同時フロー（ $m_{joint}$ ）： 画像とテキストの両方の埋め込みを生成する。
2. 条件付きフロー（ $m_{I \to T}$ ）： 固定された画像を与えてテキストを生成する。
3. 条件付きフロー（ $m_{T \to I}$ ）： 固定されたテキストを与えて画像を生成する。
トレーニング目的： モデルは、マスク付き条件付きフローマッチング（CFM）目的関数を用いてトレーニングされる。マスクは、生成された次元への監督を制限し、条件付き次元を観測値（ $t=0$ ）に固定したままにする。トレーニングには、源サンプルとターゲットサンプルをペアリングし、多様体上の軌道を直線化するためのエントロピー最適輸送が採用される。
一貫性： 定理 1 は、集団極限において、この単一マスクネットワークが、補助的な一貫性損失を必要とすることなく、両方のクロスモーダル方向と同時分布に対する有効なリーマン条件付きフロー速度場を回復することを証明している。

不確実性読み取り

単一のトレーニング済み同時モデルから、2 つの不確実性指標が導き出される：

アレイタロイック不確実性（検索エントロピー）：
- 条件付き事後分布 $p_\phi(e_T | e_I)$ （またはその逆）から導き出される。
- 条件付きフローからサンプルを抽出し、検索ギャラリー上で集約して離散事後分布 $\pi$ を形成する。
- シャノンエントロピー $H(\pi)$ が検索の曖昧さを定量化する。
- 理論的根拠： ファノの不等式を用いると、エントロピーは MAP ベイズリスクの厳密な下界を提供し、高エントロピーが高検索難易度に対応することを証明する。
エピステミック不確実性（周辺典型性）：
- 同時負対数尤度（NLL）の正確な積分解によって導き出される：
  $-\log p_\phi(e_I, e_T) = \underbrace{[-\log p_\phi(e_I) - \log p_\phi(e_T)]}_{\text{エピステミック典型性}} - \underbrace{\text{PMI}_\phi(e_I, e_T)}_{\text{クロスモーダルマッチング}}$
- 著者らは、ポイントワイズ相互情報（PMI）項が構造的に判別可能（適合性を測定）であり、エピステミックではないと主張する。
- エピステミックスコアは、周辺典型性の和として定義される： $u_{ep} = -\log p_\phi(e_I) - \log p_\phi(e_T)$ 。
- これらの周辺分布は、ベイズの恒等式とフロー ODE の逆時間積分を用いて、追加のパラメータを必要とせずに同時モデルから計算される。

主要な貢献

GeoFlowVLM アダプター： 単一マスク速度場を用いて積超球面上でリーマン流マッチングによりトレーニングされた、事後確率的アダプター。エンコーダーの再トレーニングなしに、同時、周辺、および条件付き密度を生成する。アブレーション研究は、較正された不確実性のために超球幾何学を尊重することが構造的に必要であることを確認する。
条件付き検索エントロピー： クロスモーダルな曖昧さを定量化する新しいアレイタロイック推定量。ベンチマーク全体でほぼ理想的な単調較正を伴って検索難易度を追跡し、ベイズリスクの決定論的下界を提供する。
積分解： 同時 NLL が、周辺典型性（正しいエピステミック信号）とクロスモーダル PMI（判別信号）に分解されることを示す理論的導出。これは、REPVLM のようなモダリティごとの密度手法の経験的成功を説明し、それらを同時モデルの整合的な拡張として位置づける。

実験結果

この手法は、Conceptual Captions (CC-1M) でトレーニングされ、7 つのベンチマークでゼロショットテストされた凍結 OpenCLIP ViT-H/14 バックボーン上で評価された。

アレイタロイック不確実性（検索）：
- MS-COCO、Flickr30k、CUB-200（画像からテキスト、テキストから画像の両方）で評価。
- GeoFlowVLM は、予測エントロピーと Recall@1 の間でほぼ完全な単調較正（スピアマン $\rho \approx -1.0$ ）を達成し、ベースライン（ProbVLM、AsymVLM、GroVE）を大幅に上回った。
- ProbVLM は正の相関（正しいクエリで不確実性が上昇）を示し、他のベースラインは不安定または非単調な傾向を示した。
エピステミック不確実性（ゼロショット分類）：
- ImageNet-1K、Food-101、CIFAR-100、ObjectNet で評価。
- 周辺典型性の和（ $u_{ep}$ ）は、カバレッジが減少するにつれて（高不確実性サンプルを拒絶）、一貫して選択精度が増加した。
- 構成要素分析は、PMI が単独では不適切なエピステミックスコアであること（しばしば正しい予測を拒絶）を確認し、周辺典型性が信頼できる信号を提供することを示した。
- GeoFlowVLM は REPVLM と同等かそれ以上の性能を示し、ObjectNet（視点シフト）において顕著な利点があった。これは、独立したモダリティごとのフローが見逃すクロスモーダル構造を同時モデルが捉える能力に起因する。
アブレーション：
- 幾何学： ユークリッドベースライン（ $\mathbb{R}^d \times \mathbb{R}^d$ で動作する同一アーキテクチャ）は、アレイタロイックおよびエピステミックの両方の指標で壊滅的に失敗し、リーマン幾何学の必要性を確認した。
- 効率性： 10 回の ODE 積分ステップと発散推定のための単一ハッチンソンプローブで、信頼できる推定が達成された。
- バックボーン： 結果は SigLIP バックボーンに転送されたが、SigLIP のより等方性の高い埋め込みにより、ImageNet-1K での密度ベース手法の性能は低下した。

意義と主張

本論文は、GeoFlowVLM が、アレイタロイックおよびエピステミックの両方の不確実性を明らかにする単一の幾何学認識モデルを提供することにより、凍結 VLM に対する事後 UQ の重要なギャップを埋めると主張している。

理論的洞察： この研究は、なぜこの設定において周辺典型性が正しいエピステミック信号であり、なぜクロスモーダル PMI を不確実性スコアとして使用すべきではないのかについて、原理的な説明を提供する。また、積超球面上の同時モデリングが、モダリティごとのモデリングよりも厳密に豊かであることを実証する。
実用的有用性： この手法は、検索難易度に対する較正された方向対称推定量と、ゼロショット分類における分布外検出のための堅牢な密度ベーススコアを提供し、すべて事前トレーニング済み VLM バックボーンを変更することなく実現される。
限界： 著者らは、一貫性定理が集団極限の結果であり、有限サンプルの境界は未解決であると指摘している。エピステミックスコアはベイズ的（パラメータ事後分散）ではなく、密度ベース（典型性）である。さらに、この手法は大規模データでのワンタイムトレーニングと、クエリごとの複数の ODE 解を必要とし、トレーニングフリーのアプローチとは区別される。

著者らは、医療検索や自律システムなどの安全クリティカルなアプリケーションに特に適した、ビジョン・ランゲージ表現に対するより豊かな確率的推論のための一般的な戦略として、埋め込み同時モデリングを結論付けている。