🤖 machine learning

Post-hoc Probabilistic Vision-Language Models

本論文は、追加学習なしで VLM の最終層におけるベイズ事後近似を用いてコサイン類似度の不確実性を解析的に推定する事後手法を提案し、その有効性を不確実性定量化や能動学習におけるサポートセット選択において実証するものである。

原著者： Anton Baumann, Rui Li, Marcus Klasson, Santeri Mentu, Shyamgopal Karthik, Zeynep Akata, Arno Solin, Martin Trapp

公開日 2026-02-16

📖 1 分で読めます☕ さくっと読める

原著者： Anton Baumann, Rui Li, Marcus Klasson, Santeri Mentu, Shyamgopal Karthik, Zeynep Akata, Arno Solin, Martin Trapp

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🧐 問題：AI は「自信過剰」になりすぎる

最近の「視覚言語モデル（VLM）」という AI（例えば CLIP など）は、画像を見て「これは猫だ！」と即座に答えるのが得意です。しかし、この AI には致命的な欠点があります。

それは、「自分が間違っているかもしれない」という不安（不確実性）を表現できないことです。

例え話：
想像してください。ある AI が、「これは猫です（自信度 100%）」と答えたとします。
しかし、実はその画像は「猫に似せた犬のぬいぐるみ」だったとします。
従来の AI は、「いや、これは猫です！100% 間違いありません！」と、間違った答えを自信満々で言い放ってしまいます。
医療診断や自動運転など、失敗が許されない現場では、この「自信過剰な間違い」は非常に危険です。「わからないときはわからない」と言える AI が必要なのです。

💡 解決策：BayesVLM（ベイズ VLM）

この論文では、**「BayesVLM」**という新しい方法を提案しています。
これは、AI を作り直す（再学習させる）必要なく、すでに完成した AI に「後付け」で「不安定さ」を計算する機能を追加するものです。

🎯 3 つの魔法のステップ

この方法は、以下の 3 つのステップで動きます。

1. 最後の「翻訳機」だけを変えてみる（ラプラス近似）
AI は画像と文章を「意味のベクトル（数字の羅列）」に変換し、最後にそれを比較して答えを出します。

比喩： AI の脳みその大部分（画像や文章を認識する部分）は、すでに完璧に訓練された「天才」です。私たちはその天才の頭をいじらず、「最後に答えをまとめる翻訳機（投影層）」だけに注目します。
方法： この翻訳機を「1 つの答え」ではなく、「いくつかの可能性の分布（確率）」として扱います。これにより、AI は「90% 猫、10% 犬」といった**「確信度」**を計算できるようになります。

2. 答えの「ばらつき」を計算する（ProbCosine）
AI が「猫」と「犬」を比較する際、通常は「相似度（どれだけ似ているか）」を計算します。

比喩： 通常は「2 人の顔が 95% 似ている」という1 つの数字で判断します。
新方法： BayesVLM は、「95% 似ているかもしれないが、実は 80%〜110% の範囲にある可能性もある」という**「幅（ばらつき）」**まで計算します。
- 画像がぼやけていたり、文章に誤字があったりすると、この「幅」が広がり、「答えが不安定だ」と AI 自身が察知できるようになります。

3. 必要なデータだけを選んで学習させる（能動学習）
この「不安定さ」をうまく使います。

比喩： 先生（AI）が勉強する際、「すでに知っていること」を繰り返すのは無駄です。
新方法： BayesVLM は**「自分が一番迷っている（不確実性が高い）問題」**を特定し、人間に「この問題の答えを教えて！」と頼みます。
- これにより、少ないデータ量で、AI の性能を劇的に向上させることができます。

🌟 この方法のすごいところ

ゼロから作り直す必要がない（Post-hoc）：
巨大な AI を何ヶ月もかけて再学習させる必要はありません。既存の AI に「後付け」で機能を追加するだけなので、コストが圧倒的に安いです。
計算が軽い：
従来の「自信度を測る方法」は、AI に同じ画像を何十回も読み込ませて統計を取るなど、非常に重たい処理が必要でした。しかし、この方法は**「1 回読み込むだけで」**確信度が計算できてしまいます。
安全な AI に：
「自信過剰な間違い」が減るため、医療や自動運転など、失敗が許されない分野での AI 利用が現実的になります。

📝 まとめ

この論文は、**「AI に『わからない』と言わせる技術」を、「既存の AI を壊さずに、安く、速く」**実現する方法を提案しました。

従来の AI： 「これだ！100% 自信あり！」（でも間違ってるかも？）
新しい BayesVLM： 「これかな？でも、少し自信がないから、人間に確認しよう。」

AI が「賢さ」だけでなく、「謙虚さ（自己認識）」を手に入れるための重要な一歩です。

論文要約：Post-Hoc Probabilistic Vision-Language Models (BayesVLM)

この論文は、大規模な視覚言語モデル（VLM、例：CLIP, SigLIP）に対して、追加のトレーニングやアーキテクチャの変更を必要とせず、事後（post-hoc）に確率的な不確実性を推定する新しい手法「BayesVLM」を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 背景と問題定義

近年、CLIP や SigLIP などの事前学習済み VLM は、ゼロショット分類や検索、生成タスクにおいて卓越した性能を発揮しています。しかし、これらのモデルは通常、画像とテキストを決定論的（deterministic）な潜在空間にマッピングし、コサイン類似度に基づいて予測を行います。

主な課題:

不確実性の欠如: 決定論的なマッピングは、ドメインシフト（訓練データと実世界データの分布の違い）や未知の概念に対するモデルの「不確実性」を捉えられません。
安全性への懸念: 医療や自動運転などの安全クリティカルなアプリケーションでは、モデルが「どれくらい自信を持っているか」を定量化できることが不可欠です。
既存手法の限界:
- 再トレーニングやアダプターの追加学習は計算コストが高く、ストリーミング環境やアクティブラーニングには不向きです。
- テスト時適応（TTA）は推論コストを大幅に増加させます。
- 温度スケーリングなどの較正手法は、認識論的不確実性（epistemic uncertainty）を捉えることができません。

目標:
任意の VLM アーキテクチャに適用可能で、再トレーニング不要、推論時のオーバーヘッドが低く、かつ効果的な不確実性推定手法の確立。

2. 提案手法：BayesVLM

著者らは、事前学習済みモデルの最後の層（投影層）に対してベイズ的な事後分布近似を適用し、コサイン類似度の分布を解析的に導出する手法を提案しました。

2.1 主要な技術的アプローチ

事後学習（Post-hoc）ラプラス近似:
- 事前学習済みモデルの重み（MAP 推定量）を中心として、ラプラス近似（Laplace Approximation）を用いて事後分布をガウス分布で近似します。
- これにより、追加のトレーニングやアーキテクチャ変更なしに確率的モデルを構築できます。
- 事前分布は、訓練時の L2 正則化（重み減衰）に対応する対角ガウス分布として仮定されます。
モダリティごとの独立な確率モデル:
- 本来、VLM の InfoNCE 損失は画像とテキストが相互に依存していますが、計算効率化のため、画像投影層（ $P$ ）とテキスト投影層（ $Q$ ）を独立した確率モデルとして扱います。
- この仮定により、各モダリティの事後分布を効率的に推定でき、計算コストを大幅に削減します。実験的に、この独立仮定が曲率（Hessian）の構造において妥当であることが確認されています。
Hessian 行列の近似（KFAC-GGN）:
- 完全な Hessian 行列の計算は非現実的であるため、一般化ガウス・ニュートン（GGN）近似と、Kronecker 因数分解（KFAC）を用いて Hessian を近似します。
- これにより、大規模なモデルでもメモリと計算リソースを節約しつつ、事後共分散行列を推定できます。
コサイン類似度の確率分布近似（ProbCosine）:
- 画像とテキストの埋め込みベクトルが確率変数（ガウス分布）となるため、それらのコサイン類似度も確率変数になります。
- モンテカルロサンプリング（高コスト）の代わりに、画像・テキスト埋め込みの平均と分散を用いて、コサイン類似度の分布をガウス分布で解析的に近似する「ProbCosine」を提案しました。
- これにより、不確実性を効率的に伝播させ、ゼロショット分類などのタスクで予測分布を直接計算できます。

3. 主要な貢献

BayesVLM の提案: 事前学習済み VLM に対する効率的かつ効果的な事後不確実性推定手法を提案し、アーキテクチャ変更や追加トレーニングを不要にしました。
ベイズ的 VLM の定式化と解析的導出: 視覚言語モデルの最初の直接的なベイズ定式化を行い、コサイン類似度の分布に対する解析的な式（ProbCosine）を導出しました。これにより、不確実性の効率的な伝播が可能になりました。
ゼロショットおよびアクティブラーニングでの有効性の実証:
- ゼロショット分類: 複数のベンチマークで、従来の決定論的モデルや温度スケーリングと比較して、優れた較正性（ECE の低減）と予測の不確実性評価を実現しました。
- アクティブラーニング: 不確実性に基づいてデータを選択（BALD, EPIG などの獲得関数を使用）することで、少ないラベル付きデータでモデルを微調整し、精度と較正性を向上させました。
効率性と頑健性の評価: 推論時のオーバーヘッドが極めて低いこと（CLIP-Base で約 5% 増、Huge モデルで 1% 未満）、また、トレーニングデータにアクセスできない場合（プロキシデータを使用）でも頑健に機能することを示しました。

4. 実験結果

ゼロショット分類: OpenCLIP (ViT-B-32, ViT-L-14) および SigLIP に対して、複数のデータセット（CIFAR-10/100, ImageNet-R, OfficeHome など）で評価されました。
- 較正性: 期待較正誤差（ECE）において、温度スケーリングや TTA を凌駕する性能を示し、過信（overconfidence）を大幅に削減しました。
- 精度: 精度（ACC）はベースラインと同等かそれ以上を維持しました。
アクティブラーニング: OfficeHome や ImageNet 変種を用いたドメイン適応タスクにおいて、BayesVLM の不確実性スコア（EPIG, BALD）を用いて学習データを選択した場合、ランダム選択やエントロピーベースの選択よりも高い精度と低い NLPD（負の対数予測密度）を達成しました。
頑健性:
- プロキシデータ: 訓練データ（LAION-400M）が公開されていない場合でも、CC12M などのプロキシデータで Hessian を推定することで、性能の低下はわずかであり、頑健であることが確認されました。
- 分布シフト: 画像やテキストにノイズを加えた場合、不確実性（分散）が増加し、モデルが分布シフトを検知できることを示しました。

5. 意義と将来展望

この研究は、大規模な VLM を安全かつ信頼性の高い実世界アプリケーションに適用するための重要な基盤を提供します。

安全性クリティカルな応用: 医療診断や自動運転など、モデルの失敗を許容できない分野において、モデルが「わからない」ことを示す信頼できる指標を提供します。
コスト効率: 再トレーニングや複雑なアダプター不要であるため、既存の巨大モデルを即座に不確実性推定機能付きで利用可能にします。
拡張性: 不確実性推定は、Out-of-Distribution (OOD) 検出や、信頼性の高い検索システム（不確実性を考慮した類似度スコアリング）への応用が期待されます。

総じて、BayesVLM は、大規模 AI モデルの「ブラックボックス」化を解消し、その予測の信頼性を定量的に評価するための実用的で強力なツールとして位置づけられます。