🤖 machine learning

$\Delta \mathrm{Energy}$ : Optimizing Energy Change During Vision-Language Alignment Improves both OOD Detection and OOD Generalization

本論文は、視覚と言語の整合性におけるエネルギー変化に着想を得た新たな OOD スコアである $\Delta$ Energy と、視覚と言語モデルにおける分布外検出と汎化性能を同時に向上させ、既存手法を上回る顕著な性能向上を実現する対応するファインチューニングフレームワーク（EBM）を導入する。

原著者： Lin Zhu, Yifeng Yang, Xinbing Wang, Qinying Gu, Nanyang Ye

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Lin Zhu, Yifeng Yang, Xinbing Wang, Qinying Gu, Nanyang Ye

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、世界中を旅したガイド（ビジョン・言語モデル）がいると想像してください。このガイドは、膨大な書籍や写真のライブラリから数千もの物体を認識することを学びました。このガイドは、「ゴールデンレトリバー」や「赤いスポーツカー」など、以前に見たものを特定するのが得意です。

しかし、このガイドが現実世界に出ていくと、2 つの厄介な状況に直面します。

「コスプレ」問題（共変量シフト）： ゴールデンレトリバーを見ますが、これはスケッチで描かれたものだったり、雨の中で撮影された写真だったり、絵画だったりします。犬は同じですが、スタイルが異なります。ガイドは混乱し、「これはまだ犬なのか？」と考えてしまうかもしれません。
「異星人」問題（意味的シフト）： 訓練ライブラリに一度も存在しなかった、例えば「キラキラしたユニコーン」のような全く新しい生物を見ます。ガイドは自信を持って「あれは馬だ！」と推測するのではなく、「これは何だか分からない」と認識する必要があります。

この論文は、ガイドが両方の問題に同時に対処できるよう、 $\Delta$ Energy（デルタ・エナジー）と呼ばれる新しい手法と、EBMと呼ばれる訓練技法を導入します。

核心となるアイデア：「沈黙」テスト

これがどのように機能するかを理解するために、ガイドが画像を見ており、さまざまなラベルに対してどれほど自信があるかを叫んでいると想像してください。

犬の写真を見た場合、「犬！（99% の自信）猫！（1%）鳥！（0.1%）」と叫ぶかもしれません。
「キラキラしたユニコーン」を見た場合、「馬！（40%）猫！（30%）犬！（20%）」と叫ぶかもしれません。混乱しており、賭けを薄く分散させています。

$\Delta$ Energy のトリック：
研究者たちは、ガイドに奇妙な実験をさせます。「もしあなたがトップの推測について完全に沈黙することを強要されたら、どうなるでしょうか？」

彼らはガイドのトップの推測（例えば「犬」）を取り、その自信をゼロに設定します。そして、「さて、'犬'と言えるなくなった今、あなたの全体的な'エネルギー'（または総自信）はどれほど低下しますか？」と尋ねます。

本物の犬の場合（分布内）： ガイドはそれが犬であることに非常に確信していました。その答えを沈黙させると、ガイドはパニックになります。その総自信は崩壊します。エネルギーの「低下」は非常に大きいです。
異星人/未知の物体の場合（分布外）： ガイドはすでに不確実であり、賭けを多くの選択肢に分散させていました。トップの推測を沈黙させても、それが一つの答えだけに依存していなかったため、あまり変化しません。エネルギーの「低下」は小さいです。

このエネルギーの変化（ $\Delta$ Energy）を測定することで、システムは「奇妙なスタイルの犬」（大きな低下）と「全く新しい生物」（小さな低下）を容易に見分けることができます。

訓練のアップグレード：EBM（エネルギー境界最大化）

違いを見分ける方法を知っていることは素晴らしいですが、この論文はガイドが学習しながらそれをより上手に行う方法も教えています。

彼らはEBMと呼ばれる訓練ルールを導入します。ガイドが犬の写真を見て勉強していると想像してください。

ガイドは写真全体を見ます。
次に、研究者たちは写真の一部に「マスク」をかけます（犬の顔を覆うなど、または背景を覆うなど）、そしてガイドに再度それを見るよう求めます。
目標は、マスクがかかっている場合でも、ガイドが完全な写真を見たときと同じ「エネルギー」の変化を感じるように訓練することです。

比喩：
友人の声を認識することを学ぶようなものです。

古い方法： 静かな部屋でその人の声を完璧に暗記します。もし彼らが騒がしいカフェで話したら（共変量シフト）、彼らを認識できないかもしれません。
EBM 方式： 彼らがささやいたり、叫んだり、壁越しに話したりしている間、彼らを認識する練習をします。完璧な条件だけでなく、声の核心を学びます。

訓練中にこれらの「マスクされた」または「切り抜かれた」データバージョンを処理することをモデルに強制することで、それはスタイルの変化（雨やスケッチなど）に対して頑健になりつつ、全く新しいものを発見する能力も維持することを学びます。

結果：超信頼性の高いガイド

この論文は、ImageNet（数千の画像を含む）のような大規模データセットでこれをテストしました。

検出の向上： 新しい手法は、以前の手法よりも「異星人」（未知の物体）を検出する能力が大幅に向上しました。誤検知の数を大幅に削減しました（一部のテストでは 10%〜25% 向上）。
汎化性の向上： また、何であるかを忘れることなく、「コスプレ」された犬（新しいスタイルの物体）を認識する能力も大幅に向上しました。

まとめ

この論文は、シンプルだが強力なアイデアを提案します：トップの推測を沈黙させたときに、モデルの自信がどれほど変化するかを測定する。

自信が崩壊すれば、それは新しいスタイルの既知の物体である可能性が高い。
自信が安定していれば、それは全く新しい物体である可能性が高い。

彼らはこの洞察を用いてモデルをより頑健に訓練し、未知を発見する優れた探偵であり、かつ新しい状況で既知を認識する優れた一般主義者であるシステムを構築しました。

技術的概要：∆Energy 視覚言語アライメント中のエネルギー変化の最適化は、OOD 検出と OOD 一般化の両方を改善する

1. 問題定義

CLIP などの視覚言語モデル（VLM）は、下流タスクへの適応において顕著な成功を収めています。しかし、実世界シナリオで展開される際、これらは Out-of-Distribution（OOD）の 2 つの明確な種類の課題に直面します：

共変量シフト（クローズドセット OOD）： クラスラベルは訓練分布と同じであるが、データ分布が変化するデータ（例：スタイルの変化、環境のシフト）。
意味的シフト（オープンセット OOD）： 訓練中に全く見られなかったクラスを含むデータ。

既存の文献では、これらの課題がしばしば個別に対処されています。共変量シフトに対する頑健性に焦点を当てた手法は、通常、オープンセットの意味的シフトを効果的に検出できず、OOD 検出手法は共変量シフトしたデータにおける一般化性能を維持することに苦労することが多いです。さらに、両方を扱う最近の試み（フルスペクトル OOD）は、しばしば莫大な計算資源を必要とするか、狭い範囲の後付け関数に依存しています。核心的な課題は、共変量シフトしたデータへの一般化能力を同時に強化しつつ、未見の意味的クラスを効果的に検出する VLM の能力を向上させる統合フレームワークを開発することです。

2. 手法

本論文は、視覚言語モダリティを最大コサイン類似度を破壊することで再アライメントすると、エネルギースコアに顕著で識別可能な変化が生じるという観察に基づいた新規アプローチを提案します。

2.1 ∆Energy：新規 OOD スコア

著者は、視覚言語アライメントの修正に起因するエネルギー変化に基づく事後 OOD 検出スコアとして、∆Energy を導入します。

メカニズム： 入力画像に対して、この手法は最も高いコサイン類似度を持つ上位 c 個のテキストプロンプトを特定します。その後、これらの最大類似度を切り取る（ゼロに設定する）ことでモダリティを「再アライメント」します。
計算： スコアは、再アライメント前のエネルギースコア（ $E_0$ ）と再アライメント後のエネルギースコア（ $E_1$ ）の差として定義されます：
$\Delta \text{Energy}(x_i) = E_1(x_i) - E_0(x_i)$
理論的洞察： 理論的解析（定理 3.2）は、インディストリビューション（ID）データにおいて、エネルギー変化はオープンセット OOD データよりも著しく大きいことを示しています。これは、ID データがトップマッチングのテキスト特徴に強く依存しており、それらを除去するとエネルギーが劇的にシフトするためです。対照的に、特定のクラスとも強いアライメントを持たない OOD データは、より小さなエネルギー変化を示します。
利点： 本論文は、∆Energy が Maximum Concept Matching（MCM）手法よりも ID と OOD サンプル間の分離をより効果的に増幅し、結果として偽陽性率（FPR）を低下させることを証明しています。

2.2 EBM：∆Energy ベースの境界最大化

OOD 一般化（共変量シフト）への対処と検出能力の維持を両立させるため、著者は微調整フェーズ中にEBM（Energy-based Bound Maximization）を提案します。

メカニズム： フューショット適応中、この手法は画像特徴に対してマスキング操作を適用します。具体的には、画像特徴とトップ 1 のテキスト特徴の要素ごとの積における上位 p% の要素のみを保持し、残りをゼロにします。
目的： モデルは、元の画像特徴とマスクされた特徴間のエネルギー差を表す損失 $L_{\Delta E}$ を最小化するように訓練されます：
$L_{\Delta E} = \frac{1}{N} \sum_{i=1}^{N} [E_2(x_i) - E_0(x_i)]$
ここで、 $E_2$ はマスクされた特徴のエネルギーです。
理論的保証： 著者は（定理 3.4）、 $L_{\Delta E}$ を最小化することがクローズドセットクラスに対する∆Energy の下限を増加させることを証明しています。さらに、定理 3.5 は、この最適化が元の領域とマスクされた特徴領域の間でドメイン一貫性を持つヘッシアンをもたらすことを確立しています。この一貫性は OOD 一般化の強力な指標であり、理論的にソースドメインとターゲットドメイン間の性能ギャップを境界付けます。

2.3 統合フレームワーク

最終的な最適化目的関数は、標準的なクロスエントロピー損失と EBM 損失を組み合わせます：
$L_{EBM} = L_{CE} + \lambda_0 L_{\Delta E}$
このフレームワークにより、OOD 一般化（EBM 経由）と OOD 検出（結果としての∆Energy スコア経由）の同時最適化が可能になります。

3. 主要な貢献

新規 OOD スコア（∆Energy）： 本論文は、視覚言語モダリティの再アライメント時のエネルギー変化を測定するゼロショット OOD 検出手法を導入します。これは理論的および実証的に、MCM、Energy、ReAct などの既存手法を上回り、特に「困難な」OOD 検出シナリオにおいて優れています。
統合微調整フレームワーク（EBM）： 著者は、OOD 一般化と OOD 検出を同時に改善する微調整パラダイムを開発しました。特徴マスキングによって誘発されるエネルギー変化を最小化することで、この手法はドメイン一貫性を持つヘッシアンを誘発し、最適化プロセスを共変量シフト下での改善された一般化と理論的に結びつけます。
理論的解析： この研究は、∆Energy が MCM よりも優れた分離性を提供し、EBM 損失がドメイン一貫性を持つヘッシアンをもたらすことで OOD 一般化ギャップを境界付けることを示す厳密な理論的証明を提供します。
包括的評価： この手法は、共変量シフトと意味的シフトの両方を網羅する ImageNet-1k（各種分割を含む）、PACS、VLCS といった困難なベンチマークで評価されました。

4. 実験結果

著者は、CLIP（ViT-B/16）をバックボーンとして使用し、ImageNet-1k、PACS、VLCS データセットで広範な実験を行いました。

OOD 検出性能：
- ImageNet-1k ベンチマーク（セットアップ I）において、∆Energy は AUROC 87.10% を達成し、2 位の方法（MCM の 85.81%）を上回り、バニラ Energy 手法を大幅に凌駕しました。
- クローズドセット OOD（共変量シフト）とオープンセット OOD（意味的シフト）の区別において、∆Energy は AUROC 78.68% を達成し、各種設定において競合他社を 10%～25% の差で上回りました。
- この手法は、ID と OOD データが密に分布している「困難な」OOD 検出分割において優れた性能を示しました。
OOD 一般化性能：
- フューショット微調整設定（セットアップ I およびセットアップ II）において、EBM 手法は OOD 精度と OOD 検出指標の両方で最高の全体的性能を達成しました。
- 具体的には、EBM は競合する CRoFT 手法と比較して、クローズドセット OOD データにおける OOD 精度を 0.45% 向上させ、AUROC を 5% 以上向上させました。
- VLCS データセットにおいて、EBM は特定のドメインに適応する際に一般的な知識の忘却に悩まされることが多い CRoFT や GalLoP などの手法に対して、顕著な改善を示しました。
効率性：
- ゼロショット∆Energy 検出は追加の訓練を必要とせず、推論時間は MCM と同等です（18 秒対 17 秒）。
- EBM 微調整プロセスは計算効率が良く、CoOp と同様の時間と GPU メモリ（18 分、約 7.7GB）を必要とし、GalLoP（140 分、約 47GB）よりも大幅に少ないリソースで済みます。

5. 意義と主張

本論文は、∆Energy と EBM が、VLM における OOD 検出と OOD 一般化の間のトレードオフに対する統合的な解決策を提供すると主張しています。

信頼性： 著者は、∆Energy が、特に分布シフトが微妙な困難なシナリオにおいて、従来のエネルギーベースまたはソフトマックスベースの手法よりも信頼性の高い OOD 検出アプローチを提供すると主張しています。
理論的基盤： この研究の意義は、エネルギー変化の最適化（EBM 経由）が検出を支援するだけでなく、ドメイン間での経験的リスクのヘッシアンを整合させることで、ドメインシフトに対するモデルの頑健性を構造的に改善することを理論的に実証している点にあります。
実用的影響： 単一の微調整フレームワークで共変量シフト（一般化）と意味的シフト（検出）の両方を処理できるようにすることで、この手法は、両方の種類の分布シフトが避けられない実世界アプリケーションにおける VLM の展開における重要なギャップを埋めます。

著者は、困難なベンチマークにおいて、この手法が最近の最先端手法を大幅な差（AUROC で 10%～25%）で凌駕し、視覚言語再アライメント中のエネルギー変化の活用が有効であることを実証したと結論付けています。