🤖 machine learning

KODA: Contrastive Representation Comparison and Alignment for Vision-Language Foundation Models

本論文は、一方の表現における一貫した構造を最適化しつつ他方における構造を抑制するように最適化することで、視覚と言語の基盤モデル間における構造的に不一致なサンプル部分集合を特定し、大規模なデータセットへのスケールアップのためにランダム近似を利用する、カーネルベースのフレームワークであるKODAを導入するものである。

原著者： Youqi Wu, Mohammad Jalali, Farzan Farnia

公開日 2026-06-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Youqi Wu, Mohammad Jalali, Farzan Farnia

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたには、**クリティークA（批評家A）とクリティークB（批評家B）**という、2人の異なる美術評論家がいます。両者は、膨大な写真とその説明文のギャラリーを眺めています。両者は、「何が良い写真であるか」という大きな枠組みについては一致しているように見えますが、詳しく見てみると、その整理の仕方は全く異なります。

クリティークAは、天候に関係なく、すべての「サーフィン」の写真を一つのグループにまとめます。
クリティークBは、「雨の中のサーフィン」と「晴天の下でのサーフィン」を分けますが、「サーフィン」の写真と「スキー」の写真を混ぜてしまいます。なぜなら、どちらも「滑る」という共通点があるからです。

通常、どちらが優れているかを判断するには、単にゲーム（クイズのようなもの）をさせて、どちらが高いスコアを獲得するかを確認します。しかし、それでは「なぜ」彼らが異なるのか、あるいは「どの」特定の写真において意見が食い違っているのかまでは分かりません。

この論文では、KODA（Kernel Optimization for Discrepancy Analysis）と呼ばれる新しいツールを紹介しています。KODAを、**「一人の批評家と比較して、もう一人の批評家の『盲点』や『超能力』を見つけ出す探偵」**だと考えてみてください。

KODAの仕組み（比喩による説明）

バラバラに混ざったレゴブロックの巨大な箱（データ）があると想像してください。

ゴール： クリーティークAは「完璧なタワーを作るためにこれらは一緒であるべきだ」と考えているのに、クリティークBは「ただ床に散らばった乱雑な山だ」と考えているような、一握りのブロックを見つけ出したいと考えています。
プロセス： KODAは単に箱全体を見るわけではありません。数学的な「懐中電灯」を使って、ブロックをスキャンしていきます。そしてこう問いかけます。「クリティークAが一つにまとめることを好むのに、クリティークBが完全に無視したり、バラバラに散らしたりしているブロックのグループを見せてくれ」
結果： KODAは特定のデータセットを指し示します。例えば、次のように言うかもしれません。「ほら、この野球選手がベースにスライディングしている写真を見て。クリティークAはこれらを非常にタイトで明確なグループとして捉えているけれど、クリティークBはこれらを無関係でランダムな画像として見ているよ」

「秘伝のソース」（技術的な部分の簡略化）

論文では複雑な数学用語が登場しますが、それらは平易な言葉で言えば以下の通りです。

対照的埋め込みクラスタリング（Contrastive Embedding Clustering）： これは、単に「物事がどのようにグループ化されているかの違いを見つけること」を格好良く言ったものです。KODAは、一方のモデルの心の中には存在するが、もう一方のモデルには欠落している「塊（クラスター）」を探しています。
最適化問題（The Optimization Problem）： 完璧な角度で光を当てる方法を探していると考えてください。クリティークAが好むものに対しては光を非常に明るくし、一方でルールとして、クリティークBが好むものに対しては光を非常に暗くしなければなりません。KODAはこの数学的なパズルを解いて、その完璧な角度を見つけ出します。
ランダム・フーリエ特徴量（Random Fourier Features / 高速化のトリック）： 何百万枚もの写真に対してこの数学的計算を行うことは、通常、ビーチの砂粒を一つ一つ数えるようなもので、永遠に時間がかかります。KODAは賢いショートカットを使用します（例えるなら、ビーチの写真を高画質で撮影し、代わりにピクセルを数えるようなもの）。これにより、精度を損なうことなく、非常に高速に計算を行います。これによって、MS-COCOのような巨大なデータセットに対しても動作が可能になります。

何を見つけたのか？

著者たちは、KODAをCLIP、BLIP、SigLIPといった有名なAIモデルに対してテストしました。その結果、「探偵」が見つけたものは以下の通りです。

優先順位の違い： これらのモデルはすべて、画像とテキストを理解するように訓練されていますが、世界の整理の仕方は異なります。
- 例：あるモデルは「シマウマ」の画像を非常にタイトにグループ化する一方で、別のモデルは「シマウマ」を「馬」や「縞模様のシャツ」と混ぜてしまうかもしれません。
実行可能な洞察（Actionable Insights）： KODAは単に「彼らは違う」と言っただけではありません。実際に、画像とキャプションの具体的なリストを抽出しました。
- 例： KODAは、BLIPが「人がサーフィンをしている」画像を集めるのが非常に得意である一方で、CLIPはその特定のトピックに関しては少しバラつきがあることを見つけ出しました。
モデルの修正： 著者たちは、あるモデルが苦戦している特定の「乱雑な」グループの写真を抜き出し、その写真だけを使ってそのモデルを再学習させると、そのモデルは突然、それらの画像を整理するのが非常に上手くなることを示しました。これは、教科書全体をやり直させるのではなく、間違えた数学の問題だけを重点的に練習させるようなものです。

なぜこれが重要なのか？

現在、AIモデルを選びたいとき、私たちはリーダーボードのスコアを見ます。それは、車の最高速度だけで車を選ぶようなものです。

KODAは、**「メカニックの診断レポート」**を提供します。それはこう教えてくれます。「この車は速いけれど、砂利道ではサスペンションの動きが変だよ」。KODAは、モデルが具体的に「どこで」、そして「なぜ」異なるのかを理解することを助け、単一の数字に基づいて推測するのではなく、特定のデータに対して弱点を修正したり、適切なモデルを選択したりすることを可能にします。

要約すると： KODAは、AIモデルを単に最終スコアで比較する段階を終わらせ、各モデルのユニークな「個性」や具体的な盲点を理解することを助けるツールなのです。

技術要約：KODA – ビジョン・ランゲージ基盤モデルのための対照的表現比較とアライメント

1. 問題提起

ビジョン・ランゲージ基盤モデル（例：CLIP, SigLIP, BLIP）は現代のマルチモーダル・システムの中心であるが、それらの表現は通常、ダウンストリーム・タスクの性能（例：検索精度、ゼロショット分類）を通じてのみ比較される。このような集約的な指標は、異なるモデルがデータをどのように構造的に整理し、あるいは画像とテキストのペアに対してどのように異なるグルーピングを誘導しているのかを説明するには不十分である。

SPECフレームワークのような解釈可能な埋め込み比較のための既存手法は、カーネル差分行列を分析するが、非対称な目的関数を明示的に強制することはない。その結果、両方の埋め込みに共通する構造や集約された効果を特定してしまう可能性があり、一方の表現では強くクラスタリングされているが、参照用の表現では弱くクラスタリングされている特定のサンプル・サブセットを分離することはできない。本論文は、**対照的埋め込みクラスタリング（Contrastive Embedding Clustering）**という課題、すなわち、ある参照埋め込み空間では拡散的または無構造に見える一方で、別の埋め込み空間では一貫した構造を示すサンプル・サブセット（または方向）を特定する課題に取り組む。

2. 手法：KODAフレームワーク

著者らは、制約付き最適化問題として定式化されたカーネルベースのフレームワークである**KODA（Kernel Optimization for Discrepancy Analysis）**を提案する。

2.1. コア最適化定式化

2つの埋め込み $A$ と $B$ が、参照データセット $\{x_i\}_{i=1}^n$ 上に正規化されたカーネル類似行列 $K_A$ と $K_B$ を誘導する場合、KODAは、 $K_A$ の下でクラスタリングを最大化しつつ、 $K_B$ の下では弱くクラスタリングされるよう制約された方向 $x \in \mathbb{R}^n$ を探索する。問題は以下のように定義される：

$\begin{aligned} \max_{x \in \mathbb{R}^n} \quad & x^\top K_A x \\ \text{s.ject} \quad & x^\top K_B x \leq \epsilon \\ & \|x\|_2^2 = 1 \end{aligned}$

ここで、 $\epsilon > 0$ は参照用埋め込み $B$ において許容される弱クラスタリングの度合いを制御する閾値である。

2.2. スペクトル特性による効率的な解法

この問題は非凸であるが、著者らはKKT条件を通じて、任意の最適解 $x^*$ が以下の一般化固有値方程式を満たすことを示している：
$(K_A - \lambda^* K_B) x^* = \nu^* x^*$
ここで $\lambda^* \geq 0$ はラグランジュ乗数である。これにより、KODAは $\lambda$ に関する一次元の探索を通じて問題を解くことができる。各 $\lambda$ について、 $K_A - \lambda K_B$ の主要固有ベクトルを計算し、それが制約条件 $x^\top K_B x \leq \epsilon$ を満たすかどうかを確認する。

複数の不一致モードを抽出するために、KODAは、以前に見つかった方向に対して直交性を強制する投影行列 $P = I - UU^\top$ を使用して、この問題を反復的に解く。

2.3. 共分散ブロックとランダム特徴量によるスケーラビリティ

$n \times n$ のカーネル行列の直接的な固有値分解は、大規模なデータセット（ $n \gtrsim 20,000$ ）に対して計算コストが高すぎる。KODAは、明示的な特徴表現（例：シフト不変カーネルのためのランダムフーリエ特徴量）を活用することで、これに対処する。
もし $K_A = \Phi_A \Phi_A^\top$ かつ $K_B = \Phi_B \Phi_B^\top$ であり、特徴次元が $d_1, d_2 \ll n$ である場合、 $K_A - \lambda K_B$ の固有ベクトル計算は、共分散ブロックを含む $(d_1 + d_2) \times (d_1 + d_2)$ サイズの固有値問題へと削減される：
$M_\lambda = \begin{bmatrix} \Phi_A^\top \Phi_A & \Phi_A^\top \Phi_B \\ -\lambda \Phi_B^\top \Phi_A & -\lambda \Phi_B^\top \Phi_B \end{bmatrix}$
これにより、計算複雑度が $O(n^2)$ から $O(n(d_1+d_2))$ に削減され、大規模なデータセットへの適用が可能となる。

2.4. マルチモーダル埋め込みへの拡張

ペアデータ（例：画像とテキスト）の場合、KODAは**積カーネル（product-kernel）定式化を用いて統一されたマルチモーダル・カーネルを構築する：
$k((u, v), (u', v')) = k_x(u, u') \cdot k_t(v, v')$
ここで、 $k_x$ と $k_t$ はモダリティ固有のカーネルである。結果として得られるカーネル行列は、単一モダリティのカーネル行列のアダマール積（ $K = K_x \odot K_t$ ）となる。テンソル積特徴空間（ $d_x d_t$ のスケールで拡大する）を扱うために、KODAは結合ランダムフーリエ特徴量（Joint Random Fourier Features: RFF）**を採用する。これは、積カーネルを次元 $2r$ の特徴マップで近似し、真の積カーネルに対する主要固有空間の安定性に関する理論的保証を提供する。

3. 主な貢献

対照的埋め込みクラスタリング・タスク： 本論文は、ある埋め込みでは強くクラスタリングされているが、別の埋め込みでは弱くクラスタリングされているサンプル・サブセットの特定を、グローバルな差異分析とは異なる、制約付き最適化問題として定式化した。
KODAアルゴリズム： 制約付き二次計画法を通じてこのタスクを解く、構造化されたスペクトル計算による効率的な解法を伴う、カーネルベースの最適化フレームワークを提案した。
スケーラブルな実装： 共分散ブロックの削減と結合ランダムフーリエ特徴量近似の開発により、巨大なカーネル行列を明示的に構築することなく、大規模なビジョン・ランゲージ・データセットにKODAをスケールさせることが可能となった。
解釈可能な不一致方向： この手法は、特定のサンプル・サブセットおよびモダリティ間の相互作用に関連する解釈可能な方向を導出し、ターゲットを絞ったデータキュレーションやモデルのアライメントを容易にする。

4. 実験結果

著者らは、Unimodal（ImageNet, FFHQ, AFHQ）およびMultimodal（MS-COCO）のデータセットを用い、CLIP, DINOv2, BLIP, OpenCLIP, SigLIP, SigLIP2を含むモデルを用いてKODAを評価した。

不一致の発見： KODAは、一貫性があり解釈可能な不一致構造を特定することに成功した。例えば、FFHQにおいて、DINOv2がサンプルを（特定の顔の属性などのように）一貫してグループ化している一方で、CLIPはそうではない方向を見出した。MS-COCOにおいては、BLIPがCLIPよりも明確な結合構造（例：野球やサーフィンなどの特定のスポーツアクション）を形成している画像とテキストのペアを特定した。
ベースラインとの比較： 単一モダリティの設定において、KODAは複数の不一致モードを見つける上でSPECのベースラインを上回った。定量的指標（一般化レイリー商）によれば、KODAの方向は、SPECと比較して、大幅に高い非対称性スコア（例：低制約クォンタイルにおいて約20倍強い）を示した。
表現のアライメント： 本論文は、KODAによって選択されたサンプル・サブセットが、対照的埋め込みアライメントに使用できることを示している。KODAが選択したスライス（CLIPが弱く、DINOv2/BLIPが強い領域）でCLIPをファインチューニングすることにより、それらの特定のスライスにおけるアライメント指標（AMI, NMI, ARI）が大幅に改善され、アライメントされたモデルの幾何学的な構造がターゲットモデルに近づいた。
検索分析： MS-COCOにおいて、KODAが選択したサブセットはモデル間の性能差を増幅させた（例：CLIP vs. SigLIP）。これにより、CLIPが苦戦している特定の不一致スライスにおいて、SigLIPがより優れた検索性能を維持していることが明らかになった。

5. 意義と限界

意義：
本論文は、KODAが集約的なダウンストリーム指標を超えて、基盤モデルを比較するための原理的な教師なし手法を提供すると主張している。不一致を特定のサンプル・サブセットに局在化させることで、以下をサポートする：

解釈可能性： モデルが構造的に「どこで」「なぜ」異なっているのかを理解する。
モデル選択とデバッグ： モデルが参照モデルに対して相対的に性能が低い特定のデータスライスを特定する。
ターゲットを絞ったアライメント： 発見された不一致スライスを、表現をアライメントするための実行可能なデータとして利用する。

限界：
著者らは、KODAには以下の点があることを述べている：

基礎となる分布からサンプリングされた共有の参照データセットを必要とする。
ラベル付きのダウンストリーム・タスクを利用せず、カーネル誘発幾何学に基づく教師なしの不一致発見に焦点を当てている。
今後の研究方向には、一致しないデータセットへの拡張、教師ありの不一致概念、およびクラスタ解釈のためのより強力な統計的保証が含まれる。

コードは https://github.com/yokiwuuu/KODA で公開されている。