技術要約：類似性は論理ではない：デュアルエンコーダ視覚言語モデルのための分解された推論（Factored Inference）

1. 問題提起

CLIPやSigLIPといったデュアルエンコーダ視覚言語モデル（VLM）は、スカラー類似度インターフェース（通常はコサイン類似度またはドット積）を用いて、画像とテキストを共通の埋め込み空間にマッピングする。このインターフェースはゼロショット検索において非常に効果的であるが、論理演算子（否定、連言、選言）を含む**構成的制約（compositional constraints）**を満たすことができない。

核心的な問題は、インターフェースレベルにおける**「概念のバッグ（Bag-of-Concepts）」効果である。クエリに論理演算子（例：「傘と人なし（umbrella and no person）」）が含まれている場合、スカラー類似度スコアは個々の概念に対する証拠の平均プーリング**を近似してしまい、論理演算を実行しない。その結果、以下の現象が発生する：

• 否定の失敗： 「人なし（no person）」のようなクエリは、類似度スコアが概念の不在ではなく存在を追跡するため、人が写っている画像を取得してしまうことが多い。
• 連言の不安定性： 「AとB（A and B）」のようなクエリは、Aのみ、あるいはBのみを含む画像を頻繁に取得する。
• 除外の失敗： 「AでもBでもない（neither A nor B）」のような概念を除外しようとするクエリは、系統的にそれらの概念を含む画像を取得してしまう。

著者らは、この失敗の原因は、テキスト埋め込みにおける演算子依存の情報が欠如していること（情報は存在するが微弱である）ではなく、実行メカニズムにあると指摘している。ドット積によるスコアリングは、論理構造に関わらず、証拠をソフトな平均プーリング操作のように集約してしまうため、演算子のセマンティクスを抑制してしまう。

2. 手法：分解された推論（Factored Inference）とLCSE

本論文は、**証拠抽出（evidence extraction）と制約実行（constraint execution）を分離するパラダイムである分解された推論（Factored Inference）**を提案している。これは、複合的なクエリの全体的な類似性に頼るのではなく、各原子概念に対して個別に原子的な証拠を抽出し、外部で論理演算を実行する手法である。

2.1. 論理制約付きスコア編集（LCSE）

主要な貢献は、標準的な検索性能を維持しつつ、論理制約を強制するために凍結されたVLMの類似度スコアを修正する、トレーニング不要の手法であるLCSEである。プロセスは以下の4つのステップで構成される：

1. パース（Parsing）： クエリを視覚的概念（$c_i$）、その極性（存在/不在、$n_i$）、および論理演算子（$o$）へとパースする。
2. 証拠抽出（Evidence Extraction）： 凍結されたVLMを用いて、画像と各原子的な概念フレーズを独立してエンコードし、存在スコア（$p_i$）を生成する。これらのスコアは、シグモイド関数を用いて生の類似度から確率へと較正される。
3. 制約実行（Constraint Execution）：
   • 極性の調整： 否定された概念については、スコアを反転させる（$1 - p_i$）。
   • 集約： 調整されたスコアは、冪平均（power mean）（$M_\gamma$）を用いて集約される。
     • 連言（$A \land B$）では $\gamma < 0$ （minに接近）を使用する。
     • 選言（$A \lor B$）では $\gamma \gg 1$ （maxに接近）を使用する。
     • これにより、全体的なスコアによる暗黙的な平均プーリングを、真理関数的な集約に置き換える。
4. スコア編集（「LCSE」ステップ）： 原子的な概念スコアでは捉えきれない情報（シーンのコンテキスト、スタイル、空間的レイアウトなど）の喪失を防ぐため、本手法は元の全体的なスコア（$s_{hol}$）に対して軽量な補正を加える：
   $$s_{LCSE} = s_{hol} + \frac{1}{\beta} \left( \text{logit}(p_{logic}) - \text{logit}(p_{soft}) \right)$$
   ここで、$p_{logic}$ は集約された制約スコアであり、$p_{soft}$ は概念スコアの単純な平均である。この項は、論理演算子が非平均的な集約（厳密な連言や否定など）を必要とする場合にのみ、全体的なスコアを調整する。論理演算が存在しない場合、補正項は消失し、手法は標準的な全体的検索へとデフォルトで戻る。

3. 主な貢献

1. 制約失敗のメカニズム分析： 著者らは、テキスト埋め込みの「スパン残差分解（span-residual decomposition）」を提供し、演算子依存の信号は残差成分に存在するものの、標準的なドット積スコアリングの下では、あまりに微弱であるか、あるいは整合性が取れていないため、ランキングに影響を与えないことを示した。概念の証拠に支配されるスパン成分が平均プーリングを近似してしまうことが、失敗の原因である。
2. トレーニング不要のインターフェース（LCSE）： エンコーダを再学習させることなく、原子的な証拠に対してブール制約を明示的に実行する手法。制約が存在しない場合には標準的な検索挙動を維持する。
3. FACTOR-Bench： 演算子によって対照的なキャプション・ペア（同じ概念だが異なる演算子を持つもの）を用い、検証済みのグラウンドトゥルース（概念の存在/不在）を備えた、ブール演算のセマンティクスをテストするための新しいベンチマーク。
4. 実証的検証： CLIPおよびSigLIP 2バックボーンを用い、LCSEが論理制約においてファインチューニングされたベースラインを大幅に上回りつつ、ゼロショット検索性能を維持していることを示す広範な評価。

4. 実験結果

著者らは、CLIPおよびSigLIP 2バックボーンを用いて、FACTOR-Bench、NegBench、および標準的な検索保持タスクにおいてLCSEを評価した。

• FACTOR-Bench の精度：
  • LCSE (CLIP)： 85.5% の精度を達成し、最良のファインチューニング・ベースライン（NegationCLIPの73.2%）を大幅に上回った。
  • LCSE (SigLip 2)： 90.7% の精度を達成し、より優れた原子的証拠がより良い制約実行につながることを示した。
  • 否定の処理： NegBenchのMCQにおいて、LCSEはCLIPにおいて56.2%（NegCLIP-NegFull）から**60.3%へ、SigLIP 2においては27.2%から65.2%**へと精度を向上させた。
• 検索の保持（Retrieval Retention）： ファインチューニングされたモデルがしばしば標準的な検索性能を低下させる（ランク相関 $\rho \approx 0.63\text{--}0.85$）のに対し、LCSEは標準的な検索性能をほぼ完璧に維持している（CLIPで $\rho = 0.999$、R@5は変化なし）。
• 層別分析： LCSEの性能向上は、原子的証拠の質に比例する。概念検出が信頼できる場合（AUC > 0.90）、LCSEは90.4%の精度に達するが、全体的なスコアリングは57.8%にとどまる。
• アブレーション研究： 本手法は異なるバックボーンや集約戦略においても機能する。「スコア編集」コンポーネントは極めて重要であり、これを除去した場合（分解されたスコアリングのみを使用した場合）、明示的な演算子を含まない自然言語クエリに対する検索性能が低下する。

5. 意義と主張

本論文は、VLMが構成的論理を扱えない主な原因は、表現レベルの失敗（エンコーダが何を表現しているか）ではなく、インターフェースレベルのボトルネック（スコアがいかに証拠を集約するか）であると主張している。

• 限定的な範囲： 著者らは、分析と手法が視覚的概念に対するブール演算（1〜2個の概念、および3〜4個への拡張）に対して検証されていることを明示している。これらは、属性結合、関係、計数などのあらゆる構成的推論を解決すると主張しているわけではなく、信頼できる原子的証拠が得られるのであれば、分解された推論の原理が拡張可能であることを示唆している。
• 実用的な影響： 本手法は、既存の凍決されたVLMに適用可能なトレーニング不要のソリューションであり、ファインチューニングに伴う不安定さやデータ要件なしに、構造化されたクエリやフィルタリングを可能にする。
• 限界： このアプローチは、ブール構造をパースする能力（高精度なLLMパーサーによって処理される）と、基礎となるエンコーダの原子的概念検出の品質に依存する。エンコーダが概念を確実に検出できない場合、外部での実行によって正当性を回復することはできない。

要約すると、本論文は「類似性は論理ではない」と論じ、証拠抽出と論理制約の実行を分離するメカニズムとして**分解された推論（Factored Inference）**を提案することで、標準的なVLMの堅牢なゼロショット検索能力を維持しながら、論理的タスクにおける高い精度を実現している。