💻 computer science

HKVLM: Faithful Reasoning Grounding by Binding Language Queries to a Frozen Detector

HKVLMは、学習可能なアライメントフックを通じて、凍結された検出器のプロポーザルと凍結された言語モデルの推論クエリを接続することで、局在化と言語生成を分離し、視覚言語モデルにおける「結合失敗（binding failure）」に対処しており、これにより、小規模データ設定におけるグラウンディングの精度を大幅に向上させ、ハルシネーションを減少させている。

原著者： Bo Ma

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bo Ma

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。そこには、非常に賢く博識な司書（言語モデル）と、一対の、非常に鋭いけれど少し耳の遠い警備員（ビジュアル・ディテクター）がいます。

目標は、「ヘルメットを被っていない人を見せて」といった質問に答えることです。

旧来の手法：「言い間違い」の問題

現在の多くのシステムでは、司書がすべてをやろうとします。司書は写真を見て、答えを考え、そして「左上、右下」といった言葉を使って場所を説明しようとします。

この論文は、これが「地図を描きながら同時に詩を書こうとしている司書」に頼むようなものだと主張しています。彼らは「概念」は正しく理解しています（誰がその人物であるかは分かっています）が、「座標」でミスを犯します（描くボックスの位置が間違っています）。あるいは、自信満々に正しい人物を指差しながら、画像と単語の間に混乱が生じ、誤って「これは猫です」と言ってしまうこともあります。

著者らはこれを**「見えているのに言い間違える（See-but-mis-speak）」ギャップ**と呼んでいます。システムは正しいものを見ていますが、ラベルを間違えて言ったり、間違ったボックスを描いたりしてしまうのです。

新しい解決策：HKVLM

この論文では、お互いの邪魔をしないようにチームを編成する新しい方法、HKVLMを紹介しています。その仕組みを、簡単な比喩を使って説明します。

1. 警備員（凍結されたディテクター）

司書に地図を描かせる代わりに、専門の警備員（凍結されたディテクター）を雇います。彼らの唯一の仕事は、部屋をスキャンして、あらゆるものが「物体」のように見える箇所を指摘することです。

制約: この警備員は、その物体が何と呼ばれているかを知りません。彼らはただ、「ここに塊がある」「ここにもう一つの塊がある」「ここには3つ目の塊がある」と言うだけです。彼らは物を見つけることには非常に長けていますが、リクエストの特定の言語を話すことはできません。
なぜ「凍結（Frozen）」なのか？ 私たちはこの警備員を再学習させません。彼らはすでに自分の仕事を完璧にこなしているため、そのままにしておくのです。

2. 司書（凍結された言語モデル）

司書は質問（「ヘルメットを被っていない人」）と写真を読み取ります。司書はボックスを描こうとする代わりに、「検索クエリ」、つまり特定の抽象的な記述を作成します。

これは、司書が写真のない「指名手配書」を持ち、その特徴を説明しているようなものです。

3. マッチメイカー（アライメント・フック）

これは、実際に学習させる唯一の部分であり、軽量なモジュールである**マッチメイカー（仲介役）**です。

マッチメイカーは、司書の「指名手配書（クエリ）」を受け取り、それを警備員の「塊のリスト（リージョン・プロポーザル）」と比較します。
マッチメイカーは特別な照合ゲームを使用して、「ああ、警備員が見つけたこの特定の『塊』は、司書が探している『ヘルメットを被っていない人』と一致する」と判断します。
一致すると、システムはその塊の周りにボックスを描きます。

4. 「事実確認」による拒否権（忠実性）

これが、**ハルシネーション（幻覚／作り話）**に対するこの論文の切り札です。

時として、司書は興奮して、写真にドラゴンがいないにもかかわらず「ドラゴンが見えます！」と言ってしまうことがあります。
**拒否権（Veto）**は、厳格なファクトチェッカーです。システムが「ドラゴン」と言う前に、ファクトチェッカーは警備員に問いかけます。「君は本当にドラゴンに似た塊を見たか？」
もし警備員が「いいえ、そのようなものは見ていません」と言えば、システムは「ドラゴン」と言うことを禁止されます。システムは沈黙を守らなければなりません。これにより、システムが画像の中にあるものについて嘘をつくことを防ぎます。

なぜこれが重要なのか（結果）

この論文は「コールドスタート」のシナリオ、つまりマッチメイカーに極めて少ない学習データ（数百の例）しか与えなかった状況でテストを行いました。

劇的な改善: マッチメイカーがない場合、システムはほとんど役に立たず（ランダムに推測している状態）、マッチメイカーを使うことで、正しい物体を見つける能力が50倍から90倍も向上しました。
嘘を止める: 「事実確認による拒否権」は、システムが作り話をする頻度を劇的に減少させました。確信がない時にほぼ100%嘘をついていた状態から、正しい答えを出しつつも、嘘をつく割合を23〜43%にまで抑えました。
データの効率性: システムはこれを非常に素早く学習しました。司書や警備員全体を再学習させる必要はなく、ただマッチメイカーに両者をどのように結びつけるかを教えるだけでよかったのです。

まとめ

この論文は、「見る（物体を見つける）」という仕事と「話す（推論し、名前を付ける）」という仕事を分離し、それらを繋ぐ小さくスマートな「マッチメイカー」を使用することで、より正確で、ハルシネーションを起こしにくいAIを構築できることを証明しています。

また、警備員がより多くの「塊（プロポーザル）」を見つけるほどシステムが向上することを示し、主要な問題はマッチメイカーの失敗ではなく、警備員が物体を見逃していることにあることを裏付けました。

技術要約: HKVLM – 言語クエリを凍結された検出器に結合することによる、忠実な推論グラウンディング

1. 問題定義

本論文は、視覚言語モデル（VLM）における「見えているのに言い間違える（see-but-mis-speak）」というギャップ、特に**推論グラウンディング（reasoning grounding）**のシナリオにおける課題に対処している。単純なカテゴリ一致とは異なり、推論グラウンディングには、複雑で意図に基づいたリクエスト（例：「ヘルメットを被っていない人」や「紙を切るための何か」）を解釈することが求められる。

現在の手法は、主に2つの失敗モードに苦しんでいる：

座標をテキストとして扱うVLM: 座標を自己回帰的なテキストトークンとして生成するモデル（例：Kosmos-2, Shikra, Rex-Omni）は、ローカライゼーションと言語生成を絡み合わせている。単一の誤ったトークンが正しい知覚を上書きしてしまう可能性があり、幾何学的な信号が脆弱な言語チャネルを通じて強制的に流されることになる。
2段階パイプライン: LLMを使用してオブジェクトの名前を特定し、外部の検出器を使用してそれをローカライズするモデル（例：DetGPT, LISA）は、モデルの意図を単一のクラス文字列へと圧縮してしまう。この「情報の欠落を伴う（lossy）」インターフェースは、インスタンス固有の属性や関係性の手がかりを破棄してしまい、正しい領域が存在するにもかかわらず、ラベル付けのミスや見落としが発生するというバインディング（結合）の失敗を招く。

著者らは、忠実なグラウンディングには、ローカライゼーション能力（物体を見つける）、参照の忠実性（存在するものを名前として挙げる）、およびバインディング（ユーザーの意図を正しい領域に結びつける）という、3つの分離可能なコンピテンシーが必要であると主張している。既存のアーキテクチャはこれらを混同することが多く、その結果、ハルシネーション（幻覚）や劣悪な推論性能を引き起こしている。

2. 手法: HKVLM

HKVLM（Hypothetical Knowledge-Visual Language Model）は、言語生成のパスからローカライゼーションを完全に排除したデカップリング（分離）アーキテクチャを提案している。システムは以下の4つのコンポーネントで構成される：

凍結された知覚モジュール (Frozen Perception Module): 事前学習済みの、言語にアラインされたオープンボキャブラリー検出器（例：Grounding DINO）が凍結状態で動作する。これは、高リコールかつクラスに依存しない領域プロポーザル $R = \{(b_j, e_j)\}_{j=1}^M$ を生成する。ここで、 $b_j$ はバウンディングボックスであり、 $e_j$ は視覚と言語が融合された領域埋め込みである。このモジュールがすべてのローカライゼーション能力を担う。
参照クエリ埋め込み (Referential Query Embeddings): 凍結された（または軽微な適応を受けた）言語モデル（例：Qwen2.5-VL）が画像とユーザーのリクエストを処理する。モデルは座標やクラス名を直接出力するのではなく、モデルの推論と世界知識をエンコードした連続的な参照クエリ埋め込み（ $u_k$ ）を出力する。
アラインメント・フック (Alignment Hook - 学習対象コンポーネント): 2つの投影層（ $f_\theta, g_\phi$ $f_{θ}, g_{ϕ}$ ）からなる軽量なモジュールであり、領域埋め込みとクエリ埋め込みを共有空間へとマッピングする。バインディングは以下によって達成される：
- 対照的検索 (Contrastive Retrieval): 一致するクエリと領域のペアを近づけ、それ以外を遠ざける。
- 二部割当 (Bipartite Assignment): DETRと同様に、親和性とボックスの重なりに基づくコスト関数を最小化するように、クエリを特定のプロポーザルに割り当てる。
知覚に基づいた忠実性ヴェト (Perception-Grounded Faithfulness Veto): バインドされたクエリと領域のペアが、実際に画像によって支持されているかどうかを判定する検証ヘッド。推論時、バインドされた領域がこの検証器を通過し、かつ親和性が閾値を超えた場合にのみ、カテゴリが放出される。これはハルシネーションに対する「ヴェト（拒否権）」として機能し、検出器によって支持されていないオブジェクトを言語モデルが主張することを防ぐ。

学習戦略: アラインメント・フック（投影、ボックス残差、および検証器）のみが学習される。重厚な知覚スタックと言語スタックは凍結されたまま維持されるため、このアプローチは非常にデータ効率が高く、「コールドスタート」設定（限られた学習データ）に適している。

3. 主な貢献

診断フレームワーク: ローカライゼーション誤差（SeeErr）とバインディング誤差（SayErr）を分離する Say-vs-See 分解を導入した。これにより、失敗の原因が検出器によるオブジェクトの見落としなのか、あるいはモデルが利用可能な領域に対して正しい意図をバインドできていないのかを独立して測定できる。
HKVLM アーキテクチャ: ローカライゼーションを凍結された検出器が厳格に所有し、バインディングは自己回帰的な座標生成や情報の欠落を伴うテキストインターフェースではなく、明示的な共有空間のアラインメントを通じて行われるグラウンディング・フレームワーク。
忠実性の目的関数: 支持する領域のないオブジェクトの名前を挙げることを明示的に罰する、知覚に基づいた制約。これは、オブジェクトのハルシネーションを直接的に標的としている。
コールドスタート学習レシピ: モノリシックなVLMのフルファインチューニングに伴う困難を回避し、小さなアラインメントモジュールのみを学習することで、強力なグラウンディング性能を実現する手法。

4. 実験結果

著者らは、凍結されたGrounding DINOと凍結されたQwen2.5-VLを用いて、RefCOCO/RefCOCO+/RefCOCOg（参照グラウンディング）およびPOPE（ハルシネーション評価）においてHKVLMを評価した。

バインディング性能 (H1): RefCOCOのスプリットにおいて、学習されたアラインメント・フックは、未学習のクロススペース・マッチング（素朴な余弦類似度）と比較して、グラウンディング精度を 50〜90倍 向上させた。バインディング精度は、ほぼゼロ（ $\le 0.005$ ）から $0.123–0.148$ へと上昇した。
忠実性とハルシネーション (H2): 忠実性のヴェトは、オブジェクトのハルシネーションを大幅に減少させた。POPEベンチマークにおいて、ハルシネーション率は $\sim 0.99$ （偶然による精度0.50に近い状態）から 0.23–0.43 に低下し、POPE精度を 0.66–0.76 まで引き上げた。極めて重要なことに、この向上はグラウンディング精度の損失（ $\le 0.01$ の差）をほとんど伴わなかった。
データ効率 (H3): フックは、わずか 200個の学習用表現 から効果的なバインディングを学習し、素朴なマッチングを46倍上回った。精度は24,000個の表現まで単調に向上し続けた。
エラー分析: プロポーザル数（ $M$ ）を50から300に増やすと、フックの再学習なしにグラウンディング精度が 19〜24% 向上した。これは、残りの誤差が主に SeeErr（検出器がオブジェクトを見落としたことによる知覚的誤差）であり、SayErr（バインディングの失敗）ではないことを裏付けており、分解の妥当性を証明している。

5. 重要性と主張

本論文は、「見えているのに言い間違える」ギャップは、根本的にはローカライゼーションと言語生成を絡み合わせることによって生じるバインディングの失敗であると主張している。これらのタスクを分離し、知覚に基づいたヴェトを強制することで、HKVLMは以下を実現する：

メカニズムの検証: 重いコンポーネントを凍結した状態でも、共有埋め込み空間において座標を生成することなく、バインディングが効果的に学習可能であることを示した。
ハルシネーションへの耐性: グラウンディングを行うだけではハルシネーションを防げないこと、そして言語的な主張を知覚的な証拠と一致させるためには、明示的な忠実性の制約が必要であることを証明した。
実用的な適応: フルファインチューニングが困難な、データが乏しい（コールドスタート）レジームにおける、推論グラウンディングタスクへのVLM適応のための実行可能な道筋を提示した。

著者らは、自らの結果が固定された凍結検出器におけるメカニズムおよびアブレーションに関する主張であることを明示している。彼らは、絶対的なローカライゼーション性能において最高水準（SOTA）を達成したと主張しているのではない（それは凍結された検出器のプロポーザル・リコールによって制限される）。むしろ、言語の意図を知覚へと結びつけるための優れた手法を提示している。今後の課題として、表現条件付きのプロポーザルによる残存する知覚誤差（SeeErr）への対処や、より詳細なリクエストのためのマルチクエリ拡張などが示唆されている。