Where Grounding Accuracy Lives on the IoU Curve: Label-Free Inference-Time Boundary Refinement

問題提起

視覚言語モデル（VLM）は、自然言語表現に対して正しい対象物を特定することには成功する場合が多いものの、返されるバウンディングボックスが不正確であるという課題を抱えています。この不正確さは、小さな物体、長い表現、あるいはモデルの有効な視覚入力フロアを下回る解像度の画像において特に顕著になります。粗いボックスは寛容な閾値（例：Acc@0.5）を満たすことはあっても、より厳格な閾値（例：Acc@0.9）では失敗することが多く、モデルの真の局在化品質を隠蔽してしまいます。

標準的な解決策としては、専用のグラウンディング・ヘッドの学習、外部検出器の追加、あるいはすべての画像に対して計算量を増やすといった手法がありますが、これらは比較のベースラインを変更したり、デプロイメントにおける多大なコストを発生させたりします。本論文は、より限定的かつ運用上の問いを投げかけます。「凍結された、直接回答を行うVLMは、推論時に正解ラベルにアクセスすることなく、自身の最初の予測を用いて、いつ二度目の局所的な注視を行う価値があるかを判断できるか？」

手法：ラベルフリー精密化（LFPR）

著者は、モデル自身の出力と画像の幾何学的情報のみを用いて、モデルの初期予測を精緻化する、ラベルフリーかつ推論のみのパイプラインであるLFPRを提案しています。この手順は、主に以下の3つのステージで構成されます。

1. ラベルフリー解像度ルーティング（Label-Free Resolution Routing）:

   • 現行モデルの予測ボックス（$b_0$）をピクセル座標に変換します。
   • ボックスの面積の平方根（$s = \sqrt{wh}$）に基づいて、サイズバケットを割り当てます。
   • 予測値の $s < 128$ ピクセル（「小型」バケット）の場合、より高いピクセル予算（4,194,304 ピクセル）を用いた、フルイメージでの二度目の推論を行うようフラグを立てます。その他の行は、デフォルト解像度の回答を維持します。
   • 極めて重要な点として、このルーティングの決定は正解（Ground Truth）ではなく、予測されたボックスのみに基づいています。

2. 局所的再グラウンディング（コンテキスト・クロップ）:

   • フラグが立てられた行に対して、現行のボックスの周囲にスケール因子 $\gamma = 2.0$ を用いてコンテキスト・クロップを生成します。
   • 凍結されたVLMに対し、このクロップ内での表現の特定を促し、クロップに正規化された座標を出力させます。
   • これらの座標を元の画像空間にマッピングし、候補となるボックス（$b_c$）を生成します。

3. 幾何学的ガードと保守的な融合（Geometric Guards and Conservative Fusion）:

   • 候補ボックスは、以下の3つの幾何学的ガードを通過した場合のみ採用されます。
     1. ズームの一貫性（Zoom Consistency）: 候補の中心と現行の中心の間のユークリッド距離（クロップ座標系において）が $\le 0.35$ であること。
     2. IoUの重なり（IoU Overlap）: 候補と現行のIoUが $\ge 0.25$ であること。
     3. 面積比（Area Ratio）: 候補の面積と現行の面積の比が $[0.5, 2.0]$ の範囲内であること。
   • すべてのガードを通過した場合、最終的な予測は現行と候補の中間点（座標ごとの中間値）となります。いずれかのガードに失敗した場合、現行の予測が保持されます。
   • この融合戦略は、ノイズの多い二度目の回答が強力な最初の回答を置き換えてしまうことを防ぐものであり、実行前に選択された固定の凸結合として機能します。

主な貢献

1. ラベルフリーかつ推論のみのパイプライン: 著者は、受け入れ/拒否の決定が、モデル自身の出力から計算された幾何学情報のみから導き出される精緻化プロセスを定式化しました。これにより、重みの更新を行うことなく、凍結された汎用モデル、2つの公開された特化型モデル、および将来的なベンチマークを改善できます。
2. 対象選択と境界配置の分離可能性: 本論文は、対象の選択と境界の精密な配置が、IoU閾値軸に沿ってトレードオフの関係にある、部分的に分離可能な能力であることを示しています。寛容な閾値（Acc@0.5）に最適化されたシステムは、厳格な閾値（Acc@0.9）では性能が悪化することがよくあります。単一の閾値指標は、局在化品質のランキングを逆転させることがあります。
3. コンポーネントの分解と「荷重を担う」ガード: 同一行の分解を通じて、著者は以下を示しました。
   • 解像度ルーティングは、厳格なIoU（Acc@0.9）の向上を牽引します。
   • クロップ再グラウンディングは境界の精度を向上させますが、劣化を防ぐためにガードを必要とします。
   • 幾何学的ガードは「荷重を担う（load-bearing）」要素です。これを取り除くと、システムはすべての指標において現行モデルを下回る結果となり、ガードが単なるトレードオフではなく、不可欠なフィルターであることを証明しています。
   • 中間点融合は、Acc@0.5における最大の利得を得るために、厳格なIoUの精度をわずかに犠牲にします。

実験結果

研究では、3つのエビデンス層においてLFPRを評価しています。

• 遡及的分析（Ref-L4）: 31,921件の表現において、LFPRは凍結されたQwen3-VL-8Bのベースラインを、平均精度（mAcc0.5:0.95）において72.947%から76.013%へと向上させました。Acc@0.5は88.531%から89.725%へ上昇し、Acc@0.75およびAcc@0.9においても有意な利得が見られました。
• 凍結されたクロスデータセット転移（RefCOCOファミリー）: 再チューニングなしでRefCOCO/RefCOCO+/RefCOCOgにわたる30,969件の表現に適用したところ、すべてのデータセットにおいてAcc@0.5（+0.817）およびmAcc（+0.645）が向上しました。Acc@0.9は全体として統計的に変化しておらず、これはルーティングによる厳格なIoUの利得が、Acc@0.5を保護する保守的な融合/ガードによって相殺されたためです。
• 前向きな確認（Flickr30K Entities）: 画像が重複しないテストセット（14,481行）において、LFPRはすべてのエンドポイントを改善しました（mAcc +0.973, Acc@0.9 +1.022）。シングルボックス・バリアントでは、利得はさらに強まりました（mAcc +2.575, Acc@0.9 +3.689）。
• 特化型モデルとの比較: 公開されているグラウンディング特化型モデル（EGM-4BおよびEGM-8B）に適用した際、LFPRは報告されているすべてのエンドポイントを改善しました。特筆すべきは、8BモデルのAcc@0.9を+6.716ポイント向上させ、厳格な閾値において4Bモデルとの差を縮めつつ、Acc@0.5の利得を維持したことです。

意義と主張

本論文は、LFPRは強力なグラウンディングモデルの代替ではなく、補完であると控えめに主張しています。その主な意義は、以下を実証したことにあります。

• 対象の選択と境界の精度は異なる能力であり、推論時のルーティングと精緻化を通じて個別に最適化できること。
• 単一の閾値による報告は不十分であること: システムはAcc@0.5では優れているように見えても、厳格な局在化品質においては劣っている場合があります。著者は、完全なIoU閾値プロファイルの報告を推奨しています。
• 幾何学的ガードは不可欠であること: 「自己修正の蜃気楼」（モデルが無条件に回答を修正することで性能を低下させる現象）は、非学習型の停止規則として機能する幾何学的ガードによって回避されます。
• コスト効率: この手法は、オブジェクトのサイズに基づく推論リソースのインテリジェントな割り当てにより、ベースラインの約2倍のレイテンシでこれらの利得を実現しています。これは、新しい教師ありデータやアーキテクチャの変更を必要とせず、既存の学習と組み合わせることが可能です。

著者は、Ref-L4の結果が遡及的であり、比較がクロスプロトコルであることを踏まえ、凍結されたモデル自体の新しいSOTA（最先端）状態を主張することを明示的に避けています。代わりに、本研究の貢献は、モデル自身の不確実性（オブジェクトのサイズによって代用）に基づいて推論リソースを賢明に配分することで、既存のモデルからさらなる精度を引き出すことができる**「凍結されたオペレーター」**の提示にあるとしています。