Chain-of-Caption: Training-free improvement of multimodal large language model on referring expression comprehension

テクニカルサマリー：Chain-of-Caption：参照表現理解におけるマルチモーダル大規模言語モデルの学習不要な改善

問題提起
参照表現理解（Referring Expression Comprehension: REC）は、視覚と言語の学習における長年の課題であり、テキストによる記述に基づいて画像内の特定のオブジェクトを特定することを要求される。マルチモーダル大規模言語モデル（MLLM）は、RefCOCOのようなベンチマークにおいて高い精度（0.5 IoUで80%以上）を達成しているが、高いIoU閾値（>0.7）では苦戦することが多い。既存のモデルは、ターゲットとなるオブジェクトが背景にある場合、部分的に遮蔽されている場合、あるいは同じクラスのインスタンスが複数存在する場合などに失敗することがよくある。さらに、現在のアプローチは、様々なコンテキスト提供ツールを混在させており、個々のコンポーネントの具体的な貢献を分離できていないため、性能向上の源泉が不明確なままとなっている。

手法
著者らは、汎用的なMLLMの持つマルチタスク能力（グラウンデッドな記述生成、視覚的質疑応答（VQA）、および画像キャプション生成）を活用して、予測を反復的に洗練させるための学習不要のフレームワークであるChain-of-Captionを提案する。本手法は以下の段階を経て動作する。

1. コンテキスト拡張： フレームワークは、テキストおよび視覚的なコンテキストを導入する。

   • テキストコンテキスト（グラウンデッドな記述）： MLLMに対し、画像内の指定された数のオブジェクトを検出するようプロンプトを出し、オブジェクトの記述とそれに対応するバウンディングボックスの座標を含む番号付きリストを出力させる。この「グラウンデッドな記述」は、テキストクエリと視覚的シーンの間の架け橋として機能する。
   • 視覚的コンテキスト： フレームワークは、初期の予測領域の周囲で画像をクロップ（切り抜き）することでモデルの注意を集中させ、またバウンディングボックスを可視化することで空間的なガイダンスを提供する。

2. 反復的な洗練（Chain-of-Caption）：

   • 初期化： モデルは、ターゲットテキスト（$t$）に対して、初期のグラウンデッドな記述（$g$）と初期のバウンディングボックス予測（$b$）を生成する。
   • 検証ループ： モデルはVQA能力を用いて、予測された$b$で定義されるクロップ領域がターゲットの記述と一致するかどうかを検証し、バイナリの「yes」または「no」を返す。
   • 修正： 回答が「no」である場合、モデルは失敗したクロップ領域のキャプション（$c$）を生成する。このキャプションは、以前のバウンディングボックスと共にグラウンデッドな記述に追加され、コンテキストを更新するために使用される。
   • 再予測： モデルはこの豊かなコンテキストを使用して、新しいバウンディングボックス予測（$b_{CoC}$）を生成する。このプロセスは、検証が「yes」を返すか、最大試行回数に達するまで繰り返される。

主な貢献

• コンテキストツールの分析： 本論文は、テキストコンテキスト（オブジェクト記述 vs グラウンデッドな記述）および視覚的コンテキスト（クロッピング vs バウンディングボックスの描画）がRECの性能に与える個別の影響を体系的に評価している。
• 学習不要のフレームワーク： Chain-of-Captionは、プロンプトエンジニアリングとモデル固有のマルチタスク能力のみに依存し、追加のファインチューニングを行うことなくMLLMの性能を向上させる。
• 反復的なグラウンディング： 本フレームワークは、曖昧または困難なローカライゼーション・タスクに対処するために、グラウンデッドな記述と、VQAおよびキャプションを用いた自己修正ループを独自に組み合わせている。

実験結果
実験は、NVILA-8B、NVILA-15B、およびQwen2.5-7Bモデルを用い、RefCOCO、RefCOCO+、RefCOCOg、およびより難易度の高いRef-L4データセットに対して行われた。

• コンテキストの影響： 研究の結果、単純なオブジェクト記述は最小限の影響しか与えない一方で、グラウンデッドな記述は高いIoU閾値（0.7および0.9）において精度を大幅に向上させることが判明した（ただし、0.5 IoUでは性能がわずかに低下した）。クロッピングは高閾値の精度を向上させたが、低閾値の性能を低下させた。
• 性能向上： Chain-of-Captionは、ベースラインモデルに対して大幅な改善を示した。NVILA-8Bモデルにおいて、様々なIoU閾値で5%から30%の性能向上を達成した。具体的には、Ref-L4において、Acc0.7を30.28%から56.63%へ（+26.35%）、Acc0.9を2.82%から25.16%へ（+22.34%）向上させた。
• モデルのスケーリング： フレームワークは異なるモデルサイズに対しても有効であった。特筆すべきは、NVILA-15Bがベースの形態ではNVILA-8Bを下回っていたにもかかわらず、Chain-of-CaptionによってNVILA-15Bがより小さなモデルを上回ることができた点であり、これは大規模モデルにおける優れたインコンテキスト学習能力を示唆している。
• 限界： 本手法は、モデルがフォーマット指示（例：バウンディングボックスのためのJSON出力）を一貫して従う能力に依存している。著者らは、Qwen2.5-7Bがベースの形態では一貫した出力フォーマットに苦労しており、信頼性を確保するために特定のプロンプティング戦略が必要であると指摘している。

意義
本論文は、Chain-of-Captionがバウンディングボックス検出の精度、特に高いIoU閾値（>0.7）における精度を大幅に向上させ、より正確に整合したバウンディングボックスをもたらすと主張している。異なるコンテキストタイプの効果を分離することにより、著者らは、テキスト概念をバウンディングボックスの座標でグラウンディングすることが、RECを向上させるための最も効果的なメカニズムであることを示している。本研究は、既存のMLLMが、反復的なコンテキスト生成と検証を通じて自身の予測を洗練させる潜在能力を備えていることを浮き彫りにしており、再学習の計算コストをかけることなく高精度なローカライゼーションを実現する道筋を提示している。