技術的概要：ビジョン・ランゲージモデルにおける文脈化された視覚的パーソナライゼーション

1. 問題定義：文脈化された視覚的パーソナライゼーション

ビジョン・ランゲージモデル（VLM）の最近の進展にもかかわらず、既存のアプローチは、ユーザーの特定の視覚的履歴に基づいた応答を生成することに苦慮している。現在のモデルは、新しい画像内の視覚的入力（例えば、新しい画像に写っている人物）を、蓄積されたユーザー固有の文脈（例えば、その人物の習慣や場所を記述した過去の対話）と関連付けることに失敗することが多い。

著者らは、この課題を文脈化された視覚的パーソナライゼーションとして形式化している。このパラダイムは、VLM に以下のことを要求する：

1. 新しいクエリ画像内の視覚的概念を認識する。
2. 画像とテキストが交互に配置された対話を含む文脈から、対応するユーザー固有の経験を検索する。
3. 検索されたこの文脈を統合し、パーソナライズされた応答を生成する。

先行研究の決定的な欠点は、「テキストのショートカット」への依存にある。すなわち、モデルは視覚的実体を真に認識したり、視覚的証拠に基づいて応答を根拠付けたりすることなく、対話内のキーワードを一致させることで質問に答える。さらに、既存の手法は、名前などの単純な属性のパーソナライゼーションに焦点を当てることが多く、微細な視覚的およびテキスト的手がかりを含む複雑なエピソード的記憶には対応していない。

2. 手法：CoViP フレームワーク

これらの限界に対処するため、著者らはCoViP（画像キャプション化による文脈化された視覚的パーソナライゼーション）を提案する。これは、パーソナライズされた画像キャプション化を、文脈化された視覚的パーソナライゼーションの基盤プロセスを学習するための代理タスクとして扱う統合フレームワークである。

2.1. 核心的洞察

著者らは、多様なパーソナライゼーションタスクが、過去のユーザー経験の文脈内でクエリ画像を解釈するという共通の基盤メカニズムを共有していると仮定する。彼らは VLM の内部プロセスを 2 つの段階に分解する：

• 文脈的視覚エンコーダ（$h_\theta$）：クエリ画像と文脈をパーソナライズされた潜在表現に根拠付ける。
• タスク固有のジェネレータ（$g_\theta$）：潜在表現と特定のプロンプトに基づいて最終的な応答を生成する。

$h_\theta$ はタスク間で共有されるため、著者らは、モデルをパーソナライズされた画像キャプション（これは直接 $h_\theta$ を反映する）を生成するように最適化することが、すべての下流タスクにおけるパーソナライゼーション能力を包括的に向上させると主張する。

2.2. パーソナライズされた画像キャプション化ベンチマーク

この能力を訓練および評価するために、著者らは挑戦的なベンチマークを構築した：

• データセット構築：生成型 VLM を利用し、2.8K の訓練サンプルと 1.3K のテストサンプルを合成した。これらには、1〜4 つの概念（人間、物体、動物）を含むクエリ画像と、肯定的（関連する）および否定的（撹乱する）な対話サンプルが交互に配置された文脈が含まれる。
• 評価プロトコル（CapEval-QAs）：モデルが視覚的認識を迂回するのを防ぐため、著者らは多肢選択式質問応答（MCQA）プロービングプロトコルを導入した。外部の判定モデルは、生成されたキャプションが、正の文脈対話のみから導出された事実的質問に答えるのに十分な証拠を含んでいるかどうかを評価する。
  • 正の精度（$Acc^+$）：キャプションが関連する概念に関する質問に正しく答えているかを測定する。
  • 負の精度（$Acc^-$）：キャプションが、無関係（負）の概念に関する質問に対して正しく「判断できない」を選択（棄権）するかどうかを測定する。

2.3. 強化学習（RL）による事後訓練

このフレームワークは、パーソナライズされたキャプション化のために VLM を最適化するための RL ベースの事後訓練戦略を採用する：

• 検証可能な報酬（VR）：報酬関数 $r(s, x, c)$ は以下に分解される：
  • 認識報酬（$r_{vis}$）：文脈からどの概念画像がクエリ画像に現れているかをモデルが正しく識別する能力を測定する F1 ベースのスコア。
  • 検索報酬（$r_{caps}$）：モデルが正の MCQA に正しく答えつつ、負の MCQA での幻覚を回避することを促す対照的報酬。
• 最適化：著者らは、長文生成における安定した訓練を確保するために、期待される検証可能な報酬を最大化するGSPO（Group Sequence Policy Optimization）アルゴリズムを利用する。

2.4. キャプション拡張生成（CAG）

推論時、CoViP は**キャプション拡張生成（CAG）**を導入する。モデルは下流の応答を直接生成するのではなく、まず画像と文脈に条件付けられた記述的キャプション $s$ を生成する。このキャプションは、最終的なパーソナライズされた応答生成を導くための明示的な条件付け信号として再利用される。これにより、モデルはキャプション化段階で捕捉された微細な詳細を活用できる。

2.5. 診断的評価

一般化を厳密にテストし、ショートカットを排除するため、著者らは 3 つの診断的下流タスクを設計した：

1. 最終確認検出（LSD）：複数の相互作用の履歴から、クエリ画像に写っている人物との最も最近の遭遇を特定することを要求する。
2. 最終行動想起（LAR）：最も最近の遭遇中に実行された特定の行動を想起することを要求する。
3. 指示トリガー想起（ITR）：視覚的な人物の存在によってトリガーされる特定のキーワード指示を想起する能動的パーソナライゼーションを評価する。これは、現在のターンで明示的に要求されていなくても機能する。

3. 主要な結果

ベンチマークおよび診断タスク両方における広範な実験は、CoViP の有効性を示している：

• ベンチマーク性能：CoViP は、既存のオープンソース（例：Qwen3-VL）およびプロプライエタリ（例：GPT-4o、Gemini-3.0 Pro）の VLM を大幅に上回る。RL ベースの事後訓練により、さまざまな概念の複雑さにおいて、正の精度（$Acc^+$）で平均約**40%**の性能向上が得られる。
• 下流タスクへの一般化：CoViP は、すべての診断タスク（LSD、LAR、ITR）で性能を一貫して向上させる。特に、プロプライエタリモデルは不安定な動作やタスク固有の向上を示すのに対し、CoViP は包括的な改善を提供する。
• CAG の影響：CAG を適用することは、特に CoViP において、生成されたキャプションに捕捉された詳細な文脈情報を活用することで、性能をさらに増幅する。対照的に、特定の事後訓練なしのベースラインに CAG を適用すると、性能が低下することが多く、キャプション化の前訓練段階の必要性を浮き彫りにしている。
• アブレーション研究：結果は、報酬の認識（$r_{vis}$）および検索（$r_{caps}$）の両方のコンポーネントが不可欠であることを確認する。さらに、GSPO の使用と、反復的な出力を防ぐための劣化フィルタリングは、訓練の安定性と性能にとって決定的である。

4. 意義と貢献

本論文は以下の貢献を主張する：

1. 新しいパラダイム：文脈化された視覚的パーソナライゼーションを形式化し、単純な属性検索から、ユーザー固有のエピソード的履歴に基づいた視覚的理解の根拠付けへと焦点を移行させる。
2. 統合フレームワーク（CoViP）：パーソナライズされた画像キャプション化、RL ベースの事後訓練、キャプション拡張生成を通じてこの概念を実装するフレームワークを導入し、単一の代理タスクが多様な下流能力を強化し得ることを実証する。
3. 診断的評価：テキストのショートカットを明示的に排除する診断タスクと評価プロトコル（CapEval-QAs）のスイートを提案し、既存のベースラインの限界を体系的に分析する方法を提供する。
4. 実証的検証：既存の VLM は堅牢な文脈的根拠付けを欠いており、CoViP は一貫した大幅な改善を達成することを示す。これにより、VLM における堅牢で一般化可能なパーソナライゼーションへの基礎的な一歩として位置づけられる。

著者らは、ベンチマークが合成データに依存しているものの、厳密な診断的基盤を確立していると結論づける。彼らは、堅牢なパーソナライゼーションを達成するためには、下流タスクへの適応に先立ち、パーソナライズされた画像キャプション化に焦点を当てた事後訓練段階が不可欠であると強調している。