技術要約: RoCo-ACE

問題提起

マルチモーダル大規模言語モデル（MLLM）は、デプロイ後に新しい事実的知識やドメイン固有の知識を吸収するために、更新を必要とします。しかし、標準的な知識注入戦略は、根本的な**注入・保持のトレードオフ（injection-retention trade-off）**に直面しています：

• 直接適合（SFT/LoRA）： 権威ある回答に対して直接最適化を行う手法は、注入された知識の正確性は向上させますが、フル回答の模倣やスタイルの過学習により、更新されていない挙動（例：視覚的グラウンディング、安全性、一般的な推論）に大幅なドリフトを引き起こすことがよくあります。
• 制約付き更新： 更新空間を制限する手法（例：LoRAのバリアント、零空間制約）は、ドリフトを抑えますが、特定の事実ユニットへの監督を局所化することが難しく、ターゲットとなる事実の注入不足を招くことがよくあります。
• オンライン蒸留： 固定されたターゲットではなく、モデルが生成したロールアウト（試行出力）に対して学習を行うことで、更新を現在のポリシーの近くに保ちます。しかし、**一様な参照条件付き蒸留（uniform reference-conditioned distillation）**は、粗い監督しか提供できません。これは、一般的な言い回し、ターゲットではない視覚的詳細、および回答スタイルに対して勾配質量を無差別に割り当てる一方で、参照によって支持されているトークンを過小評価し、現在のロールアウトから漏れた事実に対しては間接的な監督しか提供しません。

核心となる課題は、参照回答の全文をクローンすることを強制したり、一般的な能力を低下させたりすることなく、特定の事実的アンカーを更新するための**きめ細かな監督（fine-grained supervision）**をどのように実現するかです。

手法: RoCo-ACE

著者らは、保持を維持しながら疎な事実的内容を注入するように設計された、ロールアウト条件付きオンライン蒸留目的関数であるRoCo-ACEを提案しています。この手法は、プロンプト（$x_i$）、画像（$I_i$）、および権威ある参照回答（$a_i$）のデータセット上で動作します。各例について、学生モデル $p_\theta$ はオンポリシーのロールアウト $y_i$ を生成します。

この目的関数は、2つの補完的なコンポーネントを組み合わせたものです：

1. RoCo: ロールアウト条件付き対照オンライン蒸馏

RoCoは、学生のロールアウトに既に存在するトークンに対する監督の粒度の問題に対処します。これは、教師モデル $q_\phi$（学生の指数移動平均）を使用して、同じロールアウトのプレフィックスを以下の2つの条件下でスコアリングします：

• ベース・ビュー（$q_{base}$）： ユーザー入力と画像のみをプロンプトとする。
• 参照・ビュー（$q_{ref}$）： ユーザー入力、画像、および権威ある参照回答をプロンプトとする。

この手法は、ロールアウト内の各トークン $t$ に対して尤度対照（likelihood contrast）（$\Delta_{i,t}$）を計算します：
$$\Delta_{i,t} = \log q_{ref}(y_{i,t} | \dots) - \log q_{base}(y_{i,t} | \dots)$$
正の対照値を持つトークン（すなわち、参照が利用可能になったときに尤度が大幅に増加するトークン）は、**参照支持（reference-supported）**されていると特定されます。RoCoは、これらのトークンに対して追加の蒸留の重みを再配分し、一般的または支持されていないトークンには「フロア（最低限）」の蒸留信号のみを与えます。これにより、モデルは回答のスタイル全体を強制的に模倣することなく、特定の事実的スパンを参照に整合させることを学習できます。

2. ACE: アンカー付きクロスエントロピー

RoCoは、学生のロールアウトから漏れた事実を監督することができません。ACEは、参照回答から抽出された権威あるアンカー（例：エンティティ、日付、数値）に対して疎な教師あり修正を適用することで、このカバレッジのギャップに対処します。

• カバレッジ・スコアリング： システムは、参照内の各事実的スパン $s$ に対する学生のロールアウトのカバー率 $\rho_i(s, y_i)$ を計算します。
• 重み付き修正： 欠落している、あるいはカバー率が低いスパンには、より高い重みが与えられます。損失は、アンカー・トークンのみに対する重み付きクロスエントロピーとして計算されます：
  $$L_{ACE} = - \sum_{k \in A_i} u_{i,k} \log p_\theta(a_{i,k} | \dots)$$
  ここで、$u_{i,k}$ はアンカーの重みです。これは、フル回答をトークンレベルの模倣対象として扱うことなく、欠落している事実に対して直接的な監督を提供します。

全体的な目的関数

最終的な損失は、重み付きロールアウト蒸留と疎なアンカー修正を組み合わせたものです：
$$L = \frac{1}{|B|} \sum_{i \in B} (\lambda_{RoCo} L_{RoCo}^{(i)} + \lambda_{ACE} L_{ACE}^{(i)})$$

主な貢献

1. 監督の粒度の特定： 本論文は、一様なオンライン蒸留が、参照によって支持される事実的トークンと一般的な言い回しを区別できず、結果として不十分な注入と保持を招くことを明らかにしました。
2. RoCo-ACEフレームワーク： 以下のデュアル目的システムを導入しました：
   • RoCo: 同一ロールアウトの尤度対照を用いて参照支持トークンの重みを再設定し、オンポリシーでの事実的一致を強化します。
   • ACE: 漏れた権威ある事実に対する疎なアンカー修正を追加し、全文のクローニングを伴わずにカバレッジを確保します。
3. 実証的検証： 3つの知識注入設定（EVOKE、VP、Sci）と6つの保持ベンチマークにわたる広範な実験を通じて、RoCo-ACEが、ベースモデルおよびオンライン蒸留のベースラインに近い保持レベルを維持しながら、優れた注入された知識の正確性を達成することを実証しました。

実験結果

著者らは、SFT、LoRA、KORE、SDFT、および様々な制約付き更新手法と比較して、Qwen3-VL-8B（および付録におけるQwen3-VL-30B）を用いてRoCo-ACEを評価しました。

• 注入精度： RoCo-ACEは、すべての設定において最高の注入された知識の正確性を達成しました。EVOKEベンチマークにおいて、強力な制約ベースラインであるKORE（25.2%）や直接適合のSFT（20.1%）を上回り、**27.6%**の精度に達しました。
• 保持（Retention）： 極めて重要なことに、RoCo-ACEは、SFT（31.8%）やKORE（47.0%）よりも大幅に高く、ベースモデル（57.2%）やオンライン蒸留ベースラインのSDFT（55.1%）に匹敵するRet. Avg.（6つのベンチマークの平均保持率）**56.5%**を維持しました。
• アブレーション研究：
  • 対照的な重み付け（RoCo）を除去して一様な重みを使用した場合、注入精度が低下しました。
  • アンカー修正（ACE）を除去すると、特に漏れた事実において注入精度が低下しました。
  • フル参照のクロスエントロピー（SFT）を蒸留と共に使用すると、ACEよりも効果的に注入が進まず、保持がより深刻に低下しました。これは、疎なアンカー修正が全文の模倣よりも優れていることを裏付けています。
• 定性的分析： ケーススタディでは、RoCoが有用なオンポリシーの内容（例：「ストリートアート」、「アムステルダム」）を強調し、一方でACEが、ロールアウトが当初漏らしていた特定のアンカー（例：「STRAAT Museum」、特定の日付）を修正することを示しました。

意義と主張

本論文は、RoCo-ACEが**振る舞いのクローニング（behavior cloning）から事実的一致（factual alignment）**へと焦点を移すことで、注入・保持のトレードオフを効果的に解決することを主張しています。参照によって支持されるロールアウト・トークンの監督と、漏れたアンカーの修正を分離することで、この手法は、フル回答を振る舞いのクローニングのターゲットにすることなく、疎な事実的コンテンツを注入します。

著者らは、RoCo-ACEをパラメータ空間の制約に対する補完的なアプローチとして位置付けています。つまり、モデルが「どこで」変化できるかを制限するのではなく、更新中にモデルが「どのように」監督されるかを改善するものです。この手法は、更新が権威ある自然言語の参照を伴う設定に特化して設計されており、MLLMにおけるエンティティ、イベント、およびドメイン固有の知識注入に適しています。なお、保持については、保持される能力に関する形式的な保証を提供するものではなく、保持は保持されたベンチマーク上で経験的に評価されていることを、論文内で控えめに述べています。