🤖 AI

Teaching MLLMs to Say No: Generalized Referring Expression Comprehension via Refusal Calibrated GRPO

本論文は、マルチモーダル大規模言語モデルが、既存のターゲットに対する位置特定精度を損なうことなく、汎用的な参照表現理解において存在しない物体を効果的に拒絶することを可能にする強化学習戦略である、Refusal-Calibrated Group Relative Policy Optimization (RC-GRPO) を提案する。

原著者： Xuzheng Yang, Jun Ling, Tao Huang, Caiyan Qin, Peng Wang

公開日 2026-08-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xuzheng Yang, Jun Ling, Tao Huang, Caiyan Qin, Peng Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたがロボットに、人間と一緒に「アイ・スパイ（目当てのものを当てるゲーム）」をする方法を教えていると想像してください。人間が絵を指さして、「赤いボールを探して」と言います。もし赤いボールがあれば、ロボットはそれを正確に指さすべきです。しかし、もし人間が「赤いボールを探して」と言ったのに、実際の絵には青い猫しか映っていなかったらどうでしょう？賢いロボットなら、「ここには赤いボールは見当たりません。存在しません」と言うべきです。しかし、今日の非常にスマートなコンピューターの脳（マルチモーダル大規模言語モデルと呼ばれます）の多くは、間違いを恐れるあまり、やる気だけが空回りしている熱心な生徒のようなものです。彼らは答えを出したくてたまらないので、赤いボールが見当たらないときでも、無理やり推測してしまい、青い猫を指さしながら「これです！」と言い張ってしまうのです。これは「ハルシネーション（幻覚）」、つまり事実ではないことをでっち上げることと呼ばれます。

この論文は、「汎用的な参照表現理解（Generalized Referring Expression Comprehension）」と呼ばれる、この問題の非常にトリッキーな側面に取り組んでいます。これは、もっと簡単に言えば、「ロボットは、対象物があればそれを見つけられるか、そしてもしなければ正直に『見えません』と言えるか？」ということです。研究者たちは、これらのロボットは物を見つけることは得意ですが、物がないことを認めるのが非常に苦手であることを見出しました。単に「ノー」と言うように訓練するだけでは、ロボットは臆病になりすぎてしまい、実際に存在する物まで見つけることができなくなってしまいます。チームは、ロボットが正しい時には「イエス」と言う能力を忘れることなく、本当に必要な時だけ「ノー」と言えるように教える方法を必要としていました。

著者らは、**RC-GRPO（Refusal-Calibrated Group Relative Policy Optimization）**と呼ばれる、巧妙で新しい学習手法を提案しています。ロボットの学習プロセスを「ホット・アンド・コールド（熱いか冷たいか、正解に近いかどうかを当てるゲーム）」のようなものだと考えてください。通常、ロボットのスコアは、その推測がどれくらい正解に近いかに基づいて決まります。しかし、対象物が存在しない場合、ロボットは推測し続けてしまうため、正しい答えを学ぶことができません。研究者たちの最初のトリックは、練習中に、たとえロボットが推測したくても、強制的に「なし、見えません」と言わせることでした。これにより、対象物が欠けている時に正しい答えを言ったロボットに対して、明確な「報酬」を与えることができました。

しかし、彼らは、単にロボットが「なし」と言うことを褒めるだけでは、対象物が存在する場合であっても、ロボットが何に対しても「なし」と言うようになってしまうことに気づきました。これを修正するために、彼らは特別なルールを追加しました。もしロボットが、実際には対象物が存在しているのに「なし」と言った場合、大きなペナルティを与えるというルールです。これは、ロボットにこう伝えているようなものです。「対象物がそこにない時に『見えない』と言うのは構わないけれど、目の前にあるのに『見えない』と言うなら、ポイントを没収するよ」。彼らはさらに、ロボットがなぜ対象物が見当たらないと考えているのかを説明しなければならない（例：「青い猫しかいないので、赤いボールは見えません」）という第2段階も追加しました。これにより、ロボットが単にパターンを暗記するのではなく、実際に画像を理解するように仕向けています。

結果は、この手法が非常にうまく機能することを示しています。3つの異なる困難なテストで検証したところ、ロボットは物を見つける能力と、存在しない場合に推測を拒否する能力の両方において、格段に向上しました。例えば、あるテストでは、彼らの手法によってロボットの総合的な精度が45%から62%に向上し、他の高度な手法を大幅に上回りました。この論文は、このアプローチがロボットに完璧なバランスをもたらすことを示唆しています。つまり、存在しない物体に対して架空の場所をでっち上げることを止めつつ、実在するものを探す能力を失わないようにしているのです。これは、単に賢いだけでなく、自分が見ているもの、そして見ていないものについても正直になれるAIの実現に向けた一歩です。

技術要約：拒絶キャリブレーションGRPOによる、MLLMへの「拒絶」の学習

問題提起

本論文は、未開拓の課題である**汎用的な参照表現理解（Generalized Referring Expression Comprehension: GREC）**に取り組んでいる。従来の参照表現理解（REC）は、対象となるオブジェクトが常に存在することを前提としているが、GRECとは、マルチモーダル大規模言語モデル（MLLM）に対して以下の2つの異なるタスクを実行させることを要求するものである：

ポジティブなローカライゼーション（Positive Localization）： テキストによる表現で記述されたオブジェクトが画像内に存在する場合、そのオブジェクトを正確に特定すること。
ネガティブな拒絶（Negative Refusal）： 記述されたオブジェクトが存在しない場合、あるいは属性や関係性に不一致がある場合（例：「茶色の馬」の画像における「白い馬」の記述）に、正しく識別し、ローカライゼーションを拒絶すること。

現在のMLLMはローカライゼーションには長けているが、拒絶において失敗することが多い。大規模な事前学習においてネガティブサンプルが欠如しているため、これらのモデルは「なし（None）」という出力を出す代わりに、存在しないオブジェクトに対してバウンディングボックスを生成してしまう（幻覚/ハルシネーション）傾向がある。SFT（教師あり微調整）や、DPO（直接選好最適化）およびGRPO（グループ相対方策最適化）のような標準的な強化学習（RL）といった既存のポストトレーニング手法は、拒絶率は向上させるものの、ポジティブなサンプルに対するローカライゼーション精度を著しく低下させるという課題がある。これは、モデルが「ノー」と言うことだけに特化してしまい、実用的なアプリケーションに必要な両方の能力を損なってしまうという、最適化の不均衡を生み出す。

手法：拒絶キャリブレーションGRPO (RC-GRPO)

著者らは、拒絶能力をキャリブレーションしつつ、核となるローカライゼーション能力を維持するように設計された、2段階の強化学習フレームワークであるRC-GRPOを提案する。このフレームワークはGRPOをベースとしているが、GREC特有の課題に対処するための特定のメカニメントを導入している。

1. 学習データの構築
本手法では、言語的な摂動（属性や関係性の変更）および画像編集を通じて生成された、難易度の高いネガティブサンプルを含む細粒度ベンチマークFineCops-Refを利用する。学習セットは、2,000個のバランスの取れたサンプル（ポジティブ1,000個、ネガティブ1,000個）で構成される。

2. ステージI：対照的報酬による拒絶キャリブレーション
このステージの目的は、ポジティブな性能を崩壊させることなく、基本的な拒絶能力を確立すること（0から1への遷移）である。ここでは3つの主要なコンポーネントを用いる：

強制拒絶ロールアウト（Forced-Rejection Rollout）： ベースとなるMLLMは学習初期において「None」という出力を探索することが稀であるため、標準的なGRPOではネガティブサンプルに対して有効なアドバンテージを計算できない（すべてのロールアウトがバウンディングボックスを出力してしまうため）。RC-GRPOは、モデルが自然に「None」を生成できない場合に、制約付きビームサーチを通じて「None」の出力を強制する。これにより、ネガティブサンプルに対する有効なアドバンテージ推定を保証する。
対照的報酬（Contrastive Reward）： ポジティブなサンプルに対する過剰な拒絶を罰するように設計された報酬関数を用いる。
- ポジティブなサンプルの場合：正しいバウンディングボックス（IoU $\ge$ 0.5）は報酬1、「None」の予測は報酬-1を与える。
- ネガティブなサンプルの場合：「None」の予測は報酬1、バウンディングボックスの出力は報酬0を与える。
  この構造により、ポジティブなケースにおいて不適切なボックスよりも「拒絶」の方が望ましくないことをモデルに教える。
ネガティブ・アドバンテージ・スケーリング（Negative Advantage Scaling）： モデルが「None」と言うという容易なタスクに過学習するのを防ぐため、ネガティブサンプルのアドバンテージを係数 $\alpha \in (0, 1]$ によってスケールダウンする。これにより、2種類のサンプルの間の最適化ダイナミクスを調整する。

3. ステージII：理由に基づいた強化学習（Reason-Guided Reinforcement）
拒絶が表面的なパターンマッチングではなく、真の意味理解に基づいていることを確実にするため、第2段階ではモデルに拒絶の理由を説明させる。

根拠報酬（Rationale Reward）： モデルに対し、なぜオブジェクトが存在しないのかを説明するように促す。ルールベースの検証システムを用いて、生成された説明が特定の意味的摂動（例：「後ろ」が「前」に変更されたことなど）と一致しているかを評価する。
報酬の定式化： 報酬には、正しい拒絶に対するベース報酬に加え、特定の不一致（誤ったパターン）および元の有効な記述（元のパターン）を正しく特定したことに対する高密度な報酬が含まれる。これにより、因果関係の理解と解釈可能性を強化する。

主な貢献

タスクの定義： 本研究はGRECタスクを正式に研究し、実世界の展開においてローカライゼーションの精度と拒絶の信頼性のバランスをとることの重要性を強調した。
RC-GRPOフレームワーク： 拒絶キャリブレーション（有効な勾配信号のために「None」の出力を強制する）と、ポジティブ・サンプル・ペナルティ（対照的報酬）を導入し、拒絶とローカライゼーションを共同で最適化する、キャリブレーションされたRLフレームワークを提案した。
推論の強化： 拒絶を因果的推論に結びつける理由生成ステージを導入し、「ノー」という決定の信頼性と解釈可能性の両方を向上させた。
実証的検証： 広範な実験により、RC-GRPOがSFT、DPO、および他のRLベースラインと比較して、ポジティブサンプルとネガティブサンプルの性能において優れたトレードオフを実現することを証明した。

実験結果

実験は3つのベンチマーク（FineCops-Ref、gRefCOCO、D3）で行われた。

性能向上： gRefCOCOにおいて、Qwen2.5-VL-7Bに適用されたRC-GRPOは、適合率（Precision: Pr）を38.2%（ベース）から、RC-GRPO-Iでは62.8%、RC-GRPO-IIでは**64.9%**へと向上させ、専門モデルやROD-MLLM、CRSといった既存のMLLMベースラインを大幅に上回った。
バランスの取れたトレードオフ： 高い拒絶精度（N-acc）を達成する一方でポジティブなローカライゼーション（P-acc）に壊滅的な低下を招くSFTとは異なり、RC-GR口は高いP-accを維持しながら堅牢なN-accを達成した。
パレート境界： P-accとN-accのトレードオフ分析において、RC-GRPOは高ユーティリティ領域において優れたパレート境界を確立し、モデルがグラウンディング能力を犠牲にして拒絶を行う「ユーティリティ崩壊ゾーン」を回避した。
汎用性： 一般的なマルチモーダルベンチマーク（MME、MMBench、POPE）において性能の低下は無視できる程度であり、拒絶ロジックが一般的な視覚理解を損なったり、新たな幻覚を誘発したりしないことが示された。
アブレーション研究： 強制拒絶、対照的報酬、またはアドバンテージ・スケーリングのいずれかのコンポーネントを除去すると、サブオプティマル（最適ではない）な性能となった。これは、フルフレームワークの必要性を裏付けている。

意義と主張

本論文は、RC-GRPOがGRECのためのMLLM訓練における固有の最適化の不均衡を解決することを主張している。キャリブレーションされた強化学習を通じて因果的な拒絶ロジックを内面化することで、この手法は、コアとなるローカライゼーション能力を犠牲にすることなく、モデルが確実に「ノー」と言えるようにする。著者らは、このアプローチが単なる閾値設定やアーキテクチャの変更を超え、オブジェクトが不在であったり不一致であったりする場合でも、GRECを実世界のシナリオにおいて大幅に実用的なものにする、スケーラブルなポストトレーニング・ソリューションを提供すると主張している。本研究は、モデルが単に拒絶するのではなく、「いつ」「なぜ」拒絶すべきかを学習することを強調している。