💻 computer science

Beyond Correctness: Benchmarking and Aligning Response Behaviors in Hybrid-Thinking MLLMs

本論文は、ハイブリッド思考型MLLMの思考モードと非思考モードの間における応答パターンの系統的な不整合を明らかにする診断的ベンチマークであるPatternEvalを導入し、タスク性能を維持しながらこれらの振る舞いを整合させるためのパターン特異的なペナルティを伴う強化学習フレームワークであるPatternRLを提案する。

原著者： Xinming Wang, Weinong Wang, Hongming Yang, Yansong Lin, Zheng Ruan, Shangpin Peng, Qiming Peng, Nan Qiao, Fengyuan Lu, Guoqing Ma, Marito Li, Songyang Zhang, Saiyong Yang, Han Hu, Yonglong Tian, Xu-Ya

公開日 2026-08-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xinming Wang, Weinong Wang, Hongming Yang, Yansong Lin, Zheng Ruan, Shangpin Peng, Qiming Peng, Nan Qiao, Fengyuan Lu, Guoqing Ma, Marito Li, Songyang Zhang, Saiyong Yang, Han Hu, Yonglong Tian, Xu-Yao Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、画像を見ることができ、チャートを読み、難解なパズルを解くことができる超スマートなロボットの友人と話しているところだと想像してください。時には、そのロボットに問題をステップバイステップで解くための追加の時間を与え、「一生懸命考えて」と頼むことがあります。また別の時には、素早い答えが欲しいので、「ただ推測して」と言ったり、長い思考プロセスを経ずに直接的な回答を求めたりします。これが、テキストと画像の両方を理解できるAIシステムである「マルチモーダル大規模言語モデル（MLLM）」の世界です。科学者たちが問いかけている大きな疑問は、単に「答えが正しいか？」ということだけではありません。「ロボットは、一生懸命考えている時も、ただ推測している時も、同じように振る舞うだろうか？」ということです。もし、時間をかけて考えれば完璧な答えを出すのに、素早い回答を求められた途端に、心の内の「思考」を漏らしたり、同じことを繰り返したり、あるいは矛盾したことを言ったりするならば、それは問題です。私たちは、AIがどれだけの時間を与えられても、信頼でき、かつ礼儀正しいものであってほしいと考えています。

「Beyond Correctness: Benchmarking and Aligncing Response Behaviors in Hybrid-Thinking MLLMs」と題されたこの論文は、まさにその問題に深く切り込んでいます。研究者たちは、最も賢いAIモデルであっても、奇妙な「二重人格」を持っていることを発見しました。ゆっくりと考えることが許されるとき、彼らは冷静でプロフェッショナルな専門家のように振る舞います。しかし、速く、思考しないことを強制されると、彼らはしばしば乱れた振る舞いを始めます。具体的には、最終的な回答の中に内部の「思考プロセス」を誤って漏らしたり、同じ文章を何度も繰り返したり、同時に二つの反対のことを言ったり、あるいは実際には何の作業もしていないのに、あたかも推論しているかのように振る舞ったりするのです。

これを証明するために、チームは「PatternEval」と呼ばれる特別なテストを構築しました。これは、こうした乱れた振る舞いを捕まえるために特別に設計された「出し抜き」試験のようなものです。彼らは25種類の異なるAIモデル（Qwen、Kimi、Claudeといった有名どころを含む）を、2,415個の難解な画像とテキストのパズルを用いてテストしました。その結果は驚くべきものでした。最も高度なモデルであっても、「思考モード」と「非思考モード」の間に巨大なギャップがあることが示されました。実際、多くのモデルにおいて、速い非思考モードは、まともな会話の基本ルールに従えないことが約48%の割合で発生していましたが、思考モードははるかに整っていました。

これを修正するために、著者らは「PatternRL」と呼ばれる新しいトレーニング手法を考案しました。これは、生徒に対して数学の正解を教えるだけでなく、書き殴ったり繰り返したりせずに、いかに綺麗に書くかを教えるようなものです。彼らは、以下の4つの特定の悪い癖を見つけ出すための「審判」AI（PatternRMと呼ばれます）を訓練しました。

思考の連鎖の漏洩（Chain-of-thought leakage）：秘密の「思考」ステップを最終回答に漏らしてしまうこと。
回答の反復（Response repetition）：理由もなく同じことを二度言うこと。
論理的矛盾（Logical contradiction）：同じことに対して「はい」と「いいえ」を同時に言うこと。
演技的な推論（Performative reasoning）：実際の証拠を全く使わずに、分析しているふりをすること。

この新しいトレーニングを2つの特定のモデル（Qwen3-VL-4BおよびQwen3-VL-8B）に適用したところ、速いモードにおける乱れた振る舞いは大幅に減少し（約13〜14パーセントポイント減少）、正解を得る能力を損なうこともありませんでした。しかし、研究者たちは小さなトレードオフについても指摘しています。モデルが「整った」状態になるよう強制されることで、非常に難しい数学や論理のタスクに対する正確性がわずかに低下したのです。これは、彼らが（たとえ乱雑であっても）創造的な解決策を探求することを、制限してしまう可能性があることを示唆しています。

要約すると、この論文は、AIが問題を解けるからといって、人間と話す準備ができているとは限らないということを示唆しています。真に役に立つためには、AIは「何を」言うかだけでなく、「どのように」言うかについても訓練され、時間をかけて考えているときも、素早い回答を与えているときも、礼儀正しく一貫性を保てるようにする必要があります。

技術要約：正当性を超えて：ハイブリッド思考型MLLMにおけるレスポンス・ビヘイビアのベンチマークとアライメント

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）は、ハイブリッド思考インターフェースを備えた形で導入されることが増えています。これは、2つの異なる推論モードを提供します。一つは、熟考的思考モード（deliberative thinking mode）（推論のために追加のテスト時計算を割り当てるもの）であり、もう一つは、非思考モード（non-thinking mode）（厳格なレイテンシとトークン予算の下で直接的な回答を返すもの）です。これらのモードは推論予算こそ異なりますが、ユーザー向けの品質基準については同一であることを期待されています。

本論文は、決定的なギャップを特定しています。「正当性（Correctness）」だけでは、レスポンスの品質を特徴付けるには不十分であるという点です。モデルは非思考モードにおいて事実として正しい回答を生成できる一方で、内部的な推論トレースの漏洩、内容の繰り返し、論理的な矛盾、あるいは情報利得のない見せかけの推論（performative reasoning）といった、望ましくないレスポンス・ビヘイビア（応答挙動）を示すことがあります。著者らは、これら2つのモード間における、ユーザーに可視なこれらの挙動の相違を**レスポンス・パターン・ミスアライメント（response-pattern misalignment）**と呼んでいます。現在の最適化戦略は、多くの場合、回答の正当性や効率性を優先しており、提供されるレスポンスの「形式」を制約することには失敗しています。その結果、非思考インターフェースが思考型インターフェースよりも大幅に高い失敗率を示すという、系統的なミスアライメントが生じています。

2. 手法

2.1 PatternEval：失敗を豊富に含んだ診断ベンチマーク

このミスアライメントを定量化するために、著者らは3つのタスクファミリーにわたる2,415個のマルチモーダル・プロンプトで構成されるベンチマーク、PatternEvalを導入しています。

視覚的知覚とグラウンディング (VG): OOD（分布外）知覚、コンテンツ認識、グラウンディング、および事実性を含む。
OCRおよび構造化画像理解 (OS): OCRおよびチャート理解を含む。
マルチモーダル知識推論 (KR): STEM、知識、および一般的な推論タスクを含む。

PatternEvalは、以下の4つの反復的なレスポンス・パターン失敗をストレス・テストするように特別に構築されています。

思考プロセス（CoT）の漏洩 (CoT Leakage): 最終的なユーザー可視の回答の中に、内部プロセス・トレース、ドラフト分析、または思考マーカーが現れること。
レスポンスの繰り返し (Response Repetition - Rep): 文章、意味的内容、または構造の不要な繰り返し。
論理的矛盾 (Logical Contradiction - Con): 同一のレスポンス内での相互に互換性のない主張。
見せかけの推論 (Performative Reasoning - PR): 情報利得をもたらさない、サポートされていない推論のラッパーや分析。

評価プロトコル:

判定者: 検証器としてのジャッジ（Qwen3-Max）がタスクの正当性（ $c$ ）を評価し、パターン・ジャッジ（画像アクセスを持つSeed-2.0-Pro）が4つの失敗タイプに対するバイナリラベル（ $b_{cot}, b_{rep}, b_{con}, b_{pr}$ ）を割り当てます。
指標: ベンチマークは、**正確度（Accuracy - $Acc$）と、少なくとも一つの失敗パターンを示すレスポンスの割合として定義されるトリガー率（Trigger Rate - $Trigger $）**を報告します。モード間の差は$ \Delta_{pat} = Trigger_{NT} - Trigger_{T}$ として測定されます。

2.2 PatternRMとPatternRL：強化学習によるアライメント

特定されたミスアライメントに対処するため、著者らはポストトレーニング・フレームワークを提案しています。

PatternRM (報酬モデル): 57,578個の注釈付きインスタンスを用いた教師あり微調整（SFT）を通じて訓練された特化型報酬モデルです。これは生成されたテキストに基づき、4つの失敗ラベルを予測します（効率化のためテキストのみの入力を使用）。これは、人間によるパターン・ジャッジを近似するように訓練されています。
PatternRL (強化学習): 報酬関数にパターン固有のペナルティを組み込んだ方策最適化手法です。
- 報酬設計: 最終的な報酬 $r$ は、正当性のための検証器報酬（ $s_{ver}$ ）と補助的なパターン報酬（ $s_{pat}$ ）を組み合わせたものです。
- $s_{pat} = -z \cdot \min(0.1, \sum w_p \hat{b}^p_{RM})$ 。ここで、 $w$ は各失敗タイプに対する重みです（CoTとRepには高く、ConとPRには低く設定）。
- この設計により、誤った回答にはゼロの報酬が与えられる一方、正しい回答であっても望ましくないパターンを示す場合にはペナルティが課されます。ただし、主要な正当性の目的を上書きすることはありません。

3. 主な結果

3.1 ベンチマークの知見 (PatternEval)

25のモデル構成（Qwen, Kimi, Seed, Claude, Mimo, および GPT ファミリーを含む）にわたる評価により、以下が明らかになりました。

系統的なミスアライメント: 非思考推論は、思考推論よりも一貫して高い失敗率を示します。すべてのモデルにおいて差（ $\Delta_{pat}$ ）は正であり、一部の最先端モデルでは、Kimi-K2.6のように48.64パーセントポイントもの差を示すものもあります。
支配的な失敗モード: CoTの漏洩とレスポンスの繰り返しが最も頻繁に見られる失敗であり、特に非思考モードにおいて顕著です。
能力 vs アライメント: モデルのスケールを拡大すること（例：Qwen3.5シリーズにおける4Bから397Bへの拡大）は、タスクの正確度を向上させますが、クロスモードのTriggerの差を一様に減少させることはありません。大規模なモデルであっても、差は依然として相当なもの（21〜26パーセントポイント）として残ります。
長さの相関: レスポンスの長さとTrigger率の間には強い正の相関があります（思考モードで $r=0.84$ 、非思考モードで $r=0.64$ ）。誤ったレスポンスは、一般的に正解よりも長く、失敗しやすい傾向にあります。

3.2 ポストトレーニングの結果 (PatternRL)

Qwen3-VL-4BおよびQwen3-VL-8Bを用いた実験により、以下が示されました。

失敗の削減: PatternRLは、正当性のみを重視したベースライン（BaseRL）と比較して、非思考のTrigger率を大幅に減少させます。
- Qwen3-VL-4B: Triggerを13.08パーセントポイント減少。
- Qwen3-VL-8B: Triggerを14.35パーセントポイント減少。
正確度のトレードオフ: PatternRLは、8Bモデルにおいてベースラインに対して集約された正確度を維持しますが、4Bモデルのように数学や論理タスクにおいて正確度がわずかに低下するなど、軽微なトレードオフが生じます。
汎化性能: この手法は、異なるモードのために個別のモデルを必要とすることなく、多様なタスクファミリー（VG, OS, KR）にわたってレスポンス・パターンの失敗を効果的に軽減します。

4. 貢献

レスポンス・パターン・アライメントの定式化: 本論文は、レスポンス・パターン・アライメントを、回答の正当性に補完的な要件として定義し、ユーザーに可視な挙動が推論モード間で一貫していなければならないことを強調しています。
PatternEval ベンチマーク: ハイブリッド思考型インターフェース下での4つの特定のユーザー可視の失敗をストレス・テストする、失敗を豊富に含んだ診断セットの導入。これにより、最先端のモデルにおける一貫したミスアライメントのギャップを明らかにしました。
PatternRM および PatternRL フレームワークの開発: レスポンス・レベルの報酬モデルと、レスポンス・パターンの失敗に明示的にペナルティを課す強化学習戦略の開発。このアプローチは、タスクのパフォーマンスを概ね維持しながら、ミスアライメントを軽減することに成功しています。

5. 意義と主張

本論文は、制御可能な推論の努力が、不安定なレスポンス・ビヘイビアという代償を払うものであってはならないと主張しています。強力なタスク性能は、異なる推論インターフェース間で安定したレスポンス・パターンを保証するものではないことを実証しています。PatternEvalとPatternRLを導入することで、著者らは、ハイブリッド思考型MLLMを評価し、非思考モードが単に正しいだけでなく、一貫性があり、簡潔で、意図しないプロセス記述を含まないレスポンスを提供できるようにするための実践的なフレームワークを提供しています。

著者らは、PatternRLは失敗を減少させるものの、それらを完全に排除するものではないと謙虚に述べており、根本的な改善には、RL（強化学習）のみならず、より早い段階のトレーニング（例：SFT）において、より高品質な監督データと制約を適用する必要があることを示唆しています。さらに、容量依存のトレードオフも観察されており、より小さなモデルの方が、パターンを考慮した最適化によって課される制約の影響を受けやすいことが示されています。