Diversity-Enhanced Reasoning for Subjective Questions

本論文は、主観的推論タスクにおいて多様な視点とトークンレベルの多様性を導入し、多角的な役割を統合した推論チェーンを構築する「MultiRole-R1」を提案することで、LRM の性能を大幅に向上させることを示しています。

要約

論文の解説：「多様な視点で考える AI」の作り方

〜「正解」が一つじゃない問題に、AI はどう向き合うべきか？〜

この論文は、最新の「考える AI（大規模推論モデル）」が、**「正解が一つじゃない問題（主観的な質問）」**にどう向き合うべきかを提案したものです。

🎭 物語の舞台：「正解」の迷宮

まず、AI の現状を想像してみてください。
これまでの AI は、数学の問題やプログラミングのように**「正解が一つしかない問題」**を解くのが得意でした。まるで、迷路の出口が一つしかない状況です。AI は「正解」を見つけるために、何度も試行錯誤を繰り返し、非常に賢くなりました。

しかし、現実の世界には**「正解が一つじゃない問題」**がたくさんあります。

• 「オンライン授業と対面授業、どちらが効果的？」
• 「この映画の結末、どう思う？」
• 「この倫理的なジレンマ、どう解決すべき？」

これらは、「誰が答えるか（視点）」によって答えが変わる問題です。

• 先生なら「対面授業が最高！」
• 忙しい学生なら「オンラインが便利！」
• 親なら「子供の安全が第一だから…」

これまでの AI は、この「視点の違い」を無視して、「たった一つの正解」を見つけようとしすぎました。その結果、AI の答えは**「画一的（みんな同じ）」**になり、現実の複雑さを捉えきれなくなっていたのです。まるで、全員が同じ色の服を着て、同じことを言うロボット集団のようです。

💡 この論文のアイデア：「多様な役者」を招く

著者たちは、この問題を解決するために**「MultiRole-R1（マルチロール・アールワン）」**という新しいトレーニング方法を提案しました。

この方法は、AI に**「一人の人間」ではなく、「多様な役者（ロール）」**として考えさせるように教えます。

🎭 アナロジー：「会議室」のイメージ

これまでの AI のトレーニングは、**「一人の優秀な弁護士」**を育てるようなものでした。彼は論理的で正解を見つけますが、視点の幅は狭いです。

一方、この新しい方法は、**「多様な背景を持つ人々が集まる会議室」**を AI の頭の中に作ります。

• 役者 A（保守的な親）：「伝統を重んじる視点で考えよう」
• 役者 B（革新的な学生）：「新しい技術の視点で考えよう」
• 役者 C（経済的な経営者）：「コストの視点で考えよう」

AI は、まずこの**「役者たち一人ひとりの意見」をそれぞれ出させます。そして、それらを「会議の記録」としてつなぎ合わせ**、最終的に**「多様な視点を含んだ結論」**を導き出します。

🚀 2 つのステップで AI を進化させる

このトレーニングは、大きく 2 つのステップで行われます。

ステップ 1：「多様な視点」を学ぶ（SFT）

まず、AI に「役者ごとの意見」をたくさん見せて、「視点の違い」を学ぶようにします。

• 例：「この問題について、先生はこう思う。でも、生徒はこう思う。そして、保護者はこう思う…」
• これにより、AI は「答えは一つじゃない」ということを理解し、**「視点の多様性」**を身につけます。

ステップ 2：「多様な言葉」を褒める（強化学習）

次に、AI が実際に回答を作る際、**「同じような答えばかり出さないこと」**を評価します。

• 従来の AI は、正解さえ出せば良いので、似たような答えを繰り返しがちでした（「同じことを何度も言うロボット」）。
• この新しい方法は、**「言葉の選び方」「文章の構造」「使われる単語」が多様であればあるほど、「ご褒美（リワード）」**を与えます。
• これにより、AI は**「同じ答えでも、違う言い方で、違う角度から」**考えるようになり、思考の幅が広がります。

🌟 驚きの結果：「主観」から「数学」まで

この方法でトレーニングした AI は、驚くべき成果を上げました。

1. 主観的な問題が得意に：
   「意見」や「倫理」の問題において、従来の AI よりも14% 以上も正解率（人間の評価に近い答え）が向上しました。
2. 意外な効果：数学も強くなった：
   なんと、この「多様な視点で考える練習」は、**「正解が一つしかない数学の問題」**にも効果がありました。
   • 理由：「多様性」を追求することで、AI は**「答えを探す範囲（探索空間）」を広げました。結果として、難しい数学の問題でも、「ひらめき」や「新しい解法」**を見つけやすくなったのです。
   • これは、**「長々と考えること（思考の長さ）」よりも、「多様に考えること（思考の質）」**の方が重要だという発見につながりました。

🎯 まとめ：「多様性」こそが鍵

この論文が伝えたいことはシンプルです。

「正解が一つじゃない世界では、『多様な視点』を持つことが、最も賢い答えに近づく近道だ」

AI に「一人の天才」ではなく、「多様な人々の集まり」のような思考を身につけさせることで、AI はより人間らしく、より柔軟に、そしてより正確に世界を理解できるようになるのです。

まるで、「一人の天才が一人で悩む」よりも、「多様な専門家たちが議論して結論を出す」方が、良い答えが見つかるのと同じ道理です。この「多様性の力」を AI に取り入れたのが、この研究の最大の功績と言えます。

技術概要

論文「DIVERSITY-ENHANCED REASONING FOR SUBJECTIVE QUESTIONS」の技術的サマリー

本論文は、ICLR 2026 にて発表された研究であり、大規模推論モデル（LRM）が主観的な問い（主観的推論タスク）に対して直面する課題と、それを解決するための新しいトレーニングフレームワーク「MultiRole-R1」を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、そして意義について詳細にまとめます。

1. 問題定義 (Problem)

近年、DeepSeek-R1 や OpenAI o1 などの「長い思考連鎖（Chain-of-Thought: CoT）」能力を持つモデルは、数学やコード生成などの客観的推論タスクにおいて高い性能を発揮しています。これらは検証可能な報酬を用いた強化学習（RLVR）によって最適化されています。

しかし、RLVR には**生成の多様性が低下する（Diversity Degradation）**という致命的な欠点があります。

• 主観的タスクの特性: 主観的な問い（例：倫理的ジレンマ、文化的な意見、社会的な問題）には、正解が一つではなく、回答者の役割（ステークホルダー）や視点によって異なる複数の妥当な答えが存在します。
• 既存手法の限界: 従来の RLVR は「一つの正解（Ground Truth）」を目標に最適化されるため、モデルは多様な視点を考慮するのではなく、単一の正解に収束するよう学習してしまいます。これにより、主観的タスクにおける多角的な推論能力が損なわれます。
• 既存の多様性向上手法の不足: 客観的タスク向けの多様性向上手法は存在しますが、これらは単一の正解を前提としているため、主観的タスクの複雑な文脈（役割ごとの異なる正解）には適用できません。

2. 提案手法：MultiRole-R1 (Methodology)

著者らは、主観的推論の精度向上には**「視点の多様性（Perspective Diversity）」と「トークンレベルの多様性（Token-level Diversity）」**の両方が必要であると主張し、これらを統合したトレーニングフレームワーク「MultiRole-R1」を提案しました。

フレームワークは以下の 2 つのステージで構成されます。

ステージ 1: 多役割推論パスの合成と微調整 (Multi-Role Reasoning Paths Synthesis & Finetuning)

この段階では、モデルに「どの視点から考えるか」を学習させ、視点の多様性を強化します。

1. 多役割探索とサンプリング: 質問に対して、対立する意見を持つ複数の役割（例：特定の国籍、職業、倫理観を持つ人物）を生成し、それぞれの視点から推論パスをサンプリングします。
2. 自己一貫性フィルタリング: 各役割内でサンプリングされた複数の推論パスに対し、多数決（Self-Consistency）を用いて最も一貫性のある回答を抽出します。これにより、役割ごとの論理的整合性を保ちつつ、役割間の対立を維持します。
3. 推論構造の生成: 異なる役割の推論パスを結合し、1 つの長い推論チェーン（CoT）として構成します。タスクの種類に応じて、役割間で異なる答えが出る場合は「発散的マージ（重み付き集約）」、同じ答えになる場合は「収束マージ（多数決）」を行います。
4. 教師あり微調整（SFT）: 合成された多役割データを用いてモデルを微調整し、多角的な視点を統合して推論する能力を習得させます。

ステージ 2: 多様性強化強化学習 (Diversity Enhanced Reinforcement Learning)

この段階では、推論チェーン内のトークンレベルの多様性を強化し、回答の探索空間を広げます。

1. GRPO の採用: Group Relative Policy Optimization (GRPO) をベースに採用します。
2. 報酬設計（Reward Shaping）:
   • 検証可能な報酬 ($R_{acc}$): 役割に応じた正解かどうかを判定する報酬。
   • 多様性報酬 ($R_{div}$): 生成されたテキストの多様性を評価する報酬（語彙多様性、構造的多様性、談話多様性などの複合指標）。
   • 総合報酬: $R = \delta R_{acc} + (1-\delta) R_{div}$ として、多様性を探索を促すシグナルとして利用します。
   • 効果: 従来の RLVR では、グループ内の全サンプルが同じ報酬（例：全て正解、全て不正解）の場合、利得（Advantage）がゼロになり学習が停止する問題がありました。多様性報酬を加えることでグループ内の報酬分散を生み出し、学習を継続可能にします。

3. 主要な貢献 (Key Contributions)

1. 主観的推論タスク初の多様性強化トレーニング: 主観的質問に対して、教師なしの推論パス合成と多様性報酬付き GRPO を組み合わせたトレーニング手法を初めて提案しました。
2. 役割多様性の重要性の立証: 単なるランダムな変異ではなく、現実世界のステークホルダーに根ざした「役割（Role）」による多様性が、主観的推論の精度向上に不可欠であることを実証しました。
3. 汎用性の高いパフォーマンス: 主観的タスクのみでトレーニングしたモデルが、客観的タスク（高度な数学推論など）においても性能向上を示すことを発見しました。
4. 多様性 vs 長さの分析: 従来の「推論が長いほど精度が高い」という知見に対し、主観的タスクでは**「多様性の方が精度との相関が強く、より信頼性の高い指標である」**ことを示しました。

4. 実験結果 (Results)

DeepSeek-R1 シリーズ（7B, 8B, 14B）および Qwen3-8B に対して実験を行いました。

• 精度の向上:
  • ドメイン内（ID）: 3 つの主観的タスク（BBQ, GLOQA, ETHICS）において、平均で**14.1%**の精度向上。
  • ドメイン外（OOD）: 主観的および客観的タスクを含む 4 つのタスクにおいて、平均で**7.64%**の向上。
  • 高度な数学推論: 予期せぬ結果として、主観的タスクのみでトレーニングしたモデルが、高度な数学推論ベンチマーク「AIME 2024」でも**5.78%**の精度向上を達成しました。
• 多様性の指標: 推論チェーンの多様性スコアも平均で 18.3% 向上しました。
• 効率性: 多様性を重視することで、SFT ベースラインと比較して推論長が大幅に短縮され（例：1572 語→657 語）、より効率的な推論が可能になりました。
• 相関分析: 精度と多様性の相関係数は平均 0.74 であり、精度と推論長の相関（0.55）よりも有意に高いことが確認されました。

5. 意義と結論 (Significance)

本論文は、大規模言語モデルの推論能力を「主観的タスク」の文脈で再定義する重要な一歩です。

• RLVR の限界克服: 検証可能な報酬のみに基づく強化学習が、主観的な問いに対して多様性を失わせる問題を解決し、多角的な視点を保持した推論を可能にしました。
• 多様性の重要性: 単に推論を長くする（Test-time scaling）ことよりも、多様な視点とトークンレベルの多様性を確保することが、主観的タスクの精度向上と推論効率化の鍵であることを示しました。
• 将来への示唆: 主観的タスクでの多様性トレーニングが、客観的タスク（数学など）にも転移可能であるという発見は、LLM の汎用的な推論能力向上に向けた新しい方向性を示唆しています。

要約すると、MultiRole-R1 は、AI が「一つの正解」を探すだけでなく、「多様な視点から考える」ことを学習させることで、主観的・社会的な課題に対する推論能力を飛躍的に向上させる画期的なアプローチです。