技術的概要：ProactBench

問題定義

現在の大規模言語モデル（LLM）のベンチマークは、主に反応的competence（明示的なユーザーの要求にモデルがどの程度適切に応答するか）を評価しています。モデルは指示追従において大幅に向上しましたが、重要な会話能力が未測定のままです。それは会話的能動性です。これは、ユーザーが明示的に述べたのではなく、暗示したニーズに気づき、それに対応する能力として定義されます。

既存の評価は、真の能動的支援と、以下のような反応的な行動を区別することに失敗することが多いです。

• 指示追従: 明らかな要求に対する洗練された順守。
• 確認の追求: ユーザーが既に提供した情報を求めること。
• 一般的な親切さ: 具体的な価値を追加しない定型の締めくくり（例：「何か必要ならお知らせください」）。
• 阿諛追従: 同意するが認識論的に弱い行動。

本論文は、真の能動性には、モデルが明かされた詳細から明示されていない含意を推論し、促されることなく有用な先を見据えた価値を導入する必要があると主張しています。

手法

ProactBench は、妥当性を確保するために 3 代理アーキテクチャを用い、3 つの異なる会話フェーズ全体にわたる能動性を測定するように設計された新しい評価フレームワークを導入します。

1. 3 つのトリガータイプ

ベンチマークは、能動性をフェーズに紐付いたトリガータイプに分解し、それぞれに特定のルーブリックを設けています。

• EMERGENT（ターン 1–3）: 会話の序盤で、単一の明かされたアンカー（事実的詳細）から、明示されていないニーズを推論する。
• CRITICAL（ターン 4–7）: 対話の途中で、複数の明かされたアンカーを統合して新たな結論を導き出す。
• RECOVERY（ターン 8–10）: ユーザーがタスク完了をシグナルした後、その後に、根拠のある先を見据えた価値を提供する。このフェーズは、モデルが有益なことを言わずに親切そうに聞こえることが多い点で重要です。

2. 3 代理評価アーキテクチャ

スタイルに混乱したスコアリング、ルーブリックの漏洩、外部コンテキストの汚染、情報ダンプに対する防御として、ベンチマークは以下の要素を採用します。

• プランナー: 対話戦略を策定し、トリガーが発生するタイミングを決定し、モデルが回答する前に予見的なルーブリックを確定します。これはペルソナとシナリオを参照しますが、コミュニケーションスタイルは参照しません。
• ユーザーエージェント: 特定のペルソナと、コミュニケーション・スタイル・インベントリ（CSI）に由来する 24 のコミュニケーションスタイルのいずれかに基づき、プランナーの戦術的指示を自然なユーザーメッセージとして表現します。
• アシスタントモデル: 自然な会話履歴のみを受信します。ペルソナ、ルーブリック、トリガースケジュール、隠れた目標については認識していません。
• オフラインジャッジ: 厳選された対話のトリガーターンのみを再実行し、固定されたルーブリックに対して回答を評価します。これにより、評価されるすべてのモデルに対して同一のコンテキストが保証されます。

3. データセットとプロトコル

• コーパス: 624 のトリガーポイントを含む 198 の厳選された対話。
• 多様性: 対話は、6 つの CSI 特性（表現性、精密性、言語的攻撃性、質問性、感情性、印象操作性）の組み合わせである 24 のコミュニケーションスタイルと、5 つの生活領域（専門職、スポーツ、芸術、旅行、料理）にまたがります。
• 選定: 選定モデル（Gemini-2.5-Pro）がルーブリックや隠れた目標にアクセスできない「コールドスタート」の隔離状態で対話を生成しました。これにより、会話履歴には、実際のアシスタントが自然に持つ情報のみが含まれることが保証されました。
• スコアリング: 回答は、能動性の原則（単一アンカー推論、マルチアンカー統合、または根拠のある先見の価値など）を満たすかどうかに基づき、Pass、Partial、Fail のいずれかで評価されます。

主要な貢献

1. 会話的能動性の定義: 指示追従、確認、一般的な親切さから能動性を分離する形式的な定義。3 つのフェーズに紐付いたトリガータイプとして構造化されています。
2. 評価アーキテクチャ: LLM-as-judge 評価に共通する 4 つの妥当性脅威を軽減する、情報非対称性を持つ 3 代理システム（プランナー、ユーザーエージェント、アシスタント）。
3. ProactBench コーパス: 合成された米国ペルソナに基づき、24 のコミュニケーションスタイルで多様化された 198 の対話と 624 のトリガーを公開。独立した LLM ジャッジによって監査されました。
4. 実証的評価: 16 の最先端およびオープンウェイトモデルの包括的な評価。その結果、RECOVERYは標準ベンチマークと相関しない、独自の能力であることが明らかになりました。
5. 人間による検証: ペアワイズ人間研究により、ルーブリック条件付きの能動的応答が、80% の非タイ比較でバニラ生成よりも好まれることが示されました。これにより、ベンチマークが人間が価値を置く能力を測定していることが確認されました。

結果

16 モデル（GPT-5.5、Claude-Opus-4.7、Qwen3.5、Llama 変種を含む）の評価から、いくつかの重要な知見が得られました。

• RECOVERY は困難で独自である: RECOVERY は最も困難なトリガータイプです。最良のモデル（GPT-5.5）でも RECOVERY トリガーの 37.2% しかパスしておらず、16 モデル中 14 モデルは 20% 未満しかパスしていません。
• 標準ベンチマークとの非相関: EMERGENT と CRITICAL のスコアは既存のベンチマーク（GPQA、MMLU、SWE-bench など）と強く相関しますが、RECOVERY はそうではありません。6 つの標準ベンチマークとの平均相関は $\bar{r} = 0.51$（95% CI [0.29, 0.71]）であり、他のタイプでは $\bar{r} \approx 0.83$ です。
  • 例: Kimi-K2.6 は LiveCodeBench と SWE-bench では GPT-5.5 を上回りますが、RECOVERY では 5 倍低いスコア（7.4% 対 37.2%）を記録します。
• ポリシー対能力: RECOVERY 性能の格差は、純粋な能力の天井ではなく、ポリシーの違い（例：ポストトレーニングデータミックスやユーザーセッションフィードバック）を反映しているようです。GPT-5.5 は「スタイル均一」のポリシーを示し、困難なユーザースタイルにおいても高い RECOVERY 性能を維持しますが、他の強力なモデルはより簡単なスタイルにその優位性を集中させています。
• 失敗モード:
  • 最先端のクローズドソースモデル（GPT-5.5 を除く）は、主に一般的な締めくくり（洗練されているが中身のない署名）で失敗します。
  • GPT-5.5 と小規模なオープンウェイトモデルは、主に成果物の反復（完了したタスクを再述するだけで新しい価値を追加しない）で失敗します。
• 人間の好み: 統制された研究において、人間は、バニラ応答がすでにルーブリックをパスしていた場合でも、システム指示として RECOVERY ルーブリックを使用して生成された応答を、80% のケースで好みました。

意義と主張

本論文は、ProactBench が現在の LLM 評価における「盲点」を特定していると主張しています。モデルは指示追従においてますます能力を発揮する一方で、タスクが形式的に完了した後、根拠のある先を見据えた価値を提供することには苦労しています。

著者らは以下を主張します。

1. RECOVERY は新しい評価シグナルである: 標準的な推論およびコーディングベンチマークでは弱く予測されるため、独自の行動能力を測定していることを示唆しています。
2. 能動性は人間に好まれる: ProactBench によって定義・測定される特定の能動的行動は、「おせっかいな過剰介入」ではなく、特定の明かされた詳細に基づいている場合、人間の評価者によって真に好まれます。
3. 格差は認知的だけでなく行動的である: モデル間での RECOVERY 性能の変動は、現在の最先端モデルが、推論能力の根本的な欠如ではなく、アライメントデータによっておそらく駆動される「イニシアチブに関するポリシー」において異なっていることを示唆しています。

本論文は、ProactBench がこの特定の行動に対する能力プローブとして機能し、モデルに「いつ」イニシアチブが歓迎されるかを教えるための報酬モデリングや好み学習の基盤を提供し、すべての文脈で最大限に能動的になるように訓練するのではなく、と結論付けています。