技術概要：MCJudgeBench

問題定義

多制限指示追従は、大規模言語モデル（LLM）に対して、内容、形式、スタイル、または長さに関する複数の同時要件を満たすことを要求します。最近のベンチマークは、粗いプロンプトレベルの判断から個々の制限の評価へと移行していますが、それ自体の「評価者（judge）」（LLM-as-a-judge）の評価は依然として不十分です。既存の評価者ベンチマークは主にペアワイズな選好、スカラー判断、またはルブリックに基づくスコアリングに焦点を当てており、評価者の能力を全体的な応答品質に基づいて評価する傾向があり、特定の制限を検証する能力については評価されていません。

さらに、現在の評価は、評価プロンプトまたは候補応答形式に対する不変性摂動の下で、評価者が個々の制限を正確かつ安定的に検証できるかどうかを扱えていません。評価者はプロンプトの定式化に敏感であり、体系的なバイアスを示し、指示への遵守が弱い場合でもスタイルが強い出力を好むことが知られています。多制限設定において、評価者が満たされた制限、部分的に満たされた制限、および違反された制限を区別する際にどのように振る舞うかという、制限レベルの評価者信頼性に関する理解には重大なギャップが存在します。

手法：MCJudgeBench

著者らは、多制限指示追従における制限レベルの評価者評価向けに設計されたメタ評価ベンチマークであるMCJudgeBenchを導入します。

ベンチマーク構築

MCJudgeBench は、指示の長さおよび制限の複雑さにおける進展を確保するため、2 つのソースベンチマークであるComplexBenchとInFoBenchから構築されています。構築パイプラインは以下の 3 つのステップを含みます：

1. ソースインスタンスのフィルタリング: 英語の適性を確保し、文化的に固有のタスクを除外するためのインスタンスの前処理。
2. 候補構築: 満たされた制限と違反された制限の自然な混合を生み出すために Qwen3-4B-Instruct を使用して自然な候補応答を生成します。人間の注釈者は、3 つのクラスからのゴールドの制限ごとの遵守ラベルを割り当てます：yes（明確に満たされた）、partial（部分的に満たされた）、no（明確に違反/欠落）。
3. 人間による検証: 注釈者が制限タイプラベルを検証し、生成された摂動が基礎となる遵守ラベルベクトルを保持することを保証します。

データ構造

各インスタンス $x$ は $(I, y, C, L, P_y)$ として表現されます。ここで：

• $I$：指示。
• $y$：自然な候補応答。
• $C$：明示的な制限のリスト。
• $L$：対応する制限ごとのゴールドラベル。
• $P_y$：候補応答バリエーションの不変性摂動セット。

このベンチマークは、検証の課題に基づいて制限を 8 つのタイプに分類します：語彙（Lexicon）、数値（Numeric）、形式（Format）、内容（Content）、構成要素（Component）、忠実性（Faithfulness）、事実性/合理性（Factuality/Rationality）、およびスタイル（Style）。

不変性摂動

評価者の安定性をテストするため、ベンチマークにはゴールドラベルを保持する制御された応答側摂動が含まれます：

• ローカル言い換え: キーワード、構造、または事実的内容を変更することなく、文/フレーズレベルで書き換えます。
• 構造的再編成: 必要な順序、形式、または主張を変更することなく、内容の配置（例：文の順序、段落のグループ化）を変更します。

さらに、評価プロトコルには、プロンプト側の安定性をテストするための評価プロンプトバリエーション（制限の並べ替え、フォーマットの変更、またはプロンプトセクションの並べ替え）が含まれます。

評価指標

本論文は、3 つの次元にわたる評価者の信頼性を測定するフレームワークを提案します：

1. 正しさ: 制限レベル評価者精度比率（CJAR）および 3 つのラベルクラス全体でのMacro-F1によって測定されます。これは、多数派クラス（yes）の性能を少数派クラス（partial, no）の性能から区別します。
2. 内在的不整合: 確率的デコーディング下（温度=1.0 で繰り返し実行）における**制限レベル不整合率（CIR$_{intr}$）**によって測定されます。これはモデルの内在的な確率性から生じる不安定性を捉えます。
3. 手続的不整合: 確定的デコーディングを使用して、それぞれプロンプト摂動および応答摂動下での安定性を評価するCIR$_{prompt}$およびCIR$_{resp}$によって測定されます。これは定式化の変化に対する感度を捉えます。

主要な貢献

1. MCJudgeBench: 制限ごとのゴールドラベルと、応答およびプロンプトの両方に対する制御された不変性セットを備えた新しいメタ評価ベンチマーク。
2. 評価フレームワーク: 評価者の不安定性を内在的（確率的）および手続的（摂動ベース）なソースに分解するための手法と、正しさの指標を併用する手法。
3. ベースライン分析: 独自モデルおよびオープンソース LLM 評価者の包括的な評価。信頼性が制限タイプ、制限数、および摂動条件によって大きく変動することを明らかにしました。

結果

GPT-5.2、Claude Sonnet 4.6、Gemini 3.1 Pro、およびオープンソースモデル（Qwen3.5-4B、Llama 3.2 3B）を含むモデルの評価から、いくつかの重要な知見が得られました：

• 正しさと信頼性: 高い全体的な正しさ（CJAR）は、すべてのラベルカテゴリにわたる信頼性の高い検出を保証するものではありません。評価者は「yes」のケースではよく機能しますが、信頼性分析に不可欠な「partial」および「no」のケースでは著しく苦労します。Macro-F1 スコアは、高い CJAR によって隠蔽されている弱点をしばしば明らかにします。
• 不整合のソース:
  • 内在的不整合: オープンソースベースラインは、確率的デコーディング下で、独自モデルと比較して著しく高い内在的不整合を示します。
  • 手続的不整合: 評価者は一般的に、候補応答形式の変化よりも評価プロンプト形式の変化に対してより敏感です。プロンプト側の手続的不整合は、通常、応答側の不整合よりも高くなります。
• 推論の影響: 推論を有効化すると Macro-F1 が向上し（ラベル間での性能のバランスが取れる）、しかし安定性が均一に向上するわけではありません。場合によっては、推論が内在的または手続的不整合を増加させ、評価者が境界線にある制限をどのように解決するかを変更するだけで、それらを均一に安定化させるわけではないことを示唆しています。
• 制限数: 不整合は制限の数とともに単調に増加するわけではありません。内在的不整合は、しばしば 2 つの制限を持つ指示で最も高く、ラベル境界を区別する際の曖昧さは、高度に分解された複雑なリストよりも単純なケースで高い可能性があることを示唆しています。
• ラベルの混同: 混同行列は、「partial」のケースを「yes」として過剰に評価する体系的な傾向を示しており、別個の遵守状態として区別するのではなく、示しています。

意義と主張

本論文は、評価者の信頼性が多次元的であると主張します。単一の集約スコアでは評価者の品質を特徴づけるには不十分です。著者らは以下を主張します：

• 多制限指示追従のための LLM 評価者の評価には、制限レベルにおける正しさと安定性の併存考慮が必要です。
• 強い全体的な性能は、特に希少な「partial」および「no」のケースにおいて、ラベルカテゴリ全体にわたって同様に信頼性の高い検出を保証するものではありません。
• 高い正しさを持つ評価者が必ずしも低い不整合を持つわけではありません。推論は正しさを向上させる一方で、変動を導入する可能性があります。
• MCJudgeBench は、現在文献において未探索である内在的確率的不安定性およびプロンプト/応答の再定式化に対する手続的感度などの失敗モードを研究するために必要なツールを提供します。

この研究は、自動評価者に関する将来の研究が、集約的な合意を超えて、制限レベルの信頼性と安定性を体系的に評価する必要があると結論付けています。