Accuracy and Order Sensitivity Diverge Under Label-Free Strategies

技術要約：ラベルフリー戦略下における精度と順序感受性の乖離

問題提起
多肢選択式（MCQ）ベンチマークは、コスト効率の高さと自動採点機能により、大規模言語モデル（LLM）を評価するための主要な形式となっています。しかし、近年の文献（Pezeshkpour and Hruschka, 2024; Zheng et al., 2024; Wang et al., 2025）は、MCQのスコアが真の知識と選択肢の順序に対する感受性を混同していることを指摘しています。モデルはしばしば位置バイアス（positional bias）を示し、選択肢の並び（A, B, C, D）が予測に大きな影響を与えるため、標準的な精度指標は潜在的な能力を信頼できる尺度とは言えなくなっています。既存の緩和策は存在するものの、多くは高い計算コスト（例：全置換には $k!$ 回の呼び出しが必要）を強いるか、あるいは多くのプロプライエタリなAPIでは利用できないモデルのロジットへのアクセス（例：PriDe）を必要とします。本論文では、モデルが選択肢のラベルを見ることなく回答を確定させる「ラベルフリー（label-free）」戦略が、これらの制約なしに位置の影響を取り除き、精度を向上させることができるかどうかを調査します。

手法
著者らは、6つのモデル（GPT-4.1 mini、Gemini 2.5 Flash、Llama 3.1、Qwen 2.5を含む）と2つのベンチマーク（MMLUおよびARC-Challenge）にわたって、2つの主要なラベルフリー戦略を評価しています。

1. 2段階プロンプティング（Two-Stage Prompting）:

   • ステージ1: モデルは選択肢なしで質問を受け取り、自由形式のテキスト回答を生成します。
   • ステージ2: モデルはこの自由形式の回答を、提供された選択肢のいずれかにマッチングさせます。
   • 診断グリッド（Diagnostic Grid）: 失敗点を特定するために、著者らはこの戦略を、(a) ステージ1において選択肢が表示されているか隠されているか、および (b) ステージ2においてLLM呼び出しを使用するか埋め込みベースのセマンティック・マッチングを使用するか、という2つの要因を変化させた $2 \times 2$ グリッドへと分解して評価しています。

2. 独立仮説スコアリング（Independent Hypothesis Scoring）:

   • モデルに対して $k$ 回（$k$ は選択肢の数）プロンプトを実行します。
   • 各プロンプトは、単一の選択肢を含む質問を提示し、その選択肢をスコア付け（0–100）するよう求めます。
   • 最も高いスコアを得た選択肢が選ばれます。この戦略は、各呼び出しが独立しているため、構造的に位置バイアスを受けません。

ベースラインと指標
各戦略は以下のものと比較されます：

• 標準ベースライン（Standard Baseline）: 直接的なMCQプロンプティング。
• 循環置換（Cyclic Permutation）: 選択肢をすべての位置で回転させ、多数決を取る手法。
• PriDe: ロジットベースのキャリブレーション手法（ログ確率を公開しているモデルのみで評価）。

パフォーマンスは以下の指標で測定されます：

• エンドツーエンド精度（End-to-end Accuracy）: 正解数 / 総問題数（パース失敗は不正解としてカウント）。
• 条件付き精度（Conditional Accuracy）: 正解数 / スコアリング可能な出力数。
• 想起標準偏差（Recall Standard Deviation: RStd）: 回答の位置（A, B, C, D）によるパフォーマンスの偏りを測定。
• フリップ率（Flip Rate）: 順序感受性の直接的な問題ごとの指標。選択肢を循環置換し、セマンティックな回答が変化するかどうかを確認することで算出。

主な結果
本論文の結果、どちらのラベルフリー戦略も、精度を確実に向上させることはできず、むしろ精度を低下させることが多いことが判明しました。

• 2段階プロンプティング:

  • 12組のモデル・ベンチマークの組み合わせのうち、11組でエンドツーエンド精度を低下させました。
  • ボトルネックの特定: $2 \times 2$ の分解により、パフォーマンス低下の原因はマッチング工程ではなく、ステージ1で選択肢を隠していることにあることが明らかになりました。選択肢が隠されると、モデルは自身の自由形式の生成を信頼性高く選択肢にマッピングできず、高いパース失敗率を招きます（例：MMLUにおけるGeminiの精度は、主にスコアリング不可能な出力により、84.9%から68.3%に低下した）。
  • 順序感受性: 2段階プロンプティングは、フリップ率やRStdを確実に減少させることはありませんでした。一部のケース（例：MMLUにおけるGPT-4.1 mini）では、フリップ率は半減したものの、同時に精度も低下しており、順序感受性の低減と知識の向上がデカップリング（分離）していることを示しています。

• 独立仮説スコアリング:

  • 有効なペアのうち8つのペアで精度を低下させました。
  • 構造的に位置の影響を排除しているものの、一貫した精度向上をもたらすことはできませんでした。唯一顕著な改善が見られたのはLlama-localによるARC-Challengeでしたが、この改善は循環置換や可視選択肢ベースの手法でも達成可能であり、この改善がラベルフリーのメカニズムに特有のものではないことを示唆しています。
  • この戦略は比較コンテキストの喪失という問題を抱えています。質問の言い回しが選択肢間の比較に依存している場合、モデルは個別の選択肢を単独でスコアリングすることに苦慮する可能性があります。

• 循環置換:

  • 両方のラベルフリー戦略を上回り、12組のペアのうち10組で精度を向上させました。計算コストは高いものの、依然として最も堅牢なモデル非依存の手法として評価されています。

意義と貢献
本論文の主要な貢献は、**「位置の影響を排除することが、必ずしも精度の向上に直結しない」**という事実を実証的に示したことです。著者らは以下のことを示しています：

1. 指標のデカップリング: 順序感受性を低減すること（フ립率やRStdによる）と、精度を向上させることは別個の目的であり、これらは乖離することがあります。ある戦略は「脱バイアス化」されていても、精度は低くなる可能性があります。
2. 失敗のメカニズム: 2段階プロンプティングにおける失敗は、マッチングのステップではなく、利用可能な選択肢のコンテキストなしに正しい自由形式の回答を生成できないこと（「過小指定」問題）に起因します。
3. ラベルフリー・アプローチの限界: 選択肢の識別子を除去したり、選択肢を孤立させたりする戦略（独立仮説）は、モデルが多肢選択形式の比較ダイナミクスを活用することを妨げることで、パフォーマンスを低下させる可能性があります。このダイナミクスは、モデルにとって有用な信号として機能しているようです。

結論として、ラベルフリー戦略は特定の構成（例：セマンティック・マッチングがゼロのフリップ率を実現する場合）において位置バイアスを排除することには成功しますが、それは精度の犠牲の上に成り立っています。したがって、これらの手法を、MCQ評価における安全性保証や普遍的な改善策として信頼すべきではありません。著者らは、堅牢な評価を行うためには、評価インターフェース自体（強制選択かオープン生成か）がモデルの能力測定を歪めていないかを慎重に検討する必要があると強調しています。