Is Large Language Model Performance on Reasoning Tasks Impacted by Different Ways Questions Are Asked?

論文「推論タスクにおける大規模言語モデルのパフォーマンスは、質問の形式によって影響を受けるか？」の詳細な技術的サマリーは以下の通りです。

1. 問題提起

大規模言語モデル（LLM）は、多様なベンチマークを用いて推論タスクにおいて広範に評価されていますが、質問の形式（短答、多肢選択、真偽判定）がモデルのパフォーマンスにどのように影響するかについての理解は不足しています。既存のベンチマークでは、これらの形式を互換性のあるものとして扱うことが多いですが、選択肢の数、正解の位置、特定の単語の選択などの要因がバイアスを導入したり、推論プロセスを変化させたりする可能性があります。

著者らは、以下の 5 つの具体的な研究質問（RQ）に答えることを目指しています：

1. 質問の種類は最終選択（FS）の精度に影響を与えるか？
2. 質問の種類は推論精度（中間ステップの正しさ）に影響を与えるか？
3. 異なる質問形式における誤った出力のパターンは何か？
4. 多肢選択問題（MCQ）においてパフォーマンスに影響を与える具体的な要因は何か？
5. 真偽問題（TFQ）においてパフォーマンスに影響を与える具体的な要因は何か？

2. 手法

データセットとタスク

本研究では、LLM を 2 つの異なる推論タスクで評価しました：

• 定量的推論： GSM8Kデータセット（小学校レベルの数学の文章題）を使用。
• 演繹的推論： bAbIデータセットの修正された部分集合（支持事実を伴うファクトイド QA）を使用。
• データ量： 各データセットから 300 問をランダムに抽出。bAbI については、複雑性を高めるために各問題に 2 つの無関係な事実を追加しました。

質問形式の変換

各問題を 3 つの形式に変換しました：

1. 短答問題（SAQ）： モデルは推論ステップと最終回答を生成します。
2. 多肢選択問題（MCQ）： モデルは選択肢リストから選択します。
   • 選択肢の数： 5 つと11 つの選択肢でテストしました。
   • 特殊な選択肢： モデルが提供された数値以外の回答を選択できるかテストするために、「その他（Something else）」という選択肢（SEO）を含めました。
   • 正解の位置づけ： 3 つの分布でテストしました：均等（U）、SEO を除く均等（U-SEO）、SEO のみ（oSEO）。
   • ダミー選択肢： 誤った回答は、特定の誤差範囲（5% または 20% の偏差）またはランダムな方程式生成によって生成されました。
3. 真偽問題（TFQ）： モデルは文を判定します。
   • 形式： 「質問形式（答えは X か？）」対「文形式（答えは X である。）」
   • 正誤： 正解として「True」と「False」の両方でテストしました。
   • 指示： 回答前に「まず解け」という指示の有無でテストしました。
   • 表現： 「True/False」対「Yes/No」でテストしました。

評価対象モデル

5 つの LLM がテストされました：

• クローズドソース： GPT-4o、GPT-3.5-turbo。
• オープンソース： Llama-3 8B、Llama-3.2 1B、Gemma 7B。
• 設定： ギリデコーディング（温度 = 0）、ゼロショット設定。

評価指標

1. 最終選択（FS）精度： 最終出力と正解との自動文字列マッチング。
2. 推論精度： 中間推論ステップの人手による評価。厳格な基準が適用されました：推論が正解と判定されるためには、すべての推論ステップが正しい必要があります。

統計分析

質問形式間の統計的有意性（$p < 0.05$）を決定するために、両側ペア付きウィルコクソン符号順位検定が使用されました。

3. 主な貢献

1. 包括的なベンチマーク設計： MCQ の選択肢数（5 つ対 11 つ）、正解の位置、TFQ の表現を体系的に変化させる新規の実験デザインにより、既存の文献のギャップを埋めました。
2. 指標の分離： 本研究は推論精度を最終選択精度から明示的に分離し、これらが常に相関しないことを明らかにしました。
3. 実証的知見： LLM における特定のバイアスの特定。例えば、「その他（Something else）」という単語への感受性、正解の位置、TFQ の表現への感受性などです。
4. オープンソース： 著者らはコードとベンチマークを公開しました。

4. 主要な結果

RQ1 および RQ2：質問形式が精度に与える影響

• FS と推論の相関： 推論精度と最終選択精度の間には一貫した相関はありません。
  • 観察： モデルは、推論に欠陥があっても（特に MCQ と TFQ で）最終的な正解を推測することがよくあります。逆に、モデルは正しい推論を導き出しながらも、対応する選択肢を選択できない場合があります（例：フォーマットエラーや「その他」の誤解による）。
• パフォーマンスのばらつき： 質問形式間で FS 精度に顕著な差異が存在します。
  • SAQ 対 MCQ： SAQ は一般的に MCQ よりも優れており、特に「その他」が正解の場合に顕著です。
  • SAQ 対 TFQ： 正解が「False」である TFQ は、一部のモデルにおいて SAQ よりも高い FS 精度をもたらすことが多く、モデルが正確な数値を導き出すよりも「False」と推測する方が容易であることを示唆しています。

RQ3：誤った出力のパターン

本研究は、以下のような明確な失敗パターンを特定しました：

• 良い推測： モデルは誤った推論ステップを出力しながら、正しい最終回答を推測します（TFQ で一般的）。
• 近接性： モデルは正解に近い値を計算し、計算がわずかにずれていても、最も近い選択肢を選択します。
• SEO の誤解： モデルは、推論が回答がリストにないことを示していても「その他」を選択するのが困難です。多くの場合、最も近い数値の選択肢を強制的に選択します。
• 選択の欠落： モデルは推論を正しく完了しますが、最終選択トークンを出力できません。

RQ4：MCQ パフォーマンスに影響を与える要因

• 選択肢の数： 選択肢を 5 つから 11 つに増やすと、FS 精度は一般的に低下します。特に小規模モデル（Gemma、Llama-1B など）で顕著です。これは、モデルが計算ではなく推測を行っている可能性を示唆しています。
• 正解の位置： モデルは、正解が「その他」ではない場合（U-SEO）に最もよく機能します。「その他」が唯一の正解である場合（oSEO）には、パフォーマンスは大幅に低下します。
• 単語の選択： 「その他」を「上記のいずれでもない（None of the above）」に置き換えると、GPT-3.5 の FS 精度が大幅に向上しました。これは選択肢の表現に対する感受性を示しています。

RQ5：TFQ パフォーマンスに影響を与える要因

• 質問対文： 文形式（「答えは X である」）は、質問形式（「答えは X か？」）よりも一般的に高い FS 精度をもたらします。
• True 対 False： モデルは一般的に**「True」**が正解の場合にパフォーマンスが良いですが、一部のモデル（GPT-3.5、Llama-8B）は定量的タスクにおいて「False」の方が FS 精度が高いことを示しました。
• 表現（Yes/No 対 True/False）： 「True/False」を「Yes/No」に置き換えると、GPT-3.5 において統計的に有意な低下（最大約 26%）が生じました。「まず解け」という指示が提供されない限りです。

5. 意義と示唆

• ベンチマークの妥当性： 本研究は、現在のベンチマークの信頼性に疑問を投げかけます。MCQ におけるモデルの高いスコアは、真の推論能力ではなく、推測やパターンマッチングを反映している可能性があります。
• 評価戦略： 研究者は最終選択精度のみに依存すべきではありません。モデルが実際に問題を解決しているのか、それとも単に正しい選択肢を選択しているのかを理解するために、推論精度の評価が不可欠です。
• プロンプトエンジニアリング： 選択肢の具体的な表現（「上記のいずれでもない」対「その他」）や TFQ の形式は、パフォーマンスに大きな影響を与えます。公平な評価のためには、標準化され、慎重に設計されたプロンプトが必要です。
• 将来の方向性： 将来のベンチマークは、選択肢のバイアス、選択肢の数、指示の具体的な表現を考慮すべきであり、推論ではなく選択バイアスを測定しないようにする必要があります。

結論として、この論文は、質問のされ方が LLM のパフォーマンスを根本的に変えることを示しており、それがしばしば推論能力と正解を選択する能力を分離させていることを実証しています。これにより、LLM の評価とベンチマーク設計に対して、よりニュアンスのあるアプローチが必要となります。