Benchmarking the Benchmarks: Testing the Predictive Validity of Commonsense Benchmarks

技術要約：ベンチマークのベンチマーク化

問題提起
標準化された評価セットアップ、特に静的な多肢選択式の常識ベンチマークは、大規模言語モデル（LLM）の能力を推論するために広く用いられている。しかし、これらのベンチマークが、現実世界のタスクにおけるダウンストリームの振る舞いをどの程度予測できるかについては、未だに詳細が特定されていない。既存のベンチマークの欠陥（アーティファクト、汚染、不安定なアノテーションなど）は十分に文書化されているが、重要な問いは変化している。すなわち、「再構築された」ベンチマーク（既知の欠陥を軽減するように設計されたもの）は、基準妥当性（外部の結果を予測する能力）を実際に向上させるのか、それとも単にモデルの相対的なランキングを維持するだけで、能力推論のための有用性を高めないのか、という点である。具体的には、再構築されたベンチマークが、モデルのランキングを維持するにとどまるのか、それとも能力推論のための実用性を高めるのかが不明確である。

手法
本研究では、1Bから72Bのパラメータ範囲を持つ6つのファミリー（Llama 3, Gemma 2, Pythia, OPT, Qwen 2.5, Mistral）からなる23のオープンウェイトLLMを評価する。実験デザインは、以下の4つの次元にわたる包括的な比較を含む：

1. ベンチマークのペア： 著者らは、4つの確立された常識ベンチマークとその再構築されたバリアントを評価する：
   • WinoGrande vs. WinoWhat（パラフレーズ版）
   • HellaSwag vs. GoldenSwag（フィルタリング版）
   • Social IQA vs. Social IQA filtered（フィルタリング版）
   • Physical IQA vs. Physical IQA-RUP（パラフレーズ版）
2. ダウンストリーム・タスク： モデルは、3つの概念的軸に分類される、暗黙的な推論を必要とする8つのダウンストリーム・タスクでテストされる：
   • 社会的/感情的： CEI, SARC7, False Beliefs
   • 語用論的： Implicature, Presupposition, Indirect Requests
   • 事象/物理的： TimeDial, TRIP
3. コントロール・ベンチマーク： 常識特有の能力と一般的なモデル能力を区別するため、本研究には非常識系のコントロール（BLiMP, GPQA-Diamond, MMLU-Redux）が含まれる。
4. 評価プロトコル： 全てのタスクは、一貫性を確保するために対数尤度ベースの多肢選択形式を利用する。分析には以下を用いる：
   • モデルのランキングを評価するためのペア・スピアマン相関。
   • モデルサイズ、ファミリー、およびコントロール・ベンチマークの性能を制御するための偏スピアマン相関。
   • 未知のモデルファミリーに対する予測妥当性をテストするための、リッジ回帰を用いたLeave-one-family-out交差検証（LOFOCV）。
   • 信頼区間の推定のためのFisher-z変換およびノンパラメトリック・ブートストラップ法。

主な貢献と結果

• ランキングの保持 vs. 妥当性： 本研究では、再構築されたベンチマークが、元のベンチマークのモデルランキングを概ね保持していることが示された。例外はWinoWhatであり、これはWinoGrandeや他のベンチマークとの相関が弱く、異なるモデルの振る舞いを捉えていることを示唆している。しかし、これらの改訂は、ダウンストリームの予測妥当性を系統的に向上させるものではない。ほとんどの場合、ダウンストリーム・タスクに関するオリジナルと再構築版のベンチマーク間の相関の差は無視できる程度である。注目すべき点として、オリジナルのWinoGrandeは、その再構築版であるWinoWhatよりもFalse Beliefsタスクに対して大幅に予測力が高い。
• ダウンストリーム・タスクへの限定的な転移： 常識ベンチマークは、特定のサブセットのダウンストリーム・タスクに対してのみ、一貫したクロスファミリーの予測妥当性を示す。
  • 最強の予測因子： False BeliefsとTRIPは、常識ベンチマークのスコアと最も強く、かつ一貫した関連性を示している。
  • 指標特有の利得： Implicature、Indirect Requests、TimeDialは、特定の指標（例：macro-F1またはaccuracy）においてのみ利得を示す。
  • 予測力の低い項目： CEI（感情推論）およびSARC7（皮肉）は、常識ベンチマークによる予測が依然として困難である。
• ドメイン特異性の欠如： 「ベンチマークは、同じ概念的軸内にあるダウンストリーム・タスクに対して最も良く転移する」という仮説（例：Social IQAが社会的タスクを予測する）は支持されない。Event/Physicalのベンチ幅は物理的な妥当性のタスクと一定の整合性を示すが、語用論の軸は逆のパターンを示す。全体として、一致したペアは不一致のペアよりも弱いことが多く、これはベンチマークのラベルが微細なダウンストリーム能力を信頼性高くマッピングしていないことを示している。
• 一般的能力 vs. 特定のスキル： モデルのサイズ、ファミリー、および非常識系コントロールの性能を制御すると、ほとんどの相関の統計的有意性は減少する。これは、観察された転移の多くが、特有の常識的推論ではなく、広範なモデル能力を反映していることを示唆している。しかし、LOFOCVの結果は、常識スコアがFalse BeliefsとTRIPに対して、ある程度の増分的なクロスファミリー情報を保持していることを示している。

意義と主張
本論文は、標準化された常識ベンチマークは、広範な常識的コンピテンスではなく、タスク依存的な証拠を提供するものであると論じている。著者らは次のように主張している：

1. 改訂は妥当性を保証しない： アーティファクトや曖昧さを除去するためにデータセットを洗浄することは、内部的な品質を向上させるが、それが自動的に基準妥当性や、モデル選択のためのより有用な指標へとつながるわけではない。
2. 限定的な汎用性： HellaSwag、Social IQA、またはPhysical IQAのようなベンチマークの性能を、語用論的、社会的、あるいは文脈的な推論能力の広範な証拠として解釈すべきではない。ベンチマークのスコアとダウンストリーム・タスクとの関係は不均衡であり、ベンチマークのメタデータが示唆するサブドメインとは一致しないことが多い。
3. 評価パラダイムの転換： 研究は、ベンチマーク・パラダイムの転換を求めている。孤立した静的なデータセットを繰り返し洗練させるのではなく、コミュニティは、スコアが特定の振る舞いやアプリケーションについて実証的に情報を提供できる評価スイートの構築を優先すべきである。モデルの能力に関する主張には、基準妥当性の証拠が必要である。すなわち、スコアは、意図された能力を異なる文脈や形式で具体化する外部タスクへと一般化し、一般的なモデル能力を超えた情報を提供しなければならない。

著者らは、常識ベンチマークはFalse BeliefsやTRIPのような特定のタスクには情報を提供し得るものの、明確に区別された常識のサブスキルや、広範な語用論的コンピテンスに関する微細な主張を信頼性高く支持するものではないと結論付けている。