Position: Evaluation Scores Are Perishable Knowledge Claims

スコアカードの罠：なぜ「平均」は嘘になり得るのか

あなたは、3人の異なる目撃者からの手がかりを使って謎を解こうとしている探偵だと想像してください。一人の目撃者は、決して嘘をつかない超正確なロボットですが、遠くから事件を見ていました。もう一人は、おしゃべりな人間で、間近ですべてを見ていましたが、格好をつけるために話を盛ることがあります。三人目は、容疑者が言ったことをそのまま繰り返す鏡です。もし彼らの話の「平均」を取れば、もっともらしく聞こえる、整った中庸な出来事が得られるかもしれません。しかし、ここに落とし穴があります。もし人間の目撃者が、容疑者は赤い帽子を被っていたと言った場合（実際には青い帽子だったとしても）、その一つの誤った詳細が、ロボットによる天候の完璧な描写がいかに完璧であったとしても、物語全体の台無しにしてしまうのです。人工知能の世界において、特にこれらのコンピュータの脳がいかに賢いかを測定しようとする際、私たちはしばちがったこの間違いを犯しています。私たちはテストのスコアを、単に足してテスト数で割れば「最終成績」が得られる単純な算数の問題として扱ってしまいます。しかし、この論文の著者たちは、これらのスコアは単なる数字ではなく、有効期限があり、適用範囲に限界があり、信頼性のレベルが異なる「真実に関する主張」であると主張しています。もし私たちがこれらの隠れたルールを無視して、すべてをただ平均化してしまうと、「信頼のインフレ（Trust Inflation）」、つまり、実際には最も危険な方法で壊れている可能性があるシステムに対して、過剰に自信を持ってしまうという現象を引き起こしてしまいます。

論文の核心：平均するのをやめ、最も弱いリンクを確認せよ

サンカルプとシュロック・ギルダによって書かれたこの論文は、現在のAIモデルのランキング手法は、すべてのテスト結果を等しく強力で永続的なものとして扱うため、根本的に欠陥があると考えています。著者らはこの問題を「信頼のインフレ」と呼んでいます。これは、自動化されたコンピュータによるチェック、人間の意見、AIによる判定といった異なる種類の証拠を、単一の「平均」スコアに混ぜ合わせてしまうときに起こります。問題は、たった一つの弱点が全体像を破壊してしまう可能性があることですが、平均化はその弱点を隠してしまうのです。

これを説明するために、著者らは単純な比喩を用いています。鎖を想像してください。鎖全体の強さは、すべてのリンクの平均の強さによって決まるのではなく、最も弱いリンクによって決まります。99個のリンクが鋼鉄でできていて、1個だけが紙でできている鎖があれば、その鎖は羽毛の重みでも切れてしまいます。同様に、あるAIモデルが詩を書くことには長けていても、真実を伝えること（事実性）が極端に苦手な場合、「平均」スコアはそれをそこそこの万能モデルのように見せてしまうかもしれません。しかし現実の世界では、もしそのAIが医療のアドバイスを行うために使用された場合、その詩がいかに美しくても、真実を言えないという事実は破滅的な結果をもたらします。

論文は、「平均」をデフォルトの方法として使うのをやめるよう提案しています。代わりに、特に安全性が重要なタスクにおいては、「最も弱いリンク」のアプローチを使用すべきだと述べています。これは、もしAIが一つでも重要なテストに失敗した場合、その失敗を反映して全体の評価を下げるべきであり、他の優れたスコアによって評価を底上げすべきではないということを意味します。

AIの真実に関する3つのルール

著者らは、食品のパッケージが中身、産地、賞味期限を教えてくれるように、すべてのAIテストスコアには3つの特定の情報を伝える「ラベル」が付随すべきだと提案しています。

1. 形式性（証拠はどの程度強力か？）： すべてのテストが等しく価値を持つわけではありません。論文では「ティア（階層）」システムを作成しています。

   • ティア F0（最も弱い）： 他のAIモデルによる判定や、クラウドソーシングによる意見が含まれます。著者らは、AI判定器はたとえ間違っていても長く立派な回答を好む傾向があるため、これらは信頼性の天井を0.70として扱うべきだと示唆しています。
   • ティア F1 & F2（より強い）： これらは構造化されたコンピュータによるチェックや、制御された人間によるテストです。これらはより信頼できますが、人間のテストであっても限界（信頼性最大0.95）があります。
   • ティア F3（最も強い）： これは形式的な数学的証明です。これのみが完全な1.00の信頼性に到達できます。
   • ルール： ティアF0のスコアとティアF2のスコアを混ぜ合わせた場合、結果全体はF0のレベル（0.70）に制限されます。強いテストを足したからといって、弱いテストを強くすることはできません。

2. スコープ（これはどこに適用されるか？）： テストスコアは、それがテストされた特定の状況においてのみ真実です。もしAIが英語の質問でテストされたなら、そのスコアはスペイン語が得意であることを意味しません。一般知識でテストされたなら、それが法律のアドバイスに長けていることを意味しません。論文は、誤って間違った場所で使用しないよう、スコアはその限界を明示すべきであると主張しています。

3. 妥当性の期間（いつ期限が切れるか？）： テストスコアには賞味期限があります。牛乳と同じように、劣化するのです。著者らは、AIモデルがトレーニング中にテストの問題を見てしまった場合（「汚染」と呼ばれる問題）、スコアは無意味になると指摘しています。彼らは、すべてのスコアに有効期限を設定することを提案しています。AIが生成した意見は数週間しか有効でないかもしれませんが、形式的な数学の証明は永遠に続くかもしれません。

現実世界の証拠：「信頼のインフレ」の実態

著者らは単に理論を語っただけでなく、AIエージェントのための実際のテストシステムを構築し、いくつかの恐ろしいバグを発見しました。

• サイレント・バグ： 彼らは、コンピュータのプログラミング言語の不一致によって、すべての失敗が成功として記録されていることを発見しました。システムは彼らに嘘をつき、誰も気づかないうちにスコアを水増ししていたのです。これは、インフラレベルでの「信頼のインフレ」です。
• 「平均」の嘘： 彼らは、HELMと呼ばれる有名な公開リーダーボードを用いてこの理論をテストしました。彼らは54のトップAIモデルを10の異なるシナリオにわたって調査しました。
  • モデルを平均スコアでランク付けした場合、トップ5のモデルはあるグループでした。
  • しかし、彼らが最も弱いリンク（どのカテゴリにおける最低スコア）に基づいてランク付けした場合、トップ5のモデルは全く別のグループでした。
  • 事実、2つのトップ5リストの重複はゼロでした。旧来の方法で「最も優れた万能モデル」に見えていたモデルたちは、実は最も大きな隠れた弱点を持っていたのです。一方で、古い方法では「平均的」に見えていたモデルたちは、壊滅的な失敗を抱えていなかったため、実際には最も信頼できるものでした。

これが将来にとって何を意味するか

論文は、AIコミュニティへの行動喚起で締めくくられています。彼らは、スコアの背後にある数学を隠すのをやめることを求めています。

• プロセスを示す： すべてのスコアは、証拠がどの程度強力で、何に適用され、いつ期限が切れるかを示すラベルを伴うべきです。
• 毒を選べ： もしスコアを組み合わせる必要があるなら、どの方法を用いているかを認めるべきです。楽観的なのか（平均を使用）、あるいは保守的なのか（最も弱いリンクを使用）です。論文は、安全性のためには保守的な「最も弱いリンク」の方法をデフォルトにすべきだが、少なくともその選択をしたことを認めるべきだと主張しています。
• バージョン管理： ソフトウェアのコードと同様に、テスト結果を記録する方法もバージョン管理されるべきであり、そうしなければ、リンゴとオレンジを比較してしまうようなミスが起こり得ます。

著者らは、これが「ポジションペーパー（立場表明論文）」であることを認めています。つまり、これはすべてが100%正しいことを証明する大規模な実験に基づいたものではなく、強力な論理とエンジニアリングの経験に基づいた、新しい考え方を提案しているものであるということです。彼らは、保守的すぎると優れたモデルが悪く見えてしまう可能性があることも認めていますが、平均的には素晴らしく見えても、人々を傷つけるような形で失敗するシステムを配備するよりは、安全である方が良いと主張しています。スコアの「認識的ステータス（真実性と限界）」を透明にすることで、私たちはどのAIシステムを信頼すべきかについて、より良い判断を下せるようになるのです。