Geometric mean-based pairwise comparison method with the reference values -- statistical approach

あなたは学校のクラブのキャプテンだと想像してください。あなたは来年度のために、最高の活動を3つ選ぶ必要があります。あなたは友人に投票を求めますが、単に一番のお気に入りを選ぶのではなく、すべての活動を他のすべての活動と比較するように頼みます。「ハイキングはベーキングの2倍楽しいですか？」「コーディングはアートの3倍優れていますか？」このように、一つひとつのペアを比較する方法は、市長選びから最適な医療措置の選択に至るまで、困難な決断を下すために専門家が用いる古典的なツールです。それは、一度に2本の木の間にある傾斜だけを測定することで、山の正確な高さを突き止めようとするようなものです。

問題は、人間は完璧な計算機ではないということです。ある友人は「ハイキングの方がベーキングより良い」と言い、次に「ベーキングはコーディングより良い」と言い、さらに「コーディングはハイキングより良い」と言うかもしれません。これは論理的なループ、つまり「不整合」です。何十年もの間、数学者たちはこれらのループを滑らかにし、最終的なランキングを見つけ出す方法を編み出してきましたが、それらは主に、エラーを無視すべき「乱雑なノイズ」として扱ってきました。彼らはランキングが「何であるか」を伝えることはできましたが、「どの程度確信しているか」を簡単に伝えることはできませんでした。それは、天気予報が「雨が降る」と告げても、それが51%の確率なのか99%の確率なのかを教えてくれないようなものでした。本論文はこのギャップに踏み込み、これらの乱雑な人間の比較を単なるエラーとしてではなく、統計的な実験における「データポイント」として扱い、科学者が実験室の結果に対して行うように、私たちの決定に対する自信を測定することを可能にします。

この論文の大きなアイデア：推測を数学の実験室に変える

この論文の著者であるコンラト・クワクウスキ、カミル・プステルニク、そしてヤチェク・シボフスキは、「ヒューリスティック評価推定（HRE）」と呼ばれる特定の意思決定手法に着目しています。未知の項目（新しいビデオゲームなど）と、既知の項目（あなたが完璧な10点満点だと知っているお気に入りのクラシックゲームなど）のリストがあると想像してください。専門家に、新しいゲームをクラシックなゲームや互いに比較させます。目標は、新しいゲームの「重み」やスコアを算出することです。

伝統的に、これは幾何平均（比率をうまく扱う特定の種類の平均）を使用して行われます。著者らは、このプロセス全体が実は線形回帰問題であるという素晴らしいことに気づきました。これは、散布図の点を通る「最小二乗近似直線」を描くために使われる数学と同じであるという、少し難しい言い方です。

ここで比喩を使います。あなたがいくつかの謎の箱の重さを推測しようとしていると想像してください。天秤にはいくつかの既知の重さ（参照値）があります。あなたは謎の箱の重さを知りませんが、友人が「箱Aは箱Bの約半分くらいの重さだ」「箱Cは、5kgの参照重さの2倍だ」といったヒントをくれます。あなたの友人は完璧ではなく、実際には1.9倍であるときに「2倍」と推測することもあります。

論文は、これらの推測を単に平均化すべきではないと示唆しています。代わりに、あらゆる比較を科学実験における一つの「測定値」として扱うべきだというのです。「未知の重さ」は、私たちが解こうとしている変数であり、「友人の推測」は私たちのデータポイントです。統計学のツール（具体的には最小二乗法）を用いることで、謎の箱の最も可能性の高い重さを導き出すことができます。

彼らが発見したもの：信頼区間と「タイ（同点）」クラスター

この論文の真の魔法は、重さを見つけることだけでなく、その重さをどれだけ信頼できるかを知ることにあります。彼らは問題を統計的実験として扱ったため、以前は不可能だったことを計算できました。

1. 信頼区間： 世論調査が「支持率50%、誤差プラスマイナス3%」と言うように、この手法は、あるゲームのスコアがおよそ0.15から0.25の間であることを示すことができます。範囲が非常に広ければ、データが不安定であることを意味します。範囲が非常に小さければ、そのランキングを信頼できます。
2. 順位逆転の確率： これが最もエキサイティングな部分です。著者らは、ある項目が別の項目よりも優れている正確な確率を計算しました。例えば、彼らの例における特定の2つの項目について、一方が他方より優れている確率は**99.46%でした。しかし、別のペアでは、その確率はわずか58.18%**でした。これはコイン投げとほとんど変わりません！
3. 「タイ（同点）」の解決策： ここで論文は非常に実用的になります。もし項目Aが項目Bより優れている確率が低い場合（例えば75%未満）、著者らは無理にランキングを強制すべきではないと提案しています。代わりに、それらを「タイ・クラスター（同点グループ）」としてグループ化すべきです。ゴールカメラが勝者を判別できないほど接戦となったレースを想像してください。偽の勝者を宣言する代わりに、「引き分け」と言います。論文は、これらの不確かな項目を自動的にグループ化し、平均スコアを与えるアルゴリズムを提案しています。これにより、意思決定者が弱い証拠に基づいて大胆な選択をしてしまうことを防ぎます。

彼らが主張していないこと（および排除していること）

この論文が「行っていない」ことを注記しておくことは重要です。この論文は、人間の脳を修正したり、専門家に間違いをやめさせたりすることを主張しているわけではありません。データの「ノイズ」や不整合は依然として存在します。論文はそれをより良く測定しているだけです。

著者らは、不確実性を単に無視すべきだという考えや、単一の「不整合指数」（データの乱雑さを一つの数字で示す古い数学ツール）だけに頼るべきだという考えに明確に反対しています。彼らは、二つの異なるペアが同じ「乱雑さ」のスコアを持っていたとしても、一方は明確に分離されており（ランク付けが容易）、もう一方はほぼ同一である（ランク付けが困難）可能性があるため、一つの数字では不十分であることを示しています。彼らの新しい手法は、「乱雑さ」と項目の間の「距離」の両方を捉えます。

また、これがあらゆる状況に対する魔法の杖であるとも主張していません。彼らの結果は、数学的な証明とシミュレーション（彼らが取り組んだ7つの代替案を用いた例など）に基づいています。彼らは、複数の専門家がデータを提供するグループ設定においては、各専門家が一部の比較を見逃していたとしても、全員の「測定値」を組み合わせることで、より明確な全体像を得られるため、この手法はさらに強力になり得ると示唆しています。

まとめ

簡単に言えば、この論文は「これはあれよりも良いと思う」という主観的で乱雑な世界を、厳密でデータ駆動型の科学へと変えるものです。それは、「AはBより優れていると99%の確信を持っているが、CとDについては58%しか確信がないので、CとDは引き分けとしよう」と言える方法を与えてくれます。硬直したランキングのリストを、柔軟で誠実な「私たちが実際に知っていること」の表現へと変え、意思決定者が、実際よりも確信しているかのように振る舞う罠を回避する助けとなるのです。