Using predictive multiplicity to measure individual performance within the AI Act

あなたは、ローンを申請したり、仕事に応募したり、あるいは医療措置を受けようとしている場面を想像してみてください。あなたの運命を決めるコンピュータ・システムが、真実を完璧に見通す「水晶玉」であることをあなたは願っています。しかし、もしその水晶玉が単一の物体ではなかったらどうでしょう？もしそれが、同じ会社によって作られ、すべてが95%の精度を謳いながらも、あなたの特定の状況に対してはそれぞれ微妙に異なる答えを出す、さまざまな種類の水晶玉が入った一つの箱だったとしたら？

これが、論文**「AI法における個人のパフォーマンスを測定するための予測的多様性の活用（Using predictive multiplicity to measure individual performance within the AI Act）」**が取り組んでいる核心的な問題です。ここでは、日常的な比喩を用いて、彼らの主張を簡単に解説します。

1. 問題点：「羅生門」効果

AIの世界には、**「予測的多様性（Predictive Multiplicity）」**と呼ばれる現象があります。これは、同じ事件のファイルを見ている、専門家による裁判官グループのようなものです。

• シナリオ： あなたには100人の専門家裁判官がいるとします。彼らはケースの90%において一致した意見を持っています。彼らは全体として皆「正確」です。
• ひねり： しかし、彼らが「あなた」の特定のケースを見たとき、50人の裁判官は「イエス」と言い、残りの50人は「ノー」と言います。
• 現実： 単一の「最高の」モデルが存在しないため、AIプロバイダーは、たとえ全体的な精度が同じであっても、あなたの結果を真逆にするような別のモデルを、ツールボックスの中から簡単に選び出すことができてしまうのです。

著者らは、この**「恣意性」**は危険であると主張しています。もしあなたの人生がその決定にかかっているのなら、その「同等に優れた」モデルのうち、コンピュータがたまたまどのモデルを選んだかは問題にされるべきではありません。もしモデル同士が意見を違えているなら、そのシステムは、あなたのケースに関しては実質的にコイン投げをしている（運任せにしている）ことになります。

2. 法律：EU AI法

この論文は、この問題を、高リスクAI（採用、ヘルスケア、融資など）を規制する新しい欧州の法律である**「EU AI法」**の観点から考察しています。

• 要件： 法令は、これらのAIシステムを構築する企業に対し、それらが正確であることを証明することを求めています。
• ギャップ： 通常、企業は単に「当社のシステムはデータセット全体で90%の精度です」と言うだけです。
• 論文の洞察： しかし、法律は実際には、グループの平均値ではなく、**「特定の人々」**についての報告をプロバイダーに求めています。著者らは、もし複数の「優れた」モデルが特定の個人について意見を違えているならば、たとえ全体のスコアが素晴らしく見えたとしても、そのシステムはその人に対して「信頼できる」とは言えないのだと主張しています。

3. 解決策： 「不一致」を測定する

これを解決するために、著者らはパフォーマンスを測定する新しい方法を提案しています。単に「モデルは正しいか？」と問うのではなく、**「他の優れたモデルたちは、このモデルとどれくらい意見が食い違っているか？」**と問うのです。

彼らはこれを測定するための2つのシンプルなツール（指標）を紹介しています。

• コンフリクト・レシオ（「綱引き」メーター）：
  あなたの特定のケースにおける綱引きを想像してみてください。100のモデルがロープを引いているとき、何個が「イエス」の方へ引き、何個が「ノー」の方へ引いているでしょうか？

  • 99が「イエス」で、1が「ノー」であれば、コンフリクト（衝突）は低いです。あなたは「イエス」を信頼できます。
  • 50が「イエス」で、50が「ノー」であれば、コンフリクトは最大になります。システムはあなたについて混乱しています。
  • 目標： コンフリクト・レシオが高い場合、システムはコンピュータに判断させるのではなく、人間によるレビューのためにその人物をフラグ立てすべきです。

• $\delta$-アンビギュイティ（「混乱カウント」）：
  これは、グループ全体の中で、このような「混乱した状態」にある人がどれくらいいるかを数える方法です。これにより、企業は自社のシステムが全般的に信頼できるのか、それとも大部分の人々にとって使い物にならないのかを判断できます。

4. 実践方法：「アドホック」なアプローチ

こう思うかもしれません。「これらすべての異なるモデルを見つけるには、何百万ものテストを行う必要があるのではないか？」それでは時間がかかりすぎます。
著者らは賢い近道を見つけました。あらゆる可能なモデルをテストする必要はありません。単に、以下のようにプロセスに微細でランダムな変更を加えることで、少数のモデルを訓練すればよいのです。

• データの順序をわずかに変える。
• 数値に微量な「ノイズ（ランダム性）」を加える。
• わずかに異なる設定を使用する（例：コンロの温度設定を変える）。

彼らはこれをテストし、このようにして訓練された**「少数のグループ」**であっても、システムがどこで混乱しているかを明らかにするには十分であることを発見しました。これは、少しずつ異なる材料を使って同じ料理を作る、数人の異なるシェフに頼むようなものです。もし彼らが味について一致していれば大丈夫です。もし意見が分かれれば、何かがおかしいということが分かります。

5. 推奨事項：作り手と使い手の間の握手

論文は、EU AI法が実生活でどのように機能すべきかについて、実践的な提案で締めくくっています。

1. AIの作り手（プロバイダー）へ： 単一の「ブラックボックス」モデルを渡すのではなく、複数の同等に優れたモデルを含む「ツールキット」を提供してください。
2. AIの利用者（デプロイヤー）へ： 個人に対して最終決定を下す前に、「コンフリクト・レシオ」を確認してください。
   • コンフリクトが低い場合： モデルの意見が一致しています。自動決定を進めても構いません。
   • コンフリクトが高い場合： モデル同士が争っています。停止してください。 人間を介入させ、最終判断を行わせてください。

まとめ

この論文は、**「精度とは単なる数字ではなく、一貫性についての物語である」**と主張しています。もしAIシステムが、あなたについて自分自身と意見を一致させることができないのであれば、人間の監視なしに、あなたの人生を変えるような決定を下すことは許されるべきではありません。異なる「優れた」モデルがどれほど意見を違えているかを測定することで、私たちは新しい欧州の法律の下で、AIをより安全で信頼できるものにすることができるのです。