想像してみてください。あなたは大規模なタレントショーを運営していますが、審査員はたった一人ではなく、数千人に及びます。機械学習の世界では、これらの「審査員」は、AIがどれほど賢いかを判断するために用いられる、さまざまなタスクやテストであることがよくあります。問題は、もし誰かが、全員が全く同じ双子である100人の審査員をこっそり紛れ込ませたらどうなるか、ということです。あるいは、もし彼らが、99%同じ見た目で同じ振る舞いをする1000人の審査員を連れてきたらどうなるでしょうか。もしあなたがすべての審査員の票を平等にカウントしてしまうと、その双子たちがユニークな声をかき消してしまい、最終的なスコアを歪め、勝者を実際よりも良く（あるいは悪く）見せてしまうことになります。これが「冗長性バイアス（redundancy bias）」の問題です。人工知能や社会選択理論の分野の科学者たちは、これらがすべてユニークではない場合に、どのようにこれらの審査員に公平な重み付けを行うべきかという問題に、長年悩んできました。彼らは、非常に似通ったアイテムのグループがある場合、それらが全く異なるアイテムのグループと同じ総パワーを持つべきではないことを知っています。つまり、彼らはスポットライトを分け合わなければならないのです。

ダミアン・ベリアウドとロジャー・ワッテンホーファーによるこの論文は、距離が「類似性」を意味する数学的空間において、これらのアイテムに公平な「重み」をどのように割り当てるかという問題に取り組んでいます。これは、あるタスクのクローンをベンチマークに追加したとしても、システムが混乱したり不当に偏ったりしないようにする方法だと考えてください。著者らは、優れた重み付けシステムが従うべき新しい一連のルール、すなわち「公理（axioms）」を提案しています。彼らは、すべての点がその隣人に対して票を投じる「ローカル・ヴォーティング（局所投票）」と呼ばれる手法を提案しています。そこでは、最終的な重みは各アイテムがどれだけの「投票権」を蓄積したかの計算によって決まります。彼らは、この手法が標準的な幾何学的空間（私たちが住む3D空間のような空間）に対して数学的に機能することを証明し、厳密な計算を行うことは不可能にほど時間がかかるものの、ランダム・サンプリングを用いてこれらの重みを計算する方法を提供しています。

レッドピル、ブルーピル、そしてインディゴピル

まずは、皆さんもご存知かもしれない映画のシーンから始めましょう。ネオは選択を迫られます。普通の生活に戻るためのブルーピルか、真実を見るためのレッドピルか。しかし、ここで第3の選択肢を想像してみてください。インディゴピルです。これは彼を魔法の世界へと目覚めさせますが、ポケットには100ドルが入っています。次に、モーフィアスは、髪の色が異なるネイビーピル、ボルドーピル、シアンピル、そしてグリーンピルを提示します。なぜ彼はこれほど多くの青系の色を提示するのでしょうか？ それは、もし単に「ピル」の数を数えてしまうと、「青」というカテゴリーが「赤」のカテゴリーよりも、実際にはすべてが同じアイデアのバリエーションに過ぎないにもかかわらず、突如として重要に見えてしまうからです。

これは、まさに著者らが解決しようとしている問題です。AIベンチマーク（コンピュータプログラムの成績表のようなもの）の世界では、研究者はしばしば異なるタスクからのスコアを組み合わせます。もしベンチマークに「CoLA」というタスクが含まれており、そこに少しだけ異なる10個の「CoLA」が追加された場合、単純な平均をとると、これら10個のバージョンがスコアの90%を占めることになってしまいます。これは不公平です。それは、もし投票システムが、人がシャツを着替えるたびに新しい一票としてカウントするようなものです。著者らは、「これら10個のバージョンは基本的に同一人物である。したがって、彼らが選挙を支配しないように、重みを分かち合うべきだ」と言うシステムを構築したいと考えています。

ゲームのルール

これを修正するために、著者らは「公理」と呼ばれる厳格なルールを備えた遊び場を設定しました。これらは、彼らの新しい重み付けシステムにおける物理法則のようなものだと考えてください。

1. 正値性（Positivity）: 全員にチャンスがあります。どのタスクも決してゼロの重みが与えられることはありません。たとえ奇妙で孤独なタスクであっても、わずかな注目を与えられます。
2. 対称性（Symmetry）: もし二つのタスクがゲームのルールによって区別できないほど完璧な鏡合わせの状態であれば、それらは全く同じ重みを得なければなりません。
3. クローンの公平性（Clone Fairness）: これが最も重要な点です。もし、ほとんど同一である二つのタスク（例えば、インディゴとネイビーのピルのようなもの）がある場合、それらはほぼ同じ重みを得るべきです。オリジナルの力を奪うために「似たもの」を追加してシステムを欺くことはできません。
4. 連続性（Continuity）: もしタスクをほんの少し動かした場合（例えば、テストの問題をわずかに変えた場合）、その重みが激しく跳ね上がることはあってはなりません。システムは滑らかであるべきであり、ギクシャクしてはなりません。
5. 局所的安定性（Local Stability）: もしグループに新しいクローンを追加した場合、それはそのすぐ隣にあるものの重みにのみ影響を与えるべきです。部屋の反対側にあるタスクの重みを変化させるような連鎖反応を引き起こしてはなりません。

「ローカル・ヴォーティング」という解決策

では、実際にこれらの重みをどのように計算するのでしょうか？ 著者らは、**ローカル・ヴォーティング（局所投票）**と呼ばれる巧妙なアイデアを提案しています。

広大な平坦なフィールドに、たくさんの小石（あなたのタスク）を落とすと想像してください。次に、それぞれの小石の周りには「影響圏」――ある一定の大きさの泡――があると考えてください。もしあなたがその泡の中に立っているなら、あなたは、その小石に対する「投票者」となります。

ここでのひねりは、もしあなたが3つの異なる小石の泡が重なっている場所に立っていたら、あなたは3つすべてに対して投票することになります。しかし、あなたは1票しか持っていません。したがって、その1票を彼らに等分して投じることになります。もしあなたが、1つの小石の泡の中にだけいるなら、その小石に全票を投じます。

小石の最終的な重みとは、その小石の近隣から集めた「投票権」の総量です。もし小石が多くのクローンに囲まれていれば、その泡は混雑しています。その混雑したエリアの投票者は、多くの似通った小石の間で票を分け合わなければならないため、それぞれが得られるパイの切れ端は小さくなります。もし小石がユニークで孤独であれば、そのエリアからの票をすべて獲得します。

著者らは、この「ローカル・ヴォーティング」法がすべてのルールに従うことを数学的に証明しました。これはクローンを公平に扱い、変化に対して滑らかであり、一つのクローンのグループがシステム全体を乗っ取ることを許しません。

数学の問題：困難だが、回避策はある

ここには注意点があります。この方法を用いて正確な重みを計算することは、信じられないほど困難です。3つの泡が重なっている3D空間内のあらゆる点を数えようとしている場面を想像してみてください。より高次元（AIがよく用いる次元）では、重なり合う領域の数は爆発的に増加します。それは、潮が満ちてくるビーチで、砂粒のひとつひとつを数えようとするようなものです。著者らは、大規模な問題に対して正確な答えを素早く出すことはおそらく不可能であると認めています。

しかし、ご安心ください！ 彼らは単に数学的な問題を残して立ち去ったわけではありません。彼らは「モンテカルロ法」という手法を考案しました。これは、「サンプリングによる推測」を行うための洗練された方法です。すべての投票者を数える代わりに、目を閉じて泡の中のいくつかのランダムな地点を選びます。それぞれのランダムな地点がいくつの小石に投票するかを数え、これを数千回繰り返します。これらのランダムな推測を平均化することで、真の重みの非常に優れた推定値を得ることができます。

論文では、このサンプリング法が十分に高速で有用であることを示しています。彼らは、特定の精度レベルを得るために必要なサンプル数さえも書き記しています。例えば、誤差の範囲を極めて小さく、かつ99%の確信度で答えを得たい場合、シミュレーションを特定の回数実行する必要があります。

これが将来にとって何を意味するか

著者らは、自分たちの方法が宇宙のあらゆる問題を解決したと主張しているわけではない、と慎重に述べています。彼らの手法は「ユークリッド空間」（直線が真っ直ぐで円が丸い、学校で学ぶような幾何学）において完璧に機能すると具体的に指摘しています。もし幾何学のルールを変更した場合（例えば、距離の測り方を変えた場合）、彼らの特定の「ローカル・ヴォーティング」のトリックは対称性を損なう可能性があると指摘しています。彼らは、そのような特殊な非標準的な空間については、空間の形状そのものに依存しない、全く新しいアイデアが必要になるだろうと考えています。

また、彼らの手法は理論的には健全ですが、「正確な」計算は実用には遅すぎるため、彼らのサンプリングによる回避策がいかに重要であるかも認めています。彼らはまだ商業製品を構築していませんが、それを実現するための数学的な設計図と、動作するプロトタイプを提供しました。

要約すると、この論文は、私たちのAIテストを重み付けするための、新しい公平な方法を提示しています。それは「クローンの軍団」がスコアボードを支配することを防ぎ、ユニークなアイデアが正当な評価を受けられるようにしつつ、似たようなアイデアには負荷を分担させるものです。これは、私たちがAIが「賢い」と言うとき、それが単に同じ質問に1000回答えるのが得意なだけではなく、本当に賢いことを保証するためのステップなのです。