A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models
本論文は、複数の正解が存在し得るシナリオにおいて回答の質を評価するための従来の静的なベンチマークに代わるモデル主導のアプローチとして、匿名化された回答に対する相互ランキングを集計することで相対的知能指数を生成する、スケーラブルでコンセンサスに基づいたフレームワークを提案する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
AIによる偉大なる味覚テスト
コンピュータが人間のように話し、書き、問題を解決できるほどに学習した世界を想像してみてください。これは、私たちが今日使用している多くのチャットボットやツールの背後にある、超スマートなデジタル脳、大規模言語モデル（LLM）の領域です。長い間、科学者たちは、唯一の正解がある数学のテストのような厳格な「解答キー」を用いて、これらの脳をテストしてきました。しかし、人生は常に数学のテストのようなものではありません。時には、一つの問いに対して多くの優れた答えが存在することもあります。そして、「最高」の答えがどれであるかは、それがどれほど明快で、役に立ち、あるいは巧妙であるかに左右されます。ここで問題が生じます。もし、完璧な書き方が5通りある場合、エッセイをどのように採点すればよいのでしょうか？
これを解決するために、研究者たちはAIにAIを採点させるという手法を使い始めました。それは、審判団に、仲間の中で誰が一番面白いジョークを言ったかを決めてもらうようなものです。しかし、ここに落とし穴があります。もし審判たちが皆、同じ学校に通っていた友人同士だったとしたら、たとえそれが実際には一番面白いジョークではなくても、彼らは皆同じスタイルのジョークを好んでしまうかもしれません。この論文は、まさにその問題に切り込んでいます。もし、異なるAIモデルのグループに、誰が書いたものかを知らされない状態で（ブラインド状態で）互いの回答を判定させたら、彼らが何を「好む」のかというパターンを見つけ出すことができるのでしょうか？ この研究は「真実」を見つけることを主張しているのではなく、これらのデジタルな精神が、何が良いと感じるかについてどのように合意しているかという地図を描こうとしているのです。
デジタル界のブラインド・テイストテスト
あなたが、大規模でハイテクな持ち寄りパーティー（ポットラック・ディナー）にいるところを想像してください。食べ物を持ってくる代わりに、5つの異なる超知能ロボット（ここでは「シェフ」と呼びましょう）が、同じ料理の最高のレシピを持ってきました。目的は、誰が「正しい」食事を作ったかを見ることではありません。なぜなら、完璧なシチューの作り方は10通りあるかもしれないからです。目的は、他のロボットたちが、どの食事が最も見た目が良く、味も良いと考えているかを見ることです。
これこそが、この論文でモトシャリム・カーン（Mohtashim Khan）が行ったことです。人間に味見をさせる代わりに、彼は「シェフ」たちが互いを審査するという「ブラインド・テイストテスト」を設定しました。
セットアップ：正体隠匿ゲーム
実験には、Claude、ChatGPT、Gemini、Grok、Mistralという5つのトップティアのAIモデルが参加しました。研究者は、トリッキーな数学パズルを解くことから、コードを書くこと、安全性に関する質問への回答、一般的な知識のクイズに至るまで、25種類の異なる課題を与えました。
ここで行われたのは、魔法のような仕掛けです。ロボットたちが審査を行っている間、彼らは誰がその回答を書いたのかを知りませんでした。回答からは名前が取り除かれ、シャッフルされ、「回答1」「回答2」といったラベルだけが付けられました。各ロボットは、その回答がいかに明快で役に立つかに基づいて、すべての回答をベストからワーストへとランク付けしなければなりませんでした。彼らは互いに会話することも、他の者がどう考えたかを見ることもなく、完全に独立してこれを行いました。
スコア：「相対的知能指数（RII）」
審査が終わった後、研究者は投票を集計しました。彼は**相対的知能指数（Relative Intelligence Index: RII）**という新しいスコアを作成しました。これは、単なる「賢さ」の成績ではなく、人気投票のスコアだと考えてください。高いRIIは、そのロボットの回答が仲間によって頻繁に「ベスト」として選ばれたことを意味します。低いRIIは、その回答がしばしば下位にランクされたことを意味します。
何が見つかったのか？
結果は、チームごとに勝敗が分かれるスポーツリーグのようでした。
- 一貫した勝者： ClaudeとGrokがしばしばトップに立ちました。Claudeは特に数学とコーディングに強く、Grokは論理パズルと創造的な思考において輝きを放ちました。
- 安定した実力者： GeminiとMistralは、必ずしも「ベストな回答」の賞を獲得したわけではありませんが、非常に一貫していました。彼らのスコアは、テストごとに大きく変動することはありませんでした。
- スピードと品質のトレードオフ： 研究では、各ロボットが回答を作り上げるのにどれくらいの時間がかかったかも計測されました。興味深いことに、考えるのに最も長い時間をかけたロボット（GeminiやClaudeなど）が、しばしば他のロボットから好まれる傾向にありました。最も速かったロボット（Mistralなど）は、素早かったものの、必ずしも最高の票を得たわけではありませんでした。
大きな「ただし書き」
この論文は、このスコアが何では「ない」かについて、非常に慎重に述べています。これは、誰が実際に「正しい」か、あるいは誰が人間に最も役立つかという指標ではありません。それは単に、ロボットたちが互いのスタイルをどれくらい好んでいるかを示す尺度です。すべてのロボットが似たような本やウェブサイトで学習されている可能性があるため、彼らが一致しているのは、一方が客観的に優れているからではなく、単に同じ「味覚」を持っているからかもしれません。
テイクアウェイ（要点）
このフレームワークは、唯一の正解が存在しない場合、コンセンサス（合意）の手法を用いることで、どのAIの出力が他のAIにとって最も洗練され、一貫していると感じられるかを確認できることを示唆しています。これは人間の判断に取って代わるものではありませんが、回答が主観的な場合に、モデルを比較するためのスケーラブルな方法を提供します。この研究は、一部のモデルが一般的に仲間から好まれる傾向にある一方で、その結果はトピックや特定のテストの実行内容によって変化し得ることを明らかにしました。これは、単に「正解に辿り着いたか？」ではなく、「モデル同士が互いをどう思っているか？」に焦点を当てた、AIのパフォーマンスに対する新しい視点です。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。