人工知能の世界において、大規模言語モデルはしばしば、たった一つの単純な問いによって判断されます。「正しい答えを出せるか？」という問いです。ユーザーが数学の問題の解法や、コードの一行、あるいは医学的な診断を求めたとき、標準的なテストは、モデルがたった一つの正解を生成するかどうかで行われます。このアプローチは、機械を、最高スコアだけが重要視される期末試験を受けている学生のように扱うものです。しかし、現実世界の多くの状況においては、単一の答えだけでは不十分です。新しい薬を設計している科学者は、製造が最も容易なものを選べるよう、機能する異なる10種類の化学構造を見る必要があるかもしれません。セキュリティ上の欠陥を修正しているソフトウェアエンジニアは、どのパッチが最も安全かを確認するために、コードを修正するいくつかの異なる方法を望むかもしれません。これらのシナ情において、機械の価値は、一つの完璧な出力を生成する能力にあるのではなく、明確で有用な選択肢の豊かなセットを生成する能力にあります。研究者にとっての課題は、この能力をどのように測定するかでした。従来のテストは、モデルが何回正解したかを数えるか、あるいはリストの中から最良の答えを一つ選んで残りは無視してしまうことがよくありました。これは、多様な有効な可能性のコレクションを持つことが目的である場合、本質を見失っています。

日本の理化学研究所（RIKEN）計算科学センターの研究チームは、この問題に対する新しい視点を開発しました。彼らは、人工知能がいかに単一のタスクに対して多様で有用な回答を生成できるかを、具体的に検証するために設計された、特別なテスト環境、すなわち「ベンチマーク」を作成しました。彼らの手法は、「正解に辿り着いたか？」と問う代わりに、「どれほど多くの、真に有用な異なる答えを見つけたか？」と問います。彼らは、化学分子の設計からソフトウェアのバグ修正、医学的根拠の探索に至るまで、非常に異なる5つの現実世界の課題を用いて、このテストを構築しました。各問題に対して、何が「有用な」結果とみなされるのか、そして二つの結果が実際に異なるとはどういうことかを正確に定義しました。例えば、分子設計においては、二つの答えが表面上は異なって見えても、もし同じ核となる化学構造を共有していれば、それらは同じ有用な成果としてカウントされます。研究者たちは様々なモデルをこれらのタスクに走らせ、複数回試行するように求め、蓄積されたユニークで有効な解決策の数をカウントしました。

この研究の結果は、これらの機械がどのように機能しているかについての驚くべき事実を明らかにしています。研究者たちは、単一の高品質な答えを出すのが最も得意なモデルが、必ずしも多様な答えのコレクションを作るのが最も得意なモデルではないことを発見しました。実際、「最も優れた」モデルのランキングは、何回の試行が許可されているかによって変化します。わずか一回の試行でトップに立つモデルが、20回の試行を与えられると後塵を拝することがある一方で、最初は動き出しが遅いモデルが、最終的にはより幅広い有用な解決策を掘り起こすこともあります。このことは、これらのモデルを実行するための設定が、これまで考えられていたよりも重要であることを示唆しています。研究者たちは、「温度（temperature）」、つまりモデルの出力をよりランダムで多様にする設定を上げることが、個々の回答の質を低下させることがあるものの、より幅広い有用なコレクションをもたらすことが多いことを発見しました。逆に、「思考（thinking）」と呼ばれる、回答する前にステップ・バイ・ステップで推論を促す機能は、個々の回答の質は向上させますが、必ずしもモデルがより明確に異なる解決策を見つける助けにはなりませんでした。

おそらく最も重要なのは、答えが表面上でどのように異なって見えるかを見るだけでは、それらが本当に有用であるかどうかを判断するには不十分であるという点です。多様性を判断する一般的な方法は、回答内の単語や文字が互いに異なっているかどうかをチェックすることです。研究者たちは、この表面レベルのチェックが、モデルが実際に新しい有効な解決策を見つけたかどうかを予測する指標としては極めて不適切であることを発見しました。モデルは、見た目は非常に異なっていても、すべてが同じ基礎的な解決策を表しているような、十個の回答を生成することがあり、それはユーザーが実際に必要としている多様性を提供できていないことになります。回答の実際のコンテンツと意味をタスク固有のルールに照らし合わせてチェックするシステムを用いることで、研究者たちは、結果の真の「カバレッジ（網羅率）」を測定することができました。彼らは、このより深い測定法を用いることで、どのモデルや設定が最も優れたパフォーマンスを発揮しているかについて、しばしば異なる結論が導かれることを発見しました。

チームは、分子設計、ソフトウェアリポジトリの修復、コード内のバグ発見、医学的事例の診断、および複雑な質問を裏付ける証拠の探索という4つの異なるドメインにおいて、4つの異なる大規模言語モデルをテストしました。彼らは、ランダム性のレベルを変えたり、「思考」プロセスを有効または無効にしたりといった異なる設定を用いて、各モデルを実行しました。そして、試行回数が増えるにつれて、各モデルが生成した明確で有効な成果の数を測定しました。データによれば、ほとんどのタスクにおいて、最初の方で最も優れたパフォーマンスを示したモデルは、多くの試行を行った後に最も優れたパフォーマンスを示すモデルではありませんでした。例えば、分子設計のタスクでは、一回の試行ではあるモデルがリーダーでしたが、20回の試行が行われる頃には、別のモデルが有意に多くのユニークな化学構造を掘り起こしていました。このパターンは全体にわたって共通しており、単一の答えを生成するための最良の戦略は、一連の答えを生成するための最良の戦略とはしばしば異なることを示しています。

研究では、モデルに対して「繰り返しを避けること」を明示的に指示することが役立つかどうかも調査されました。研究者たちは、直前に言ったこととは異なるアイデアを生成するようにモデルに強制することで、多様性を強引に引き出そうとする試みをいくつか行ってきました。研究者たちは、このアプローチが信頼できる方法ではないことを発見しました。証拠の探索のような特定のタスクでは効果があったものの、ソフトウェアの修復のような他のタスクでは、むしろ有用な解決策の数を減少させてしまいました。これは、単に多様性を求めるだけでは、モデルが新しい有効な領域を見つけられる保証はないことを示唆しています。むしろ、モデルの構成方法、特にそのランダム性を制御する設定が、モデルが幅広い有用な可能性を探索できるかどうかを決定する上で、より決定的な役割を果たしています。

これらの知見は、人工知能を評価する方法についての考え方を変えるものです。長年、焦点は「単一の最良の答えを得ること」に置かれてきました。しかし、選択肢を持つことが不可欠なより複雑なタスクにこれらの機械が使用されるようになるにつれ、従来の方法による成功の測定は不十分になっています。研究者たちの仕事は、有限の候補回答のセット自体が、それ自体として意味のある研究対象であることを示しています。それは単に、一人の勝者を導き出すための試行の集まりではなく、マッピングされ測定可能な「可能性の風景」なのです。彼らが「検証済みタスク・カバレッジ（validated task coverage）」と呼ぶ新しい手法を用いることで、モデルがこの風景をどれほど上手く探索できるかを直接評価できることを示しました。結果は、これらのツールを最大限に活用するためには、単一の最良の答えを探すのをやめ、提供できる選択肢の幅を価値あるものとし始める必要があるかもしれないことを示唆しています。

この研究の含意は、単に適切なモデルを選ぶことにとどまりません。それは、私たちとこれらのシステムとの関わり方を変える必要があることも示唆しています。もしユーザーが多様な解決策を必要としているなら、個々の回答がわずかに完璧ではなくなることを受け入れたとしても、より探索を促すように設定を調整する必要があるかもしれません。この研究は、これら異なるアプローチをテストし比較するための具体的な方法を提供し、「創造性」や「多様性」といった曖昧な概念を超えて、明確に測定可能な有用な成果のカウントへと移行しました。研究者たちは、自らのツールとデータを公開しており、他の人々が新しいモデルや設定をこの新しい基準に対してテストできるようにしています。これは、これらの機械ができることに対するより微細な理解への扉を開き、単一の成功点から、その潜在能力の全範囲へと焦点を移すものです。

結局のところ、この論文は視点の静かながらも重要な転換を提示しています。人工知能の価値は、単に「正しい」ことにあるのではなく、「多くの異なる方法で有用である」ことにあると主張しています。蓄積される明確で有効な結果の数を測定するテストを構築することで、研究者たちは、これらの強力なツールを眺めるための新しいレンズを提供しました。彼らは、最良の答えのセットへの道は、必ずしも単一の最良の答えへの道と同じではなく、私たちが選ぶ設定が、受け取る解決策の多様性に深い影響を与える可能性があることを示したのです。この研究は、AIの評価におけるあらゆる問題を解決したと主張するものではありませんが、長らく見過ごされてきた問い、すなわち「この機械は実際にどれほど多くの有用なものを見つけ出せるのか？」という問いに対する、明確で再現可能な方法を提供しているのです。