The conditional superiority of fast silicon sampling

あなたは、新しい法律や奇妙な映画、あるいは激辛料理のトレンドに対して、群衆がどのように反応するかを予測しようとしていると想像してみてください。かつては、外に出て何千人もの実在の人間を訪問し、ドアを叩いて質問しなければなりませんでした。しかし今、私たちには「大規模言語モデル（LLM）」があります。これらは、インターネット上のほぼすべての内容を読み込んだ、超スマートなデジタル脳のようなものだと考えてください。彼らは人間の会話を模倣するのが非常に得意なので、人間になりきることができます。これにより、研究者たちはある大胆なアイデアを思いつきました。実在の人間に聞く代わりに、AIに聞けばいいのではないか、というわけです。これは「シリコン・サンプリング」と呼ばれます。それは、部屋の中にいるデジタル・クローンの一団にアンケートに答えてもらうようなものです。しかし、ここで大きな疑問が生じます。もしこれらのデジタル・クローンに、素早く、一気に答えを出させるようにしたら、その回答は果たしてまともなものになるのでしょうか？ それとも、真実を得るためには、一つひとつの質問に対して、ゆっくりと慎重に尋ねる必要があるのでしょうか？ この論文は、まさにその問い、つまり、人間の意見をシミュレートする際に「スピードが精度を損なうのか」という問題について検証しています。

この研究の研究者たちは、このアイデアを検証するために、特定のグループ、すなわちシンガポールの人々を用いてテストすることに決めました。彼らは、移民や倫理的なルール（例えば、税金を不正に申告したり、失礼な態度を取ったりすることが許されるかどうかなど）について、2,000人以上の実際のシンガポール人に向けられた実際の調査を用いました。そして、非常に高度なAIモデル（OpenAIのGPT-5.4）を使用して、2種類の異なる「デジタル・クローン」のセットを作成しました。一方のセットは「スロー（低速）」方式で作られました。これは、AIに対して一つずつ質問を行い、各質問ごとに新しい状態で開始するという、人間がテストを受けるのと全く同じ方法です。もう一方のセットは「ファスト（高速）」方式を使用しました。これは、AIに全質問リストを一括で巨大で複雑なプロンプトとして与え、一度にすべての回答を吐き出させる方法です。

結果は、「悪くはないが、決して完璧ではない」というものでした。まず、悪いニュースから。デジタル・クローンは、実在の人間の完全なコピーではありませんでした。彼らは「平均的な意見」を推測することについては非常に優れていましたが（例えば、ほとんどの人が何かを「適切である」と考えていれば、AIもまたそれを「適切である」と考えました）、意見の「多様性」を捉えることには失敗しました。実在の人間は幅広い感情を持っています。ある人はそれを愛し、ある人は嫌い、そしてある人は中間的な立場をとります。しかし、AIはすべてを平坦化してしまう傾向があり、全員が全く同じように感じているかのように見せてしまいました。また、異なる意見同士の関係性についてもミスがありました。例えば、現実の世界では、移民を嫌う人は他の何かについても特定のパターンで嫌うことがあります。AIのデジタル・クローンは、そのパターンを正確に把握できていませんでした。彼らの意見の「形」は、実在の人々と比較すると歪んで見えました。

しかし、ここからがこの論文をエキサイティングにする「ひねり」です。研究者たちは、「ファスト」方式が実は「スロー」方式と同じくらい優れており、時にはむしろ少し優れていることを見出しました。これは驚くべきことです。なぜなら、AIに巨大な質問リストを一度に与えれば、AIが混乱したり、応答性が低下したりすると誰もが予想していたからです。しかし、データによれば、ファスト方式のデジタル・クローンは、スロー方式のクローンと同様に、実在のデータに対して忠実でした。実際、ファスト方式は大幅な時間の節約になりました。一人分の回答一式を生成するのに、スロー方式では20秒かかったのに対し、ファスト方式ではわずか3秒でした。また、コンピューターのリソース（トークン）を約64%削減でき、コストも半分に抑えることができました。

では、結論はどうでしょうか？ 本論文は、シリコン・サンプリングは、実在の人間の思考の乱雑で多様な性質を完全には捉えきれていないため、「細心の注意」を持って使用すべき手法であると結論付けています。しかし、最高の結果を得るために、必ずしもゆっくり行う必要はないということです。もしAIを使って人間の意見をシミュレートするのであれば、できる限り速く行った方がよいでしょう。それは、回答の質を落とすことなく、時間とコストを節約できるからです。ただし、著者たちは、まだ過度に期待しすぎないよう警告しています。これらのデジタル・クローンは、あくまで探索的なツールに過ぎません。アイデアをテストしたり、モデルがどのように振る舞うかを確認したりするには適していますが、ある集団が正確に何を考えているかを知る必要がある場合には、実在の人間による調査に取って代わるものではありません。デジタル・クローンは基礎的な部分については上達してきていますが、真に人間らしくなることはまだできていないのです。