Disrupting convergence in large language model generation
本論文は、異種的な外部情報の手がかりを供給することが、明示的な指示のみに頼るよりも、大規模言語モデルの出力における意味的多様性を高めるためのより信頼性が高く効果的な手法であることを示し、プロンプト設計における情報の入力と行動のガイダンスとの間の決定的な違いを強調している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
コンピューターに新しいアイデアを考えるよう頼むと、常に同じ答えが返ってくる世界を想像してみてください。これは仮定の話ではなく、私たちが日常的に使用している人工知能システムにおいて、現実となりつつある現象です。これらの大規模言語モデルは、テキストを生成し、問題を解決し、創造性を刺激することができる強力なツールです。しかし、研究者たちはある厄介なパターンに気づきました。多くの人々がこれらのシステムにアイデアを求めると、その回答がますます似通ってくる傾向があるのです。「収束」として知られるこの現象は、多様なユニークな提案が得られる代わりに、何百万ものユーザーによる集合的な出力が、少数の繰り返される回答へと絞り込まれてしまうことを意味します。多くの異なる選択肢を持つことに価値があるブレインストーミングやデザインのようなタスクにおいて、この均質化は重大な問題となります。科学者に課せられた問いは、これらの機械がいかにして多様性を生み出せるかではなく、全員が同じ結果に陥ることなく、いかにして確実に多様性を促すかという点です。
ある研究者が、この繰り返しのサイクルを打破するために、2つの異なる方法をテストすることで解決を図りました。第一のアプローチは、多くの人が直感的に試みるであろう方法、つまり、単にコンピューターに「違ってくるように」と命じることです。これは、機械に標準的なタスクを与えた上で、一般的な回答を避けたり、珍しいものを生成したりするようにという具体的な指示を加えるものです。第二のアプローチは、コンピューターが回答する前に見る情報を変えることです。単に異なる回答を求めるのではなく、研究者はコンピューターに、インスピレーションとして使うためのランダムで無関係な言葉を提供しました。この核心となるアイデアは、変化に富んだ新しい情報を機械に与えることが、自然とより多様な回答へとつながるのか、それとも鍵はすべて指示のフレーズにあるのかを見極めることでした。
答えを見つけるために、研究者は16,000件以上の個別のテキスト生成を含む、綿密に計画された3つの実験を実施しました。彼らは3つの異なる最先端のAIモデルを使用し、3つの異なる創造的なタスクを実行させました。内容は、「赤い椅子の横に置く物を命名すること」、「空の段ボール箱の新しい用途を提案すること」、そして「再利用可能な水ボトルの改善案を提案すること」です。最初の研究では、単に異なる回答を求める標準的なアプローチと、ランダムな外部の言葉を提供する手法を比較しました。結果は明白かつ一貫していました。モデルに対して単に「違ってくるように」と指示しただけでは、回答の多様性はわずかに改善されるのみで、繰り返しのパターンを打破できないことが多々ありました。しかし、研究者がインスピレーションの源としてランダムな言葉を導入すると、回答の多様性は劇的に跳ね上がりました。モデルは、同じいくつかの回答の周囲に集まるのではなく、多くの異なる可能性へと広がり、はるかに幅広い範囲のアイデアを生み出したのです。
その後、研究者はコンピューターがこの新しい情報をどのように使っているのかを理解するために、さらに深く掘り下げました。彼らが知りたかったのは、コンピューターがそのランダムな言葉を明示的に使うよう指示される必要があるのか、それとも単にその言葉が存在しているだけで十分なのかということでした。第二の研究では、ランダムな言葉は全く同じものに保ちながら、その言葉を取り巻く指示を変更しました。一つのグループでは、モデルに対してその言葉を完全に無視するように伝えました。別のグループでは、使いたい場合にのみ使ってもよいと伝えました。そして第三のグループでは、その言葉を使うことを義務付けました。結果は驚くべき非対称性を明らかにしました。モデルに対してランダムな言葉を無視するように伝えると、多様性の恩恵は消え、回答はベースラインと同じように繰り返しの多いものになりました。しかし、特定の指示なしに単に言葉を見せただけでは、多様性は高いまま維持されました。さらに興味深いことに、その言葉を使わなければならないとモデルに伝えても、指示なしに言葉を見せた場合よりも回答が多様になることはありませんでした。多様性を引き出す原動力は、提示された情報の存在そのものであり、使うための明示的な命令は必要ではなかったのです。実際、その情報を無視するようにコンピューターに伝えることこそが、多様化を止める唯一の手段でした。
最後の研究では、情報は一定に保ち、指示の内容のみを変更しました。彼らはすべてのモデルに同じランダムな言葉を与え、それをインスピッションとして使うよう同じ指示を出しました。そして、そこに第二の指示の層を加えました。あるグループには「他の人が得るものとは異なるものを作る」よう伝え、別のグループには「明確で分かりやすいものにする」よう伝え、さらに別のグループには「他の人が得るものに似たものにする」よう伝えました。結果は、指示によって「異なるものを作る」という指示は、コンピューターのデフォルトの習慣から実際に回答を遠ざけ、より多くの多様性を生み出すことを示しました。逆に、「似たものにする」という指示は、回答を中央へと引き戻し、多様性を減少させました。これにより、情報環境が多様性のための原材料を提供する一方で、指示は多様性を増幅させることもあれば抑制することもあるガイドとして機能することが確認されました。
本研究は、人工知能が何度も同じ回答を生成することを防ぐ最も信頼できる方法は、プロンプトだけでなく、情報環境を変えることであると結論付けています。コンピューターに創造的になるよう単に求めるだけでは、最も明白な回答に収束してしまう傾向を克服するには不十分なことが多いのです。代わりに、ランダムな言葉、例、あるいは異なる視点のような、変化に富んだ外部の合図を提供することで、出力に自然な変化をもたらすことができます。この効果は強固であり、新しい情報を強制的に使うよう指示しなくても起こります。しかし、研究者は同時に、この効果は脆いものであることも発見しました。もし指示が、その新しい情報を無視するようにコンピューターに明示的に命じた場合、その恩恵は消えてしまいます。鍵となる教訓は、AIが生成するコンテンツの多様性を維持するためには、コンピューターが動作する「文脈（コンテキスト）」を設計することにあります。機械が多種多様で明確に異なる情報にアクセスできるようにし、かつその情報を無視するように指示することを避けることで、私たちはより豊かで多様な集合的出力を促進することができるのです。このアプローチは、イノベーションのためにこれらのツールを利用するすべての人々に、AIによる創造性の未来が均質化ではなく、多様なものであり続けるための実用的な道筋を提示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。