From Hallucination to Reliability: Generative Modeling and the Structure of Scientific Inference

科学は長い間、ある単純で心地よい考えに依拠してきました。それは、「もし世界のモデルを構築できるのであれば、適切なデータを入力しさえすれば、そのモデルは真実を語ると信頼できる」というものです。しかし、新しい世代の人工知能がそのルールを変えようとしています。これらは、単に情報を整然としたカテゴリーに分類するだけの旧来型のコンピュータではありません。これらは生成モデル、つまり、全く新しい複雑なデータをゼロから作り出すように設計されたシステムです。それらは、タンパク質がどのように三次元的な形に折り畳まれるかを予測したり、地球全体の天気を予測したりすることができます。問題は、これらの創造的な機械には「暗部」があることです。これらは「ハルシネーション（幻覚）」を起こしやすいのです。これは人間の心理学から借りてきた言葉で、AIが、単に存在しないはずの、もっともらしく見える詳細を捏造することを指します。医療スキャンにおいては、健康な骨の中に骨折があるように見えるかもしれません。タンパク質のモデルにおいては、自然界では混沌とした無秩序な塊である場所に、堅固な構造を作り出してしまうかもしれません。何十年もの間、科学者たちは、これらのエラーが致命的な欠陥となり、この技術を真剣な発見には危険すぎるものにしているのではないかと懸念してきました。もし機械が物事をでっち上げているのであれば、私たちはどうやって何が現実であるかを知ることができるのでしょうか。

ユリッヒ研究センターの研究者であるチャールズ・ラトコフによる新しい論文は、私たちが問題を間違った方向から見ていたと主張しています。生成AIが信頼できないのはハルシネーションのせいだという恐怖は、科学が実際にどのように機能しているかについての誤解に基づいています。ラトコフは、AIモデルを単独で判断するのをやめ、そのモデルが組み込まれている科学的なプロセス全体、すなわち「ワークフロー」を判断すべきだと提案しています。論文は、たとえAIが嘘を捏造し続けたとしても、科学者がその周囲にセーフティネットを構築できると提唱しています。研究者は、自然界に関する独自の深い既存知識を用いることで、嘘を排除し、真実を保持することができるのです。その結果、たとえ到達するために使用したツールが不完全であっても、最終的な科学的結論は信頼できるものになります。

なぜこれが重要なのかを理解するためには、まずこれらのAIモデルが何をしているのかを把握しなければなりません。厳格な、あらかじめ書かれたルールに従う従来のソフトウェアとは異なり、生成AIは膨大な既存のデータを学習し、次に何が来るかを推測することによって学習します。それは、図書館にあるすべての本を読んだ学生が、新しい物語を書くよう求められているようなものです。その学生は美しく新しい物語を書くかもしれませんが、存在しないキャラクターを捏造したり、物理法則に矛盾するプロットを作成したりすることもあります。科学の世界では、この「捏造」がハルシネーションです。論文は、これらのエラーは単なるランダムな間違いではなく、避けられないものであると指摘しています。AIは、タンパク質の複雑な折り畳みや嵐の渦巻くパターンのような、複雑で高次元の構造を作り出そうとしているため、データが希薄な部分を埋めなければならないからです。そうすることで、表面上は完璧に見えても、根本的には間違っている構造を作り出してしまうことがあります。著者は、AIをもっと厳しく訓練したり、より優れたバージョンのモデルを構築したりすることで、これを止めることはできないと論じています。AIを創造的で有用にするメカニズムそのものが、AIにハルシネーションを強制させるメカニズムでもあるからです。

この論文は、分野における一般的な仮定に異議を唱えています。それは、「ハルシネーションとは、単にAIが学習したデータとは異なる見た目のデータである」という仮定です。もしそれが真実であれば、科学者は学習データと一致しない出力をすべて捨てればよいことになります。しかし、ラトコフはこれが罠であると主張します。科学における目標は、すでに知っていることを繰り返すことではなく、まだ知らないことを発見することです。もし科学者が、過去のものと異なって見えるという理由だけで奇妙な新しい結果を捨ててしまえば、真の発見を誤って捨ててしまうかもしれません。したがって、論文ではハルシネーションをより正確に定義しています。それは、記述しようとしている実世界の対象を誤って表現する出力であり、それは意図的ではなく、偶然に行われるものです。それは機械が自律的に犯す間違いであり、教え込まれたトリックではありません。

著者は次に、二つの実例を挙げ、科学者がAI自体を修正することなく、どのようにこの問題をすでに解決しているかを示しています。最初のケースは、Google DeepMindが開発した、タンパク質の3D形状を予測する有名なAIシステム、AlphaFoldです。タンパク質は生命の働き手であり、その形状がその機能を決定します。最新バージョンのAlphaFold 3は、新しい構造を捏造することを可能にする生成的なアプローチを採用しています。開発者たちは、これがハルシネーションにつながることを知っていました。実際、このシステムは、本来はゆらゆらと動く無秩序な部分であるはずの箇所に対して、堅固でコンパクトな形状を捏造することがあります。もし科学者がその出力を額面通りに受け取れば、誤解を招くことになります。しかし、チームはAIの周囲に、エラーを捉えるための「ワークフロー」を構築しました。彼らは、AIの出力をチェックするための第二の分析レイヤーを追加しました。このシステムはAIの出力を監視し、既知の化学や物理のルールと照らし合わせます。例えば、タンパク質の無秩序な部分は周囲の水にさらされているべきであり、固形部分は内側に隠れているべきであることを知っています。もしAIが無秩序な部分に対して固形な形状を捏造した場合、ワークフローはその出力を疑わしいものとしてフラグを立てます。システムはまた、予測された形状のあらゆる部分に対して信頼度スコアを割り当て、科学者にどの部分が信頼でき、どの部分がハルシネーションである可能性が高いかを正確に伝えます。AIは依然として間違いを犯しますが、ワークフローによって、それらの間違いが最終的な結論に到達しないように保証されます。

二つ目の例は、気象学、特に天気予報に使用されるSEEDSと呼ばれるシステムから来ています。天気は混沌としています。初期条件のわずかな変化が、劇的に異なる結果をもたらすことがあります。これに対処するため、予報士は「アンサンブル」を使用します。これは、同じモデルを何度も実行して、起こりうる未来の範囲を得ることを意味します。SEEDSは、生成AIを使用して、これらの多くの可能な未来を迅速に作成します。論文は、このAIによる個々の予報が、空気圧と温度が物理法則に矛盾するといった、物理的に不可能なものである可能性があると指摘しています。これらがハルシネーションです。それでも、システムは信頼性を保っています。なぜでしょうか？ それは、科学者たちが単一の予報を孤立して見ているのではなく、512個の予報のグループ全体を一緒に見ているからです。もし一つの予報がハルシネーションであったとしても、それは大きな群衆の中の一つの声に過ぎません。ハルシネーションが稀であり、かつすべてが同じでない限り、それらは最終的な降水確率や気温の計算において相殺されます。ここでのワークフローは、アンサンブルそのものです。出力を単一の真実としてではなく、可能性の集合体として扱うことで、システムはノイズをフィルタリングします。研究者たちはまた、統計的ツールを使用して、予報のグループ全体が現実と一致しているかどうかを確認し、最終的な確率数値が信頼できるものであることを保証しています。

論文の核心的な発見は、信頼性にはAIが完璧である必要はないということです。それは、AIを取り巻く人間のプロセスが賢明である必要があります。ラトコлоフは、私たちは「ハルシネーションのない」AIを作ることを目指すのではなく、「ハルシネーションに強い」ワークフローを構築すべきだと主張しています。これは、焦点を機械から手法へと移すものです。科学者がそのアイデアをテストするための知識を持っている限り、機械はブラックボックス、つまり神秘的なアイデアの生成器であっても構わないのです。論文は、これが科学が常にどのように機能してきたかを示唆しています。私たちは不完全な道具を使用しますが、それらをチェックとバランスの中に置いてきました。AIは原材料を提供し、科学者が判断を提供します。

このアプローチは、科学におけるAIの役割についての考え方も変えます。一部の批評家は、AIは新しいアイデアを見つける（発見）ことには優れているが、それが真実であることを証明する（正当化）ことには向いていないと主張しています。彼らは、実験室で予測をテストできる場合にのみ、AIを信頼すべきだと言います。ラトコフも、テストが極めて重要であることには同意していますが、ワークフロー自体が証明の一部であると付け加えています。フィルタリング、ランキング、そしてAIの出力を格付けする行為は、正当化の一形態です。それは単にAIが正しいかどうかを待つことではなく、実験を行う前にAIが正しいことを保証するシステムを構築することなのです。論文は、研究対象（タンパク質であれ嵐の前面であれ）に関する十分な背景知識を持っている限り、これらのセーフティネットを構築できると示唆しています。

論文は、厳粛ながらも希望に満ちた結びの言葉で締めくくられています。信頼できるワークフローを構築できるかどうかは、対象となるシステムに対する深い理解に依存します。もし科学者が、ほとんど何も知らないものをモデル化しようとしているのであれば、AIの嘘を捉えるためのフィルターを構築することはできません。そのような最前線の領域では、リスクは依然として高いままです。しかし、タンパク質の折り畳みや天気のダイナミクスのように、すでにルールをしっかりと把握している多くの分野において、生成AIは強力なパートナーになり得ます。人間が絵を描くときに間違いを犯すように、機械はこれからもハルシネーションを起こし続けるでしょう。しかし、科学者が「本物の絵」がどのようなものかを知っていれば、間違いを見つけ出し、傑作を守ることができます。論文は、AIの問題が解決されたとか、ハルシネーションが消滅すると主張しているのではありません。より実践的なことを主張しています。それは、私たちはハルシネーションと共に生き、それを管理し、それでもなお、人類の知識の境界を広げるためにこれらの強力なツールを使用することができる、ということです。科学の信頼性は、著者が述べるように、道具の完璧さにあるのではなく、その使い方の知恵にあるのです。