Chemical Chain-of-Thought Functions as a Hallucination-Prone Molecular Scratchpad
この研究は、言語モデルにおける化学的な思考の連鎖（chain-of-thought）が、捏造された構造的主張が頻発する一方で、正解を導き出すための因果関係を担う「幻覚を起こしやすい分子のスクラッチパッド」として機能していることを明らかにしており、単なる回答の評価ではなくプロセスレベルの監督が必要であることを示唆している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能という広大な風景の中で、新しい世代のモデルは、話す前に考えることを学習しました。答えに直ちに飛びつくのではなく、これらのシステムは、数学の問題を計算用紙に解く学生のように、ステップ・バイ・ステップの推論プロセスを書き出すように訓練されています。この「思考の連鎖（chain-of-thought）」として知られる手法は、コンピュータが複雑なパズルを解くための標準的な方法となりました。分子が生命や医薬品の構成要素である化学の分野において、この能力は特に有望です。科学者たちは、もしコンピュータが新しい薬を設計したり化学構造を特定したりするための論理を説明できれば、人間の専門家はその論理に誤りがないかを確認できると考えています。そこでは、「最終的な答えが正しければ、そこに到達するために用いられた推論もまた信頼できるはずだ」という仮定が置かれてきました。
しかし、最近の研究はこの心地よい仮定に異議を唱えています。シンガポール国立大学や香港ポリテクニック大学を含む研究機関の研究者たちは、これらのAIモデルが本当に化学の問題を通じて推論しているのか、それとも単に途中で作り話をしているだけなのかを調査しました。彼らは「ハルシネーション（幻覚）」と呼ばれる特定の種類の誤りに焦点を当てました。これは、モデルが事実ではないことを自信満々に述べてしまう現象です。化学の文脈では、例えば、ある分子にカルボン酸などの特定の化学基が含まれているとモデルが主張しても、実際にはその構造にその基が存在しない、といった形になります。化学構造は精密であり、既知のデータベースと照合して検証できるため、この分野は、AIの説明が現実と一致しているかどうかをテストするための稀有な機会を提供しています。研究者たちは、モデルが正しい答えを得たとき、それは化学を理解したからなのか、それとも正しい形を推測しながら、それを正当化するための偽の物語を捏造しただけなのかを知りたいと考えました。
答えを見つけるために、チームは12種類の異なる化学タスク（分子の記述から新しい分子の設計まで）にわたって、4つの異なる系統の推論モデルを分析しました。彼らは、モデルの書かれた推論を読み取り、すべての化学的主張を実際の分子構造と照らし合わせてチェックするシステムを構築しました。そこで彼らが発見したのは、驚くべきことでした。ハルシネーションは蔓延していたのです。多くの場合、モデルは完全に正しい分子構造を生成していましたが、添えられた記述の中には捏造された化学的詳細が含まれていました。例えば、テキストによる記述から分子を生成するタスクにおいて、ある主要なモデルの回答のうち約13パーセントは、最終的な出力自体は正確であったものの、付随する推論テキストには少なくとも一つの作り物の化学的主張が含まれていました。研究によれば、これらの「嘘」の存在は、最終的な答えが正しいか間違っているかとはほとんど関係がありませんでした。モデルは、結果としては完全に正確であっても、その推論には虚偽が満ち溢れていることもあれば、結果としては間違っていても、その推論は潔白であることもありました。
この乖離は、書かれた推論が必ずしも結論に至った過程を忠実に記録しているわけではないことを示唆しています。なぜこのようなことが起こるのかを理解するために、研究者たちはモデルの出力を意図的に変更する一連の実験を行いました。彼らは書かれた推論テキストを取り上げ、化学基の名前を誤ったものに入れ替えました。驚くべきことに、これらの言葉による主張を変更しても、モデルが生成する最終的な答えにはほとんど影響を与えませんでした。モデルは、最終的な構造を生成する段階になると、自分自身の書いた説明を無視しているようでした。しかし、元の入力や、モデルが書き留めた内部の構造スケッチを変更した場合には、最終的な答えは劇的に変化しました。これは、モデルが問題を解くために自身の散文（プローズ）に依存していないことを明らかにしました。代わりに、彼らは推論スペースを一種の「分子用の計算用紙（スクラッチペーパー）」として使用していたのです。
研究者たちは、モデルが化学構造の断片を書き留めていることを見つけました。それは多くの場合、「SMILES」と呼ばれる、分子をテキスト文字列として表現する方法によるものです。これらの断片は、モデルが最終的な答えを構築するために使用する中間的なメモとして機能していました。化学を記述する読みやすい文章はしばしば信頼性が低く、捏造されやすい一方で、これらの構造的なドラフト（下書き）が計算の実質的な重みを担っていました。異なるモデルは、この計算用紙をそれぞれ異なる方法で使用していました。一部のモデルは、これらのテキストベースの構造的断片に大きく依存していましたが、他のモデルは、分子の形状や特定の部位の位置といった、より広範な化学的手がかりに焦点を当てているようでした。この研究は、読みやすい説明はしばしば「事後的な合理化（後付けの説明）」、つまり事後に語られる物語に過ぎず、実際の作業はこれらの隠れた構造的ドラフトの中で行われていることを示しました。
この発見がもたらす意味は、科学における人工知能への信頼と利用において極めて重要です。もしモデルが、使用した化学基について嘘をつきながら、正しい薬の候補を生み出せるとしたら、最終的な答えだけに頼ることはリスクとなります。人間である化学者がその説明を読んだとき、モデルが化学を理解していないにもかかわらず、捏造された詳細によって誤解を招く可能性があるからです。研究者たちは、モデルをより正直にするための訓練が可能であることを実証しました。推論の中に捏造された主張が含まれていない場合にのみモデルに報酬を与える新しい訓練方法を構築することで、彼らは問題を解く能力を失うことなく、説明における間違いを大幅に減らしたバージョンのモデルを作り出しました。彼らが「Chem-R-Faithful」と呼んだこの新しいアプローチは、高いパフォーマンスを維持したまま、捏造された主張の発生率を劇的に減少させました。
結局のところ、この研究は、化学における「思考の連鎖」が完璧な説明でもなければ、無用な副産物でもないことを明らかにしています。それは、モデルが解決策を下書きするための、ハルシネーションを起こしやすい複雑な作業スペースなのです。読みやすいテキストはしばしば信頼性に欠けますが、そのテキストの中に隠された構造的なメモこそが、正しい答えを得るための鍵となります。これは、科学におけるAIを真に信頼するためには、最終的な結果や書かれた物語を見るだけでは不十分であることを意味しています。私たちは、プロセスそのものを検証する新しい方法、つまり、舞台裏にある構造的ドラフトとその論理をチェックする方法を開発しなければなりません。これらのツールが創薬や分子設計において一般的になるにつれ、推論の跡（トレース）は最終報告書ではなく、あくまで「作業中のドラフト」であるという理解が、未来の化学物質の安全性と正確性を確保するために不可欠となるでしょう。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。