Grounded verification of chemical and materials reasoning: detection is the bottleneck

成功しかけた手品

あなたは、非常に賢く、自信満々なロボットの友人と話していると想像してください。あなたが質問をすると、ロボットは完璧に聞こえる流暢な物語で答えてくれます。しかし、時としてその物語には嘘が含まれています。科学の世界、特に化学や材料科学において、これは重大な問題です。もしロボットが、実際には「C6H12O5」であるところを「C6H12O6」という化学式で答えてしまったら、科学者は機能しない機械を作ったり、安全ではない薬を作ったりしてしまうかもしれません。これは単なるタイポ（打ち間違い）ではありません。ロボットが、もっともらしく聞こえるが完全に偽物である事実を作り出してしまう「ハルシネーション（幻覚）」と呼ばれる現象なのです。

長い間、人々はこの問題を解決するために、ロボットに自分の回答をセルフチェックさせる方法を試してきました。それは、生徒に自分のテストを採点させるようなものです。生徒は自信過剰であるため、自分自身のミスを見落としがちです。また、回答する前にロボットに一連の書籍（データベース）を読ませようとする試みもありました。しかし、あらゆる質問に対してすべての本を読み返すのは、時間がかかり、コストもかかり、さらにロボットが混乱することもあります。研究者たちが答えを出したかった大きな問いは、「いかにしてスピードを落とさずに嘘を見つけ出し、そして一度見つけたら実際に修正できるのか？」ということでした。

容疑者だけをチェックする探偵

Kurban Intelligence Labによるこの論文は、これらスマートなロボットに対して「探偵」のように振る舞う新しい手法を紹介しています。彼らは、この検証器（ベリファイア）を、特定の事実だけを厳格かつ超高速でチェックする「超高速で超厳格な司書」のようなものとして構築しました。

この手品の仕組みは以下の通りです：

1. セットアップ: ロボットが化学物質に関する質問（例：「アンピシリンの分子式は何ですか？」）に答えようとします。
2. つまずき: ロボットは流暢な回答を書きますが、数字や分子式を捏造している可能性があります。
3. チェック: 検証器は物語全体を読みません。特定の「検証可能な主張」（分子式やエネルギーの値など）を探し出します。そして、その特定の主張を抽出して、信頼できるデータベース（デジタル百科事典のようなもの）と照合します。
4. ゲート（門番）: もし主張がデータベースと一致すれば、検証器は「問題なし！」と判断し、回答を通過させます。もし主張が間違っていれば、検証器はレッドフラッグ（警告）を掲げます。
5. 修正: フラグが立てられたとき、検証器は単に「あなたは間違っています」と言うだけではありません。検証器は正しい事実をロボットに「ささやき」、 「この事実を使って、もう一度やり直してください」と伝えます。するとロボットは、回答のその部分だけを書き直します。

大きな驚き：嘘を見つけることは、直すことよりも難しい

この論文における最もエキサイティングな発見は、少し意外な展開（プロットツイスト）です。研究者たちは、ロボットが間違いを直すのが下手かもしれないと考えていました。「ロボットは正しい事実を見ても、それをどうやって書き記せばいいのか分からなくなるのではないか」と予想したのです。

しかし、問題は全くそこではありませんでした。論文によれば、「修正」は実は簡単だったのです。検証器が間違いを捉え、ロボットに正しい事実を与えると、ロボットは**80%から97%**の確率で修正を行いました。それが分子式であっても結晶構造であっても、ロボットは快く修正を受け入れました。

真のボトルネック、つまりシステムを完璧にするのを阻んでいたのは、**「検出（見つけること）」**でした。検証器は、そもそも間違いを「見つけ出す」ことができなかったのです。

• 一般的な化学物質については、検証器はほぼすべてのエラーを捉えました。
• 珍しい、奇妙な化学物質（科学における「ロングテール」の部分）については、検証器は多くのミスを見逃しました。
• あるケース（生成エネルギー）では、検証器はエラーのわずか19%しか検出できませんでした。しかし、もし検出できていれば、80%の確率で修正が可能でした。

それは、まるで「一度犯人を見れば、犯人を止めることに関しては非常に優秀だが、群衆の中から犯人を見つけ出す能力は極めて低い警備員」のようなものです。論文は、最大の課題はロボットに正直さを教えることではなく、システムに「嘘を見抜く力」を教えることであると結論付けています。

何が機能し、何が機能しないのか

研究チームは、このシステムを4つの異なる「スマートなロボット（大規模言語モデル）」でテストし、いくつかの興味深いパターンを発見しました。

• 「希少性」の問題: ロボットは、これまで見たことがない珍しい、あるいは無名の化学物質に対して最も多くの間違いを犯しました。こここそ検証器が最も必要とされる場面ですが、同時にエラーを見つけるのが最も困難な場面でもありました。
• 「一般的」な天井: 基本的な物理定数のような、非常に有名でよく知られた事実については、ロボットはすでに非常に優秀であったため、検証器の役割はほとんどありませんでした。実際、これらの簡単な事実については、検証器が誤って正しい回答を間違いとしてフラグを立ててしまい、ロボットの正しい回答を「壊して」しまうこともありました。これは、壊れていないものを直そうとしてはいけないという教訓を示しています。
• 「ただ尋ねる」よりも優れた方法: チームは、自分たちのシステムを「対話型オラクル（答えを調べて教えるだけのロボット）」と比較しました。彼らの「ゲート付き」システムの方がはるかに優れていました。なぜなら、対話型のロボットは答えについて話すことはできても、科学者が真に必要としている具体的な数値を書き残さないことが多かったからです。検証器は、ロボットに正確な事実を書き込むよう強制するため、チェックが容易になります。
• コストの問題: すべての回答のすべての単語をチェックすることは、コストがかかり、時間がかかります。彼らのシステムは、怪しいと思われる部分だけをチェックしました。これにより、すべてをチェックする場合と比較して、データベースへの照会回数を3.2倍削減し、エラーの多くを捉えつつ、時間とコストを節約できました。

「スコープ（範囲）」の教訓

彼らが発見したもう一つの巧妙なトリックがあります。時として、検証器は成分（化学式）をチェックして「これは正しい」と言いますが、最終的な回答にはそれらの成分に基づいた計算（例：「この分子の重量は？」）が必要となる場合があります。もし検証器が成分だけをチェックし、最終的な計算をチェックしなければ、最終的な回答は依然として間違っている可能性があります。

検証器の範囲を、単なる構成要素だけでなく、最終的な計算結果までチェックするように拡張したところ、成功率は**83%から90%**へと跳ね上がりました。これは、問題を真に解決するためには、単なる組み立てブロックだけでなく、ユーザーにとって実際に重要な部分をチェックしなければならないということを教えてくれました。

結論

この論文は、科学的なAIをより信頼できるものにできることを示していますが、そのためにはパズルの正しい部分に集中しなければならないことを示しています。ロボットに間違いを直す能力を教える必要はありません。ロボットはすでに修正に関してはかなり上手だからです。代わりに、私たちは、珍しくトリッキーな間違いが発生する前に、それを察知できるより優れた「嘘発見器」を作る必要があります。

研究者たちはまた、この手法が放射性原子の半減期などの他の事柄にも適用できることを示し、このアイデアが化学に限ったものではないことを証明しました。しかし、彼らは、ロボットが完璧に知っている事柄（有名な物理定数など）については、このシステムはあまり役に立たず、むしろ新たな間違いを引き起こす可能性があることにも注意を促しています。魔法が機能するのは、そこに「見つけるべき本当の間違い」が存在する場合のみなのです。

要するに、ロボットは修正される準備はできています。私たちはただ、ロボットが嘘をついていることを見抜く術を磨く必要があるのです。