💬 NLP

Speak-to-Structure: Evaluating LLMs in Open-domain Natural Language-Driven Molecule Generation

本論文は、オープンドメインの多対一自然言語駆動型分子生成タスクにおける大規模言語モデルの評価を目的として設計された最初のベンチマークであるSpeak-to-Structure（S^2-Bench）と、現実的な分子設計において最先端の大規模言語モデルを上回る性能を発揮するよう微調整されたモデルを可能にするデータセットであるOpenMolInsを導入する。

原著者： Jiatong Li, Junxian Li, Weida Wang, Yunqing Liu, Changmeng Zheng, Yatao Bian, Dongzhan Zhou, Xiao-yong Wei, Qing Li

公開日 2026-05-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiatong Li, Junxian Li, Weida Wang, Yunqing Liu, Changmeng Zheng, Yatao Bian, Dongzhan Zhou, Xiao-yong Wei, Qing Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「Speak-to-Structure」という論文を、平易な言葉と日常的な比喩を用いて解説します。

大きなアイデア：「答えを推測する」から「解決策を設計する」へ

あなたがシェフだと想像してください。長年、研究者たちは AI シェフをテストするために、特定のレシピ（例えば「チョコレートケーキを作れ」）を与え、データベースに既に存在する特定のケーキを再現させるよう求めてきました。もし AI がデータベースのケーキと全く同じケーキを作れば、ゴールドスターが与えられます。

問題点： 実際の料理（そして実際の科学）は、コピーすることではありません。「砂糖は控えめだが、甘みのあるケーキを作れ」とシェフに頼んだ場合、正解はたった一つだけではありません。機能するレシピは数百通りあります。従来のテストは厳しすぎました。AI に「正解」を暗記させたことだけを評価し、創造性を評価しなかったのです。

解決策： この論文は、S2-Bench（Speak-to-Structure）という新しいテストを導入します。これは、AI が実際の創造的なシェフのように振る舞えるかどうかを測るために設計されたものです。コピーを要求するのではなく、AI に記述に基づいて「新しいもの」を発明させます。そこには多くの可能な「正解」が存在することを前提としています。

三つの課題（「メニュー」）

この論文は、AI を三つの特定のタスクでテストします。これらは料理のチャレンジの異なるレベルのようなものです。

分子編集（「微調整」チャレンジ）：
- 比喩： あなたが特定の車モデルを持っていると想像してください。テストは AI に「ターボチャージャーを追加せよ」あるいは「サンルーフを除去せよ」と命じます。
- 目標： AI は元の車を受け取り、エンジンを壊したり車をボートに変えたりすることなく、その特定の変更のみを行わなければなりません。これは、AI が物事の組み合わさるルールを理解しているかをテストします。
分子最適化（「アップグレード」チャレンジ）：
- 比喩： あなたが車を持っており、それを「より速く」あるいは「より燃料効率よく」したいとします。
- 目標： AI は車を変更して特定の特性（例えば速度）を向上させつつ、車を認識可能な状態に保つ必要があります。単にゼロから新しい速い車を作るだけでは不十分です。それは元の車の「改善」でなければなりません。
カスタマイズされた分子生成（「白紙のキャンバス」チャレンジ）：
- 比喩： あなたは AI に「4 輪、赤いボディ、V8 エンジンを備えた車両を私に作れ」と伝えます。
- 目標： AI は、これらの厳格なルールに適合する、全く新しい車両を無から発明しなければなりません。これは最も難しいテストです。なぜなら、AI は出発となるテンプレートなしにルールを完璧に守らなければならないからです。

新しいトレーニングマニュアル：OpenMolIns

AI がこれらのタスクをより上手に行えるよう、著者たちはOpenMolInsと呼ばれる大規模な新しいトレーニングブックを作成しました。

従来の方法： 以前のトレーニングブックには例が非常に少なく、ほとんどが「質問：この分子は何ですか？答え：[正確な分子名]」という形式でした。これは AI に暗記させるものでした。
新しい方法： OpenMolIns は、120 万の例からなる巨大な図書館のようなもので、AI は化学の「論理」を学びます。それは AI に「何かを速くしたいなら、この部品を追加してみよ」と教えるのであり、単に「これが答えだ」と教えるのではありません。

結果： この新しいトレーニングブックを使用することで、比較的小さな AI モデル（Llama3.1-8B）が、これらの創造的なタスクにおいて、GPT-4o や Claude-3.5 といったはるかに大きく、有名なモデルたちを打ち負かすことができました。これは、良いトレーニングが、単に巨大な脳を持つことよりも重要であることを証明しました。

AI の採点方法（スコアカード）

従来のテストでは、AI がターゲットと一字一句同じ分子を書けば 100 点でした。しかし、この新しいテストでは、それだけでは不十分です。著者たちは、より賢い採点システムを作成しました。

指示に従いましたか？（成功率）
それは妥当な変更ですか？（類似性）
- 落とし穴： 「車に車輪を追加せよ」と頼んだのに、AI がたまたま車輪を持っていた「全く異なる車」を建設した場合、従来のテストは「よくやった！」と言うでしょう。新しいテストは、「いいえ、あなたは元の車を実際に修正したのではなく、プロンプトを無視して別のものを建設しただけだ」と言います。
それは新しいものですか？（新規性）
- 「白紙のキャンバス」チャレンジでは、AI は世界のデータベースに既に存在しないものを発明したことでポイントを獲得します。

主要な要点

記憶だけでは不十分： 現在の AI モデルは事実を思い出すのは得意ですが、化学における複雑で創造的な指示に従うことには苦労します。
一対多は現実： 科学において、一つの問いには多くの有効な答えが存在することがよくあります。従来のテストはこの点を許容していませんでしたが、新しいテストは許容します。
小さなモデルが勝つ： 適切なトレーニングデータ（OpenMolIns）があれば、小さく安価な AI が、巨大で高価なものを分子設計において凌駕できます。
「人間」によるチェック： 著者たちは AI の仕事を人間の専門家に見せました。彼らは、ランダムな推測よりも論理的な変更を評価する新しい採点システムが、従来の「完全一致」システムよりも人間の意見と合致することを発見しました。

要約すれば、この論文は AI が化学を練習するためのより良いジムを構築します。単にフラッシュカードを暗記するのではなく、AI は今や会話に基づいて実際に新しいものを設計し、構築する方法を学んでいます。

技術的サマリー：Speak-to-Structure（S2-Bench）

問題提起

現在の大規模言語モデル（LLM）は、自然言語駆動型の分子発見において有望な成果を示していますが、既存の評価ベンチマークは、テキスト記述と単一の事前定義されたターゲット分子との間の「1 対 1 マッピング」に依存するという重大な限界に直面しています。このパラダイムは、すべてのプロンプトに対して一意の解が存在すると仮定していますが、これは複数の異なる分子が同じ生物学的または物理的性質を満たし得る分子発見の現実と矛盾します。その結果、現在のベンチマークは主にモデルの特定パターンの記憶と想起能力をテストするにとどまり、「創造的でオープンエンドな分子設計」および真の構造的推論能力を評価できていません。テキストから分子への生成における「1 対多」関係の標準化された評価が存在していません。

手法

1. Speak-to-Structure（S2-Bench）

著者は、オープンドメインの自然言語駆動型分子生成における LLM を評価するために設計された最初のベンチマークである S2-Bench を提案します。以前のデータセットとは異なり、S2-Bench は「1 対多のパラダイム」を採用しており、単一の指示が複数の有効な分子構造によって満たされ得るようになっています。このベンチマークは、創薬プロセスの異なる段階をターゲットとする 3 つの主要タスクで構成されます。

分子編集（MolEdit）： 中核骨格を維持しつつ、官能基の追加、削除、または置換など、正確で局所的な構造修飾を行う能力をテストします。これはリード化合物の最適化を模倣します。
分子最適化（MolOpt）： 不要に中核構造を変更することなく、特定の性質（LogP、MR、QED）を最適化するためにリード化合物を修正する、目標指向の化学的推論を評価します。
カスタマイズされた分子生成（MolCustom）： 原子数、結合種類、または官能基に関する自然言語の制約に基づいて、ゼロから新しい分子を合成する能力に挑戦します。これは初期設計段階を模倣します。

評価指標：
「1 対多」の性質に対応するため、著者は完全な文字列一致を超えた評価を行います。化学情報学ツールキット（RDKit）を使用した自動評価システムを採用し、以下の指標を計算します。

妥当性（Validity）： 生成された SMILES 文字列が化学的に妥当かどうか。
成功率（SR）： 分子が特定の制約（例えば、正しい性質の方向性や官能基）を満たしているかどうか。
類似性（MolEdit/MolOpt 用）： 出力がランダムな有効分子ではなく、入力に対する合理的な修飾であることを保証するための、モーガンフィンガープリントを用いたタンニモト類似度。
新規性（MolCustom 用）： 生成された分子が参照データベース（Zinc-250K）からどの程度異なるかを測定します。
加重成功率（WSR）： 編集/最適化の場合は類似性、カスタマイズの場合は新規性と成功率を組み合わせた複合指標であり、包括的なパフォーマンススコアを提供します。

2. OpenMolIns データセット

これらのオープンエンドタスクの学習を促進するため、著者は PubChem データベースからプログラム的に構築された大規模な指示チューニングデータセットである OpenMolIns を導入します。

規模： 最大 120 万 の指示 - 分子ペアを含みます。
構築： 多様なプロンプトと対応する有効な分子を生成するために自動化された化学ツールキットを使用し、1 対多の関係を保証します。
構造： 3 つの S2-Bench タスクを反映し、データスケーリング則を研究するために 5 つのデータ規模（light から xlarge）を含みます。
完全性： データ漏洩を防ぐため、S2-Bench テストセット（Zinc-250K）とゼロの重複となるように設計されています。

3. 実験設定

著者は、以下のカテゴリに分類される 31 の LLM をベンチマークしました。

専有モデル（例：GPT-4o、Claude-3.5）。
オープンソースの汎用 LLM（例：Llama3、Mistral、Qwen）。
ドメイン固有の LLM（例：ChemLLM、BioT5）。
OpenMolIns でファインチューニングされたモデル。

評価は自動化パイプラインを用いて行われ、一部の結果は人間による専門家の検証を通じて、自動指標と人間の判断との相関を確認しました。

主要な結果

構造的制約におけるパフォーマンスの格差： 最上位の専有モデル（例：Claude-3.5、Gemini-1.5-Pro）でさえ、平均加重成功率は中程度（約 35%）にとどまり、MolCustom タスクでは大幅に苦戦し、個別のサブタスクにおいて 25% の加重成功率を超えることができませんでした。これは、一般的な推論能力を有していても、微細な構造的制約（正確な原子/結合数）を満たすことの難しさを示しています。
指示チューニングの優位性： 事前学習済みの化学 LLM（例：BioT5-base）は汎用 LLM に比べて低いパフォーマンス（WSR 4.21%）を示しましたが、OpenMolIns での指示チューニングは劇的な改善をもたらしました。
- 最大の OpenMolIns スケール（xlarge）でファインチューニングされた Llama3.1-8B-Instruct は 39.33% の WSR を達成し、より大型の専有モデルを含む他のすべてのモデルを上回りました。
- 驚くべきことに、小型の Galactica-125M モデルも OpenMolIns でファインチューニングすることで 25.73% の WSR を達成し、2 つの桁大きいモデル（例：Llama3-70B）を上回りました。
1 対 1 ベンチマークの限界： 従来の 1 対 1 データセット（ChEBI-20）でファインチューニングされたモデルは、S2-Bench において汎用 LLM よりも低いパフォーマンスを示しました。これらのモデルは、制約を満たすために化学的に妥当だが構造的に無関係な分子を生成する傾向があり、構造的推論ではなくパターン想起への依存を示しました。
データスケーリング則： データ量とパフォーマンスの関係はタスク依存です。
- MolCustom（de novo 合成）は、「large」から「xlarge」のデータにスケーリングした際に大幅な改善（286%）を示しました。
- MolEdit と MolOpt は、小規模モデルにおいてデータ量が増加しても、あるいは減少するリターンを示し、これらのタスクはデータ量よりもモデル容量によって制約されていることを示唆しています。
WSR の検証： 人間による専門家の評価により、生身の成功率（SR）よりも 加重成功率（WSR） の方が専門家の判断と有意に高い相関（スピアマンの $\rho \approx 0.90$ ）を持つことが確認され、構造的に無関係な出力にペナルティを課す必要性が検証されました。

意義と主張

本論文は、分子発見における LLM の評価において、パターン想起から現実的な分子設計へと焦点を移すことで、新しいパラダイムを確立すると主張しています。

ギャップの埋め合わせ： S2-Bench は、現在の評価指標と現実世界の分子発見のオープンエンドな性質との不一致に対処します。
可能性の証明： 結果は、大規模で多様なデータを用いた適切な指示チューニングにより、小規模な LLM でもオープンドメインの分子生成において最先端のパフォーマンスを達成し得ることを示しており、巨大なモデルや特殊なアーキテクチャのみが viable であるという考えに挑戦しています。
診断ツール： このベンチマークは、離散的でグローバルに結合された構造的制約に関する現在の LLM の体系的な弱点を明らかにする診断ツールとして機能し、強化学習や指示チューニングに関する将来の研究を導きます。

著者は、この研究が自然言語駆動型の分子発見のための、より能力が高く、説明可能で、信頼性の高い LLM の開発に向けた堅固な基盤を提供し、単純なテキストから構造への翻訳を超えて分野を前進させることを強調しています。