🤖 AI

Diffusion Large Language Models for Black-Box Optimization

本論文は、インコンテキスト・デノイジング・モジュールとマスク付き拡散ツリー探索を備えた拡散大規模言語モデルを活用することで、設計を反復的に洗練し、少数の事例を用いたシナリオにおいて最先端の性能を達成する、オフライン・ブラックボックス最適化のための新しいアプローチであるdLLMを提案する。

原著者： Ye Yuan, Can, Chen, Zipeng Sun, Dinghuai Zhang, Christopher Pal, Xue Liu

公開日 2026-01-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ye Yuan, Can, Chen, Zipeng Sun, Dinghuai Zhang, Christopher Pal, Xue Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、完璧な新しいレシピを考案しようとしているマスターシェフだと想像してください。しかし、あなたには大きな問題があります。手元にあるのは、10個の古いレシピとそれらの評価が書かれた、たった一冊の小さなノートだけです。新しいアイデアを試すためのキッチンはなく、テストを行うことはコストがかかりすぎるか、あるいは危険すぎます。あなたは、その小さなノートを見るだけで、最高の新しいレシピを見つけ出さなければなりません。

これが、**オフライン・ブラックボックス最適化（Offline Black-Box Optimization）**という課題です。「ブラックボックス」とは、ある設計（DNA配列やロボットの形状など）が良いものか悪いものかを決定する、未知のルールを指します。「オフライン」の部分は、新しいアイデアをリアルタイムでテストできないことを意味しており、過去のデータのみを使用します。

この論文の新しい手法である dLLM が、どのようにこの問題を解決するかを、簡単な比喩を用いて説明します。

旧来の手法の問題点

これまでの試みでは、**自己回帰モデル（Autoregressive Models）**が使用されてきました。これらは、文章を左から右へと、一単語ずつ書いていく作家のようなものです。

欠陥： 文章を書いているとき、文の終わりが、文の始まりをどう書くべきかに影響を与えることがよくあります。しかし、左から右へと書く作家は、書き始めの段階では結末を見ることができません。彼らは「全体像」としてのつながりを見逃してしまいます。複雑な設計（DNAなど）においては、すべての部分が他のすべての部分に依存しているため、厳密に左から右へと書いていくと、乱雑で不十分な結果に終わってしまうことがよくあります。

新しい解決策：「拡散（Diffusion）」シェフ

著者らは、**拡散大規模言語モデル（Diffusion Large Language Models: dLLMs）**を導入しました。一つずつ単語を書いていく代わりに、空白のマスクされた材料（[M] で表される）が入ったボウルから始め、ステップごとに少しずつレシピを明らかにし、洗練させていくシェフを想像してください。

このアプローチには、2つの強力な力があります。

双方向の視界： シェフはボウル全体を一度に見ることができます。彼らは「最後」のレシピが「最初」にどのように影響するかを見ることができるため、局所的ではなくグローバルにミスを修正することができます。
反復的な洗練： 彼らは即座に最終的な料理を推測するのではなく、ラフなスケッチから始め、空白を少しずつ埋めていき、ステップを重ねるごとに精度を高めていきます。

その仕組み：2段階のダンス

論文では、このシェフをより優れたものにするために、2つの巧妙なトリックを組み合わせています。

1. インコンテキスト・デノイジング（「スマートなプロンプト」）

シェフが調理を開始する前に、特別な指示カードを渡します。このカードには以下が含まれます。

目標： 「特定のタンパク質に最もよく結合するDNA配列を作ってください。」
ノート： あなたのオフライン・データセットにある10個の例。
コマンド： 「新しく、より優れた配列を提案してください。」

モデルはこのカードを読み取り、その膨大な事前学習知識（何百万冊もの料理本を読んできたシェフのような知識）を利用して、マスクされた材料の「デノイジング（ノイズ除去）」を開始します。これは、空白の [M] を実際の文字（A, C, G, T）へと変え、候補となる設計をゆっくりと明らかにしていくプロセスです。

2. マスクされた拡散ツリー探索（「分岐する探求者」）

ただ一つのレシピを推測するだけでは不十分です。もしシェフが悪い道に迷ってしまったらどうなるでしょうか？著者らは、**ツリー探索（Tree Search）**メカニズムを追加しました。シェフが単一の料理を作るだけでなく、分岐する可能性の経路を設定すると想像してください。

選択（Selection）： シェフは現在進行中の部分的なレシピをすべて確認し、次に取り組むべき最も有望なものを選択します（新しいことを試すことと、うまくいっていることに固執することのバランスをとるスコアを使用します）。
拡張（Expansion）： その有望な部分的なレシピを取り上げ、次の数個の空白を埋めるための異なる方法をいくつか生成します。これにより、単一の経路ではなく、多くの可能性を持つ「木（ツリー）」ができあがります。
評価（Evaluation）： 各新しい枝に対して、シェフは「予測器」（あなたの10個の例に基づいて訓練された、スマートな計算機のようなガウス過程）を使用して、もしその料理を完成させた場合に最終的な出来栄えがどうなるかを予測します。
バックプロパゲーション（Backpropagation）： もしある枝が美味しそうであれば、シェフはその経路を記憶し、さらに深く探索します。もし枝がまずそうであれば、その枝を切り落とし（プルーニング）、時間の無駄を防ぎます。

このプロセスは、モンテカルロ木探索（囲碁などのゲームで使用される戦略）に似ていますが、AIはチェスをプレイする代わりに、「空白を埋める」というゲームを通じて完璧な設計を見つけ出そうとします。

結果

この論文の手法は、4つの異なる課題でテストされました。

Ant Morphology（アリの形態学）： 素早く移動するロボットアリの設計。
D'Kitty Morphology（D'Kittyの形態学）： 素早く移動するロボット猫の設計。
TF Bind 8 & 10： 特定のタンパク質に結合する短いDNA配列の設計。

これらすべてのテストにおいて、dLLM メソッドは、勾配を使用するもの、生成モデル、あるいは標準的な言語モデルを含む、既存のあらゆる手法を上回りました。特に、わずか10個の例しか学習データがない状況でも、絶対的な最高設計（「トップ1%」）を見つけ出す能力において非常に優れていました。

まとめ

旧来の手法を、左から右へとしか書くことができず、すぐに行き詰まってしまう作家だと考えてください。新しい dLLM メソッドは、次のようなマスターシェフです。

あなたの限られたノートと指示を読み取る。
空白のキャンバスから始める。
全体像を見ながら、設計をゆっくりと明らかにしていく。
完璧な解決策を見逃さないよう、ツリー探索戦略を用いて、多くの「もしも」のシナリオを同時に探索する。

これにより、データが乏しく、ルールの隠されたゲームであっても、最高の設計を見つけ出すことが可能になります。

技術要約：ブラックボックス最適化のための拡散大規模言語モデル（Diffusion Large Language Models）

問題提起

オフライン・ブラックボックス最適化（BBO）は、限られたオフラインの設計・ラベル対のデータセットのみを使用して、未知の目的関数 $f(\cdot)$ を最大化する最適な設計 ( $x^*$ ) を特定することを目指す。このシナリオは、DNA配列設計やロボティクスなどの領域で一般的であり、そこではプロパティの問い合わせにはコストがかかり、ラベル付きデータが極めて少ない（フューショット・レジーム）状況にある。

従来のプローチは、通常、以下の2つのカテゴリに分類される：

プロキシベースの手法： $f(\cdot)$ を近似するための代理モデル（ガウス過程やディープニューラルネットワークなど）を学習し、その勾配を用いて最適化をガイドする。
生成的手法： 高スコアの設計を直接生成するように、条件付き生成モデルを学習する。

しかし、これらの手法は、データが限られた設定において、分布外（out-of-distribution）への汎化問題に直面することが多い。さらに、自己回帰型の大規模言語モデル（LLM）をBBOに適応させた最近の研究は、タスクを自然言語のプロンプトとして扱うが、これらは左から右へとシーケンスを生成するという決定的な限界に直面している。この一方向的なアプローチは、多くの設計タスクに内在する双方向の依存関係（例：あるDNAユニットの機能は、そのプレフィックスとサフィックスの両方に依存する）を捉えることが困難である。

手法：dLLM

著者らは、オフラインBBOのために拡散大規模言語モデル（Diffusion Large Language Models）を活用するフレームワークであるdLLMを提案する。この手法は、**インコンテキスト・デノイジング（In-Context Denoising）とマスクされた拡散ツリー探索（Masked Diffusion Tree Search）**という2つのコアモジュールを組み合わせている。

1. インコンテキスト・デノイジング

この手法は、ファインチューニングを行う代わりに、学習済み拡散LLMのインコンテキスト学習能力を利用する。

プロンプト構築： 拡散LLMへの入力は、以下の要素を含む構造化された自然言語プロンプトで構成される：
- タスク記述： 設計形式（例：DNAアルファベット）、目的、および制約を定義する。
- オフラインデータセット： 設計・ラベル対（例：DNA配列とその結合親和性）のフューショット・セット。
- 指示： 改良された候補を生成するための指令。
デノイジング・プロセス： モデルは、完全にマスクされた設計 ( $x_{t=1}$ ) から開始する。モデルは、マスクされたトークンを反復的に予測して完全な候補 ( $\hat{x}_0$ ) を生成する。最も確信度の低いトークンが再マスクされ、次のステップのための新しい部分的にマスクされた状態 ( $x_s$ ) が形成される。これにより、反復的なデノイジングを通じて設計を洗練させていく。

2. マスクされた拡散ツリー探索 (MDTS)

生成を高パフォーマンスな領域へと導き、探索と利用（exploration and exploitation）のバランスをとるために、デノイジング・プロセスをステップごとの**モンテカルロ木探索（MCTS）**として構成する。

ツリー構造： 各ノードは、部分的にマスクされた設計 ( $x_t$ ) を表す。
選択（Selection）： アルゴリズムは、**上側信頼限界（UCT）**スコアを用いて、ルート（完全にマスクされた状態）からツリーを辿る。これは、高価値なノードの利用と、未訪問の枝の探索のバランスをとる。UCTスコアは、ノードの値の推定値と、アンマスキング・ステップのモデルの尤度を組み込む。
拡張（Expansion）： 選択されたノードは、拡散LLMを適用して多様な補完を生成することで拡張され、それらは再マスクされて子ノードを作成する。
評価（Evaluation）： 子ノードは、完全にデノイズされた設計へと展開される。それらの報酬は、オフラインデータセット上で学習されたガウス過程（GP）から導出された**期待改善量（Expected Improvement: EI）**を用いて推定される。GPは、フューショット設定において極めて重要な、原理に基づいた不確実性の推定を提供する。
バックプロパゲーション（Backpropagation）： 報酬信号はツリーを遡って伝播し、祖先ノードの値の推定値と訪問回数を更新し、将来の選択決定に情報を与える。

主な貢献

拡散LLMのBBOへの初適用： 本論文は、拡散LLMを利用した初のオフラインBBOフレームワークを導入しており、複雑な設計依存関係を扱うための双方向モデリングと反復的な洗練能力を活用している。
インコンテキスト・デノイジング・モジュール： 自然言語によるタスク記述とフューショットのオフラインデータセットに基づいて、パラメータの更新なしにマスクされた設計を洗練させる、新しい条件付けメカニズム。
マスクされた拡散ツリー探索： 拡散デノイジングを逐次的な意思決定プロセスとして扱い、MCTSとGPベースの期待改善量を通じて、探索と利用を動的にバランスさせる探索アルゴリズム。

実験結果

著者らは、連続的なタスク（Ant Morphology, D'Kitty Morphology）および離散的なタスク（TF Bind 8, TF Bind 10）の両方をカバーするDesign-Benchベンチマークにおいて、フューショット設定（10個のラベル付き例）でdLLMを評価した。

性能： dLLMはすべてのタスクにおいて最先端（SOTA）の結果を達成し、15のベースラインの中で平均ランクおよび中央値ランクの両方で第1位となった。連続的および離散的な設計空間の両方において、一貫した向上を示した。
比較：
- 純粋な勾配ベースのプロキシ手法（例：Grad-mean, Grad-EI）を上回った。これは、生成モデルが探索においてより優れていることを示している。
- OPROのような自己回帰型LLMや、他の拡散モデル（DDOM, GTG）を含む他の生成ベースラインを凌駕した。著者らは、これを拡散LLMの双方向モデリングと、活用されている広範な学習済み知識によるものとしている。
- 強力な自己回帰ベースラインであるUniSO-Tを上回った。これは、複雑な依存関係を持つタスクにおいて、双方向のコンテキストが極めて重要であることを示唆している。
アブレーション研究：
- ツリー探索を除去した場合（w/o MDTS）、大幅な性能低下が見られ、ガイドされた探索の必要性が浮き彫りになった。
- 拡散LLMを、フューショットデータのみで学習されたバニラな拡散モデルに置き換えると、大幅な劣化が生じた。これは、学習済み知識の重要性を裏付けている。
- プロンプトから明示的なタスク記述を削除すると性能が低下し、セマンティックなフレーミングの役割が検証された。

意義と主張

本論文は、dLLMが汎用的なオプティマイザとして、データ効率の良い設計生成を実現する可能性を示すものである。自己回帰モデルが双方向の依存関係を捉える際の限界に対処し、それらを堅牢な探索戦略と統合することで、本手法はラベル付きデータが乏しい科学および工学の領域において、多用途な代替案を提供する。著者らは、本研究が、オフライン・ブラックボックス最適化において学習済み基盤モデルを活用する新しい方向性を切り開くものであると位置づけている。