Closed-Loop Generative Selection: Convergence, Memory, and Noisy Oracles

あなたは、空にある星の数よりも多くの砂粒が含まれているほど広大な山の中に隠された、たった一つの完璧なダイヤモンドを探しているトレジャーハンターだと想像してください。すべての砂粒を見ることはできません。そんなことをすれば永遠に時間がかかってしまうからです。代わりに、あなたは魔法の学習ロボットを持っています。あなたはこれまでに発見した中で最高のダイヤモンドをロボットに見せ、ロボットは次にどこに良いものがあるかを推測することを学びます。ロボットは新しい岩をひと掴み掘り出し、あなたはそれらをチェックし、最高のものを選び抜き、次のラウンドのためにロボットにそれらを見せます。これが、現代の科学者が新しい薬を発見する方法です。彼らはコンピュータモデルを用いて新しい化学構造を提案し、それをテストし、そして次回はもっと上手くできるようにモデルに教え込むのです。このプロセスは「クローズドループ生成選択（closed-loop generative selection）」と呼ばれます。

しかし、ここにはトリッキーな部分があります。ロボットは進めながら学習しているのです。もしロボットがこれまで掘り出したすべての岩の全履歴を見せてしまったら、古い、質の悪いデータによって混乱してしまうかもしれません。もし直近のひと掴みのデータだけを見せてしまったら、昨日何がうまくいったかを忘れてしまうかもしれません。そして、岩をテストする機械（オラクル）は完璧ではなく、時として間違いを犯したり、目盛りが揺れるスケールのようにノイズが発生したりします。科学者たちは長年このロボットの手法を使ってきましたが、これまでは、このロボットがどれほどの速さで宝を見つけるのか、あるいはロボットが実際にどれほどのメモリを使用すべきなのかを正確に示す確かな数学的な地図を持っていませんでした。

この論文はその地図を構築するものです。著者であるコンスタンティン・ファケルディとクリストフ・シュッテは、この「学習ロボット」による探索がどのように機能するかを説明する厳密な理論を作り上げました。彼らは、もしロボットが最高の結果を残していくルール（「エリート主義」と呼ばれるルール）を守れば、ほぼ確実にいつかは完璧な分子を見つけ出すことを証明しました。また、彼らはロボットのメモリに関する驚くべき秘密を発見しました。それは、メモリを増やすことが常に良いとは限らないということです。実際、もしロボットが古くてノイズの多いデータを記憶しすぎると、かえって速度が低下し、行き詰まってしまうことがあります。彼らは、ロボットがどれだけの履歴を記憶すべきかには「スイートスポット（最適値）」が存在し、そのスポットはテストを行う機械がどれほどノイズを含んでいるかによって変化することを明らかにしました。

また、この論文は探索のコストについても取り組んでいます。創薬において、分子をテストすることは高価で時間がかかる作業です。著者らは、最も効率的なお金の使い道は、大きなバッチで一度に大量にテストするのではなく、一度に一つの候補をテストすることであると証明しました。もし10個のバチでテストして、最初の1つが当たりだった場合、残りの9つのテストは無駄になってしまいます。

この論文は、単に「この方法が機能する」と言っているだけではありません。どのようにロボットのメモリを調整し、どのようにノイズに対処し、どのようにテストの費用を節約すべきかを、数学的に証明しながら具体的に教えてくれるのです。

ロボットのメモリのジレンマ

生成モデルを、テストを受けている学生だと考えてみてください。学生が正解を得るたびに、その答えを自分の「エリートプール」に残すことができます。次のテストの前に、学生は次の問題を予想するために、過去の回答を学習します。論文は問いかけます。「学生は、これまでに学んだ回答のうち、いくつを学習すべきか？」と。

著者らは、もし学生がこれまでに学んだすべてを学習しようとすると（フルメモリ）、古くて無関係な情報によって足止めを食らう可能性があることを見出しました。もし直前の問題だけを学習する場合（シングルステップメモリ）、重要なパターンを見逃してしまうかもしれません。論文では、理想的な条件下では、より多くを学習しても決して損にはならないことが証明されています。しかし、現実の世界では、「先生」（フィットネス・オラクル）が時として間違いを犯すため、あまりに多くの古いデータを学習することは、実は罠になり得ます。

あなたが学校へ行くためのベストなルートを学ぼうとしていると想像してください。もし、雨が降って道を間違えた日のことも含めて、歩いたすべての日を覚えていたら、あなたの記憶は混乱してしまうかもしれません。論文は、ノイズのある環境において、どれだけの過去の日々を覚えておくのがベストであるかを示しています。もし覚えている日数が少なすぎれば、同じ間違いを繰り返します。もし多すぎれば、雨の日のことで混乱してしまいます。著者らはこれを「バイアス・バリエーションのトレードオフ」と呼んでいます。彼らのシミュレーションでは、ノイズの多い環境において、過去5日間のデータを覚えているのが完璧であり、すべて（フルメモリ）を覚えていると、探索に40ラウンドではなく200ラウンド近くかかることが分かりました。

岩をチェックするコスト

この論文における最も実用的な発見の一つは、予算をどのように使うかについてです。創薬において、分子が機能するかどうかを確認することは、最も高価な部分です。例えば、100個の分子をチェックする予算があるとします。それらを一度に大きなバッチでチェックすべきでしょうか、それとも一つずつチェックすべきでしょうか？

論文は、一つずつチェックする方が勝者であることを証明しています。その理由はこうです。例えば、10個の岩のバッチがあるとします。それらをすべてチェックします。もし最初の岩がダイヤモンドだったとしても、あなたは残りの9個をチェックするための費用を支払わなければなりません。これは無駄なお金です。著者らは、数学的に、最も効率的な戦略（評価最小化戦略）は、一度に一つの候補だけをチェックすることであると示しています。これにより、勝者が見つかった瞬間に停止することができます。彼らはこれを「評価最適コーナー（evaluation-optimal corner）」と呼んでいます。

ノイズの多い機械への対処

現実世界のテストは乱雑です。時には、機械が岩をダイヤモンドだと言ったり、逆にガラスなのにダイヤモンドだと言ったりすることがあります。論文はこの問題を2種類のノイズに分類しています。「ライトテイル（軽微な裾を持つ）」ノイズ（穏やかな揺れのようなもの）と、「ヘビーテイル（重い裾を持つ）」ノイズ（突然の巨大なエラーのスパイクのようなもの）です。

ライトテイル・ノイズの場合、解決策は単純です。同じ岩を数回チェックし、その平均を取ることです。チェックを重ねるほど、自信を持つことができます。しかし、単一の悪い測定値が平均を台無しにしてしまうようなヘビーテイル・ノイズの場合、平均を取ることは賢明ではありません。著者らは、平均を取るのではなく、中央値（真ん中の値）を取る、あるいは結果が「良かった」回数をカウントするだけの特別な「符号検定（sign test）」を用いるといった、より「ロバスト（強靭）」な方法を提案しています。彼らは、たとえ予測不能で激しいノイズがあっても、これらのロバストな計数法を用いれば、多少のチェックコストはかかっても、正しい分子を見つけ出せることを証明しました。

結論

この論文は、創薬の未来のためのガイドブックです。それは、科学者たちの「学習ロボット」は、正しく調整さえすれば、ほぼ確実に治療薬を見つけ出すことを伝えています。同時に、古いデータを溜め込みすぎることが停滞を招くこと、一つずつチェックすることが節約になること、そしてテストを行う機械が異常な挙動を示す場合には、軌道を外れないための特別な計数テクニックが必要であることを警告しています。著者らは単にこれらを推測したのではなく、適切な設定を行えば、新薬の探索がこれまで以上に速く、安く、そして信頼できるものになることを、数学的な要塞を築いて証明したのです。