Testing the reliability of AI-generated protein structures

あなたは、超スマートなロボット建築家であるAlphaFoldを想像してみてください。その仕事は、指示書（タンパク質の配列）を見て、機械の3Dモデル（タンパク質の構造）を組み立てることです。長年、このロボットは本物の生物学的機械を作るために、素晴らしい仕事をしてきました。

しかし、この研究の背後にいる科学者たちは、トリッキーな質問を投げかけました。「もし、このロボットを騙したらどうなるだろうか？」

「偽の設計図」テスト

ロボットの信頼性をテストするために、研究者たちは偽の設計図を作成しました。これらは、機械の指示書のように見えるランダムな文字の羅列ですが、実際には、自然界が作ることを意図していない、ただのナンセンスなデータ、つまりゴミデータでした。

彼らはこれらの偽の設計図をロボットに与え、こう尋問しました。「このロボットは、純粋なナンセンスから、どれくらいの頻度で自信を持って完璧に見える機械を作り上げてしまうのだろうか？」

結果：稀に起こるグリッチ（不具合）

ロボットは驚くほど優れた仕事をしました。ロボットはほとんどの場合、「おい、これはナンセンスだ」と気づき、自信を持ってモデルを構築することを拒否しました。しかし、完璧ではありませんでした。

研究の結果、ロボットはナンセンスなものに対して何かを組み立てようとする試みのうち、435回に1回という割合でミスを犯すことが分かりました。その稀なケースにおいて、指示書が偽物であるにもかかわらず、ロボットは「素晴らしい機械を作りました！」と自信満々に宣言してしまうのです。これは「偽陽性」と呼ばれます。

幸福な偶然：隠れた宝の発見

ここで非常に興味深いことが起こりました。テストを行っている最中、研究者たちはヒトゲノム（私たちの体の指示書）の中に、予期せぬものを見つけたのです。

彼らは、科学者が以前は単なる「デッドゾーン」や「ゴミ」だと考えていたマニュアルのセクション（具体的には、タンパク質をコードしない遺伝子の部分）を発見しました。しかし、これらのセクションをロボットに読み込ませたところ、ロボットは高品質な構造体を構築したのです！

これは間違いではありませんでした。これらは、科学者が見落としていた隠された、忘れ去られた指示書（偽遺伝子）だったのです。ロボットは、そこにある構造を構築する上で正しかったのです。

これが意味すること

この発見により、研究者は主に2つのことを学びました。

1. ロボットは信頼できる： 「グリッチ」の発生率（435回に1回）は非常に低いため、もしロボットが素晴らしい構造を構築したと言えば、それは本物であると非常に高い確率で確信できます。
2. 「ゴミ」を無視してはいけない： ロボットがあまりにも優秀であるため、たとえマニュアルの中で役に立たないと思われていた部分で構造を見つけたとしても、再検討する価値があります。それは単なる稀なグリッチかもしれませんが、私たちがこれまで見落としていた隠れた指示書である可能性もあり、調査する価値は間違いなくあります。

要約すると、このロボットは偽の計画に騙されることが滅多にない、素晴らしい建築家であり、時には、私たちが存在を知らなかった自分たちの指示書の中から、隠れた宝を見つける手助けさえしてくれるのです。