BioMod: Biological Module Tokenization for Single-Cell Foundation Modeling
BioModは、細胞を個々の遺伝子ではなく生物学的に意味のある重複するモジュールへとトークン化することで、表現の効率性と性能を向上させた5,000万パラメータのシングルセル基盤モデルであり、細胞型の注釈付けや摂動予測といったタスクにおいて最先端の結果を達成すると同時に、単一のGPUでの効率的な推論を可能にします。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
細胞は生命の基本単位であり、それぞれが遺伝子という言語で書かれた独自の指示書（インストラクション・マニュアル）を携えています。科学者が、身体がどのように機能しているのか、あるいはなぜ病気が発生するのかを理解しようとする際、彼らはしばしば個々の細胞におけるこれらの指示書に注目します。シングルセル生物学として知られるこの分野により、研究者は、拍動する心筋から戦う免疫細胞に至るまで、組織内のあらゆる細胞の明確なアイデンティティを見ることが可能になります。しかし、そのデータの量は圧倒的です。単一の細胞には数千の活性化遺伝子が含まれており、現代の実験では一度に数百万個の細胞をプロファイリングすることができます。この情報の海を理解するために、研究者は人工知能、特に「基盤モデル（foundation models）」へと目を向けました。これらは、言語モデルが膨大なテキストのライブラリを読み取ることで文法のルールを学ぶのと同様に、大規模なデータセットに基づいて生物学の根底にあるルールを学習する強力なコンピュータプログラムです。その目標は、新しい問いが出るたびに再学習する必要なく、細胞のタイプを認識したり、薬に対してどのように反応するかを予測したり、遺伝子が変化したときにどのように変化するかを理解したりできるシステムを構築することです。
課題は、いかにしてこの情報をコンピュータに投入するかでした。既存のモデルの多くは、細胞内のあらゆる遺伝子を、文章の中の個別の単語として扱います。もし細胞に2万個の活性遺伝子があれば、コンピュータは2万個のアイテムからなるシーケンスを処理しなければなりません。これは計算コストが高く、AIは遺伝子間の複雑な関係をゼロから解明しなければならず、多くの遺伝子が特定の細胞において沈黙していたり、ほとんど活動していなかったりするという事実に苦慮することがよくあります。深セン・ループエリア研究所と中国香港大学深セン校の研究チームは、異なるアプローチを提案しました。彼らは、細胞を分析し始める前に、遺伝子を機能的なチームへとグループ化することで、より効率的に理解できるのではないかと考えたのです。自然界において、遺伝子が単独で働くことは稀であり、感染症との戦いやDNAの修復といった特定のタスクを実行するために、「パスウェイ」や「モジュール」と呼ばれる調整されたグループとして機能しています。研究者たちは、もしこれらの生物学的チームを単一のユニットとして表現できれば、コンピュータはより速く学習し、より少ない電力で動作し、おそらく生物学をより深く理解できるのではないかという仮説を立てました。
このアイデアを検証するため、チームは「BioMod」と呼ばれる新しいモデルを開発しました。コンピュータに数千の個別の遺伝子のリストを入力する代わりに、彼らはまず、遺伝子を660個の重複する生物学的モジュールへと整理しました。これらのモジュールは、科学データベースに見られる既知の生物学的パスウェイと、シングルセルデータのパターン分析によって発見された新しい遺伝子グループを組み合わせて構築されました。一つの遺伝子は複数のモジュールに属することができるのですが、これは、一つの遺伝子が同時にいくつかの異なる生物学的プロセスに関与しているという現実を反映しています。研究者たちは、各細胞に対して、数千のトークンの代わりに、各モジュールを表すわずか660個のトークンからなるコンパクトな表現を作成しました。このプロセスは、人間が長い物語を要約する際、すべての単語を列挙するのではなく、主要なテーマや登場人物を特定する作業に似ています。その後、モデルは、脳、血液、肺を含む25の異なる臓器や組織をカバーする、約7,300万個のヒト細胞という大規模なデータセットを用いて学習されました。学習中、コンピュータにはこれらのモジュールの要約の大部分が示され、欠落している部分を推測させることで、異なる生物学的プログラム間の深い繋がりを学習させました。
結果は、この遺伝子をグループ化する方法が極めてうまく機能したことを示しました。約5,000万のパラメータ（複雑さの尺度）を持つBioModは、個別の遺伝子を処理する数十億のパラメータを持つはるかに大きなモデルと同等、あるいはそれ以上の性能を発揮しました。細胞タイプの特定に関するテストにおいて、このモデルは多様な組織にわたる細胞を高い精度で分類し、従来の最先端システムをしばしば上回りました。また、特定の遺伝子がオフになったときのような遺伝的変化に対する細胞の反応や、癌細胞が異なる薬剤に対してどのように反応するかを予測することにも優れていました。最も重要な発見の一つは、モデルの効率性でした。数千のアイテムではなく、わずか660個のアイテムのシーケンスを処理するため、BioModはコンピュータハードウェア上で大幅に高速に動作します。標準的な高性能グラフィックスカード上で、BioModは毎秒数百個の細胞を処理できましたが、他のモデルはメモリ不足で数十個の処理すらままならないことがありました。このスピードにより、以前は高価で大規模なコンピューティングクラスターを必要としたタスクを、単一のマシンで解析することが可能になります。
研究者たちはまた、遺伝子をグループ化する特定の方法が実際に重要だったのか、それとも成功は単にモデルのアーキテクチャによるものなのかを知りたいと考えました。これを確かめるため、彼らは、モジュールの数とモデルの構造は全く同じに保ちつつ、遺伝子をランダムにシャッフルして自然な生物学的関係を破壊したコントロール版のモデルを作成しました。このシャッフルされたバージョンをテストしたところ、性能が著しく低下しました。細胞タイプの特定、異なる実験データの統合、および薬物反応の予測において、性能が悪化したのです。これにより、遺伝子の生物学的組織は単なる便利なショートカットではなく、モジュール内の遺伝子間の具体的で意味のある繋がりこそが、モデルの成功に不可欠であったことが証明されました。さらなる分析により、モデルが正しいものに注意を向けていることが明らかになりました。特定の細胞タイプを特定するためにどのモジュールが最も重要であるかを調べたところ、モデルは、その細胞の既知のマーカー遺伝子を含むモジュールに大きく依存していることが分かりました。これらの主要なモジュールを隠すと、細胞を特定するモデルの能力は崩壊しました。これは、モデルが単にパターンを暗記したのではなく、正しい生物学的論理を学習したことを証明しています。
この研究は、生物学的AIの未来が、細胞のあらゆる詳細を処理しようとする、より巨大なモデルを構築することにあるのではなく、生物学の自然な組織を尊重するシステムを設計することにある可能性を示唆しています。遺伝子の複雑な言語を、生物学的モジュールの機能的な言語へと翻訳することで、BioModは、より小さく効率的なモデルが優れた結果を達成できることを実証しました。それは、細胞の膨大な情報をコンピュータが容易に扱える形式へと圧縮する新しい方法を提供し、ヒトの健康と疾患に関するより迅速かつ正確な解析への扉を開きます。この研究は、シングルセル生物学のすべての問題を解決したと主張するものではありませんが、AIモデルの構造に直接生物学的知識を組み込むことが、生命をその最も根本的なレベルで理解するための、より強力で効率的なツールにつながるという強い証拠を提示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。