TaxoFormer: Hierarchical Transformer for Predicting the Full Taxonomic Lineage of Protein Sequences

想像してみてください。あなたは、数十億年前にまで遡る、地球上のあらゆる生物を含む、巨大で古色蒼然とした家系図を持っています。この樹はあまりにも巨大で、130万以上の枝と葉があります。ここで、あなたは一つの謎めいたタンパク質（生命の小さな構成要素）を見つけたとします。あなたの仕事は、そのタンパク質がこの巨大な家系図のどこに位置するのかを正確に突き止めることです。

これが、論文「TaxoFormer」が取り組んでいる課題です。彼らがどのように解決したのかを、簡単に説明しましょう。

問題点：本が多すぎる図書館

通常、コンピュータが何かをカテゴリー分けしようとする際、すべてのカテゴリーを互いに関連のない独立した選択肢として扱います。しかし、生物学においては、カテゴリーは家系図のように繋がっています。もしあるものが「哺乳類」であることを知っていれば、それは自動的に「動物」であり、「真核生物」でもあるということが分かります。

研究者たちは、タンパク質の配列（その遺伝コード）を見るだけで、単に最終的なラベルを推測するのではなく、そのタンパク質の「家族の歴史全体」を予測するようにコンピュータに教えたいと考えました。

解決策：樹のための特別な「ジッパー」

チームは、TaxoFormerと呼ばれる新しいAIモデルを構築しました。彼らの最大のトリックは、コンピュータに家系図を「読み取る」方法を教えたところにあります。

• 従来の方法： 130万ページの書物を、全ページの全単語を書き出すことで説明しようとするようなものです。それは膨大で、無秩序なものになります。
• TaxoFormerの方法： 彼らは、特別な「語彙」（15,000個のユニークなコードのセット）を発明しました。これはジッパーのように機能します。このジッパーは、130万ものノードを持つ家系図全体を、詳細を失うことなく、コンパクトで整理された形式へとロックすることができます。それは、広大で絡まり合った森を、整然とした一連のビーズの紐へと変えるようなものです。そのビーズの順序が、物語のすべてを語ります。

仕組み：ストーリーテラー（語り手）

彼らは、タンパク質についてすでに多くのことを知っている賢いAI（ESM-2と呼ばれます）を取り出し、そこに新しい役割を与えました。それは**ストーリーテリング（物語ること）**です。

AIに対しては、単にラベルを指し示すのではなく、最も広いカテゴリーから最も具体的なカテゴリーへと、単語を一つずつ紡ぎながら、そのタンパク質の家族の歴史を「書く」よう求められます。それは、探偵に対して、容疑者の最終目的地を推測させるのではなく、容疑者の足取りの全行程をステップ・バイ・ステップで再構成させるようなものです。

彼らは、1億8800万個のタンパク質という膨大なライブラリを用いて、このストーリーテラーを訓練しました。複雑でカスタムされたルールは一切使わず、標準的な「間違いを修正する」手法（クロスエントロピー）のみを使用しました。

結果：地図を学ぶ

結果は目覚ましいものでした。モデルは単に正解を出しただけでなく、実際に地図を学習したのです。

AIは答えを出すために家系図全体を書き出さなければならなかったため、自然と、異なる生命のグループが互いにどのように関連しているかを、自分自身の「思考」の中で理解しました。AIは、明示的に教えられることなく、近縁のタンパク質は近くに、遠縁のものは遠くに位置するという、独自のメンタルスペース（精神的空間）を作り上げたのです。

結論

この論文は、AIに対して、全体像（家系図全体）を見るための明確で構造化された方法を与え、その絵をステップ・バイ・ステップで説明させるようにすれば、自然界に隠された繋がりを理解するのが驚異的に上手くなることを示しています。これは、他のすべてのタンパク質と一つずつ比較することなく、タンパク質にラベルを付けるための、高速で効率的な方法なのです。