Tox21mer, A transformer foundation model for Tox21 high-throughput concentration-response curves data

米国のTox21プロジェクトを、さまざまな化学物質が様々な生物学的テストに対してどのように反応するかという、数百万もの「物語」を集めた巨大な図書館だと想像してみてください。それぞれの物語は、濃度反応曲線（concentration-response curve）、つまり、細胞に少量の化学物質を与え、次に少し増やし、さらに大量に与えたときに何が起こるかを示すグラフです。これらのグラフを一つずつ読んでいくのは、人間にとっては時間がかかり、困難な作業です。

ここに、これらの物語を瞬時に読み解き、理解するために設計された新しいコンピューターの脳（AIモデル）、Tox21merが登場します。

その仕組みを、日常的な例えを用いて説明します。

1. 「スーパー読書家」

Tox21merを、250万件もの化学物質の物語を読んできた超高度な司書だと考えてみてください。このモデルは単に事実を暗記しているのではなく、化学物質がどのように振る舞うかという「パターン」を学習しています。複雑なグラフとテストの詳細リスト（メタデータ）を受け取り、それらを一つのコンパクトな「IDカード」（768次元の表現）へと圧縮します。このIDカードは、コンピューターが容易に処理できる形で、化学物質の挙動の本質を捉えています。

2. 学習方法（「穴埋めゲーム」）

この賢さを手に入れるために、モデルは大規模な**「マッドリブス（穴埋め問題）」や「空欄補充ゲーム」**を行いました。

• 研究者たちは、数百万もの曲線を提示しましたが、そのデータの一部を隠しました（マスクされた応答の再構成）。
• モデルは、残りの曲線とテストの文脈に基づいて、欠落している数値を推測しなければなりませんでした。
• また、化学物質が「活性（active）」か「不活性（inactive）」かといった特定の結末を学習するために、わずかな補助（低重みの教師あり学習）も受けましたが、主な教師はゲームそのものでした。

3. 結果：どれほど優秀か？

研究者が、このモデルを一度も見せたことがない未知の化学物質でテストしたところ、チャンピオンのような成績を収めました。

• 「信号機テスト」： モデルは曲線を見て、その化学物質が「アゴニスト（促進薬／進め）」、「アンタゴニスト（拮抗薬／止まれ）」、あるいは「不活性（中立）」であるかを、98.5%の精度で判別できました。
• 「オン／オフ・スイッチ」： 単純に「活性」か「不活性」かを、99.4%の精度で判定できました。
• 「強さのゲージ」： 化学物質の強さ（具体的にはAC50値）を、0.87の決定係数（R2）という精度で推定できました。

4. 本当に重要なことは何か？

研究者たちは疑問に思いました。このモデルは、答えを暗記したから賢いのか、それとも曲線の形状を学んだからなのか？

• 彼らは、追加の「解答集（補助ラベル）」なしでモデルを訓練してみました。すると、モデルはほぼ同等の性能を発揮しました。これは、モデルが単にラベルを覚えたのではなく、データの形状とパターンを学んだことを証明しています。
• また、モデルはデータの厳密な順序よりも、データポイント全体の分布（曲線の全体的な傾向）を重視していることも分かりました。それは、一音一音を数えるのではなく、メロディによって曲を認識するようなものです。

5. なぜこれが役に立つのか

論文は、Tox21merがこれらの化学曲線のための**普遍的な「言語」**を作り出すと結論付けています。このモデルは言語を非常に高度に理解しているため、以下の基盤として活用できます。

• このモデルを化学データと組み合わせることで、未テストの新しい化学物質がどのように振る舞うかを予測する。
• より小さく単純なモデル（「生徒モデル」と呼ばれます）に同じ仕事を教え、元のライブラリの外にある膨大な化学物質のスクリーニングを可能にする。

要約すると、Tox21merは、乱雑で複雑な化学グラフを、明確で理解しやすいデータへと変換するツールであり、科学者が極めて高い速度と精度で化学的挙動を予測することを可能にするのです。