Where in the spectrum does biology live? A confound audit and a compaction law for gene embeddings of single-cell foundation models

技術要約：「生物学はスペクトルのどこに存在するのか？ シングルセル基盤モデルの遺伝子埋め込みにおける交絡監査と圧縮則」

問題提起
シングルセル基盤モデル（scFM）は、遺伝子のベクトル埋め込みを生成し、それはファインチューニングなしで生物学的構造（例：細胞内コンパートメント、タンパク質複合体、パスウェイ）を復元する有用性を示してきた。近年の文献では、これらの埋め込みの主要なスペクトル軸が、特定の生物学的特性（例：局在化）によって遺伝子を整理していることが示唆されている。しかし、自然言語処理（NLP）における教訓（主要な埋め込み方向は意味論よりもトークンの頻度をエンコードしていることが多い）に基づき、本論文は、scFMの遺伝子埋め込みの主要軸が、生物学的な意味ではなく、技術的な共変量（具体的には遺伝子の存在量および検出幅）をエンコードしているのではないかという問題を調査する。さらに、本論文は、先行研究で特定された「低ランク境界」（例：ランク64）が、普遍的な生物学的特性なのか、それともモデル固有のアーティファクトであるのかという点にも疑問を投げかける。

手法
本研究では、公開されている8つのモデル（発現データで訓練された7つのシングルセル・トランスフォーマー：scGPT、Geneformerのバリアント、AIDO.Cell、scFoundation、tGPT、および負の制御としてUniversal Cell Embeddingsで使用される凍結されたタンパク質言語モデル：ESM2-15B）の静的な遺伝子トークン埋め込み行列を分析する。すべての分析は、共通の17,846個の遺伝子ユニバースに限定して行われる。

手法は主に以下の2つの部分で構成される：

1. 交絡監査 (Part A):

   • スペクトル回帰: 著者らは、すべての埋め込み行列の各スペクトル軸を、2つの存在量共変量（平均発現レベルおよび検出幅［遺伝子が検出される細胞型の割合］）の柔軟な三次Bスプライン基底に対して回帰させる。各軸の$R^2$を計算することで、存在量によって説明される分散の量を定量化する。
   • 線形消去: ヌルスペース投影（スプライン基底に対する残差化）を用いて、存在量サブスペースを埋め込み行列から線形的に消去し、リトリーバル（検索）ベンチマークを再実行する。
   • 存在量マッチング負例: 負例を存在量および検出幅に基づいて正例と一致させるようにリトリーバル・ベンチマークを再構築する。これにより、モデルが偶然に存在量スコアのみに依存した場合の性能を確保する。
   • ベンチマーク: 5つの関係タイプを評価する：細胞内局在、複合体メンバーシップ、パスウェイメンバーシップ、レギュレーターからターゲットへのリンク、および意図的に交絡させた共発現コントロール。

2. 圧縮則 (Part B):

   • 帯域幅の定義 ($k^*$): 各関係およびモデルについて、$k^*$を、モデルの最大リトリーバル性能（天井）の95%を回収するために必要な最小の主要スペクトル軸数として定義する。
   • 分散分解: $\log_2(k^*)$に対して、「関係」と「モデル」を因子とする二元配置ANOVAを実行し、必要な帯域幅が生物学の特性（モデル間で一貫しているもの）であるか、あるいはモデルのアーキテクチャの特性であるかを判断する。
   • 曲線分析: 伸長指数関数（stretched exponential function）を適合させ、保持されたランクに対する性能のスケーリングを特徴付ける。

主な結果

• 主要軸における存在量の支配: カウント訓練された7つのモデルのうち6つにおいて、主要なスペクトル軸は存在量によって支配されており（$R^2 = 0.51–0.76$）、置換ヌルモデルを大幅に上回っている。発現カウントを一度も見ていないタンパク質言語モデル（ESM2）は、無視できる程度の存在量負荷量を示した（$R^2 \approx 0.009$）。この負荷量は高度に集中しており、軸64を超えると、存在量による説明力は0.01を下回る。
• 「オール・バット・ザ・トップ（上位を除いたすべて）」効果: 上位2〜4つのスペクトル軸を削除すると、存在量マッチング負例を用いた条件下での、精緻化された生物学的関係（複合体、パスウェイ）の検索性能が向上する一方、共発現コントロールの性能は低下する。これは、ワード埋め込みで見られる「オール・バット・ザ・トップ」現象を再現している。
• 生物学的信号の位置: 帯域制限されたリトリーバルは、スペクトルの最上部ではなく、スペクトル帯 $[32, 64)$ でピークに達する。主要な軸は主に存在量の「簿記（bookkeeping）」として機能しており、生物学的構造はスペクトルの中間部に存在する。
• 交絡の程度:
  • 共発現: 主に存在量のみで解決可能である。存在量を制御すると、リトリーバル性能は崩壊する。
  • 複合体/パスウェイ: 標準的なプロトコルにおける、チャンス（偶然）に対する見かけ上のリトリーバル・マージンの約3分の1は、存在量に起因している。
  • 局在化: ペアワイズのリトリーバルは弱く、ほとんど情報を持たない。しかし、教師ありプローブは、コンパートメント情報が実在し、かつ存在量駆動ではないことを確認した。ただし、その情報は単一の支配的な軸ではなく、多くの軸（数十個）に分散して保持されている。
• モデル固有の帯域幅: $k^*$は生物学の普遍的な特性であるという仮説は棄却された。$\log_2(k^*)$の分散分解において、「モデル」因子は「関係」因子と同等以上の分散を説明した（例：存在量マッチング条件下では、関係の $\eta^2 = 0.17$ に対し、モデルは $\eta^2 = 0.62$）。絶対的な圧縮予算は、アーキテクチャ間で転移しない。
• 再現可能な順序付け: 絶対的な $k^*$ の値はモデル間で異なるものの、関係による帯域幅の順序付けは再現可能である（Kendall's $W = 0.64$）。共発現のような関係はより少ない軸を必要とし、複合体メンバーシップやTF-ターゲット間のリンクはより多くの軸を必要とする。
• ランク64の十分性: ランク64の切り捨ては、ほとんどの関係において平均して天井の85〜95%を保持するが、これは損失のないものではない。複合体メンバーシップやTF-ターゲットのリトリーバルにおいては、最悪のケースで天井の13〜26%を失う可能性がある。

意義および主張
本論文は、シングルセル基盤モデルのスペクトル軸を解釈するための必要な再校正を提供すると主張している。主要軸に基づく「生物学的座標系」という主張は、生物学的信号と技術的共変量を区別するために、存在量回帰メトリクス（$R^2$）および存在量マッチング負例下での性能を伴わなければならないと論じている。

低ランク圧縮に関して、本論文は普遍的な生物学的圧縮則の概念を否定している。異なる生物学的関係の「相対的な難易度」はモデル間で一貫しているものの、それらを捉えるために必要な軸の絶対数はモデル依存的であると主張している。したがって、実務者は固定されたランク（例：64）がすべての関係やすべてのモデルに対して十分であると想定すべきではなく、代わりに、関心のある関係ごとに帯域幅を測定すべきである。著者は、交絡制御（消去およびマッチング）が一貫して必要な帯域幅を増加させていることを強調しており、従来の低ランク十分性の推定は楽観的であった可能性を示唆している。

結論として、「実行可能な低ランク境界」は、定数としてのデータの特性ではなく、関係およびモデルごとに測定されるべきトレードオフである。著者らは、提案された手法（存在量回帰およびマッチング負例）は、遺伝子埋め込みの将来的な評価における安価でデフォルトとなるチェック機能であるとしている。