In Search of Manifolds Inside Protein Language Models: A Largely Negative Report
本論文は、包括的な幾何学的および位相幾何学的診断を用いてタンパク質言語モデル(pLM)における多様体仮説を体系的に調査し、シングルセル基盤モデルとは異なり、pLMの表現は低次元多様体に沿って構成されているのではなく、主に高次元かつ線形的であると結論付けている。
4404 件の論文
本論文は、包括的な幾何学的および位相幾何学的診断を用いてタンパク質言語モデル(pLM)における多様体仮説を体系的に調査し、シングルセル基盤モデルとは異なり、pLMの表現は低次元多様体に沿って構成されているのではなく、主に高次元かつ線形的であると結論付けている。
この実証的研究は、生物学的大規模言語モデル(SCFMs)は生物学的知識に関する実在的で低次元かつ部分的に線形化された幾何学的構造をエンコードしているものの、その構造は控えめであり、しばしば非線形に絡み合い、PCAのような古典的な発現ベースの手法が既に回収可能なものと大きく重複しており、自然言語モデルに見られるような鮮明で規則的な幾何学には及ばないことを明らかにしている。
本論文は11種類の仮想細胞モデルの統一的なベンチマークを提示しており、ディープラーニングを用いた手法は表現タスクや組合せ摂動の予測においてベースラインを大幅に上回る一方で、未知の単一遺伝子摂動の予測においては一般に単純な線形モデルを超えることができないことを明らかにしており、このことは、当該分野が細胞状態解析のための真の「仮想顕微鏡」には到達したものの、因果的な摂動ダイナミクスに関する真の「仮想シミュレーター」には至っていないことを示唆している。
本研究は、スパース・オートエンコーダーがDNA基盤モデルから配列モチーフやリーディングフレームといった単一意味的で生物学的に解釈可能な特徴を効果的に抽出する一方で、複雑な調節ロジックを符号化する特徴が著しく不足していることを明らかにしており、これは現在のモデルがゲノムの文法エンジンではなく、ゲノムの辞書を捉えていることを示唆している。
本論文は、6つの生物学的データモダリティにわたる統一的な実証分析を提示し、有限標本バイアスが情報理論的推定値を著しく歪めることを示し、バイアス補正手法が明確な生物学的シグナルを明らかにし、エントロピーの系統的な過小評価および情報量の過大評価を是正することを踏まえると、推定法と標本サイズを指定せずにエントロピーや相互情報量を報告することは正当化できないと論じている。
この実証研究は、多様な加齢コホートにおける生物学的年齢予測において、事前トランスフォーマー・モデル(罰則付き回帰や勾配ブースティングなど)が、精度、データ効率、コホート間転移、および死亡リスク層別化の面で、アテンション・ベースのトランスフォーマーを一般に凌駕するか、あるいは同等の性能を示すことを実証しており、これらにより、トランスフォーマーを極めて大規模なデータセットにおいてのみ実行可能な特殊なツールとして位置づける一方で、事前トランスフォーマー・モデルを長寿科学における合理的なデフォルトとして確立している。
この実証研究は、血液ベースの老化時計において、予測対象の選択(死亡率由来の表現型年齢か暦年齢か)がバイオマーカーの妥当性と死亡率との関連性を圧倒的に決定づけており、ディープラーニングモデルの容量を増大させても、これらの重要なアウトカムを改善する上ではほとんど効果がないことを示している。
本研究は、アルツハイマー病が、加齢に伴うニューロンおよびグリアにおける、抑制されていた胚性のアクチン・ミオシン振動経路の異常なエピジェネティックな再活性化に起因し、それが単なる受動的なプロテオトキシシティ(タンパク質毒性)ではなく、軸索の「ダイイングバック(後退死)」とシナプス退縮を駆動する機械的不安定性を生み出すものであるという説を提唱している。
この論文は、所属機関のプレプリントに関するポリシーを遵守するために著者によって取り下げられており、著者らはこの著作物を引用しないことを明示的に求めています。
本研究は、REEP2がEMT(上皮間葉転換)による肺がん進行の重要な媒介因子であることを特定し、ZEB1/miR-183/193a軸がREEP2をアップレギュレートすることで小胞体からゴルジ体への輸送および腫瘍形成促進因子の分泌を強化し、それによって腫瘍の転移と免疫抑制を促進することを実証している。