In Search of Manifolds Inside Protein Language Models: A Largely Negative Report
이 논문은 포괄적인 기하학적 및 위상학적 진단 도구 세트를 사용하여 단백질 언어 모델(pLM)에서의 매니폴드 가설을 체계적으로 조사하며, 단일 세포 파운데이션 모델과는 달리 pLM 표현은 저차원 매니폴드를 중심으로 조직되기보다 주로 고차원적이고 선형적이라는 결론을 내린다.
1582 편의 논문
이 논문은 포괄적인 기하학적 및 위상학적 진단 도구 세트를 사용하여 단백질 언어 모델(pLM)에서의 매니폴드 가설을 체계적으로 조사하며, 단일 세포 파운데이션 모델과는 달리 pLM 표현은 저차원 매니폴드를 중심으로 조직되기보다 주로 고차원적이고 선형적이라는 결론을 내린다.
이 실증적 연구는 생물학적 거대 언어 모델(SCFMs)이 생물학적 지식을 위한 실제적이고 저차원이며 부분적으로 선형화된 기하학적 구조를 인코딩하고는 있으나, 이 구조는 미미하고 종종 비선형적으로 얽혀 있으며 PCA와 같은 고전적인 발현 기반 방법들이 이미 회복할 수 있는 것과 상당 부분 중첩되어 자연어 모델에서 관찰되는 명료하고 규칙적인 기하학적 구조에는 미치지 못한다는 점을 밝히고 있다.
이 논문은 11개의 가상 세포 모델에 대한 통합 벤치마크를 제시하며, 딥러닝 접근 방식이 표현 학습 작업과 조합적 섭동 예측에서는 베이스라인을 크게 능가하지만, 미지의 단일 유전자 섭동을 예측하는 데 있어서는 일반적으로 단순 선형 모델을 넘어서지 못한다는 점을 밝힘으로써, 이 분야가 인과적 섭동 역학을 위한 진정한 "가상 시뮬레이터"라기보다는 세포 상태 분석을 위한 "가상 현미경"을 달성했음을 시사한다.
이 연구는 희소 오토인코더가 DNA 파운데이션 모델로부터 서열 모티프 및 읽기 틀과 같은 단일 의미적이고 생물학적으로 해석 가능한 특징들을 효과적으로 추출해 내는 반면, 복잡한 조절 논리를 인코딩하는 특징은 현저히 부족함을 보여주며, 이는 현재의 모델들이 유전체 문법 엔진이라기보다는 유전체 사전 역할을 수행하고 있음을 시사한다.
본 논문은 여섯 가지 생물학적 데이터 양상에 걸친 통합적인 경험적 분석을 통해 유한 표본 편향이 정보 이론적 추정치를 심각하게 왜곡함을 입증하며, 편향 수정 방법이 뚜렷한 생물학적 신호를 드러내고 엔트로피의 체계적 과소 추정과 정보량의 과대 추정을 바로잡는다는 점을 고려할 때, 추정자와 표본 크기를 명시하지 않고 엔트로피와 상호 정보를 보고하는 것은 방어 불가능하다고 주장한다.
이 실증적 연구는 다양한 노화 코호트에 걸친 생물학적 연령 예측에 있어, 프리-트랜스포머 모델(패널티 회귀 및 그래디언트 부스팅 등)이 정확도, 데이터 효율성, 코호트 간 전이, 그리고 사망 위험 계층화 측면에서 일반적으로 어텐션 기반 트랜스포머보다 성능이 뛰어나거나 대등함을 입증하며, 이를 통해 트랜스포머를 오직 예외적으로 거대한 데이터셋이 있는 경우에만 유효한 특수 도구로 위치시키는 동시에 프리-트랜스포머 모델을 장수 과학의 합리적인 기본값으로 확립한다.
이 실증적 연구는 혈액 기반 노화 시계의 경우, 예측 대상(사망률 유래 표현형 연령 대 실제 연령)의 선택이 바이오마커의 타당성과 사망 관련성을 압도적으로 결정하며, 이로 인해 딥러닝 모델 용량을 늘리는 것은 이러한 핵심적인 결과들을 개선하는 데 있어 대체로 효과가 없음을 입증한다.
이 연구는 알츠하이머병이 단순히 수동적인 단백질 독성 때문이 아니라, 노화하는 뉴런과 글리아 세포에서 침묵되었던 배아기 액틴-마이오신 진동 경로가 비정상적으로 후성유전학적 재활성화되어 축삭의 '다잉 백(dying-back)'과 시냅스 퇴행을 유도하는 기계적 불안정성을 생성함으로써 발생한다고 제안한다.
이 논문은 기관의 프리프린트 정책을 준수하기 위해 저자들에 의해 철회되었으며, 저자들은 이 작업이 인용되지 않기를 명시적으로 요청하였습니다.
본 연구는 REEP2가 EMT 유도성 폐암 진행의 핵심 매개체임을 규명하며, ZEB1/miR-183/193a 축이 REEP2를 상향 조절하여 소포체에서 골지체로의 수송과 종양 촉진 인자의 분비를 강화함으로써 종양 전이 및 면역 억제를 촉진한다는 것을 입증한다.