🤖 machine learning

PerturbPFN: Probing the Limits of Synthetic Priors in Drug Perturbation Modelling

PerturbPFN은 합성 사전 지식으로부터 잠재적 시스템 그래프와 개입 대상을 추론함으로써 미지의 화학적 섭동에 대한 세포 반응을 예측하는 새로운 아모티제이션(amortized) 모델로, 테스트 시점의 그래디언트 업데이트를 요구하지 않으면서도 경쟁력 있는 정확도와 해석 가능성을 달성한다.

원저자: Yuche Gao, José Miguel Hernández-Lobato, Siyuan Guo

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuche Gao, José Miguel Hernández-Lobato, Siyuan Guo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 도시의 교통이 왜 갑자기 멈춰 섰는지 알아내려는 탐정이라고 상상해 보십시오. 당신은 멈춰 선 자동차들(결과)은 볼 수 있지만, 사고인지, 고장 난 신호등인지, 아니면 이 모든 것을 유발한 쏟아진 커피인지(원인)는 볼 수 없습니다. 생물학의 세계에서도 과학자들은 매일 이와 유사한 미스터리에 직면합니다. 그들은 새로운 약물이 세포의 행동을 어떻게 변화시킬지 알고 싶어 합니다. 세포는 수천 개의 유전자가 일꾼처럼 움직이는 작은, 북적이는 도시와 같습니다. 약물(화학적 섭동)이 들어오면, 그것은 특정 일꾼을 방해하여 도시 전체가 작동하는 방식을 바꾸는 연쇄 반응을 일으킬 수 있습니다. 문제는 가능한 약물이 수백만 개에 달하며, 이를 모두 실제 실험실에서 테스트하는 것은 너무 느리고 비용이 많이 들며, 약물이 정확히 어떤 '일꾼'을 겨냥할지 또는 그 타격이 얼마나 강할지 알 수 없기 때문에 종종 불가능하다는 점입니다.

이를 해결하기 위해 과학자들은 이러한 결과를 예측하려는 컴퓨터 모델을 구축해 왔습니다. 어떤 모델들은 블랙박스와 같습니다. 즉, 과거의 데이터를 보고 미래의 결과를 추측할 뿐, 변화가 '어떻게' 또는 '왜' 일어났는지는 설명하지 못합니다. 다른 모델들은 더 기계공에 가깝게 특정 고장 난 부품을 찾으려 노력하지만, 새로운 약물이나 세포 유형이 나올 때마다 처음부터 다시 조정해야 하는 경우가 많아 시간이 많이 걸립니다. 큰 질문은 이것입니다: 우리가 세포가 약물에 어떻게 반응하는지에 대한 일반적인 '도로의 규칙'을 학습하여, 한 번도 본 적 없는 완전히 새로운 약물에 대해서도 즉각적으로 결과를 추측하고, 동시에 그 약물이 어떤 유전자를 타격하고 있다고 생각하는지 정확히 알려줄 수 있는 모델을 만들 수 있을까요?

여기서 PerturbPFN이라는 새로운 도구가 등장합니다. PerturbPFN을 비디오 게임 속 수백만 번의 모의 교통 체증을 지켜보며 수년간 경험을 쌓은 아주 똑똑한 견습 정비사라고 생각해 보십시오. 실제 세상의 사고(드물고 무질서함)로부터 배우는 대신, 이 견디사는 컴퓨터 프로그램이 생성한 수십억 개의 가짜지만 현실적인 시나리오로부터 학습했습니다. 이 시뮬레이션 속에서 프로그램은 정확히 어떤 '신호등'이 고장 났는지, 그리고 얼마나 강하게 고장 났는지를 알고 있었습니다. 이러한 합성 데이터를 공부함으로써, PerturbPFN은 패턴을 인식하는 법을 배웠습니다. "아, 교통 흐름이 이런 특정한 패턴으로 느려진다면, 이는 보통 메인 스트리트의 빨간불이 중간 정도의 힘으로 충격을 받았음을 의미하는구나."라고 말이죠.

연구진이 실제 세상의 데이터, 즉 실제 약물로 세포를 처리한 실제 실험 데이터로 이 견습생를 테스트했을 때, 놀라운 결과를 발견했습니다. PerturbPFN은 단순히 최종적인 교통 체증만을 맞춘 것이 아니라, 숨겨진 원인을 성공적으로 맞추었습니다. 이 모델은 새로운 약물에 대해 세포가 어떻게 반응할지 예측하고, 약물이 타겟으로 삼았을 가능성이 높은 특정 유전자를 식별하며, 심지어 그 약물의 효과가 얼마나 강할지도 추정할 수 있었습니다. 이 모든 일을 단 한 번의 번개처럼 빠른 패스(pass)만으로, 새로운 약물을 위해 다시 학습할 필요도 없이 해냈습니다.

이 논문은 PerturbPFン이 기존 방식들과 강력하게 경쟁하고 있음을 보여줍니다. 어떤 다른 모델들은 특정 사례에서 순수 예측 능력은 약간 더 뛰어날 수 있지만, PerturbPFN은 독특한 절충안을 제공합니다. 즉, 믿을 수 없을 정도로 빠르면서도, 다른 빠른 모델들이 제공하지 못하는 '기계론적 설명'(타겟과 강도에 대한 추측)을 제공한다는 것입니다. 그러나 저자들은 이 모델이 합성 데이터로 훈련되었기 때문에, 모델의 '추측'이 해당 시뮬레이션의 규칙에 기반하고 있다는 점을 주의 깊게 명시하고 있습니다. 이는 생물학을 학습하는 강력한 새로운 방법을 제시하지만, 모든 약물 상호작용의 미스터리를 완벽하게 풀었다고 주장하는 것은 아닙니다. 대신, 이 모델은 가공되지 않은 데이터와 생물학적 이해 사이를 잇는 가교 역할을 하며, 미지의 영역을 탐구하기 위한 유망하고 빠르며 해석 가능한 방법을 제안합니다.

기술 요약: PerturbPFN

문제 정의

미지의 화학적 섭동(perturbation)에 대한 세포 반응을 예측하는 것은 신약 개발의 핵심 과제입니다. 이산적인 유전자 편집(예: CRISPR)과 달리, 저분자 약물은 표적, 경로 및 메커니즘이 알려져 있지 않거나, 맥락 의존적이거나, 또는 섭동 공변량에 의해 부분적으로만 포착되는 복잡한 개입을 도입합니다. 현재의 예측 모델은 세 가지 주요 난관에 직면해 있습니다:

알려지지 않은 메커니즘: 관찰된 반응 데이터로부터 사전 정의된 표적에 의존하기보다 잠재적인 원자 단위 표적과 메커니즘을 추론해야 할 필요성.
일반화: 저분자 화합물의 이론적 설계 공간은 물리적 스크리닝 능력보다 훨씬 방대하므로, 단순히 알려진 약물 사이를 보간하는 것이 아니라 미지의 섭동으로 일반화할 수 있어야 함.
기존 패러다임의 한계:
- 비구조적 블랙박스 모델은 통계적 변화를 학습하지만 해석 가능성이 부족함.
- 구조적 메커니즘 모델은 해석 가능성을 제공하지만, 종종 인스턴스별 최적화나 데이터셋 특정 피팅에 의존하여, 이질적인 맥락(예: 서로 다른 세포주 또는 배치) 전반에 걸쳐 지식을 상쇄(amortize)하는 능력이 제한됨.
- 파운데이션 모델은 대규모 실제 데이터(예: scGPT, GenePT)로 사전 학습되어 강력한 표현을 학습하지만, 개입의 인과적 전파를 명시적으로 모델링하지 못할 수 있음.

방법론

저자들은 계층적 합성 구조적 인과 모델(SCM) 사전 확률(prior) 하에서 섭동 효과의 상쇄 추론(amortized inference)을 위해 설계된 Prior-Data Fitted Network (PFN) 스타일의 프레임워크인 PerturbPFN을 제안합니다.

1. 이론적 프레임워크

이 접근 방식은 시스템을 $\mathcal{M} = \{G, \theta\}$ 인 SCM으로 모델링합니다. 여기서 $G$ 는 유전자 조절 관계를 나타내는 유향 비순환 그래프(DAG)이며, $\theta$ 는 국소적 메커니즘을 매개변수화합니다.

변화 개입(Shift Interventions): 하드 개입(부모 의존성 제거) 대신, PerturbPFx는 섭동을 국소 메커니즘에 대한 가법적 변화로 모델링합니다: $x_i = f_i(x_{G_i}; \theta_i) + \psi_i + \epsilon_i$ . 여기서 $\psi_i$ 는 타겟 노드 $I$ 에 대한 개입 강도입니다.
에피소드적 예측: 작업은 컨텍스트 관측값 $D_{ctx}$ 가 주어졌을 때 쿼리 레짐 $\gamma_j$ 에 대한 사후 예측 분포 $p(x_j | \gamma_j, D_{ctx})$ 를 예측하는 것으로 정의됩니다. 모델은 잠재 그래프 $G$ , 개입 대상 $I$ , 그리고 강도 $\psi$ 의 점 추정치를 추론함으로써 이를 근사합니다.

2. 계층적 합성 사전 확률

PerturbPFN은 전적으로 사전-예측 합성 에피소드 상에서 학습되며, 학습 과정에서 실제 섭동 반응을 필요로 하지 않습니다.

그래프 생성기: 이질적이고 스케일 프리(scale-free)한 토폴로지를 유도하기 위해 모듈 구조를 가진 유전자 조절 네트워크(GRN)를 샘플링합니다.
섭동 생성기: 기술자(descriptor) $\gamma$ 는 절단된 기하 분포(truncated geometric distribution)로부터 희소한 원자 표적을 생성합니다. 개입 강도는 Hill 유형의 용량-반응 함수를 따릅니다.
관측 모델: 합성 데이터는 SERGIO 노이즈 주입이 포함된 제로-팽창 로그 정규(zero-inflated log-normal) 발현 모델에서 샘플링됩니다.
역사실적 감독(Counterfactual Supervision): 사실적(factual) 및 개입된(intervened) 롤아웃 모두에 외생적 노이즈를 재사용하여, 쌍을 이룬 차이가 개입에 의한 변화만을 반영하도록 보장합니다.

3. 모델 아키텍처

모델은 구조적 병목(structured bottleneck)을 가진 트랜스포머 기반의 상쇄 예측기를 활용합니다.

컨텍스트 개입 메모리: 공유 인코더가 컨텍스트 쌍 $(\gamma_i, x_i)$ 를 처리하여 노드 표현과 레짐 요약을 생성합니다. 타겟 및 강도 헤드는 컨텍스트 레짐에 대한 $\hat{I}_i$ 와 $\hat{\psi}_i$ 를 예측하며, 이는 개입-메모리 토큰으로 인코딩됩니다.
구조 브랜치: 구조 브랜치는 컨텍스트 반응 통계와 추론된 개입을 결합하여 시스템 그래프 $\hat{G}$ 를 추정합니다. 이는 비순환성을 강제하기 위한 NOTEARS 스타일의 페널티( $L_{dag}$ )와 엣지 밀도를 보정하기 위한 그리디 투영(greedy projection)을 채택합니다.
쿼리 추론: 쿼리 레짐은 컨텍스트 메모리에 조건화됩니다. 모델은 쿼리 특정 타겟 $\hat{I}_j$ 와 강도 $\hat{\psi}_j$ 를 예측합니다.
SCM 디코더: 개입된 SCM 디코더는 효과를 롤아웃합니다. 이는 하드 투영된 그래프 $\hat{G}$ 와 예측된 개입을 사용하여 잠재 시스템을 통해 변화를 전파하고, 제로-팽창 로그 정규 예측 분포를 출력합니다.

4. 학습 및 추론

학습 목적 함수: 그래프 손실( $L_G$ ), 타겟 손실( $L_I$ ), 강도 손실( $L_\psi$ ), 관측 가능도( $L_{obs}$ ), 그리고 비순환성 페널티( $A_{dag}$ )를 결합한 다중 작업 손실을 사용합니다.
추론: 테스트 시점에 PerturbPFN은 그래디언트 업데이트 없이 단일 순방향 패스(forward pass)를 수행합니다. 이는 연속적인 엣지 점수를 하드 DAG로 변환하고 디코더를 롤아웃하여 효과를 예측합니다.

주요 기여

프레임워크: 계층적 합성 SCM 사전 확률을 사용하여 섭동 효과의 추론을 상쇄하는 PFN 스타일의 프레임워크인 PerturbPFN을 도입했습니다. 이 모델은 고차원 출력을 직접 회귀하는 대신, 잠재 그래프, 희소 타겟, 강도를 명시적으로 예측한 후 반응을 디코딩합니다.
효율성 및 일반화: 단일 인-컨텍스트 순방향 패스를 통해 실제 단일 세포 데이터에서 경쟁력 있는 효과 예측 능력을 입증하였으며, 이는 데이터셋 특정 최적화 과정을 제거합니다.
해석 가능성: 블랙박스 형태의 잠재 공간 예측와 대조적으로, 어떻게 개입이 일어나고 전파되는지에 대한 메커니즘적 통찰을 제공하는 구조화된 중간 추정치(타겟, 강도, 시스템 구조)를 제공합니다.
평가: 잠재 변수 복구(in-prior latent recovery), 실제 효과 예측(Sci-Plex 데이터셋), 규제 구조 발견(GeneRNIB 벤치마크)에 대한 종합적인 평가를 수행했습니다.

결과

In-Prior 잠재 변수 복구

1,024개의 합성 에피소드에서 PerturbPFN은 붕괴 없이 잠재 변수를 성공적으로 복구했습니다:

그래프 복구: AUROC 0.8133 및 AUPRC 0.2980 (엣지 존재 비율인 0.0363보다 현저히 높음).
타겟 식별: AUROC 0.9330 및 F1 0.7649.
강도 추정: 평균 절대 강도 비율 0.9386.
반응 예측: 예측된 개입 방향과 실제 방향 사이의 높은 코사인 유사도(0.7437).

섭동 효과 예측 (Sci-Plex)

12개의 프로토콜 중 최고 용량 홀드아웃 벤치마크에서 평가되었습니다:

성능: PerturbPFN은 가장 우수한 정규화된 Wasserstein-2 ( $W_2$ ) 점수(0.9183)를 달성했으며, RF X-Learner에 이어 전체 2위(평균 점수 0.8394)를 차지했습니다.
효율성: 사전 학습된 후, 추론에 프로토콜당 1.11초가 소요됩니다. 이는 GIM(4495초) 및 CondOT(7266초)보다 훨씬 빠릅니다. 상쇄 사전 학습 비용을 고려하더라도, 복잡한 베이스라인들보다 실질적으로 빠릅니다.
트레이드오프: 예측 성능, 구조적 해석 가능성, 낮은 추론 비용 사이에서 유리한 균형을 제공합니다.

GRN 구조 발견 (GeneRNIB)

학습된 구조를 실제 생물학적 데이터로 전이하는 300BCG 벤치마크에서 평가되었습니다:

성능: PerturbPFN은 최고의 GS-F1(0.6410)을 달성하여 활성 경로와의 강력한 일치를 보여주었으며, 경쟁력 있는 TFB-F1(0.1146)을 기록했습니다.
한계: R-Precision, R-Recall 또는 Virtual Cell (VC) 지표에서는 전용 GRN 베이스라인(예: GRNBoost2, PORTIA)을 능가하지 못했습니다. 저자들은 PerturbPFN이 정적인 큐레이션된 GRN 주석을 재현하기 위해서가 아니라, 합성 사전 확률 하에서의 인과적 전파를 최적화하도록 설계되었기 때문에 이는 예상된 결과라고 언급했습니다.

의의 및 주장

본 논문은 PerturbPFN을 생물학을 위한 구조적 파운데이션 모델을 향한 단계로 자리매김합니다. 주요 의의는 다음과 같습니다:

합성 사전 학습의 유효성: 모델이 실제 라벨링된 섭동 데이터 없이도 대규모 합성 작업을 통해 복잡한 잠재 변수(그래프, 타겟, 메커니즘)의 추론을 상쇄하도록 사전 학습될 수 있음을 입증했습니다.
상쇄 역문제(Amortized Inverse Problems): 트랜스포머가 역문제(관찰된 컨텍스트를 설명하는 잠재 그래프와 메커니즘 변화를 추론하는 것)를 효과적으로 상쇄하며, 그래디언트 기반 적응 없이 새로운 작업에 이 절차를 적용할 수 있음을 보여줍니다.
구조적 병목: 구조적 병목은 효율성을 위한 아키텍처 제약 역할을 하는 동시에, 섭동이 어떻게 작용하고 전파되는지에 대한 검사 가능한 가설을 노출하는 이중 목적을 수행합니다.

저자들은 잠재 변수의 의미가 합성 사전 확률에 묶여 있으며, In-prior에서의 복구가 생물학적 메커니즘의 고유한 식별성을 보장하는 것은 아니라는 점을 인정하며 신중한 태도를 유지합니다. 이들은 향후 연구가 더 풍부한 시뮬레이터, 사후 불확정성 정량화, 그리고 전체 전사체(transcriptome)로의 확장에 집중해야 한다고 제안합니다.