Plausibility Is Not Prediction: Contrastive Evidence for LLM-Based Cellular Perturbation Reasoning

기술 요약: 타당성은 예측이 아니다: LLM 기반 세포 섭동 추론에 대한 대조적 증거

문제 정의 및 동기

약물 처리 및 유전자 편집과 같은 섭동(perturbation) 실험은 세포 메커니즘을 이해하는 데 필수적이지만, 비용이 많이 들고 데이터가 희소하다는 한계가 있습니다. 이러한 제한은 관찰되지 않은 조건에 대한 유전자 발현 반응을 예측해야 할 필요성을 불러일으킵니다. 최근 연구들은 대규모 언어 모델(LLM)을 "가상 세포(virtual cell)" 시뮬레이터로 사용하여 차등 발현(differential expression, DE) 예측을 위한 단계별, 지식 근거적 메커니즘 추론을 수행하는 방안을 제안해 왔으나, 본 논문은 결정적인 실패 모드를 식별합니다: 바로 타당성(plausibility)이 곧 예측(prediction)은 아니라는 점입니다.

기존의 LLM 기반 방법들(예: VCWorld, SUMMER)은 일반적으로 섭동-유전자 쌍을 개별적으로 평가합니다. 이들은 모델에게 특정 섭동이 주어졌을 때 유전자가 차등 발현될지 여부에 대해 생물학적으로 타당한 근거를 생성하도록 프롬프트를 제공합니다. 그러나 저자들은 이러한 방법들이 섭동 특이적 효과를 포착하는 데 체계적으로 실패한다는 것을 입증했습니다. 모델은 특정 중재(intervention)에 대해 추론하는 대신, 내재된 유전자 반응 경향(유전자 빈도 사전 확률)에 의존합니다. 이는 다음과 같은 세 가지 경험적 실패 모드로 이어집니다:

1. 체계적 과대평가: 모델은 "예(yes)"라고 예측하는 강한 편향을 보입니다. 즉, 실제 양성 비율이 낮더라도(예: 실제 비율이 29.0%일 때 쿼리의 92.1%에 대해 "예"라고 예측) 대부분의 쿼리에 대해 양성 결과를 예측합니다.
2. 혼란스러운 집계 지표: 높은 집계 성능(AUROC/AUPRC)은 종종 유전자의 주변부 빈도(어떤 유전자는 드물게 발현되고 어떤 유전자는 빈번하게 발현됨)를 이용함으로써 달성됩니다. 이는 모델이 동일한 유전자에 대해 서로 다른 섭동을 구별하는 법을 배우기보다는 유전자의 반응 경향을 학습했음을 의미합니다.
3. 유전자별 차별화 능력의 우연 수준 저하: 고정된 유전자에 대해 서로 다른 섭동을 순위 매기는 매크로(macro) 유전자별 기준으로 평가할 때, 고립된 LLM 추론은 우연 수준의 성능으로 무너집니다. 이는 섭동 특이적 추론 능력이 결여되어 있음을 나타냅니다.

핵한 문제는 **증거의 구성(organization of evidence)**입니다. 기존 방법들은 관련 섭동이 동일한 대상 유전자에 미치는 영향이 어떻게 다른지를 노출하지 않은 채 쿼리를 개별적으로 제시합니다. 대조적 신호(contrastive signals) 없이는 모델이 일반적인 생물학적 타당성과 섭동 특이적 결과를 구분할 수 없습니다.

방법론: CORE

이러한 한계를 해결하기 위해 저자들은 섭동 예측을 비교 작업으로 재정의하는 프레임워크인 **CORE (Contrastive Organization of Relational Evidence)**를 제안합니다.

1. ReasonKG: 조화된 생물 의학 지식 그래프

CORE는 다섯 가지 생물 의학 리소스(VCWorld, PrimeKG, HetioNet, PertKGE, BioKG)를 조화시킨 새로운 지식 그래프인 ReasonKG에 의존합니다. ReasonKG는 667,920개의 정형 노드와 2,700만 개 이상의 방향성 엣지를 통합하여 약물, 유전자, 경로(pathway), 질병을 연결하는 밀도 높고 전이 가능한 그래프 공간을 생성합니다. 이러한 통합은 개별 그래프에서 발견되는 연결성 격차(예: VCWorld의 고립된 약물-유전자 쌍)를 해결하여, 생물학적으로 관련된 섭동을 견고하게 검색할 수 있게 합니다.

2. 대조적 증거 구성

보류된 쿼리 $(p, g)$ (섭동 $p$, 유전자 $g$)에 대해 CORE는 다음 단계를 수행합니다:

• 검색(Retrieval): KG 유도 시그니처(근거 유전자에 대한 최단 경로 거리에 기반함)를 사용하여 $p$와 생물학적으로 관련된 지지 섭동 $p'$를 검색합니다.
• 대조적 구성(Contrastive Organization): 동일한 대상 유전자 $g$에 대한 이들 관련 섭동의 관찰된 DE 라벨을 수집합니다.
• 분할(Partitioning): 검색된 증거를 다음으로 분할합니다:
  • 양성 지지 집합 ($H^+$): $g$에서 차등 발현을 일으킨 관련 섭동들.
  • 음성 지지 집합 ($H^-$): $g$에서 차등 발현을 일으키지 않은 관련 섭동들.
• 스코어링(Scoring): 유사도 가중치에 따라 증거를 투표 질량($V^+, V^-$)으로 요약하여, 양성 증거의 비율을 반영하는 **대조 점수($s_{contrast}$)**를 생성합니다.

3. 프레임워크 인스턴스화

CORE는 대조적 증거의 효용성을 검증하기 위해 두 가지 상보적인 설정으로 구현됩니다:

• CORE-Voting (비 LLM): 동일한 유전자의 대조 점수와 유전자 앵커 평활화 점수(유사한 반응 프로필을 가진 유전자로부터 증거를 빌려옴)의 가중 조합을 계산하는 결정론적 집계기입니다. 이는 LLM 추론과 독립적으로 대조적 신호 자체가 섭동 특이적 정보를 포함하고 있는지 테스트합니다.
• CORE-Reasoning (LLM 기반): 구조화된 증거 패킷(대조 점수, 양성/음성 지지 집합, KG 경로, 유전자 앵커 점수 포함)을 LLM을 위한 프롬프트로 재구성합니다. LLM은 단순히 제약 없는 타당성을 생성하는 것이 아니라, 증거의 품질을 판정(예: 일반적인 연결성과 특정 메커니즘 경로를 구별)하고 최종 예측을 보정하는 임무를 수행합니다.

주요 결과

저자들은 두 가지 벤치마크 패밀리인 Tahoe100M(C32 흑색종 세포에서의 약물 섭동)과 PerturbQA(K562, HepG2, Jurkat, RPE1 세포에서의 CRISPRi 유전자 섭동)에서 CORE를 평가했습니다.

1. 보정(Calibration) 및 편향 수정

• "Yes" 편향 감소: 표준 VCWorld 스타일의 프롬프트는 종종 80% 이상의 쿼리에 대해 "yes"를 예측합니다. CORE-Reasoning은 이러한 편향을 크게 줄여, 예측 양성 비율을 경험적 유병률에 가깝게 만듭니다 (예: C32에서 Mistral-7B의 "yes" 비율을 92.1%에서 26.1%로 감소시킴).
• 개선된 보정 성능: CORE-Reasoning은 다양한 LLM 백본(Mistral, Llama, DeepSeek, Qwen3.5, GPT-5.4) 전반에서 집계 AUROC, 정확도 및 F1 점수를 향상시킵니다. 예를 들어, C32에서 Qwen3.5-9B를 사용한 CORE-Reasoning은 표준 프롬프팅에 비해 집계 AUROC를 26.0%, 정확도를 19.8%, F1을 28.6% 개선했습니다.

2. 섭동 특이적 차별화

• 유전자별 성능: 가장 유의미한 이득은 고정된 유전자에 대해 섭동을 구별하는 능력을 측정하는 매크로 유전자별 지표에서 나타납니다.
  • CORE-Voting: LLM 없이도, CORE-Voting은 C32에서 매크로 유전자별 AUROC를 0.500(우연)에서 0.574(고정 예산) 및 0.627(전체 지원)로 개선하였고, PerturbQA K562에서는 0.711까지 높였습니다.
  • CORE-Reasoning: 대조적 증거를 활용하는 LLM 또한 상당한 유전자별 개선을 보여, 증거 구조가 고립된 추론보다 더 나은 차별화를 가능하게 함을 확인했습니다.

3. 베이스라인과의 비교

• 유전자 사전(Gene-Prior) 투표 대비: 단순한 유전자 빈도 베이스라인은 집계 지표에서는 잘 작동하지만, 유전자별 차별화에서는 완전히 실패합니다 (AUROC = 0.500). CORE는 경쟁력 있는 집계 성능을 유지하면서도 유전자별 지표에서 이러한 베이스라인을 능가합니다.
• 최신 기술(SOTA) 대비: CORE-Reasoning은 대부분의 지표에서 최신 단일 세포 섭동 모델(예: STATE, PerturbDiff) 및 이전 LLM 기반 방법(VCWorld, SUMMER)보다 뛰어난 성능을 보였으며, 특히 테스트 섭동이 훈련에서 제외된 까다로운 분포 외(out-of-distribution) 설정에서 두드로웠습니다.

의의 및 주장

본 논문은 대조적 증거 구성이 신뢰할 수 있는 LLM 기반 섭동 추론에 필수적이라고 주장합니다. 핵심적인 발견은 생물학적 타당성만으로는 예측에 충분하지 않다는 것입니다. 모델이 섭동 특이적 효과를 학습하기 위해서는 경험적 대조, 즉 유사한 섭동이 동일한 유전자에 대해 어떻게 다른 결과를 낳는지 보여주는 증거가 필요합니다.

증거를 동일한 대상 유전자에 대한 양성 및 음성 지지 집합으로 구성함으로써, CORE는 "그럴듯한 이야기를 생성하는 것"에서 "근거 있는 비교"로 패러다임을 전환합니다. 이 접근 방식은 다음과 같은 이점을 가집니다:

1. 타당성과 예측의 분리: 모델이 모든 생물학적으로 연결된 경로를 차등 발현의 충분한 증거로 취급하는 것을 방지합니다.
2. 보정 개선: 고립된 LLM 프롬프팅에서 흔히 발생하는 양성 결과의 체계적 과대평가를 교정합니다.
3. 전이 가능성 확보: 이 프레임워크는 다양한 세포주와 섭동 유형(약물 및 유전자 편집) 전반에서 성능을 향 향상시켜, 대조적 구성의 유용성이 특정 데이터셋을 넘어 확장됨을 시사합니다.

저자들은 신뢰할 수 있는 "가상 세포" 추론은 생물학적 지식의 범위만큼이나 증거의 구조에 달려 있다고 결론지으며, 현재 LLM 기반 접근 방식의 병목 현상은 모델의 용량이나 지식 검색 능력이 아니라, 특이적 추론에 필요한 대조적 신호의 부재에 있음을 강조합니다.