Genetic Perturbation Prediction Models Fail Out-of-Distribution: A Rigorous Benchmark and Systematic Evaluation

과학자들이 실험실에서 직접 실험을 수행하지 않고도 특정 유전적 변화에 대해 살아있는 세포가 어떻게 반응할지를 예측할 수 있는 세상을 상상해 보십시오. 이것이 바로 '가상 세포(virtual cell)' 모델의 약속입니다. 이 모델들은 유전자를 켜거나 끄는 효과를 시뮬레이션하도록 설계된 컴퓨터 프로그램입니다. 현실 세계에서 연구자들은 유전자를 하나씩 비활성화한 후 그로 인해 발생하는 세포 활동의 변화를 측정하기 위해 강력한 도구들을 사용하는데, 이 과정은 느리고 비용이 많이 들며 규모를 키우기 어렵습니다. 만약 컴퓨터가 이러한 결과를 정확하게 예측할 수 있다면, 이는 거대한 지름길 역할을 하여 신약 개발자들이 훨씬 짧은 시간 안에 수천 가지의 잠재적 치료법을 스크리닝할 수 있게 해줄 것입니다. 수년간 이 분야는 이러한 모델들을 구축하기 위해 달려왔으며, 많은 연구자들은 더 복잡한 인공지능 시스템이 결국 이 과업을 마스터할 것이라고 믿어 왔습니다.

하지만 새로운 한 연구는 현재 세대의 모델들이 결정적인 테스트에서 실패하고 있음을 시사합니다. 이 작업을 수행한 엘루시다다 코퍼레이션(Elucidata Corporation)의 연구팀은 이 컴퓨터 프로그램들이 진정으로 생명의 생물학적 규칙을 학습하고 있는지, 아니면 단순히 입력된 데이터로부터 패턴을 암기하고 있는 것인지를 확인하고자 했습니다. 그들은 이 모델들이 표준적인 테스트 조건 하에서는 잘 작동하는 것처럼 보이지만, 한 번도 본 적 없는 유전자의 효과를 예측하라는 요청을 받으면 무너진다는 사실을 발견했습니다. 이 연구는 가장 정교한 모델들, 즉 최신 파운데이션 기술을 기반으로 구축된 모델들조차 실제적인 이점을 제공하지 못한다는 것을 밝혀냈습니다. 이 프로그램들은 세포의 근본적인 기제를 이해하는 대신, 과거의 사례들과의 유사성에 기반하여 추측하는 방식을 취하고 있으며, 이 전략은 새롭고 익숙하지 않은 생물학적 시나리오에 직면했을 때 무너집니다.

이것이 왜 중요한지 이해하려면 먼저 이 도전의 본질을 파악해야 합니다. 과학자들이 유전자를 연구할 때, 그들은 특정 유전자가 제거되었을 때 세포의 내부 지침이 어떻게 변하는지를 관찰합니다. 전형적인 실험에서 그들은 단일 세포 유형 내에서 수백 개의 유전자를 테스트할 수 있습니다. 컴퓨터 모델의 목표는 이 수백 개의 사례로부터 학습한 다음, 이전에 접해보지 못한 다른 유전자가 제거되었을 때 어떤 일이 일어날지를 예측하는 것입니다. 이는 매우 어려운 작업인데, 왜냐하면 유전자와 그 효과 사이의 관계는 항상 명확하지 않으며, 세포 내의 복잡한 상호작용 네트워크에 달려 있기 때문입니다. 이러한 모델을 테스트하는 표준적인 방법은 데이터를 무작위로 나누어 컴퓨터에게 학습할 몇 개의 유전자를 주고, 나머지 몇 개의 유전자를 예측하게 하는 것이었습니다. 이 접근 방식의 문제는 '새로운' 유전자들이 이미 컴퓨터가 알고 있는 유전자들과 생물학적으로 매우 유사하다는 점입니다. 이는 마치 학생에게 자신이 공부했던 문제들의 아주 약간의 변형된 버전으로 시험을 치르게 하는 것과 같습니다. 학생이 만점을 받는다면, 그것은 주제를 이해했기 때문이 아니라 패턴을 인식했기 때문일 것입니다.

카누프리야 티와리(Kanupriya Tiwari)와 동료들이 이끄는 연구팀은 이 게임의 규칙을 바꾸기로 했습니다. 그들은 현실적인 조건에서 모델들을 스트레스 테스트하기 위해 설계된 EL-PERTURB라는 새로운 테스트 프레임워크를 도입했습니다. 무작위 분할 대신, 그들은 유전자가 실제로 세포 행동에 미치는 영향을 기준으로 그룹을 묶었습니다. 그런 다음 연구진은 모델들이 완전히 다른 그룹의 유전자를 예측하도록 강제함으로써, 테스트 대상 유전자가 훈련된 유전자들과 기능적으로 구별되도록 했습니다. 이 설정은 약물 개발자가 한 번도 연구된 적 없는 유전자의 효과를 예측해야 하는 실제 상황을 모사합니다. 그들은 단순한 통계 도구부터 방대한 양의 생물학적 지식을 사전 학습한 파운데이션 모델을 포함한 최신 딥러닝 시스템에 이르기까지 20가지의 서로 다른 모델을 테스트했습니다. 그들은 세포 생존에 필수적인 유전자와 게놈 와이드 스크린에서 발견되는 광범위한 유전자를 모두 포함하는 네 가지 인간 세포주 데이터를 사용하여 이 테스트를 수행했습니다.

결과는 극명하고 일관적이었습니다. 모델들이 훈련 데이터와 유사한 유전자에 대해 테스트받았을 때는 알려진 사례들 사이의 간극을 메우는 보간(interpolation)을 수행하며 준수한 성능을 보였습니다. 그러나 연구진이 기능적으로 구별되는 유전자를 사용하는 더 엄격한 새로운 테스트를 적용했을 때, 모든 모델의 성능은 급격히 떨어졌습니다. 방대한 생물학적 텍사트와 데이터를 학습한 파운데이션 모델을 포함한 고급 신경망과 같은 복잡한 모델들도 단순한 베이스라인 모델들보다 나은 성과를 내지 못했습니다. 실제로 어떤 경우에는 단순한 모델들이 오히려 더 잘 버티기도 했습니다. 연구는 가장 정교한 아키텍처들이 새로운 생물학적 상황을 다루는 데 있어 신뢰할 만한 이점을 제공하지 못한다는 것을 보여주었습니다. 모델들은 유전자가 세포를 제어하는 인과적 논리를 학습하는 것이 아니라, 단순히 기억된 유사한 사례들의 이웃으로부터 답을 찾아오는 것에 불과했습니다.

연구진은 또한 여러 세포 유형의 데이터를 사용하는 것이 모델의 일반화 능력을 향elle 높일 수 있는지 조사했습니다. 그들은 이러한 접근 방식이 필수 유전자와 같이 공통된 스트레스 반응을 유발하는 경우처럼 서로 다른 세포 유형 간의 생물학적 반응이 매우 유사할 때만 효과가 있다는 것을 발견했습니다. 그러나 훨씬 더 다양하고 혼란스러운 생물학적 반응을 포함하는 게놈 와이드 스크린으로 넘어가자, 여러 세포 유형을 사용하는 이점은 완전히 사라졌습니다. 이러한 복잡한 시나리오에서 모델들은 지식을 효과적으로 전달하는 데 실패했으며, 가장 성공적인 예측 도구들은 종-종 기본적인 회귀 도구나 데이터 자체로부터 학습하기보다는 알려진 생물학적 사실을 검색하는 방식에 의존하는 단순한 방법들이었습니다. 이는 병목 현상이 모델의 설계가 아니라, 데이터의 본질과 세포의 행동을 주도하는 인과적 메커니즘에 대한 진정한 이해의 부족에 있음을 시사합니다.

또 다른 핵심 발견은 방대한 유전 정보 데이터셋을 사전 학습한 대규모 인공지능 시스템인 '파운데이션 모델'의 사용에 관한 것이었습니다. 많은 연구자들은 일반적인 생물학적 패턴을 학습한 이 시스템들이 특정 유전자 효과를 예측하는 데 있어 유리한 출발점을 제공할 수 있을 것이라 기대했습니다. 연구팀은 이 파운데이션 모델로부터 유도된 임베딩(즉, 유전자의 디지털 표현)을 선별된 전문 생물학적 지식으로부터 구축된 표현과 비교했습니다. 결과는 파운데이션 모델의 임베딩이 선별된 지식보다 개선된 성능을 보여주지 못했다는 것을 보여주었습니다. 일부 구성에서는 오히려 예측을 약간 더 악화시키기도 했습니다. 이는 현재 세대의 이러한 대규모 모델들이, 적어도 단순하고 직접적인 생물학적 지식 소스를 능가하는 방식으로 세포의 유전적 변화에 대한 구체적인 인과 정보를 아직 인코딩하지 못하고 있음을 나타냅니다.

연구는 이 분야가 모델의 능력을 과대평가해 왔다고 결론짓습니다. 왜냐하면 표준적인 테스트 방법들이 너무 쉽기 때문입니다. 무작위 분할과 관대한 양의 훈련 데이터에 의존함으로써, 이전의 벤치마크들은 모델들이 진정한 외삽(extrapolation)이 아닌 보간을 통해 성공하도록 허용했습니다. 저자들은 향-미래의 모델들이 패턴 매칭을 넘어 생물학의 실제 인과 구조를 인코딩하기 시작해야 한다고 주장합니다. 즉, 섭동(perturbation)이 상호작용 네트워크를 통해 어떻게 전파되어 특정한 결과를 만들어내는지 이해해야 한다는 것입니다. 그러한 단계에 도달하기 전까지, 실험실 실험을 확실히 대체할 수 있는 '가상 세포'의 약속은 여전히 멀기만 하며, 유전적 효과를 예측하는 데 가장 효과적인 도구는 복잡성을 향한 질주 속에서 간과되었던 더 단순하고 투명한 방법들일 수 있습니다.