Does Candidate-Space Restriction Destabilize Cross-Tissue Gene Regulatory Network Benchmark Rankings? An Empirical Analysis of Analytic Flexibility in Computational Biology

당신이 어떤 용의자가 범죄를 저지르는 데 가장 '유능한지' 알아내려는 형사라고 상상해 보세요. 하지만 여기 반전이 있습니다. 당신이 어느 방을 보느냐에 따라 범죄 현장이 달라집니다. 생물학의 세계에서도 과학자들은 이와 유사한 미스터리를 풀기 위해 노력하고 있습니다. 바로 유전자들이 어떻게 서로 대화하며 우리 몸을 조절하는지 알아내는 것입니다. 이 대화는 **유전자 조절 네트워크(GRN)**라고 불립니다. 유전자를 거대한 도시의 사람들이라고 생각한다면, '네트워크'는 누가 누구에게 문자를 보내는지 보여주는 지도와 같습니다. 어떤 유전자는 시장(전사 인자라고 불림)처럼 명령을 내리고, 다른 유전자들은 그저 따르기만 하는 일반 시민과 같습니다.

컴퓨터 프로그램이 이 지도를 얼마나 잘 그리는지 확인하기 위해, 과학자들은 "벤치마크"를 실행합니다. 이것은 여러 컴퓨터 프로그램이 연결 고리를 추측하는 경주와 같습니다. 프로그램은 얼마나 많은 정답을 맞혔느냐에 따라 점수를 얻습니다. 하지만 함정이 있습니다. 경주의 규칙이 바뀔 수 있다는 점입니다. 때로는 경주에 도시의 모든 사람 사이의 가능한 모든 연결을 포함하기도 합니다. 또 다른 때에는 "시장이 메시지를 보내는 연결만 살펴볼 것"이라는 규칙이 적용되기도 합니다. 이것은 **후보 공간 제한(candidate-space restriction)**이라고 불립니다. 이것은 사소한 규칙 변화처럼 들리지만, 경주를 "모든 사람이 달리는 경주"에서 "시장들만 달리는 경주"로 바꾸는 것과 같습니다. 질문은 이것입니다. 만약 규칙을 바꾸었을 때 우승자가 바뀐다면, 그 우승자가 실제로 가장 뛰어난 것일까요, 아니면 단지 그 특정 규칙에 운이 좋았던 것일까요?

---

논문의 이야기: 규칙을 좁히면 우승자가 바뀐다

이 논문은 마치 완주된 경주를 재검토하여 트랙의 규칙이 실제로 결승선을 먼저 통과한 사람을 바꾸었는지 확인하는 형사와 같습니다. 저자인 리우 첸(Liu Chen)은 세 가지 신체 부위(면역 체계, 신장, 폐)에서 유전자 네트워크를 매핑하려고 했던 이전 연구의 결과들을 가져왔습니다.

원래의 연구에서 프로그램들은 세 가지 다른 규칙(또는 후보 공간) 하에 테스트되었습니다:

1. "모든 쌍(All-Pairs)" 경주: 프로그램은 어떠한 두 유전자 사이의 연결도 추측해야 했습니다. 매우 크고 혼란스러운 경기장이었습니다.
2. "시장-소스(Mayor-Source)" 경주: 프로그램은 "시장" 유전자가 메시지를 보내는 연결만을 추측해야 했습니다.
3. "시장-대상(Mayor-to-Target)" 경주: 가장 엄격한 규칙입니다. 프로그램은 "시장"이 메시지를 보냈고, 그 메시지를 받기로 되어 있는 특정 "대상" 유전자로 향하는 연결만을 추측해야 했습니다.

핵심 질문은 이것이었습니다: 만약 프로그램이 "모든 쌍" 경주에서 우승했다면, 규칙이 더 엄격해져도 여전히 우승할 수 있을까요? 아니면 우승자가 뒤바뀌게 될까요?

그들이 발견한 것

결과는 다소 충격적이었습니다. 규칙이 느슨했을 때("모든 쌍" 경주), 순위는 매우 안정적이었습니다. 만약 어떤 프로그램이 면역 체계에서 최고였다면, 신장과 폐에서도 보통 최고였습니다. 프로그램들은 약 91%의 확률(Kendall $\tau$ 값이 0.911)로 우승자에 대해 동의했습니다.

하지만 규칙이 엄격해지자마자, 순위는 마치 카드 집처럼 무너지기 시작했습니다.

• "시장-소스" 연결로 범위를 좁히자, 프로그램들 사이의 의견 불일치가 훨씬 더 자주 발생했습니다.
• 가장 엄격한 규칙인 "시장-대상"을 사용하자, 혼돈이 본격적으로 시작되었습니다.

다음은 이야기를 들려주는 숫자들입니다:

• 느슨한 "모든 쌍" 경주에서는 프로그램들이 조직 간에 순위를 뒤바꾼(순위가 역전된) 경우가 4.4%(45번의 비교 중 2번)에 불과했습니다.
• 엄격한 "시장-대상" 경주에서는 순위가 31.1%(45번의 비교 중 14번)나 뒤바뀌었습니다.

이는 엄청난 도약입니다. 저자들은 이 증가가 통계적으로 유의미하다고 계산했는데, 이는 이것이 단순한 우연이 아니라는 뜻입니다. 이것이 무작위적인 운에 의해 일어날 확률은 약 3.1%에 불과했습니다.

"누가 이겼는가?" 문제

상황을 더 극적으로 만들기 위해, 저자들은 실제로 누가 경주에서 이겼는지 살펴보았습니다.

• 느슨한 "모든 쌍" 경주에서는 GRNBoost2라는 프로그램이 독보적인 챔피언이었습니다. 이 프로그램은 면역 체계, 신장, 폐에서 모두 1위를 차지했습니다. 명확하고 일관된 승자였습니다.
• 하지만 가장 엄격한 경주에서는 챔피언이 바뀌었습니다! GRNBoost2는 면역 체계와 폐에서는 여전히 우승했지만, 신장에서는 Spearman이 왕좌를 차지했습니다.
• 가장 엄격한 "시장-대상" 경주에서는 혼돈이 극에 달했습니다: Spearman이 면역 체계와 신장에서 우승했고, GENIE3가 폐에서 우승했습니다.

누가 "최고"의 프로그램인지에 대한 합의는 느슨한 경주에서의 100%(3개 조직 중 3개)에서 엄격한 경주에서의 33%(3개 조직 중 1개)로 떨어졌습니다.

이것이 의미하는 것 (그리고 의미하지 않는 것)

이 논문은 규칙의 선택이 매우 중요하다는 점을 시사합니다. 그것은 단순히 중립적인 세부 사항이 아닙니다. 그것은 결과에 능동적으로 영향을 미칩니다. 만약 당신이 엄격한 규칙만을 본다면, 광범위한 규칙을 볼 때보다 다른 컴퓨터 프로그램이 더 낫다고 생각할 수도 있습니다. 저자들은 과학자들이 단 하나의 규칙 세트만을 선택하고 그것이 "진실"인 것처럼 행동해서는 안 된다고 주장합니다. 대신, 정의에 따라 우승자가 얼마나 달라지는지 사람들이 볼 수 있도록 모든 다른 규칙 세트에 대한 순위를 보여주어야 합니다.

하지만 저자들은 이것이 생물학의 모든 분야에 적용되는 보편적인 법칙이라고 말하지 않도록 주의를 기울였습니다. 그들은 오직 6개의 특정 프로그램과 3개의 특정 신체 조직만을 테스트했습니다. 또한 그들은 실험을 직접 수행한 것이 아니라 이미 발표된 데이터를 재분석한 것입니다. 따라서, 이 결과가 "규칙이 중요하다"는 강력한 경고를 주기는 하지만, 이는 이 특정 경주에 대한 스냅샷일 뿐, 미래의 모든 유전자 매핑 경주가 정확히 똑같이 작동할 것이라는 보장은 아닙니다.

핵심 요약

요리 경연 대회를 심사한다고 생각해 보세요. 만약 "어떤 재료를 사용하든 최고의 요리를 만든 사람"을 기준으로 심사한다면 한 명의 우승자가 나올 수 있습니다. 하지만 규칙을 "오직 매운 재료만을 사용한 요리"로 바꾼다면, 완전히 다른 우승자가 나올 수 있습니다. 이 논문은 유전자 매핑의 세계에서 "재료 목록"(후보 공간)을 바꾸는 것이 우리가 누구를 최고의 요리사라고 생각하는지를 완전히 바꿀 수 있음을 보여줍니다. 공정하기 위해서, 우리는 단 하나의 재료 목록만을 골라 그것이 유일한 요리 방식인 것처럼 행동하는 것이 아니라, 모든 재료 목록에 대한 점수를 확인해야 합니다.