From ceilings to corrected estimates: capture–recapture on reference networks rescales, but rarely reorders, gene regulatory network benchmarks

학생의 에세이를 채점한다고 상상해 보세요. 그런데 선생님의 정답지가 정답의 절반을 놓치고 있습니다. 학생이 정답지에 없는 아주 훌륭한 문장을 썼더라도, 선생님은 틀렸다고 표시합니다. 학생의 성적은 떨어집니다. 학생이 글을 못 써서가 아니라, 정답지가 불완전했기 때문입니다. 이것이 바로 생명의 "배선도(wiring diagram)"라고 불리는 유전자 조절 네트워크(GRN)를 지도화하려는 과학자들이 매일 겪는 고충입니다. 이 네트워크는 세포의 지침서와 같아서, 어떤 유전자가 다른 유전자를 켜거나 끄는지 보여줍니다. 컴퓨터 프로그램이 이러한 연결 고리들을 찾아낼 수 있는지 확인하기 위해, 과학자들은 프로그램의 추측치를 이미 알려진 연결 목록인 "골드 스탠다드(gold standard)"와 비교합니다. 하지만 문제는 여기에 있습니다. 그 골드 스탠다드 목록은 현재 진행 중인 작업이며, 수천 개의 실제 연결이 누락되어 있다는 점입니다. 수년 동안 과학자들은 누락된 데이터 때문에 자신들의 점수가 너무 낮게 나온다는 사실은 알고 있었지만, 얼마나 낮은지, 혹은 누락된 데이터가 특정 컴퓨터 프로그램에 더 불공평하게 영향을 미치고 있는지는 알지 못했습니다. 이는 마치 자신의 시험 점수가 틀렸다는 것은 알지만, 자신이 실제로 전교 1등인지 아니면 단지 누락된 문제들 때문에 운이 나빴던 것뿐인지 모르는 상황과 같습니다.

"천장으로부터 수정된 추정치로(From ceilings to corrected estimates)"라는 제목의 이 논문은 바로 그 미스터리를 다룹니다. 저자인 리우 첸(Liu Chen)은 원래 호수의 물고기나 숲의 동물을 세기 위해 설계된 방법인 "포획-재포획(capture–recapture)"이라는 영리한 통계적 기법을 사용하여, 유전자 목록이 실제로 얼마나 불완전한지를 추정합니다. 이 연구는 세 개의 서로 다른 유전자 데이터베이스를 동일한 생물학적 진실이라는 바다에 던져진 세 개의 별개 "그물"로 취급하여, "우리가 놓친 물고기가 몇 마리인가?"라고 묻습니다. 결과는 놀라운 불확실성과 안심할 만한 안정성이 뒤섞여 있습니다. 연구 결과에 따르면 실제 유전자 연결의 총합은 우리가 생각했던 것보다 훨씬 많을 가능성이 높으며, 현재의 목록들은 진실의 약 5%(대략 3%에서 10% 사이)만을 포착하고 있습니다. 그러나 가장 중요한 발견은, 컴퓨터 프로그램들의 '점수'는 매우 낮았지만, 어떤 프로그램이 가장 좋은지를 가리는 '순위'는 전혀 변하지 않았다는 것입니다. 누락된 데이터를 고려하여 수학적으로 보정했음에도 불구하고, 동일한 프로그램들이 상위권을 유지했고 동일한 프로그램들이 하위권에 머물렀습니다. 이 논문은 "누락된 목록" 문제가 수치를 나쁘게 보이게 만들 수는 있지만, 잘못된 프로그램이 최고라고 우리를 속이지는 않는다는 것을 증 입증합니다.

설정: 사라진 지도

이 이야기를 이해하려면 과학자들이 유전자를 연구하는 방식에 대해 몇 가지 알아야 합니다. 모든 세포 내부에서 유전자는 홀로 작동하지 않습니다. 유전자들은 서로 대화를 나눕니다. 어떤 유전자는 관리자 역할을 하여 다른 유전자를 켜거나 끕니다. 과학자들은 이를 "유전자 조절 네트워크"라고 부릅니다. 이러한 연결을 구축하기 위해, 그들은 세포 데이터를 살펴보고 어떤 유전자가 어떤 유전자와 대화하는지 추측하는 컴퓨터 프로그램을 사용합니다.

하지만 컴퓨터가 맞는지 어떻게 알 수 있을까요? 당신에게는 이미 확실히 알려진 모든 연결을 나열한 참조 지도, 즉 "지면 진실(ground truth)"이 필요합니다. 과학자들은 수천 편의 연구 논문을 읽고 실험을 수행하며 이러한 목록을 구축하는 데 수십 년을 보냈습니다. 그들은 테스트를 위해 세 가지 주요 목록을 사용합니다. 하나는 STRING이고, 하나는 BioGRID이며, 다른 하나는 TRRUST입니다.

문제는 이 목록들이 책의 대부분이 사라진 도서관과 같다는 점입니다. 인간 세포에는 수백만 개의 연결이 있다는 것을 알지만, 이 목록들에는 단 몇 천 개만이 있습니다. 컴퓨터 프로그램이 실제로는 존재하지만 목록에는 없는 연결을 추측하면, 목록은 "틀렸다!"라고 말합니다. 이는 컴퓨터가 실제로 훌륭한 일을 하고 있더라도 컴퓨터를 나쁘게 보이게 만듭니다. 과학자들은 이를 "천장 문제(ceiling problem)"라고 부릅니다. 목록이 불완전하기 때문에, 아무리 똑똑한 프로그램이라도 결코 완벽한 점수를 얻을 수 없기 때문입니다.

탐정 작업: 사라진 물고기 세기

이 논문의 저자는 추측하는 것을 멈추고 숫자를 세기로 했습니다. 그들은 **포획-재포포(capture–recapture)**라고 불리는 방법을 사용했습니다. 호수에 물고기가 몇 마리 있는지 세려고 한다고 상상해 보세요.

1. 첫 번째 그물(목록 A)을 던져 물고기 100마리를 잡습니다. 그들에게 태그를 달고 다시 놓아줍니다.
2. 두 번째 그물(목록 B)을 던져 물고기 100마리를 잡습니다. 그중 20마리가 첫 번째 그물의 태그를 가지고 있습니다.
3. 세 번째 그물(목록 C)을 던져 물고기 80마리를 잡습니다. 어떤 것들은 A의 태그를 가지고 있고, 어떤 것들은 B의 태그를 가지고 있으며, 몇몇은 두 가지 태그를 모두 가지고 있습니다.

하나의 그물, 두 개의 그물, 또는 세 개의 그물 모두에 나타나는 물고기의 수를 살펴봄으로써, 그 어떤 그물에도 걸리지 않은 호수 속의 전체 물고기 수를 추정할 수 있습니다.

이 연구에서 "물고기"는 유전자 연결이며, "그물"은 세 개의 데이터베이스(STRING, BioGRID, TRRUST)입니다. 저자는 이 세 개의 그물을 359,700개의 가능한 유전자 쌍이라는 특정 영역에 던졌습니다.

• 포획량: 세 목록을 합쳐도 2,511개의 연결만을 찾아냈습니다.
• 중복성: 목록들은 독립적일 때 예상되는 것보다 훨씬 더 많이 겹쳤습니다. 예를 들어, STRING과 BioGRID는 이들이 독립적일 경우 예상되는 것보다 139배나 더 많은 연결을 공유했습니다. 이는 두 목록이 종종 동일한 인기 있는 연구 논문에서 데이터를 가져오기 때문입니다.

큰 숫자들: 우리는 얼마나 불완전한가?

저자는 실제 연결의 총수("잠재적 상호작용체, latent interactome")를 추정하기 위해 계산을 실행했습니다. 목록들이 서로 너무 의존적이기 때문에 결과는 다소 불안정했습니다.

• 범위: 모델링 방식에 따라 실제 연결의 총수는 2,579개에서 46,864개 사이가 될 수 있습니다.
• 백분율: 이는 현재의 목록들이 진실의 5.4%에서 54.4% 사이만을 포착하고 있음을 의미합니다. 저자의 최선의 추측은 우리가 실제 연결의 약 **5%**만을 보고 있다는 것입니다.

이는 "천장"이 매우 낮다는 것을 확인시켜 줍니다. 만약 컴퓨터 프로그램이 0.013이라는 점수를 받는다면(이는 매우 형편없어 보이지만), 완벽한 목록이 있다면 그 프로그램은 실제로 0.245의 수준에 도달했을 수도 있습니다. 점수는 누락된 데이터에 의해 깎여나가고 있는 것입니다.

반전: 순위가 바뀌는가?

이것이 가장 흥ante한 부분입니다. 과학자들은 누락된 데이터가 불공평할 수도 있다고 걱정했습니다. 어떤 컴퓨터 프로그램은 목록에서 누락된 연결들을 더 잘 맞히는 반면, 다른 프로그램은 이미 목록에 있는 쉬운 연결들만 맞힐 수도 있기 때문입니다. 만약 그렇다면, 누락된 데이터는 우리를 속여서 나쁜 프로그램은 좋게 보이게 하고, 좋은 프로그램은 나쁘게 보이게 할 것입니다.

저자는 이 문제를 적용하여 점수를 "보정"함으로써 이를 테스트했습니다. 그들은 포획-재포획 데이터를 사용하여 목록이 유명하고 잘 연구된 유전자에 대해서는 더 완전하고, 덜 알려진 유전자에 대해서는 덜 완전하다는 것을 파악했습니다. 그런 다음 이 편향을 고려하여 점수를 조정했습니다.

결과: 여덟 개의 컴퓨터 프로그램의 순위는 변하지 않았습니다.

• 보정 전 1위였던 프로그램은 보정 후에도 1위를 유지했습니다.
• 8위였던 프로그램은 8위에 머물렀습니다.
• 점수 자체가 약 14배에서 20배 정도 상승했음에도 불구하고, 순위는 정확히 동일하게 유지되었습니다.

저자는 만약 모든 사람의 점수에 동일한 숫자(예를 들어 5%의 완전도로 나누는 것)를 곱한다면 순위는 변하지 않는다는 것을 수학적으로 증명했습니다. 순위가 바뀌는 유일한 방법은 프로그램들이 서로 다른 유형의 누락된 연결을 예측하는 경우뿐입니다. 하지만 이 경우, 프로그램들은 모두 동일한 유형의 연결을 예측하고 있었으며, 단지 정확도의 수준만 달랐을 뿐입니다.

시뮬레이션: 도구가 작동함을 증명하다

자신의 수학적 모델이 제대로 작동하는지 확인하기 위해, 저자는 실제 정답을 알고 있는 시뮬레이션을 실행했습니다. 그들은 목록이 특정 유형의 연결에 편향된 가상의 데이터를 만들었습니다.

• 이 가상의 세계에서는 보정되지 않은 점수들이 순위를 잘못 매겼습니다.
• 하지만 보정을 적용하자 순위가 올바르게 수정되어 진실과 일치했습니다.

이는 그들의 방법이 만약 편향이 강력하다면 잘못된 순위를 바로잡을 수 있다는 것을 입증했습니다. 실제 세계의 순위가 바뀌지 않았다는 사실은, 실제 세계의 편향이 순위를 속일 만큼 강력하지 않았음을 의미합니다.

핵심 요약

이 논문은 우리에게 두 가지 주요 사실을 알려줍니다.

1. 숫자는 무의미합니다: 유전자 네트워크 점수가 "0.013"이라고 해서 당황하지 마세요. 그것은 단지 고장 난 자를 기준으로 한 숫자일 뿐입니다. 실제 성능은 15~20배 더 높을 가능성이 큽니다.
2. 순위는 안전합니다: 비록 자가 고장 났더라도, 그 자는 모두에게 동일한 방식으로 고장 나 있습니다. 현재 최고의 컴퓨터 프로그램은 여전히 최고이며, 최악인 프로그램은 여전히 최악입니다. 누락된 데이터는 우리를 나쁘게 보이게 만들 수는 있지만, 누가 이기고 있는지에 대해 틀린 판단을 내리게 하지는 않습니다.

또한 이 연구는 어떤 목록을 사용하는지가 얼마나 불완전한지보다 더 중요하다는 것을 발견했습니다. 물리적 연결(STRING)을 대상으로 테스트하면 승리할 수 있지만, 조절 연결(TRRUST)을 대상으로 테스트하면 패배할 수도 있습니다. 이는 과학자들이 어떤 "골드 스탠다드"를 사용할지 주의해야 함을 시사합니다. 왜냐하면 목록 자체가 누락된 데이터보다 승자를 바꾸는 데 더 큰 영향을 미치기 때문입니다.

요약하자면, 생명의 지도는 여전히 매우 불완전하지만, 그 지도를 읽기 위한 최고의 도구를 찾는 우리의 나침반은 아주 잘 작동하고 있습니다.