Apparent sequence-model contribution depends strongly on negative-set construction: a calibration across 94 ENCODE eCLIP datasets

생명의 거대한 도서관 속에서 DNA가 마스터 지침을 보유하고 있다면, RNA는 그 지침을 단백질을 만드는 기계로 전달하는 능동적인 메신저 역할을 합니다. 이 복잡한 시스템이 계속 작동하도록 하기 위해, RNA 결합 단백질(RNA-binding proteins)이라 불리는 특별한 부류의 단백질들이 교통 관제사 역할을 수행합니다. 이들은 특정 RNA 서열에 달라붙어, 어떤 메시지가 행동으로 번역될지, 혹은 어떤 것이 폐기될지를 결정합니다. 이러한 단백질이 어떻게 표적을 찾아내는지 이해하려는 과학자들에게 있어, 컴퓨터 모델이 단백질이 정확히 어디에 결합할지를 예측하도록 구축하는 것은 하나의 도전 과제입니다. 모델의 작동 여부를 테스트하기 위해, 연구자들은 단백질이 실제로 결합하는 RNA 서열과 결합하지 않는 서열을 구별해 낼 수 있음을 보여주어야 합니다. 이를 위해서는 실제와 비슷해 보이지만 비어 있는 것으로 알려진 '음성(negative)' 사례들, 즉 서열 세트를 만드는 과정이 필요합니다. 이 빈 서열들을 선택하는 방식은 오랫동안 기술적인 세부 사항으로 취급되어 왔으며, 종종 공정의 사소한 단계로 간여되었습니다.

Nirmalkumar Thirupallikrishnan Kesavan의 새로운 연구는 이 기술적인 세부 사항이 사실 실험에서 가장 중요한 부분임을 밝혀냈습니다. 동일한 컴퓨터 모델을 94개의 서로 다른 인간 세포 데이터셋에 걸쳐 테스트함으로써, 연구자는 음성 서열의 선택이 모델의 측정된 성능을 거의 6배까지 변화시킨다는 것을 발견했습니다. 이 연구는 만약 음성 서열을 너무 쉽게 선택하면 모델은 뛰어나 보이지만 새로운 것을 배우지 못하게 되고, 너무 엄격하게 선택하면 모델은 더 못해 보이지만 그 모델이 만들어내는 작은 개선점들은 훨씬 더 의미 있게 된다는 것을 보여줍니다. 연구는 동일한 유형의 빈 서열을 대상으로 테스트하지 않는 한 서로 다른 모델의 성공을 비교할 수 없다고 결론짓는데, 이는 테스트 자체가 무엇이 '성공'인지를 정의하기 때문입니다.

문제의 핵심은 과학자들이 음성 세트를 어떻게 구성하느냐에 있습니다. 전형적인 실험에서 연구자들은 단백질이 결합하는 것으로 발견된 RNA 윈도우(window) 목록을 가지고 있습니다. 모델을 테스트하려면, 단백질이 결로 결합하지 않는 윈도우에 대한 일치하는 목록이 필요합니다. 한 가지 흔한 방법은 게놈에서 무작위로 RNA 조각을 가져오는 것입니다. 또 다른 방법은 빈 조각의 화학적 조성을 실제 조각과 일치시켜, RNA의 네 가지 구성 요소의 균형이 동일하도록 보장하는 것입니다. 세 번째의 더 정교한 방법은 다른 단백질의 결합 부위를 음성 사례로 사용하는 것으로, 이는 만약 한 단백질이 그곳에 있다면 다른 단백질은 그곳에 있을 수 없다는 가정을 바탕으로 합니다. 이 연구는 이 세 가지 방법을 동일한 질문을 던지는 세 가지 다른 방식으로 취급했으나, 결과는 이들이 실제로는 완전히 다른 질문을 던지고 있음을 보여주었습니다.

연구자가 동일한 컴퓨터 모델을 이 세 가지 서로 다른 음성 사례 세트에 적용했을 때, 결과는 놀라웠습니다. 네 글자의 짧은 패턴을 기반으로 한 단순한 모델을 사용했을 때, 측정된 개선 수치는 어떤 음성 세트를 사용하느냐에 따라 5.42배까지 차이가 났습니다. 음성 서열이 느슨하게 매칭된 가장 쉬운 시나리오에서는, 모델이 단순한 화학적 글자 수를 이미 예측할 수 있는 수준 이상의 가치를 거의 더하지 못하는 것처럼 보였습니다. 가장 어려운 시나리오, 즉 음성 서열이 극도로 정밀하게 매칭된 경우에는 모델의 외견상 성능은 떨어졌지만, 모델이 제공하는 실제 추가 가치는 크게 뛰어올랐습니다. 이는 역설을 만들어냈습니다: 테스트가 쉬울수록 모델은 더 좋아 보였지만, 실제로는 더 적게 배우고 있었습니다. 연구는 테스트의 난이도와 모델의 측정된 기여도가 서로 반대 방향으로 움직인다는 것을 발견했습니다.

또한 이 연구는 이러한 개선 사항들이 보통 계산되는 방식에 숨겨진 결함을 찾아냈습니다. 두 단계의 계산을 포함하는 표준적인 성공 측정법은, 모델이 새로운 정보를 전혀 추가하지 않을 때조차 작지만 일관된 양수의 값을 산출한다는 것이 밝혀졌습니다. 이는 마치 아무것도 올려놓지 않았는데도 항상 5파운드를 가리키는 저울과 같았습니다. 연구자는 모델이 훈련 단계에서 테스트 데이터를 사용하지 못하도록 계산을 조정함으로써 이 거짓 양수(false positive) 하한선이 사라짐을 보여주었습니다. 이 교정이 적용되었을 때, 테스트 방법 간의 진정한 차이는 더욱 명확해졌으며, 이는 음성 서열의 선택이 모델 자체가 아니라 결과값을 주도하고 있었음을 확인시켜 주었습니다.

이러한 발견이 특정 데이터에 국한된 결과가 아님을 보장하기 위해, 연구자는 다른 연구 그룹의 별도 데이터 세트에서 동일한 접근 방식을 테스트했습니다. 이 외부 테스트는 음성 서열의 선택이 여전히 결과를 변화시킨다는 점을 확인해주었으나, 변화의 정확한 크기는 더 작았습니다. 그러나 주요 연구에서 나타난 특정 패턴, 즉 더 어려운 테스트가 더 큰 측정된 기여로 이어진다는 관계는 외부 데이터에서는 유지되지 않았습니다. 이는 음성 서열을 선택하는 방법이 항상 중요하다는 점은 유효하지만, 테스트 난이도와 모델 성능 사이의 구체적인 관계는 보편적인 법칙이 아니라 실험의 세부 사항에 따라 달라질 수 있음을 시사합니다.

연구는 또한 기저선(baseline)의 복잡성이 어떻게 작용하는지도 탐구했습니다. 연구자들은 단일 글자의 빈도, 글자 쌍, 그리고 글자 삼중항(triplet)을 고려한 기저선에 대해 모델을 테스트했습니다. 기저선이 더 복잡해질수록 모델이 제공할 수 있는 추가적인 가치는 줄어들었습니다. 이는 기저선이 이미 대부분의 패턴을 설명하고 있다면, 모델이 실력을 뽐낼 여지가 적어진다는 점에서 타당합니다. 그러나 이러한 더 복잡한 기저선들을 사용하더라도, 음성 서열의 선택은 여전히 결과값을 큰 폭으로 변화시켰습니다. 연구는 모델의 성능이 모델 자체의 내재적 속성이 아니라, '틀린' 답이 어떻게 정의되는지를 포함한 전체 테스트 환경의 산물임을 입증했습니다.

궁극적으로, 이 작업은 RNA 생물학 분야 전체를 위한 교정 작업 역할을 합니다. 이 연구는 과학자들이 더 이상 음성 세트의 구성을 배경적인 기술적 세부 사항으로 취급해서는 안 된다고 주장합니다. 연구는 연구자들이 자신의 음성 서열을 어떻게 선택했는지 명시적으로 기술해야 하며, 동일한 규칙을 사용하는 기저선에 대해 자신의 모델이 어떻게 작동하는지를 보고해야 한다고 권고합니다. 이러한 투명성이 없다면, 서로 다른 모델을 비교하는 것은 서로 다른 트랙에서 테스트된 자동차들의 속도를 비교하는 것과 같습니다. 평탄하고 곧은 도로에서 우승한 자동차가 구불구불한 산길에서는 패배할 수 있지만, 그 결과는 자동차가 아니라 트랙에 의해 결정된 것이기 때문입니다. 논문은 과학계가 이러한 음성 사례를 정의하는 표준적인 방법을 합의하거나, 최소한 이를 완전한 투명성을 가지고 보고하기 전까지는, 새로 보고되는 모든 모델의 성공은 모호한 상태로 남을 것이라고 결론짓습니다. 음성 세트는 단순한 대조군이 아니라, 과학적 질문 그 자체의 일부입니다.