Scoring the downstream chain of small-n label-free proteomics against known ratios: search engine, match-between-runs, imputation, differential testing and enrichment background on a public three-species benchmark

세포 내부의 미시적인 세계에서, 수천 개의 단백질이 생명을 유지하기 위해 함께 작동합니다. 질병에 걸리거나 치료가 효과를 보일 때 이 단백질들이 어떻게 변하는지 이해하기 위해, 과학자들은 '라벨 프리 프로테오믹스(label-free proteomics)'라고 불리는 기술을 사용합니다. 사람들의 군중을 사진으로 찍어 그 무게를 재려고 노력한다고 상상해 보십시오. 카메라는 모든 사람을 포착하지만, 각 개인의 무게를 알기 위해서는 그들의 이미지 밝기를 측정해야 합니다. 이 과학적 방법에서 단백질 신호의 "밝기"는 연구자들에게 해당 단백질이 얼마나 존재하는지를 알려줍니다. 건강한 조직과 질병이 있는 조직처럼 두 가지 서로 다른 조건 사이에서 이러한 신호를 비교함으로써, 과학자들은 어떤 단백질이 증가하거나 감소했는지 확인할 수 있습니다. 하지만 정확한 수를 얻는 것은 어렵습니다. 이 과정은 단백질을 식별하기 위한 복잡한 컴퓨터 프로그램과, 누락된 데이터를 처리하는 방법, 샘플을 비교하는 방법, 그리고 무엇을 실제 변화로 간주하고 무엇을 무작위적인 변동으로 간주할 것인지 결정하는 데 이르는 긴 의사결정의 사슬을 포함합니다. 만약 이러한 후속 단계들이 제대로 처리되지 않는다면, 중요한 단백질 목록은 오류로 가득 차게 되어 연구자들을 잘못된 길로 인도할 수 있습니다.

최근 한 연구자는 이러한 다양한 선택들이 최종 결과에 정확히 어떤 영향을 미치는지 테스트하기 위해, 정답이 이미 알려져 있는 공개 데이터 세트를 사용했습니다. 이 데이터는 인간, 효모, 그리고 일반적인 장내 박테리아인 대장균(E. coli)에서 유래한 단백질을 섞은 영리한 실험에서 나왔습니다. 그들은 알려진 비율로 두 가지 혼합물을 만들었습니다. 첫 번째 혼합물에서 인간 단백질은 65%, 효모는 30%, 박테리아는 5%를 차지했습니다. 두 번째 혼합물에서는 인간 단백질은 동일하게 유지하되, 효모는 절반으로 줄이고 박테리아는 4배로 늘렸습니다. 시작 시점의 양이 알려져 있었기 때문에, 연구자들은 컴퓨터가 무엇을 찾아내야 하는지 정확히 알고 있었습니다. 즉, 인간 단백질은 변화가 없어야 하고, 효모는 절반으로 보여야 하며, 박테리아는 4배로 나타나야 했습니다. 이 설정은 도구가 충분히 날카로운지 확인하기 위해 기다리고 있는, 정답이 별들에 새겨진 완벽한 시험장, 즉 통제된 환경 역할을 했습니다.

연구자는 이 데이터를 오늘날 이 분야에서 가장 널리 사용되는 세 가지 소프트웨어 도구인 MaxQuant, FragPipe, 그리고 DIA-NN에 실행했습니다. 이 프로그램들은 고성능 카메라의 서로 다른 브랜드와 같습니다. 그것들은 모두 가공되지 않은 사진을 찍어 단백질의 선명한 이미지를 만들어내려 노력합니다. 연구 결과, 세 가지 도구 모두 단백나를 찾는 데는 대체로 우수했지만, 변화를 측정하는 정확도 면에서는 차이를 보였습니다. 변화가 없어야 했던 인간 단백질을 살펴볼 때, MaxQuant라는 도구는 작고 일관된 편차를 보여 변화가 없는 단백질을 실제와 약간 다르게 보이게 만들었습니다. 또 다른 도구인 FragPipe는 이러한 변화 없는 단백질에 대해 매우 정밀했습니다. 세 번째인 DIA-NN 역시 매우 정확했지만, 애초에 데이터를 포착하는 데 다른 종류의 기계를 사용했습니다. 가장 눈에 띄는 발견은 어떤 소프트웨어가 가장 좋은가에 대한 것이 아니라, 소프트웨어가 작업을 마친 후 내린 단순한 결정들이 최종 결과를 얼마나 많이 망칠 수 있는지에 관한 것이었습니다.

소프트웨어가 단백질을 식별한 후, 연구자는 과학자들이 데이터를 정리할 때 취하는 일련의 공통적인 단계들을 테스트했습니다. 그 중 하나는 한 샘플에서 누락된 숫자를 유사한 다른 샘플의 값에서 빌려와 채우는 기능인 "매치-비트윈-런(match-between-runs)"입니다. 연구는 이 기능이 더 많은 단백질을 찾는 데 도움을 주기는 하지만, 특히 검출하기 어려운 희귀한 박테리아 단백질에 대해서는 더 많은 노이즈를 유발한다는 것을 보여주었습니다. 또 다른 중요한 결정은 데이터에서 완전히 누락된 단백질을 어떻게 처리하느냐는 것이었습니다. 연구자는 이 누락된 값들을 추측하는 여러 방법을 테스트했습니다. 누락된 데이터가 무작위라고 가정하는 흔한 방법 하나는, 단백질이 너무 희귀하여 단순히 보이지 않아서 데이터가 누락된 경우에 완전히 실패했습니다. 그 특정한 사례에서, 그 방법은 누락된 값을 평균값으로 추측해 버렸고, 결과적으로 실제로 존재했던 박테리아의 4배 증가를 사실상 지워버렸습니다.

가장 극적인 변화는 데이터의 유의성을 테스트하는 방식에서 왔습니다. 과학자들은 흔히 변화가 실제인지 결정하기 위해 통계적 검정을 사용합니다. 연구에 따르면, 만약 연구자가 변화의 최소 크기를 요구하지 않고 단순히 컴퓨터에게 차이가 있어 보이는 모든 단백질을 찾으라고 요청한다면, 가짜 경보(false alarms)가 폭발적으로 증가했습니다. 한 소프트웨어 출력물에서, 표준 검정은 안정적인 것으로 알려진 100개 이상의 인간 단백질이 변화했다고 표시했습니다. 그러나 연구자가 변화가 적어도 일정 크기 이상이어야 한다는 간단한 규칙을 추가하자, 가짜 경보의 수는 100개 이상에서 단 몇 개로 급감했습니다. 이 단 하나의 결정이 오류율을 30배 이상 줄였습니다. 반대로, 흔히 행해지는 관행인 데이터를 "정규화(normalize)"하거나 재조정하는 추가 단계를 더하는 것은 두 가지 소프트웨어 도구에 대해 오히려 상황을 악화시켜, 존재하지 않았던 수천 개의 새로운 가짜 경보를 만들어냈습니다.

연구는 또한 과학자들이 단백질 목록을 해석하여 생물학적 과정을 이해하는 단계인 '농축 분석(enrichment analysis)'을 살펴보았습니다. 연구자들이 단백질 목록을 가져와서 그것이 어떤 기능에 관여하는지 데이터베이스에 물을 때, 배경(background)의 선택은 엄청나게 중요합니다. 만약 그들이 자신의 목록을 가능한 모든 단백질의 전체 게놈과 비교한다면, 컴퓨터는 목록이 단지 무작위적인 단백질의 모임일 때조차 수백 개의 "유의미한" 기능들을 찾아냅니다. 하지만 목록을 실제로 실험에서 검출된 단백질들하고만 비교한다면, 가짜 경보는 사라집니다. 이는 비교를 위한 배경이 마치 렌즈처럼 작용한다는 것을 시사합니다. 잘못된 렌즈로 들여다보면 무작위적인 노이즈가 신호처럼 보이게 됩니다.

이 연구의 궁극적인 결론은 소프트웨어 엔진의 선택보다 소프트웨어가 실행된 후 내리는 결정이 더 중요하다는 것입니다. 폴드 변화(fold-change) 임계값을 추가하거나 추가적인 정규화 단계를 피하는 것과 같은 단 하나의 결정이 발견된 오류의 수를 최대 34배까지 변화시킬 수 있습니다. 연구자는 다른 사람들이 따를 수 있는 체크리스트를 제공했습니다: 유지할 데이터에 대한 엄격한 규칙을 사용할 것, 데이터가 왜 누락되었는지 이해하지 못한다면 누락된 값을 추측하지 말 것, 통계적 검정을 최소 변화 크기 요구 사항과 결합할 것, 그리고 검출된 단백질을 농축 분석의 배경으로 사용할 것. 이러한 간단한 안전장치들을 따름으로써, 과학자들은 자신들의 데이터가 자신의 방법론에 의한 인위적인 결과(artifact)가 아니라 실제 생물학적 변화에 기반한 이야기를 하고 있음을 보장할 수 있습니다. 이 연구는 분야의 모든 문제를 해결했다고 주장하는 것이 아니라, 정답이 알려진 상황에서 오류로 가는 길은 종종 선의를 가진 불필요한 단계들로 인해 만들어진다는 점을 명확히 보여주었습니다.