Meta-analysis of Human Serum DIA proteome: Combining Datasets for AI Analysis

거대한 단백질 혼합 사고: 왜 어떤 과학 데이터는 잘 섞이지 않는가

당신이 인체의 "부품 목록"을 보고 인간의 몸이 어떻게 작동하는지 이해하려고 노력하고 있다고 상상해 보세요. 생물학의 세계에서 이 목록은 **프로테옴(proteome)**이라고 불리며, 단백질이라는 수천 개의 아주 작은 기계들로 구성되어 있습니다. 과학자들은 혈액 한 방울(혈청)을 채취하여 질량 분석기라는 초강력 현미경을 사용해 이 단백질들을 셀 수 있습니다. 이것은 마치 붐비는 경기장의 사진을 찍고, 특정 색상의 옷을 입은 모든 사람을 일일이 세려고 노력하는 것과 같습니다.

오랫동안 과학자들은 **데이터 의존적 획득(Data-Dependent Acquisition, DDA)**이라는 방법을 사용하여 이 사진들을 찍었습니다. 이는 마치 군중 속에서 가장 목소리가 크고 유명한 사람들만 사진을 찍는 카메라와 같아서, 조용하거나 수가 적은 사람들은 자주 놓치곤 했습니다. 최근에는 **데이터 비의존적 획득(Data-Independent Acquisition, DIA)**이라는 새로운 카메라 방식이 인기를 얻었습니다. 이 새로운 카메라는 목소리 크기에 상관없이 군중 속의 모든 사람을 촬영하여, 프로테옴에 대해 훨씬 더 완전하고 공정한 그림을 제공합니다.

이제, 11명의 서로 다른 사진가들이 서로 약간씩 다른 카메라를 들고, 서로 다른 시간대와 서로 다른 조명 아래에서 찍은 11개의 서로 다른 경기장 사진을 가지고 있다고 상상해 보세요. 당신은 이 모든 사진을 하나의 거대하고 매우 선명한 이미지로 합쳐서, "나이가 들수록 사람들이 빨간색 옷을 더 많이 입는가?" 또는 "특정 성별만 입는 특정 옷 색깔이 있는가?"와 같은 패턴을 찾고자 합니다. 이것을 **메타 분석(meta-analysis)**이라고 부릅니다. 데이터를 결합하는 것이 진실을 찾는 데 더 큰 힘을 실어줄 것이기에 이는 아주 좋은 아이디어처럼 들립니다. 하지만 만약 각 경기장의 조명이 너무 달라서, 사람들이 나이나 성별 때문이 아니라 단지 태양 빛 때문에 어떤 사진에서는 빨간색 옷을 입고 있고 다른 사진에서는 파란색 옷을 입고 있는 것처럼 보인다면 어떨까요? 이 "조명 차이"를 **배치 효과(batch effect)**라고 하며, 이것이 바로 이 논문이 조사하는 거대한 골칫거리입니다.

---

실험: 11개의 서로 다른 세계를 섞으려는 시도

이 연구에서 리버풀 대학교, 유럽 생물정보학 연구소, 그리고 시스템 생물학 연구소의 연구진은 우리가 이 11개의 서로 다른 인간 혈청 데이터셋을 실제로 섞을 수 있는지 테스트하기로 했습니다. 그들은 인공지능(AI)이 새로운 의학적 발견을 위해 데이터를 탐색할 수 있도록 준비된 "슈퍼 데이터셋"을 만들 수 있는지 확인하고 싶었습니다.

그들은 PRIDE라는 공개 라이브러리에서 가져온 11개의 고품질 데이터셋으로 시작했습니다. 이 데이터셋에는 1,393명의 서로 다른 사람들에 대한 정보가 포함되어 있었습니다. 어떤 이들은 건강했고, 어떤 이들은 코로나19나 류마티스 심장 질환 같은 질병을 앓고 있었으며, 연령, 성별, 체질량 지수(BMI)에 대한 상세 정보도 포함되어 있었습니다. 연구진은 모든 원시 데이터(raw data)를 동일한 단백질 목록을 바라보도록 보장하기 위해 DIA-NN이라는 현대적인 소프트웨어 도구를 사용하여 모든 데이터를 재분석했습니다.

먼저, 그들은 데이터를 개별적으로 확인했습니다. 각 데이터셋을 개별적으로 살펴보았을 때, 그들은 몇 가지 명확하고 실제적인 패턴을 발견했습니다. 예를 들어, 특정 단백질(IGFALS 및 IGFBP3와 같은)은 사람들이 나이가 들면서 일관되게 변화했으며, 다른 단백질(Serum Amyloid P-component와 같은)은 남녀 간에 차이가 있었습니다. 이것들이 바로 그들이 거대한 혼합물 속에서 찾고자 했던 "진짜 신호"였습니다.

거대한 혼합 시도: 과연 성공할까?

다음으로, 팀은 11개의 데이터셋을 하나의 거대한 더미로 합치려고 시도했습니다. 그들은 데이터를 섞기 위해 세 가지 방식으로 데이터를 준비했습니다:

1. Native iBAQ: 기계에서 나온 수치를 그대로 사용함.
2. Ranked Values: 숫자를 단순한 순위(예: 1등, 2등, 3등, 4등, 5등)로 변환하여 차이를 완화함.
3. Parts Per Billion (PPB): 숫자를 전체의 비율로 변환함 (예: "이 단백질은 전체 수프의 50억 분의 1을 차지한다"라고 말하는 것과 같음).

그 후, 그들은 서로 다른 연구로 인해 발생하는 차이를 지우기 위해 ComBat과 Limma라고 불리는 수학적 트릭인 "배치 교정(batch correction)" 도구를 사용했습니다. 이를 통해 생물학적 진실만을 남기기를 희망했습니다.

결과? 엉망진창이었습니다.

최선의 노력에도 불구하고, 연구진은 배치 효과를 효과적으로 제거할 수 없다는 것을 발견했습니다. 11개 연구 간의 차이가 너무 강력해서 수학적 트릭으로는 "연구 노이즈"와 "생물학적 신호"를 분리할 수 없었습니다.

데이터를 결합했을 때, AI와 통계 모델은 **가짜 경보(false alarms)**를 찾아내기 시작했습니다. 그들은 단백질이 나이나 성별과 연관된 것처럼 보이는 것을 발견했지만, 원래의 11개 개별 연구를 다시 확인했을 때 그러한 연결 고리는 존재하지 않았습니다. 그것은 마치 혼합 과정이 단백질이 나이에 대해 이야기하고 있는 것처럼 보이게 만든 유령 이야기를 만들어낸 것과 같았습니다. 실제로는 그들이 어떤 연구실 출신인지에 대해 이야기하고 있었음에도 말입니다.

예를 들어, 한 연구는 주로 고령층을 대상으로 했고 다른 연구는 주로 젊은 층을 대상으로 했다면, 결합된 데이터는 컴퓨터를 속여서 모든 단백질이 나이에 따라 변하고 있다고 믿게 만들 수 있습니다. "배치 효과"(연구의 정체성)가 너무 커서 실제 생물학적 속삭임을 덮어버린 것입니다.

AI 분류기 테스트: 로봇이 혼합물로부터 배울 수 있을까?

위험성을 제대로 테스트하기 위해, 연구진은 단백질 수치를 바탕으로 사람의 성별(남성 또는 여성)을 추측하는 AI 로봇을 구축해 보았습니다. 그들은 두 가지 접근 방식을 사용했습니다:

1. "정제된" 접근 방식: 수학적으로 연구 간의 차이를 먼저 제거한 다음 AI를 훈련시킴.
2. "원시(Raw)" 접근 방식: AI가 연구 차이를 하나의 특징(데이터셋의 "PXD" ID를 인식하는 법을 가르치는 것과 같음)으로 학습하도록 내버려 둠.

두 방식 모두 로봇을 똑똑해 보이게 만들었습니다. 로봇은 약 80%의 확률로 성별을 정확히 맞혔습니다. 그러나 연구진이 로봇이 추측을 내리는 데 실제로 무엇을 사용하고 있는지 살펴보았을 때, 문제를 발견했습니다. 로봇은 배치 효과 때문에 중요해 보일 뿐, 실제로는 남성이나 여성과 연결되어 있지 않은 가짜 양성(false positive) 특징들을 선택하고 있었습니다.

만약 의사가 이 로봇을 사용하여 질병에 대한 새로운 바이오마커를 찾는다면, 그들은 유령을 쫓게 될 수도 있습니다. 즉, 데이터의 혼합으로 인해 생긴 통계적 환상에 불과한 단서를 쫓게 될 것입니다.

핵심 요약

이 논문의 주요 결론은 경고의 메시지입니다. 데이터 결합이 AI와 발견을 위한 더 큰 힘을 주는 것처럼 보이지만, 현재 인간 혈청 DIA 데이터에 있어서는 너무 위험합니다.

저자들은 다음과 같이 제안합니다:

• 아직은 다 섞지 마세요: "배치 효과"(연구 간의 차이)가 너무 강력하여 현재의 수학적 도구로는 고칠 수 없습니다.
• 가짜 양성은 실제적인 위험입니다: 이 데이터셋들을 억지로 합치려고 하면, 실제로는 그렇지 않지만 실제처럼 보이는 가짜 상관관계를 만들어냅니다.
• 개별적으로 다루세요: 데이터를 하나의 큰 수프처럼 병합하는 것보다, 각 데이터셋을 개별적으로 분석하고 그 사이에서 반복되는 패턴을 찾는 것이 더 안전하고 정확합니다.

요약하자면, 우리는 보물 창고를 가지고 있지만, 지금 이 11개의 특정 인간 혈청 데이터셋을 섞는 것은 기름과 물을 섞어서 매끄러운 스무디를 기대하는 것과 같습니다. 그 결과는 실제 신호가 노이즈 속에 사라져 버리고 AI가 존재하지 않는 것을 보게 되는 엉망진고한 혼합물입니다. 연구진은 우리가 이 데이터를 정화할 더 나은 방법을 갖추기 전까지는, 이러한 대규모 메타 분석을 극도로 주의해서 다뤄야 한다고 결론지었습니다.