Different, same, or arrhythmic: an empirically informed benchmark of differential rhythmicity methods

기술 요약: Different, same, or arrhythmic: 차등 리듬성 분석 방법론에 대한 경험적 근거 기반 벤치마크

문제 제기
생체 리듬은 유전자 조절 네트워크에 의해 조절되는 근본적인 생물학적 역동성이며, 조건 변화에 따른 유전자 발현의 변화를 이해하기 위해 시계열 RNA-seq 데이터를 통해 자주 연구된다. 차등 발현(DE) 분석을 위한 도구들은 잘 확립되어 있으나, 조건 간에 리듬 특성(진폭, 위상 또는 존재 여부)이 어떻게 변하는지를 식별하는 차등 리듬성(DR) 분석 방법론은 표준화된 가이드라인이 부족하다. 기존 연구들은 도구 출력값의 불일치와 실험실 간 리듬 유전자 식별 결과의 중첩 부족 문제를 지적해 왔다. 또한, 기존의 벤치마크들은 "정답(ground truth)"을 알 수 없는 생물학적 데이터셋에 의존하거나, 평균-분산 관계(mean-dispersion relationship) 및 공변하는 차등 발현의 혼란 효과와 같은 RNA-seq 데이터 특유의 복잡성을 반영하지 못하는 경우가 많다. 결과적으로 연구자들은 자신의 실험 설계에 적합한 방법을 선택하는 데 있어 불확실성에 직면해 있다.

방법론
저자는 5개의 소프트웨어 패키지(compareRhythms, diffCircaPipeline, diffCircadian, dryR, limorhyde)에서 파생된 12가지 DR 방법론을 대상으로 체계적인 벤치마킹 연구를 수행하였다.

• 데이터 생성: 본 연구는 음이항(negative binomial, NB) 분포를 사용하여 생성된 RNA-seq 카운트 데이터의 합성 모델을 활용하였다. 결정적으로, 이 모델은 다중 조직의 생체 리듬 시계열 데이터에서 유도된 경험적 평균-분산 트렌드를 포함하도록 설계되었다. 시뮬레이션에는 다음의 조절 가능한 파라미터들을 가진 두 가지 조건(대조군 및 처치군)이 포함되었다:
  • 샘플링 해상도 (2h, 4h, 6h).
  • 타임 포인트당 반복 실험 횟수 (2, 4).
  • 시퀀싱 깊이 (5M, 20M, 50M).
  • 리듬 유전자의 비율 및 차등 발현(DE) 유전자의 비율.
  • 두 조건 사이의 진폭 및 위상 차이.
  • 정답(ground truth)은 "same"(보존됨), "gain"(새로운 리듬 발생), "loss"(리듬 상실), "change"(진폭/위상 변화)의 네 가지 리듬 범주와 비리듬성(arrhythmic) 유전자로 설정되었다.
• 평가 프레임워크: 12가지 방법은 두 가지 프레임워크로 분류되었다: 가설 검정(Hypothesis Testing, HT) 방식은 일반적으로 리듬성 검정 후 차등 리듬성을 검정하는 순차적 테스트를 포함하며, 모델 선택(Model Selection, MS) 방식은 BIC와 같은 기준을 사용하여 가장 적합한 모델을 선택한다.
• 성능 지표: 방법론들은 세 가지 통합 클래스(비리듬성(AR), 동일(R), 차등 리듬성(DR))에 대한 정밀도(precision), 재현율(recall), F1 점수를 사용하여 평가되었다. 전역적 성능은 다중 클래스 매튜스 상관 계수(MCC)와 macro F1 점수를 사용하여 평가되었다. 또한, 허위 발견율(FDR) 제어 능력과 유전자 세트 크기 추정의 정확도를 평가하였다.
• 통계 분석: 방법론의 효능에 미치는 실험 파라미터(예: 반복 횟수, 분산)의 영향을 결정하기 위해 요인 혼합 효과 회귀 모델(factorial mixed-effects regression models)을 사용하여 성능을 분석하였다.

주요 결과

• 전반적인 성능: 특정 하위 집단의 방법론들이 다른 방법론들보다 일관되게 우수한 성능을 보였다. 상위 성과자는 네 가지 카운트 기반 HT 방법(CR-edger, CR-desque2, CR-voom, CR-cosinor), 한 가지 정규화 데이터 기반 HT 방법(limorhyde), 그리고 한 가지 모델 선택 방법(dryR)이었다. 주목할 점은, 단순한 베이스라인 방법(정규화된 데이터에 대한 cosinor 회귀)이 복잡한 맞춤형 방법들과 대등한 성능을 보였다는 것이다.
• 입력 데이터: 카운트 기반 방법들은 정규화되거나 변환된 입력을 요구하는 방법들에 비해 벤치마크 데이터셋 전반에서 일반적으로 더 나은 성능을 달ometric하였다. 그러나 상위 성과 HT 방법들은 입력 유형에 대해 강건했다.
• 클래스별 성능:
  • 비리듬성 (AR): 모든 방법이 비리듬성 유전자를 식별하는 데 매우 뛰어난 성능을 보였다.
  • 차등 리듬성 (DR): HT 방법들은 일반적으로 높은 정밀도를 보였으나 재현율은 낮았으며, MS 방법(예: dryR)은 높은 민감도(재현율)를 보였으나 정밀도는 낮았다.
  • 동일 (R): 역설적이게도, 많은 방법들이 보존된 리듬을 가진 유전자를 식별하는 데 가장 낮은 성능을 보였으며, 이를 DR 또는 AR으로 오분류하는 경향이 있었다.
• 실험 설계의 영향: 성능은 반복 실험 횟수, 샘플링 해상도, 리듬 진폭이 증가함에 따라 향상되었다. 리듬 유전자의 비율은 HT 방법보다 모델 선택 방법들에 더 큰 영향을 미쳤다. 공변하는 차등 발현은 방법론들의 상대적 순위에 유의미한 변화를 주지 않았다.
• 유전자 세트 추정: 대부분의 방법은 DR 유전자 세트의 크기를 체계적으로 과소 추정하거나(HT 방법), 과대 추정하였다(MS 방법). 저자는 검출된 유전자의 수를 통해 리듬 클래스의 실제 비율을 편향되지 않은 추정치로 사용해서는 안 된다고 밝혔다.
• 허위 발견 제어: HT 방법들은 일반적으로 명목상의 FDR 임계값(0.05)을 준수했으나, MS 방법들은 모든 클래스에서 더 높은 허위 발견 비율을 나타냈다.

핵심 기여 및 "경험칙(Rules of Thumb)"
본 논문은 연구자들을 위한 여섯 가지 실질적인 가이드라인을 제시한다:

1. 카운트 기반 방법 선호: 가공되지 않은 RNA-seq 카운트를 사용할 수 있다면, 이를 직접 수용하는 방법을 사용하라.
2. 리듬 비율에 따른 선택: compareRhythms(edger, deseq2, voom, cosinor)와 limorhyde는 일반적으로, 특히 리듬 유전자의 비율이 낮을 때 성능이 좋다. dryR은 리듬 유전자의 비율이 높을 때 더 효과적이다.
3. 바이오마커를 위한 정밀도 우선: 고신뢰도 타겟 발굴을 위해서는 허위 양성을 최소화하는 HT 방법(compareRhythms 변형들, limorhyde)을 사용하라.
4. 농축 분석을 위한 민감도 우선: 진정한 양성을 최대한 많이 회복하는 것이 중요한 기능적 농축 분석(functional enrichment analysis)의 경우, dryR이나 compareRforms(mod sel)와 같은 고민감도 방법을 사용하라.
5. 계산 속도 고려: 계산 자원이 제한적인 경우, limorhyde와 compareRforms(voom)가 가장 빠른 상위 성과 방법들이다.
6. 카운트로부터의 정량적 추론 지양: 검출된 유전자의 수만으로 리듬 클래스(동일 vs 변화)의 유병률을 판단하지 마라. 방법론마다 민감도와 편향이 다르기 때문이다.

의의 및 주장
저자는 본 연구가 실험 조건 및 분석 목표와 DR 방법론 선택을 연결하는 최초의 체계적이고 경험적 근거에 기반한 벤치마크라고 주장한다. 정답을 알 수 없는 생물학적 데이터셋에서 벗어나, 알려진 평균-분산 트렌드를 가진 통제된 합성 환경을 사용함으로써, 본 연구는 시계열 RNA-seq 데이터를 신뢰할 수 있는 생물학적 통찰로 전환하기 위한 근거 기반의 경험칙을 제공한다. 저자는 자신의 목표가 알고리즘 자체를 심층 분석하는 것이 아니라, 방법론 선택을 위한 객관적인 방향을 제공하는 것임을 명시한다. 또한, 향후 방법론 개발과 커뮤니티 벤치마킹을 용이하게 하기 위해 벤치마킹 프레임워크(DSC 패키지 활용)와 합성 데이터 생성 도구(fauxseq 및 pyfauxseq)를 공개한다고 밝혔다. 저자는 사인파(sinusoidal) 리듬 가정 및 두 가지 조건 비교에 집중했다는 점 등 연구의 한계를 겸허히 인정하면서도, 결과로 도출된 가이드라인이 DR 분석을 더욱 투명하고 재현 가능하게 만들 것이라고 단언한다.