기술 요약: OgBench – 오믹스 데이터에 대한 그래프 신경망 평가 프레임워크

문제 제기

그래프 신경망 (GNN) 은 귀납적 그래프 수준 학습을 위한 지배적인 프레임워크로 자리 잡았습니다. 그러나 기존 벤치마크 (예: OGB, TUDataset, LRGB) 는 주로 $n \gg p$ 영역에서 작동합니다. 여기서 그래프의 수 ($n$) 가 그래프당 노드의 수 ($p$) 를 크게 초과합니다. 이는 오믹스 (유전체학, 전사체학, 단백질체학, 후성유전체학) 의 생물학적 영역과 극명하게 대비되는데, 오믹스는 $n \ll p$ 영역에서 작동합니다. 오믹스에서는 비용, 개인정보 보호, 임상적 제약으로 인해 레이블이 지정된 샘플 (환자 또는 대상자) 이 부족하지만, 샘플당 수만 개의 유전자 또는 단백질로 구성된 거대한 그래프가 특징입니다.

현재 GNN 연구는 표준 벤치마크가 이러한 고차원 저샘플 현실을 반영하지 못하기 때문에 정체될 위험이 있습니다. 통계적 학습에서 $n \ll p$ 영역은 과적합과 불안정성에 취약합니다. GNN 은 이론적으로 이 설정에 유리할 수 있는 구조적 사전 지식을 활용하지만, 최근 연구들은 오믹스 작업에서 GNN 이 종종 단순한 기계 학습 베이스라인을 능가하지 못한다고 시사합니다. 또한, 이 분야는 표준화된 파이프라인이 부족합니다. 성능 향상은 종종 이질적인 상류 전처리 (예: 프로브 - 유전자 집계, 정규화, 공변량 조정) 에 의해 혼동되어, 개선이 아키텍처 혁신에서 비롯된 것인지 데이터 처리 아티팩트에서 비롯된 것인지 구분하기 어렵습니다.

방법론: OgBench 프레임워크

이러한 격차를 해소하기 위해 저자들은 $n \ll p$ 오믹스 영역에서 그래프 수준 예측을 위해 명시적으로 설계된 첫 번째 벤치마킹 플랫폼인 OgBench를 소개합니다. OgBench 는 데이터 전처리, 그래프 구성, 모델 훈련을 분리하는 모듈식 엔드 - 투 - 엔드 인프라를 제공합니다.

1. 표준화된 데이터셋

이 프레임워크는 세 가지 오믹스 모달리티에 걸친 네 가지 정제된 모델 준비 데이터셋을 통합합니다:

• HERITAGE (단백질체학): 운동 반응자 이진 분류 ($n=654$, $p=4977$ 단백질).
• 파킨슨병 (전사체학): MoCA 점수에 기반한 인지 상태 이진 분류 ($n=535$, $p=21,755$ 유전자).
• AddNeuroMed (전사체학): 3 클래스 임상 진단 (알츠하이머병, 경도인지장애, 대조군) ($n=711$, $p=17,198$ 유전자).
• BRCA (후성유전체학): 4 클래스 유방암 아형 분류 ($n=640$, $p=19,049$ 유전자에 매핑된 메틸화 영역).

모든 데이터셋은 일관된 전처리 파이프라인 (프로브 - 유전자 집계, 정규화, 공변량 조정 포함) 을 거치며, 데이터 분할은 70/15/15 (훈련/검증/테스트) 로 고정됩니다.

2. 모듈식 그래프 구성

OgBench 는 노드 선택과 엣지 구성을 상호 교환 가능한 모듈로 취급하여 통제된 제거 연구를 가능하게 합니다:

• 노드 선택: 전략에는 분산 필터링, 피어슨 상관관계, 거리 상관관계 (비선형 의존성용), 무작위 하샘플링이 포함됩니다. 이를 통해 연구자들은 특징 선택 사전 지식이 모델 성능에 미치는 영향을 연구할 수 있습니다.
• 엣지 구성: 두 가지 주요 전략을 지원합니다:
  • 데이터 기반: 스케일 프리 토폴로지를 근사하기 위해 소프트 임계값을 적용한 쌍별 피어슨 상관관계를 통해 구축된 공동 발현 그래프.
  • 생물학적 사전 지식: STRING 데이터베이스에서 유래한 단백질 - 단백질 상호작용 (PPI) 네트워크 (중간 신뢰도 상호작용).
  • 중요하게도, 인접 행렬은 모든 샘플에 걸쳐 고정됩니다 (전역 토폴로지) 반면, 노드 특징 (발현 값) 은 샘플별입니다.

3. 모델 스위트 및 베이스라인

이 프레임워크는 고전적인 베이스라인에 대해 다양한 모델을 벤치마킹합니다:

• 베이스라인: 고차원 설정에서 종종 경쟁력을 갖는 서포트 벡터 머신 (SVM) 및 탄성 네트워크 (정규화된 선형 모델).
• 딥러닝 베이스라인: 그래프 토폴로지의 기여도를 비선형 특징 변환과 분리하기 위한 다층 퍼셉트론 (MLP).
• GNN:
  • 고전적: GCN, GraphSAGE, GATv2, GIN.
  • 확장 가능: SAGN (대형 그래프용 설계).
  • 오믹스 특화: ChebNet (스펙트럴 컨볼루션), MLA-GNN (다수준 어텐션).
  • 트랜스포머: GPS (일반 그래프 트랜스포머).

4. 평가 프로토콜

실험에는 엄격한 하이퍼파라미터 최적화 (학습률, 레이어 수 등에 대한 그리드 검색) 와 작은 샘플 영역에서 검증 기반 선택의 불안정성을 완화하기 위한 Top-K 앙상블 집계 사용이 포함됩니다. 지표에는 계산 효율성 측정치와 함께 Macro F1, Weighted F1, 정확도, AUROC 가 포함됩니다.

주요 결과

네 가지 데이터셋에 대한 실험적 평가는 몇 가지 중요한 통찰력을 제공합니다:

1. GNN 은 단순한 베이스라인을 일관되게 능가하지 못함: $n \ll p$ 영역에서 널리 사용되는 GNN(GCN, GAT, GIN) 은 종종 단순한 MLP 나 고전적인 정규화된 선형 모델 (SVM, 탄성 네트워크) 을 설득력 있게 능가하지 못합니다. 파킨슨병 및 BRCA 와 같은 데이터셋에서는 선형 베이스라인이 여전히 경쟁력이 있거나 우세합니다.
2. 작업에 따른 구조의 유용성: 그래프 구조의 가치는 데이터셋에 따라 매우 다릅니다. HERITAGE 데이터셋에서는 그래프 기반 방법이 이점을 보였지만, 다른 데이터셋에서는 그렇지 않았습니다. 이는 구조적 귀납적 편향이 오믹스에서 보편적으로 유익하지 않음을 시사합니다.
3. 리드아웃 메커니즘의 중요성: GNN 이 베이스라인보다 낮은 성능을 보이는 데이터셋 (파킨슨병, BRCA) 에서 MLP 리드아웃(메시지 전달 없이 노드 임베딩에 가중치를 학습) 은 순수한 풀링(평균/합계 집계) 보다 훨씬 우수한 성능을 보입니다. 이는 국소 메시지 전달보다는 글로벌 특징 통합이 성능을 주도하며, 이러한 경우 그래프 토폴로지가 노드 특징 자체 이상으로 제한된 신호를 추가함을 시사합니다.
4. 노드 선택의 중요성: 노드 선택 전략의 선택은 모델 성능과 복잡하게 상호작용합니다. 흥미롭게도 HERITAGE 에서 무작위 노드 선택이 때로는 가장 좋은 그래프 기반 성능을 보였는데, 이는 예측력이 낮은 노드라도 네트워크 연결성을 유지하는 것이 메시지 전달 메커니즘에 중요하며, 개별적으로 예측력이 있는 노드를 선택하는 상관관계 기반 선택은 그래프 구조를 방해할 수 있음을 시사합니다.
5. 엣지 소스 민감성: 단일 엣지 소스 (PPI 대 공동 발현) 가 다른 소스를 일관되게 능가하지는 않습니다. 최적의 선택은 특정 GNN 백본과 데이터셋에 따라 달라지므로, 엣지 소스 자체보다 아키텍처와 토폴로지 간의 상호작용이 더 중요함을 시사합니다.
6. 검증 불안정성: $n \ll p$ 영역에서 작은 검증 세트를 기반으로 단일 최선 모델을 선택하는 것은 신뢰할 수 없습니다. 앙상블 집계(상위 K 구성의 예측 평균) 는 분산을 줄이고 단일 구성 선택이 종종 가리는 진정한 모델 이점을 드러냅니다.

중요성 및 주장

이 논문은 OgBench 가 생의학에서 GNN 적용에 대한 필수적인 "현실 점검"을 제공한다고 주장합니다. 표준 GNN 이 데이터가 부족하고 고차원인 오믹스 설정에서 단순한 방법들을 능가하는 데 종종 어려움을 겪음을 드러냄으로써, 이 프레임워크는 그래프 구조가 본질적으로 가치를 더한다는 지배적인 가정에 도전합니다.

저자들은 이 분야가 표준 벤치마크에서의 점진적인 성능 향상을 넘어 학습 패러다임의 비판적 재평가에 참여해야 한다고 주장합니다. 결과는 구조의 유효성이나 $n \ll p$ 영역에 대한 아키텍처의 적합성에 대한 의문 없이 생물학적 데이터에 그래프 방법을 맹목적으로 적용하는 것이 정체로 이어질 수 있음을 시사합니다. OgBench 는 생물학적 그래프에 명시적으로 맞춤화된 새로운 아키텍처 개발을 장려하고, 이러한 혁신을 검증하기 위한 재현 가능하고 오픈 소스 생태계를 커뮤니티에 제공하고자 합니다. 코드와 데이터셋은 이러한 전환을 촉진하기 위해 공개되었습니다.