기술 요약: BBOmix

문제 정의

고처리량 시퀀싱(high-throughput sequencing)의 급격한 발전은 대규모의 고차원 오믹스 데이터셋(유전체학, 전사체학, 단백질체학)을 생성했습니다. 심층 비지도 학습 아키텍처, 특히 오토인코더(Autoencoder, AE)는 이 분야에서 차원 축소 및 표현 학습을 위해 점점 더 많이 활용되고 있습니다. 그러나 이러한 모델은 아키텍처 선택과 하이퍼파라미터 설정에 매우 민감합니다.

이 분야의 핵심적인 과제는 비지도 최적화가 일반적으로 재구성 손실(reconstruction loss)을 최소화하는 데 의존한다는 점이며, 이는 실제 다운스트림 애플리케이션(예: 세포 유형 분류, 질병 예후)에서의 학습된 잠재 공간(latent space)의 실제 유용성을 나타내는 불충분한 대리 지표(proxy)가 될 수 있다는 것입니다. 이러한 대규모 생물학적 데이터에 대한 전수적 하이퍼파라미터 최적화(HPO)는 계산 비용이 매우 많이 들기 때문에, 연구자들은 종종 최적이 아닌 기본 설정이나 수동 튜닝에 의존할 수밖에 없습니다. 또한, 기존의 HPO 벤치마크(예: NAS-Bench-201, TabRepo)는 최적화 목적 함수가 다운스트림 작업과 직접적으로 일치하는 지도 학습 설정에 초점을 맞추거나, 생물학적 시스템 특유의 노이즈, 희소성 및 조절 패턴을 포착하지 못하는 합성 데이터 또는 컴퓨터 비전 데이터에 의존합니다. 즉, 실제 세계의 생물학적 데이터에 대한 비지도 표현 학습을 위한 표준화되고 사전 계산된 벤치마크가 부족한 실정입니다.

방법론

저자들은 BBOmix를 소개하며, 이는 실제 생물학적 데이터에 대한 비지도 HPO를 위한 최초의 오픈 소스 테이블형 벤치마크입니다. 방법론은 다음 구성 요소로 이루어집니다.

1. 데이터셋 및 모달리티(Modalities)

이 벤치마크는 두 가지 확립된 멀티오믹스 데이터셋을 활용합니다:

• TCGA (The Cancer Genome Atlas): 32가지 암 유형에 걸쳐 10,000명 이상의 환자 샘플을 포함하는 범암(pan-cancer) 데이터셋으로, 전사체(mRNA-seq), 후성유전(DNA methylation), 유전체(mutation scores) 모달리티를 포함합니다.
• SCHC (Single-Cell Human Cortex): 세포 유형, 연령, 성별에 대한 주석이 포함된 45,000개 이상의 단일 세포 측정값(scRNA-seq 및 scATAC-seq)을 포함하는 데이터셋입니다.

2. 아키텍처

표준 모델부터 생물학적으로 정보가 반영된 모델에 이르기까지 네 가지의 뚜렷한 AE 아키텍처를 평가했습니다:

• Vanillix: 배치 정규화(batch normalization), 드롭아웃(dropout), ReLU를 갖춘 표준 완전 연결 피드포워드 AE로, MSE 재구성 손실을 최소화합니다.
• Varix: 표준 $\beta$-변이형 오토인코더($\beta$-VAE)로, 표준 ELBO 손실을 최소화합니다.
• Disentanglix: $\beta$-TCVAE를 기반으로 하여 KL-다이버전스를 분해하고 총 상관관계(total correlation), 상호 정보량(mutual information), 차원별 KL을 페널티로 부여하는 VAE의 확장형입니다.
• Ontix: 디코더가 온톨로지(Reactome 경로 또는 염색체 기반 유전자 위치)에 의해 제약되어 잠재 공간의 설명 가능성을 강제하는 생물학적 정보 기반 VAE입니다.

3. 실험 설계

• 탐색 공간(Search Space): 각 아키텍처에 대해, 공유 하이퍼파라미터(입력 차원, 레이어, 인코딩 계수, 잠재 차원, 학습률, 배치 크기, 드롭아웃, 가중치 감쇠)와 아키텍처 특정 파라미터(예: $\beta$, $\beta_{tc}$)를 포함하는 탐색 공간에서 1,000개의 구성을 균등하게 샘플링했습니다.
• 실행: 각 구성은 7개의 데이터셋-모달리티 태스크에 대해 3개의 독립적인 랜덤 시드로 300 에포크 동안 훈련되었습니다.
• 규모: 이는 105,000개의 개별 훈련 실행(4개 아키텍처 $\times$ 1,000개 구성 $\times$ 3개 시드 $\times$ 7개 태스크)이라는 결과로 이어졌으며, Nvidia H100에서 약 10,000 GPU 시간을 소비했습니다.
• 데이터 형식: 결과는 Syne Tune 라이브 library의 테이블 블랙박스 형식으로 직렬화되어 35개의 뚜렷한 블랙박스를 제공합니다. 각 항목에는 에포크당 재구성 손실, 훈련 실행 시간 및 다운스트림 태스크 성능이 포함됩니다.

4. 평가 지표

• 주요 목적: 재구성 손실 (훈련 중 최소화됨).
• 다운스트래임 유용성: 동결된 잠재 임베딩의 유용성은 다양한 임상 및 생물학적 분류 태스크(예: 암 유형, 세포 유형, 생존 상태)에 대한 로지스틱 회귀를 통해 평가되었습니다. 성능은 수신자 조작 특성 곡선 아래 면적(AUC-ROC)을 사용하여 측정되었습니다.

주요 기여

1. 최초의 대규모 비지도 HPO 데이터셋: BBOmix는 35개 태스크에 걸쳐 105,000개의 평가를 제공하여, 비용이 많이 드는 재훈련 없이도 HPO 알고리즘을 벤치마킹할 수 있게 합니다.
2. 상관관계 분석: 저자들은 재구성 손실(훈련 목적 함수)과 다운스트림 성능 사이의 상관관관계를 체계적으로 정량화하여, 재구성 손실이 신뢰할 수 있는 대리 지표가 되는 시점에 대한 경험적 증거를 제공합니다.
3. 포괄적인 HPO 벤치마킹: 본 논문은 세 가지 패러다임에 걸쳐 최첨단(SOTA) 최적화 방법론을 평가합니다:
   • 단일 충실도(Single-fidelity): Random Search, TPE, BORE, REA, CQR.
   • 다중 충실도(Multi-fidelity): ASHA, BOHB, 그리고 하이브리드 모델(ASHABORE, ASHACQR).
   • 전이 학습(Transfer Learning): Zero Shot, Bounding Box, Quantile Transfer.

결과

대리 지표로서의 재구성 손실

연구 결과, 재구성 손실은 일반적으로 강력하지만 완벽하지는 않은 예측 변수임이 밝혀졌습니다.

• 상관관계: 대부분의 모달리티에서 Disentanglix, Vanillix, Varix의 재구성 손실과 다운스트림 AUC 사이의 Spearman 순위 상관계수($\rho$)는 $-0.72$에서$-0.88$ 사이였습니다.
• 예외: 상관관계는 TCGA-DNA(유전체 변이 점수) 모달리티에서 크게 무너졌으며, 이 경우 상관관계가 0에 가깝거나 약한 양의 상관관계를 보였습니다. 이는 DNA 변이 점수와 같은 특정 생물학적 모달리티의 경우, 재구성 손실을 최소화하는 것이 반드시 다운스트림 태스크를 위한 더 나은 표현을 보장하는 것은 아님을 시사합니다.

하이퍼파라미터 중요도

랜덤 포레스트 회귀 모델을 이용한 순열 중요도(permutation importance) 분석 결과:

• 드롭아웃 ($p$): Vanillix, Varix, Disentanglix 모두에서 다운스트림 예측 성능에 가장 영향력이 큰 하이퍼파라미터로 일관되게 나타났습니다.
• 학습률 (Learning Rate): Ontix의 지배적인 요인이자 다른 모델들에서도 강력한 이차적 요인이었습니다.
• 입력 차원 ($D$): 재구성 손실에는 매우 영향력이 컸으나, 다운스트림 분류에는 결정적이지 않았습니다.
• 아키텍처 특정 항: $\beta$(VAE의 경우) 및 $\beta_{tc}$(Disentanglix의 경우)와 같은 규제 항은 다운스트림 성능에는 중간 정도의 중요성을 가졌으나, 재구성 충실도에는 미미한 영향을 미쳤습니다. 이는 이들이 재구성보다는 잠재 기하학(latent geometry)을 형성함을 시사합니다.

옵티마이저 성능

• 단일 충실도: CQR(Conformalized Quantile Regression)이 가장 낮은 정규화된 후회(normalized regret)와 전반적으로 가장 좋은 성능을 달성했습니다. BORE와 REA는 약간 더 낮은 성능을 보였으나 TPE와 Random Search보다는 우수했습니다.
• 다중 충실도: 에포크당 학습 곡선을 활용하는 방법들(ASHA, BOHB 및 하이브리드)은 단일 충실도 방법들과 대등한 최종 성능을 달면서도, 실제 소요 시간(wall-clock time) 측면에서는 1~2 자릿수(orders of magnitude) 적은 시간을 소비했습니다. ASHACQR과 ASHABORE가 특히 강력한 애니타임(anytime) 성능을 보여주었습니다.
• 전이 학습: Bounding Box 및 Quantile Transfer와 같은 방법들은 관련 태스크로부터의 지식을 활용함으로써 CQR에 비해 콜드 스타트(cold-start) 후회를 크게 줄였습니다. 이는 하이퍼파라미터 중요도 구조(예: 학습률의 지배적 역할)가 서로 다른 생물학적 데이터 유형 및 모델 제품군 간에 부분적으로 이식 가능하다는 것을 나타냅니다. Zero Shot 방법은 좋은 초기 시작점을 제공했으나, 서로게이트(surrogate)를 능동적으로 업데이트하는 방법들에 의해 빠르게 추월되었습니다.

의의 및 주장

본 논문은 BBOmix가 생물학 분야의 대규모 비지도 HPO 연구에 대한 접근성을 민주화한다고 주장합니다. 이 벤치마크를 통해 연구자들은 다음과 같은 작업을 수행할 수 있습니다:

• 모델을 처음부터 훈련해야 하는 막대한 계산 비용 없이 HPO 알고리즘을 평가할 수 있습니다.
• 비지도 목적 함수와 생물학적 유용성 사이의 관계를 조사하여, 재구성 손실이 대리 지표로서 실패하는 지점을 명확히 할 수 있습니다.
• 전이 학습과 다중 충실도 방법이 이 영역에서 매우 효과적임을 입증하여, 표준적인 방법보다 훨씬 적은 비용으로 고성능 구성을 빠르게 식별할 수 있음을 보여줍니다.

저자들은 BBOmix를 새로운 생물학적 데이터셋에 대해 최적의 아키텍처와 하이퍼파라미터를 제안할 수 있는 도메인 특화 HPO 추천 프레임워크를 개발하기 위한 토대로 포지셔닝하며, 이를 통해 이 분야 실무자들의 진입 장벽을 낮추고자 합니다.