기술 요약: GENEB – 왜 유전체 모델을 비교하기 어려운가

1. 문제 정의

유전체 파운데이션 모델의 급격한 확장은 이들을 비교하기 위한 방법론적 인프라의 발전을 앞질렀습니다. 현재의 평가 관행은 파편화된 벤치마크, 호환되지 않는 프로토콜, 그리고 작업 특화적인 보고 방식이라는 특징을 가집니다. 결과적으로, 모델의 우수성이나 일반성에 대한 주장은 직접적인 비교가 불가능한 경우가 많습니다. 즉, 어떤 모델은 특정 맥락에서 혁신적인 것으로 칭송받는 동시에, 통일된 평가 프레임워크의 부재로 인해 다른 맥락에서는 성능이 저하될 수 있습니다. 이러한 파편화는 모델 간의 진정한 관계를 모호하게 만들고 실질적인 발전을 평가하는 것을 방해합니다. 나아가, 이 분야는 모델의 규모, 아키텍처, 토큰화, 그리고 사전 학습 데이터가 다양한 유전체 작업 전반에 걸쳐 성능에 어떻게 영향을 미치는지에 대한 체계적인 이해가 부족한 상태입니다.

2. 방법론

이러한 과제를 해결하기 위해 저자들은 13개 기능 범주에 걸친 100개 작업에서 40개의 유전체 파운데이션 모델의 동결된 표현(frozen representations)을 평가하도록 설계된 대규모 진단 벤치마크인 GENEB를 도입합니다.

• 평가 프로토콜: GENEB은 통일된 **프로빙 기반 프로토콜(probing-based protocol)**을 사용합니다. 각 모델로부터 동결된 서열 표현을 추출하고 경량 로지스틱 회귀 분류기를 사용하여 평가합니다. 이 접근 방식은 작업 특화적인 미세 조정(fine-tuning)의 혼란 효과로부터 표현의 품질을 분리합니다.
• 샷 레짐(Shot Regimes): 모델은 풀 데이터(full-data), 10-샷, 1-샷의 세 가지 레짐 하에서 평가되어 퓨샷(few-shot) 강건성을 분석할 수 있게 합니다.
• 지표: 주요 지표는 **매튜스 상관계수(MCC)**이며, 이는 유전체 평가의 표준인 클래스 불균형에 대한 강건성을 고려하여 선택되었습니다.
• 벤치마크 구성: 100개의 작업은 9개의 기존 벤치마크(예: Nucleotide Transformer, GUE, Genomic Benchmarks)에서 수집되었으며, 히스톤 수정(Histone Modifications), 프로모터(Promoters), 인핸서(Enhancers), DNA 메틸화(DNA Methylation), 스플라이스 부위(Splice Sites), lncRNA, 종 분류(Species Classification)를 포함한 13개 기능 범주로 구성되었습니다. 특히, 13개 범주 중 12개가 진핵생물 유전체 현상에 초점을 맞추고 있습니다.
• 통제된 비교: 특정 요인을 격리하기 위해, 저자들은 다른 변수를 고정한 채 모델을 비교하는 매치드 페어(matched-pair) 분석을 수행합니다(예: 동일한 사전 학습 코퍼스와 토큰화를 가진 아키텍처 비교, 또는 동일한 아키텍처와 토큰화를 가진 사전 학습 데이터를 가진 모델 비교).

3. 주요 기여

• 통합 벤치마크: GENEB은 포괄적인 작업 세트에 대해 40개의 다양한 유전체 파운데이션 모델을 철저하고 통제된 방식으로 평가하는 최초의 도구로서, 자연어 처리의 MTEB과 유사한 참조 프레임워크 역할을 합니다.
• 진단 프레임워크: 작업 수준의 트레이드오프와 성능 이질성을 드러냄으로써, GENEB은 단순한 종합 리더보드를 넘어 원칙에 기반한 범주 인식형(category-aware) 모델 선택을 가능하게 합니다.
• 체계적 분석: 논문은 규모, 아키텍처, 토𝑘나이제이션, 사전 학습 데이터가 어떻게 상호작용하는지에 대한 세밀한 해부를 제공하며, 파라미터 수가 성능의 주요 동력이라는 가설에 도전합니다.

4. 주요 결과

규모-성능 불일치 (The Scale–Performance Disconnect)

모델 규모와 성능 사이에는 통계적으로 유의미한 총체적 상관관계($\rho = 0.573$)가 존재하지만, 규모는 범주별 결과의 불완전한 예측 변수입니다.

• 도메인 내 역전 현상: 도메인 내 모델들 사이에서, 모델이 총체적 MCC 측면에서 더 큰 모델보다 최소 5배 더 작음에도 불구하고 더 우수한 성능을 보이는 사례가 25건 발견되었습니다.
• 도메인 불일치: 오직 원핵생물 서열로만 사전 학습된 7B 파라미터 모델인 EVO-1-131K를 제외하면 상관관계는 $\rho = 0.694$로 강화됩니다. 이 모델은 진핵생물 작업(예: TF 결합, 스플라이스 부위)에서 가장 낮은 순위를 기록하며, 도메인 불일치가 거대한 규모의 이점을 상쇄할 수 있음을 보여줍니다.

아키텍처 및 사전 학습 효과

• 아키텍처: 통제된 조건(사전 학습 및 토큰화가 일치하는 경우) 하에서 트랜스포머(Transformer) 기반 모델이 일반적으로 상태 공간 모델(예: Mamba)보다 우수한 성능을 보입니다. 그러나 이는 보편적이지 않습니다. 염색질 접근성(Chromatin Accessibility) 작업에서는 Mamba 기반 모델(ECCDNAMAMBA)이 트랜스포머 디코더보다 높은 성능을 보여, 아키텍처-작업 정렬이 매우 중요함을 시사합니다.
• 사전 학습 데이터: 분류학적 정렬이 결정적입니다.
  • 다종(Multi-species) vs 인간 전용(Human-only): 다종 사전 학습은 특히 염색질 접근성과 스플라이스 부위에서 인간 전용 사전 학습보다 작지만 일관된 이점을 제공합니다.
  • 진핵생물 vs 원핵생물/미생물: 원핵생물 또는 미생물 전용 코퍼스로 사전 학습된 모델은 진핵생물 작업으로 전이되는 능력이 떨어집니다. EVO-1-131K(원핵생물)와 DNABERT-S(미생물)는 진핵생물 중심 모델들에 비해 진핵생물 작업에서 크게 뒤처집니다.
  • 유전자 중심 vs 일반 모델: 유전자 중심 사전 학습(예: GENERATOR-EUKARYOTE)은 스플라이스 부위 및 lncRNA와 같은 특정 작업에서 광범위한 다종 사전 학습보다 우위를 점합니다.

토큰화 (Tokenization)

단일 토큰화 전략(BPE, k-mer, 단일 뉴클레오타이드)이 전역적으로 우위를 점하지는 않습니다. 최적의 선택은 아키텍처와 사전 학습 데이터의 상호작용에 달려 있습니다. 예를 들어, 인간 대상 사전 학습 모델의 경우 단일 뉴클레오타이드 토큰화(MUTBERT)가 BPE보다 특정 작업에서 우수하지만, 다종 디코더 설정에서는 BPE가 이점을 보입니다.

퓨샷 강건성 (Few-Shot Robustness)

데이터가 적은 레짐에서 성능은 급격히 저하됩니다(평균 macro-MCC가 풀 샷의 0.488에서 1-샷의 0.106으로 감소).

• 역전 패턴: 역설적이게도, 풀 샷 성능이 가장 낮은 모델들이 퓨샷 레짐에서 절대적인 성능 하락 폭이 가장 작게 나타나는 경향이 있습니다. 이는 진정한 강건성이라기보다는 낮은 성능 천장(performance ceiling) 때문인 것으로 분석됩니다.
• 범주 민감도: 퓨샷 순위는 13개 범주 중 8개에서 풀 샷 순위와 크게 달랐으며, 이는 풀 감독(full supervision)에 최적인 모델이 반드시 퓨샷 배포에 최적인 모델은 아님을 나타냅니다.

작업 난이도 및 전문화

• 어려운 경계선 (Hard Frontiers): DNA 메틸화 예측 및 식물 lncRNA 식별과 같은 작업은 여전히 해결되지 않은 과제로 남아 있으며, 많은 모델이 무작위 수준에 가까운 성능을 보입니다. 규모를 키우는 것만으로는 이러한 격차를 해소할 수 없습니다.
• 전문화: 변동성이 큰 작업들은 모델 선택이 다운스트림 성능에 막대한 영향을 미친다는 것을 보여줍니다. 전문화된 모델(예: 조절 작업용 ENFORMER, 식물 lncRNA용 PLANTCADUCEUS)은 파라미터 수가 더 적더라도 특정 도메인에서 일반 모델보다 우수한 성능을 보이는 경우가 많습니다.

5. 의의 및 주장

본 논문은 종합 리더보드가 불안정하며 모델 선택에 있어 종종 오해의 소지가 있다고 주장합니다. GENEB의 주요 의의는 다음과 같습니다:

1. 트레이드오프 노출: 아키텍처 및 사전 학습 정렬이 파라미터 수를 자주 능가하며, 모든 생물학적 맥락에서 단일 모델이 지배적이지 않음을 밝혀냅니다.
2. 원칙 있는 비교 가능성 제공: 파편화된 단일 논문 평가에서 벗어나, 통제되고 재현 가능한 비교를 통해 발전 과정을 평가할 수 있는 공유된 참조점을 제공합니다.
3. 모델 선택 가이드: 실무자들이 단일 글로벌 순위에 의존하기보다 특정 작업 요구 사항(예: 조절 vs 구조적 작업) 및 도메인 정렬(예: 진핵생물 vs 원핵생물)에 따라 모델을 선택하도록 유도합니다.

저자들은 규모 확장이 종합적인 성능의 중요한 예측 변수이긴 하지만, 어려운 유전체 작업을 해결하거나 도메인 불일치를 극복하기에는 불충분하다고 결론짓습니다. 향-후의 발전은 GENEB가 제공하는 진단적 통찰력을 바탕으로, 사전 학습 코퍼스 설계, 귀납적 편향(inductive bias), 그리고 작업 특화된 감독(supervision)에 대한 보완적인 진보를 필요로 합니다.