기술 요약: GENOME-FACTORY

문제 제기

후성유전학 예측, 조절 요소 발견, 종 분류와 같은 작업에서 게놈 기초 모델 (Genomic Foundation Models, GFMs) 의 변혁적 잠재력에도 불구하고, 생명과학 분야에서의 채택은 제한적입니다. 도메인 전문 지식과 기술 구현 사이에는 근본적인 격차가 존재합니다: 엔지니어들은 종종 생물학적 맥락이 부족하고, 생물학자들은 대규모 모델을 관리할 전문 지식이 부족합니다. 또한, 기존의 범용 언어 모델 프레임워크 (예: LLaMA-Factory) 는 게놈의 고유한 요구 사항을 해결하지 못합니다.

• 전문 데이터 처리: FASTA 와 같은 도메인 특화 형식, NCBI 와 같은 저장소와의 통합, 그리고 GC 함량 정규화와 같은 특정 전처리가 필요합니다.
• 표준화 부재: 게놈 모델은 다양한 의존성을 가진 이질적인 환경에서 구축되어 통합 배포가 어렵습니다.
• 작업의 이질성: 변이 효과 예측이나 인핸서 활성도와 같은 생물학적 작업은 지시 미세 조정 (instruction tuning) 이나 텍스트 생성과 같은 언어 목표와 크게 다르며, 맞춤형 손실 함수와 적응이 필요합니다.
• 평가 및 해석 가능성: 표준 텍스트 기반 벤치마크는 불충분하며, 과학자들에게 핵심 요구 사항인 생물학적 해석 가능성은 기존 미세 조정 프레임워크의 초점이 아닙니다.

따라서 이 분야는 게놈 모델의 미세 조정, 배포, 해석의 전체 파이프라인을 지원하는 통합되고 사용자 친화적인 플랫폼이 부족합니다.

방법론: GENOME-FACTORY 프레임워크

저자들은 게놈 기초 모델의 엔드 - 투 - 엔드 워크플로우를 간소화하도록 설계된 최초의 통합 Python 라이브러리인 GENOME-FACTORY를 소개합니다. 이 프레임워크는 모듈식이며, 여섯 가지 핵심 구성 요소로 이루어져 있습니다:

1. Genome Collector: 공개 저장소 (예: NCBI) 로부터 데이터 획득을 자동화하고 작업별 전처리를 적용합니다. 히스톤 변형, 인핸서, 프로모터와 같은 영역 기반 데이터셋 구축을 지원하며, 시퀀스 길이 필터링, GC 함량 정규화, 모호한 뉴클레오타이드 (N) 및 조성 이상치 제거를 포함한 엄격한 품질 관리를 강제합니다.
2. Model Loader: Hugging Face Transformers 생태계를 활용하여 HyenaDNA, DNABERT-2, Caduceus, Nucleotide Transformer 와 같은 다양한 판별 모델과 EVO, GenomeOcean 과 같은 생성 모델을 지원합니다. 해당 토크나이저와 모델 아키텍처의 자동 로딩을 처리합니다.
3. Model Trainer: 분류 및 회귀 작업 모두에 대한 미세 조정 프로세스를 관리합니다. 세 가지 전략을 지원합니다:
   • 전체 매개변수 미세 조정: 모든 모델 가중치를 업데이트합니다.
   • 저랭크 적응 (LoRA): 기본 모델을 고정하고 어텐션 또는 피드포워드 레이어에서 저랭크 행렬을 훈련합니다.
   • 어댑터 미세 조정: 고정된 기본 모델 뒤에 경량 신경 모듈 (예: MLP) 을 삽입합니다.
     트레이너는 혼합 정밀도 (FP16/BF16), Flash Attention, 그라디언트 누적, 분산 데이터 병렬 훈련과 같은 성능 최적화를 통합합니다.
4. Inference Engine: 하류 분석을 위한 시퀀스 임베딩 (최종 은닉 상태) 추출과 사용자 프롬프트로부터 새로운 DNA 시퀀스 생성이라는 두 가지 주요 작업을 위한 통합 인터페이스를 제공합니다.
5. Benchmarker: 두 가지 기존 오픈소스 벤치마크 (Genome Understanding Evaluation (GUE) 및 Genomic Benchmarks) 를 통합하고 사용자 정의 도메인 특화 평가 작업을 위한 플러그인 시스템을 제공하여 엄격한 평가를 용이하게 합니다. MCC, F1 점수, MSE 와 같은 지표 계산을 자동화합니다.
6. Biological Interpreter: **희소 오토인코더 (sparse auto-encoder, SAE)**를 기반으로 한 오픈소스 도구입니다. 모델 임베딩을 희소 잠재 단위로 분리하고 회귀를 통해 외부 생물학적 결과 (예: 모티프 존재, 시퀀스 길이) 와 정렬합니다. 이는 내부 표현을 해독하여 기계론적 통찰력을 제공하기 위한 것입니다.

이 프레임워크는 YAML 구성 파일을 사용하는 제로 - 코드 명령줄 인터페이스 (CLI) 와 Gradio 로 구축된 대화형 코드 없는 웹 기반 사용자 인터페이스 (WebUI) 를 통해 접근 가능합니다.

주요 기여

1. 통합 워크플로우: GENOME-FACTORY 는 데이터 수집, 모델 미세 조정, 추론, 벤치마킹, 해석 가능성을 단일 모듈식 Python 라이브러리로 통합한 최초의 프레임워크입니다.
2. 모델 독립성: 다양한 게놈 모델을 단일 인터페이스 하에 통합하여 특정 작업에 가장 적합한 모델을 비교하고 선택할 수 있도록 합니다.
3. 생물학적 해석 가능성: SAE 를 사용하여 GFM 표현을 해독하는 오픈소스 Biological Interpreter 를 도입하여, 블랙박스 예측을 넘어 잠재적 특징과 해석 가능한 게놈 특성을 연결합니다.
4. 접근성: CLI 및 WebUI 인터페이스를 제공함으로써 비전문 사용자의 기술적 장벽을 낮추면서도 고급 개발자를 위한 유연성을 유지합니다.

실증 결과

저자들은 세 가지 차원에서 GENOME-FACTORY 를 검증합니다:

1. 미세 조정 호환성: GUE 벤치마크에서 세 가지 미세 조정 전략 (전체, LoRA, 어댑터) 을 사용하여 여섯 가지 모델 (HyenaDNA, DNABERT-2, Caduceus, Nucleotide Transformer, EVO, GenomeOcean) 에 대한 실험은 어댑터 미세 조정이 가장 높은 효율성 (최저 메모리 사용량 및 최고 처리량) 을 제공하며, LoRA는 성능과 효율성의 강력한 균형을 제공함을 보여줍니다. 예를 들어, DNABERT-2 에서 어댑터 방법은 전체 미세 조정의 1 억 1,700 만 개 매개변수와 7.30GB 에 비해 학습 가능한 매개변수 20 만 개와 2.09GB 만 사용했습니다.
2. 벤치마킹 성능: 이 프레임워크는 GUE 및 Genomic Benchmarks 전반에 걸쳐 모델을 성공적으로 벤치마킹했습니다. 결과는 GenomeOcean-100M이 GUE 에서 전체 미세 조정 하에 가장 강력한 성능을 달성한 반면, DNABERT-2가 Genomic Benchmarks 에서 가장 좋은 성능을 보였음을 나타냅니다. 매개변수 효율적 방법 (LoRA) 은 종종 전체 미세 조정 성능과 일치했습니다 (예: Genomic Benchmarks 에서의 GenomeOcean-100M: 68.26 대 66.28). 이 연구는 또한 이러한 방법들을 SVM, Random Forest, CNN, PWM, HMM 과 같은 전통적인 베이스라인과 비교하여 기초 모델의 경쟁 우위를 입증했습니다.
3. 생물학적 해석: DNABERT-2 에 Biological Interpreter 를 사용하여, 저자들은 특정 SAE 잠재 차원이 시퀀스 길이와 강력하게 상관관계를 가진다는 것을 입증했습니다. 또한, SAE 활성화에 대한 로지스틱 회귀 프로브는 CTCF 결합 시퀀스와 배경을 구분하는 데 0.7881 의 정확도를 달성했으며, 특정 잠재 차원을 0 으로 설정하면 분류 정확도가 크게 감소하여 모델이 생물학적으로 의미 있는 조절 특징을 포착함을 확인했습니다.

중요성 및 주장

이 논문은 GENOME-FACTORY 가 계산 엔지니어와 생물학자 간의 간극을 메우는 통합적이고 실용적인 플랫폼을 제공함으로써 게놈 분야의 중요한 인프라 격차를 해소한다고 주장합니다. 데이터 획득부터 생물학적 해석까지의 워크플로우를 표준화함으로써, 이 라이브러리는 맞춤형 의학, 진화 생물학, 치료제 설계와 같은 실제 응용 분야에서 GFMs 의 채택을 가속화합니다.

저자들은 이 도구를 고급 게놈 모델링에 대한 "민주화된 접근"을 가능하게 하는 도구로 위치시킵니다. 그들은 Biological Interpreter 가 기계론적 해석 가능성 toward 중요한 단계이지만, 완전히 검증된 발견 엔진이 아니라 가설 생성을 위한 초기 도구로 간주되어야 한다고 명시적으로 언급합니다. 또한, 논문은 병원성 시퀀스 생성과 같은 잠재적 이중 사용 생물보안 위험을 인정하고, 향후 버전에는 시퀀스 스크리닝 및 위험 인식 생성 필터와 같은 소프트웨어 수준의 가드레일이 포함되어야 한다고 제안합니다.

궁극적으로 이 작업은 통합 프레임워크가 다양한 게놈 기초 모델의 미세 조정, 배포 및 해석을 효과적으로 지원할 수 있음을 보여주며, 이러한 강력한 도구를 더 넓은 연구 커뮤니티가 접근할 수 있도록 합니다.