Leveraging Natural Language Processing to Unravel the Mystery of Life: A Review of NLP Approaches in Genomics, Transcriptomics, and Proteomics

기술 요약: 자연어 처리를 활용한 생명의 신비 규명

문제 정의
고처리량 시퀀싱 기술의 급격한 발전은 유전체학, 전사체학 및 단백질체학 분야에서 생물학적 데이터의 기하급수적인 축적을 초래했습니다. 그러나 이러한 기술들은 생물학적 해석이나 통찰력을 본질적으로 제공하지 못한 채 방대한 양의 서열 데이터를 생성합니다. 주요 과제는 생물학적 서열(DNA, RNA, 단백질)의 "구문(syntax)"과 "의미론(semantics)"을 해독하여 그 기능, 구조 및 진화적 관계를 이해하는 것입니다. 전통적인 생물정보학 방법론은 이러한 서열 내의 복잡하고 장기적인 의존성(long-range dependencies)과 맥락적 미묘함을 포착하는 데 어려움을 겪는 경우가 많습니다. 본 리뷰는 인간의 언어를 분석하기 위해 개발된 자연어 처리(NLP) 기술을 생물학적 서열에 체계적으로 적용하여, 이들을 의미 있는 생물학적 통찰을 추출하기 위한 언어적 텍스트로 취급하는 격차를 다룹니다.

방법론
본 논문은 생물학적 서열 데이터에 적용된 NLP 접근 방식에 대한 포괄적인 리뷰를 수행하며, 이를 아키텍처의 진화와 생물학적 도메인에 따라 분류합니다. 방법론은 다음과 같습니다:

1. 아키텍처 진화 분석: 저자들은 고전적 방법에서 현대적 딥러닝 아키텍처로 이어지는 NLP 모델의 발전 과정을 추적합니다:

   • 고전적 임베딩(Classical Embeddings): 토큰을 밀집 벡터로 매핑하지만 문맥 인식 능력이 부족하고 다의성(polysemy) 문제를 겪는 Word2vec(Skip-gram, CBOW), FastText, Glove와 같은 정적 벡터 표현을 조사합니다.
   • 순환 신경망(RNNs): 순차적 의존성과 문맥을 포착하지만 병렬 처리와 장기 의존성 유지에 한계가 있는 LSTM 및 양방향 LSTM(BiLSTM)(예: ELMo) 모델을 분석합니다.
   • 트랜스포머(Transformers): 서열을 병렬로 처리하여 장거리 의파성 및 문맥 특화적 토큰 표현을 포착할 수 있게 하는 셀프 어텐션(self-attention) 메커니즘(예: BERT, GPT)을 평가합니다.
   • 효율적 아키텍처: 표준 트랜스포머의 계산 병목 현상인 긴 유전체 서열 처리를 해결하기 위해, 데이터 제어 연산자와 긴 컨볼루션을 사용하여 하위 이차 시간 복잡도(sub-quadratic time complexity)를 달-성하는 Hyena 아키텍처와 같은 최근의 발전을 검토합니다.

2. 토큰화 전략(Tokenization Strategies): 본 논문은 생물학적 서열을 NLP 토큰으로 변환하는 방법을 분석하며, 생물학적 데이터에는 자연적인 구분자(공백이나 구두점 등)가 없다는 점에 주목합니다. 접근 방식은 다음과 같습니다:

   • 문자 단위(Character-level): 개별 뉴클레오타이드나 아미노산을 토큰으로 취급합니다.
   • k-mer 기반: 서열을 고정된 크기의 중첩되거나 중첩되지 않는 부분 문자열로 분할합니다.
   • 서브워드 토큰화(Sub-word tokenization): 빈번한 문자 조합을 반복적으로 병합하여 어휘 크기와 문맥 정보를 균형 있게 조절하는 Byte Pair Encoding(BPE), WordPiece, SentencePiece와 같은 알고리즘을 활용합니다.

3. 도메인 특화 적용 리뷰: 본 리뷰는 세 가지 주요 생물학적 도메인에 걸친 모델을 조사합니다:

   • DNA/RNA 언어 모델: 프로모터 예측, 변이 효과 평가, 유전자 발현 모델링 등의 작업을 위해 유전체 서열로 사전 학습된 모델(예: DNABERT, Nucleotide Transformer, Enformer, HyenaDNA, Evo)을 다룹니다.
   • 단백질 언어 모델(pLMs): 구조 예측, 기능 주석 및 돌연변이 효과 분석을 위해 아미노산 서열로 학습된 모델(예: ProtTrans, ESM 시리즈, MSA Transformer)을 다룹니다.
     গঠিত
   • 유전자 수준 유전체 언어 모델: 유전적 맥락(synteny, operons)을 활용하여 기능적 주석을 수행하기 위해 전체 게놈이나 유전자 클러스터를 문장처럼 취급하는 접근 방식(예: gLM, Bacformer)을 다룹니다.

주요 기여

• 체계적 분류 체계: 본 논문은 생물학적 언어 모델의 지형을 아키텍처, 토큰화 방법, 그리고 생물학적 대상(DNA, RNA, 단백질 또는 게놈)에 따라 분류하여 구조적인 개요를 제공합니다.
• 토큰화의 비교 분석: 어휘 희소성, 서열 길이, 생물학적 모티프 포착 능력 측면에서 다양한 토큰화 전략(문자 vs k-mer vs 서브워드) 간의 트레이드오프를 비판적으로 평가합니다.
• 벤치마킹 및 데이터셋: 다양한 작업에서 모델의 성능을 벤치마킹하는 데 필수적인 Genome Understanding Evaluation (GUE), ProteinGym, PETA와 같은 기존 평가 프레임워크와 데이터셋을 강조합니다.
• 아키텍처 트렌드 식별: 정적 임베딩에서 문맥 인식 트랜스포머로의 전환과, 매우 긴 유전체 서열을 처리하기 위해 특별히 설계된 선형 복잡도 아키텍처(Hyena, Mamba)의 등장을 기록합니다.

결과 및 발견

• 성능 우위: 트랜스포머 기반 모델은 전사 인자 결합 부위 예측, 단백질 이차 구조, 돌연변이 효과와 같이 문맥 이해가 필요한 작업에서 일반적으로 고전적 임베딩 및 RNN보다 뛰어난 성능을 보입니다.
• 문맥적 임베딩: ESM-2 및 DNABERT-2와 같은 모델은 대규모 데이터셋에서의 사전 학습이 미세 조정(fine-tuning) 또는 제로샷 추론(zero-shot inference)을 통해 다운스트림 작업으로 잘 일반화되는 진화적 및 구조적 특징 추출을 가능하게 함을 입증합니다.
• 긴 서열 처리: 표준 트랜스포머는 이차 복잡도로 인해 제한이 있어 전체 게놈 분석에는 효과적이지 않습니다. HyenaDNA 및 Evo와 같은 새로운 아키텍처는 최대 100만 개의 뉴클레오타이드를 성공적으로 처리하여, 원거리 인핸서-프로모터 상호작용 및 대규모 게놈 생성을 모델링할 수 있습니다.
• 다중 모달 통합: 고급 모델(예: ESM3, gLM2)은 여러 모달리티(서열, 구조, 기능 및 유전적 맥락)를 통합하기 시작했으며, 이는 단백질 설계 및 오페론 예측과 같은 작업에서 향상된 성능을 보여줍니다.
• 한계점: 리뷰에서는 단백질 모델이 코돈 사용 편향(codon usage bias)을 무시하는 경우가 많으며, 많은 모델이 여전히 유전자의 더 넓은 유전적 맥락을 완전히 포착하는 데 한계가 있다고 지적합니다. 또한, 사전 학습에 드는 계산 비용이 소규모 연구 그룹에게는 여전히 장벽으로 남아 있습니다.

의의
본 논문은 NLP의 생물정보학 통합이 생물학적 데이터를 해석하는 방식의 패러다임 전환을 의미한다고 주장합니다. 생물학적 서열을 하나의 언어로 취급함으로써, 연구자들은 언어 모델의 강력한 패턴 인식 능력을 활용하여 생명의 "문법"을 해독할 수 있습니다. 그 의의는 다음과 같습니다:

• 발견 가속화: 주석이 달리지 않은 서열로부터 기능적 통찰을 빠르게 추출하고 유전적 변이의 영향을 예측합니다.
• 도메인 간 가교 역할: 유전체학, 전사체학 및 단백질체학 분석을 단일 계산 프레임워크 아래로 통합합니다.
• 생성 능력 부여: 특정 기능적 특성을 가진 단백질 및 합성 게놈의 de novo 설계를 용이하게 합니다.

저자들은 분야가 급격히 발전하고 있지만, 향-후의 진보는 긴 서열을 위한 더 효율적인 아키텍처 개발, 더욱 다양하고 견고한 벤치마킹 데이터셋 구축, 그리고 서열 정렬(sequence alignment) 및 스플라이싱 예측과 같은 복잡한 생물학적 문제를 해결하기 위해 고전적인 NLP 작업(예: 번역 및 요약)을 창의적으로 적응시키는 것에 달려 있다고 결론짓습니다. 본 리뷰는 NLP와 계산 생물학의 교차점에 있는 연구자들을 위한 기초적인 가이드 역할을 합니다.