ChromBERT: Uncovering Chromatin State Motifs in the Human Genome Using a BERT-based Approach

이 논문은 ROADMAP 컨소시엄의 127 가지 인간 세포 및 조직 데이터로 사전 훈련된 BERT 기반 모델인 ChromBERT 를 개발하여 다양한 생물학적 맥락에서 유전자 발현 예측, 세포 유형 분류, 3 차원 게놈 특성 분류 등 다양한 다운스트림 태스크를 수행하고 동적 시간 왜곡 (DTW) 을 활용해 의미 있는 크로마틴 상태 모티프를 발견하는 새로운 프레임워크를 제시합니다.

핵심

1. 배경: 유전자는 거대한 도서관이고, 크로마틴은 책의 상태입니다

우리의 DNA 는 거대한 도서관처럼 생겼습니다. 그런데 이 도서관의 책 (유전자) 들은 항상 같은 상태로 있는 게 아닙니다.

• 활성화 (Active): 책이 펼쳐져서 누구나 읽을 수 있는 상태 (유전자가 작동 중).
• 비활성화 (Repressed): 책이 꽁꽁 잠겨 있거나, 책장에 꽂혀 있어 읽을 수 없는 상태 (유전자가 꺼짐).

이 '책의 상태'를 결정하는 것이 히스톤 변형이라는 화학적 표시들입니다. 과학자들은 이 표시들을 조합해서 15 가지의 '크로마틴 상태'로 분류했습니다. 마치 책에 붙은 '빨간색 스티커 (활성)', '검은색 스티커 (비활성)', '노란색 스티커 (준비 중)' 같은 거죠.

2. 문제: 스티커 패턴을 읽을 사람이 필요해요

이전까지 과학자들은 이 스티커들이 어떻게 배열되어 있는지 분석했지만, **"어떤 스티커 조합이 유전자를 켜는 핵심 열쇠인가?"**를 찾아내는 건 여전히 어려웠습니다. 마치 책장에 붙은 스티커들을 보고 "아, 이 책이 인기 있는구나"라고 추측하는 것과 비슷하죠.

3. 해결책: ChromBERT (크롬버트) - 유전자 도서관의 '독서 코치'

연구팀은 BERT(자연어 처리 AI) 기술을 차용해서 ChromBERT라는 새로운 모델을 만들었습니다.

• 비유: ChromBERT 는 유전자의 스티커 패턴을 문장처럼 읽는 고급 독서 코치입니다.
• 학습 방법: 이 코치는 ROADMAP 프로젝트에서 수집한 127 가지 종류의 인간 세포 (간세포, 뇌세포, 피부세포 등) 에 있는 수백만 개의 '스티커 패턴'을 읽으며 훈련했습니다. 마치 수백 권의 책을 읽으며 "어떤 스티커 조합이 어떤 책 (유전자) 을 활성화하는지"를 외운 셈입니다.

4. ChromBERT 가 해낸 놀라운 일들

이 코치는 단순히 책을 읽는 것을 넘어, 몇 가지 중요한 일을 해냈습니다.

① 유전자의 목소리 크기 예측하기 (발현량 예측)

• 상황: 유전자가 얼마나 활발하게 일하고 있는지 (소리를 얼마나 크게 내는지) 를 스티커 패턴만으로 예측합니다.
• 결과: ChromBERT 는 유전자 주변에 어떤 스티커들이 붙어있는지 보면, "이 유전자는 아주 크게 소리를 낼 거야 (고발현)" 또는 "조용히 잠자고 있을 거야 (저발현)"라고 80% 이상의 정확도로 맞췄습니다.
• 비유: 책장 앞의 스티커 배열만 보고 "이 책은 베스트셀러야"라고 딱 집어내는 능력입니다.

② 세포의 정체성 찾기 (세포 분류)

• 상황: 간세포와 뇌세포는 DNA 는 똑같지만, 스티커 패턴이 다릅니다.
• 결과: ChromBERT 는 스티커 패턴을 분석해서 "이건 간세포야", "이건 뇌세포야"라고 구분해 냈습니다. 특히 배아줄기세포 (ESC) 에서는 **'J'**라는 특별한 스티커 (양면적/준비된 상태) 가 많이 발견되었는데, 이는 줄기세포가 가진 '어떤 세포로도 변할 수 있는 잠재력'을 나타내는 특징이었습니다.
• 비유: 사람의 옷차림이나 말투만 보고 "이 사람은 의사야", "이 사람은 예술가야"라고 알아맞히는 능력입니다.

③ 유전자의 3D 지도 읽기 (3D 게놈 구조)

• 상황: 유전자는 3 차원 공간에서 구겨지거나 뭉쳐서 특정 구역 (A 구역/활성, B 구역/비활성) 을 만듭니다.
• 결과: ChromBERT 는 스티커 패턴만 보고도 "이 부분은 활발하게 움직이는 A 구역이야"라고 구분해 냈습니다.
• 비유: 책장 전체의 구조를 보지 않고, 책장 앞의 스티커 배열만 보고 "이 구역은 사람들이 많이 찾는 인기 구역이야"라고 예측하는 것입니다.

5. 핵심 기술: DTW (동적 시간 왜곡) - 패턴의 유연한 해석

가장 흥미로운 점은 ChromBERT 가 DTW라는 기술을 썼다는 것입니다.

• 문제: 생물학에서 패턴은 항상 똑같은 길이가 아닙니다. "빨간-노란-초록" 스티커가 3 개일 수도 있고, 5 개일 수도 있습니다.
• 해결: DTW 는 마치 음악을 들을 때처럼, 템포가 조금 달라도 같은 멜로디로 인식하는 기술입니다. 스티커의 길이가 조금 달라도 "아, 이건 같은 의미의 패턴이구나!"라고 유연하게 묶어주어, 진짜 중요한 **핵심 패턴 (모티프)**을 찾아냅니다.

6. 결론: 왜 이것이 중요한가요?

ChromBERT 는 유전자의 복잡한 언어 (스티커 패턴) 를 해석할 수 있는 강력한 도구를 제공했습니다.

• 의미: 이제 우리는 유전자가 왜 켜지고 꺼지는지, 세포가 어떻게 다른지, 그리고 유전자가 3 차원적으로 어떻게 조직되는지를 더 깊이 이해할 수 있게 되었습니다.
• 미래: 이 기술은 암 연구나 희귀 질환 치료, 그리고 새로운 약물 개발에 중요한 단서를 제공할 수 있습니다. 마치 유전자의 '비밀 코드'를 해독하는 열쇠를 찾은 것과 같습니다.

한 줄 요약:

ChromBERT 는 유전자의 '스티커 패턴'을 읽어 유전자의 작동 원리와 세포의 정체성을 찾아내는, 인공지능 기반의 유전자 독서 코치입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 염색질 상태 (Chromatin states) 는 히스톤 변형의 특정 조합으로 정의되며, 유전자 발현 조절과 세포 정체성 (cellular identity) 에 핵심적인 역할을 합니다. ROADMAP 컨소시엄과 같은 대규모 프로젝트를 통해 127 가지 인간 세포 및 조직 유형에 대한 15 가지 염색질 상태 주석 (annotation) 이 생성되었습니다.
• 문제점:
  • 기존 연구들은 주로 개별 유전자 좌위나 특정 히스톤 마커에 집중했으나, 염색질 상태 시퀀스 내의 **복합적인 패턴 (모티프, motifs)**을 체계적으로 발견하고 해석하는 것은 미해결 과제였습니다.
  • DNA 서열 모티프와 달리, 염색질 상태 모티프는 길이가 가변적이고 (variable-length), 세포 유형에 따라 역동적으로 변화합니다.
  • 기존의 k-mer 기반 알고리즘이나 단순 정렬 방법은 이러한 길이와 구조의 변이를 효과적으로 처리하지 못해, 생물학적으로 의미 있는 패턴을 놓칠 수 있습니다.
  • 따라서, 염색질 상태 시퀀스의 장기적 의존성 (long-range dependencies) 을 학습하고 가변적인 길이의 모티프를 식별할 수 있는 새로운 프레임워크가 필요합니다.

2. 방법론 (Methodology)

이 연구는 자연어 처리 (NLP) 의 BERT 아키텍처를 염색질 상태 데이터에 적용한 ChromBERT를 제안합니다.

• 데이터 전처리:
  • ROADMAP 프로젝트의 15 가지 염색질 상태 (숫자 115) 를 알파벳 (AO) 으로 변환하여 시퀀스 데이터로 구성합니다.
  • 200bp 간격의 주석을 문자열로 압축하여 연속된 시퀀스를 생성합니다.
  • 토큰화 (Tokenization): DNA 서열 분석의 DNABERT 와 유사하게 4-mer(4 개의 연속된 상태) 단위로 슬라이딩 윈도우를 적용하여 토큰화합니다. (어휘 크기: 약 50,630 개).
• 모델 아키텍처 및 학습:
  • 사전 학습 (Pretraining): 127 가지 세포 유형의 전장 유전체 (Whole-genome) 및 프로모터 영역 (TSS 주변) 데이터를 기반으로 마스크된 토큰 예측 (Masked Token Prediction, MLM) 작업을 수행하여 사전 학습합니다.
  • 미세 조정 (Fine-tuning): 사전 학습된 모델을 다양한 다운스트림 태스크 (이진 분류, 회귀 분석) 에 맞게 미세 조정합니다.
• 모티프 발견 및 클러스터링 (핵심 기술):
  • 어텐션 기반 추출: 미세 조정된 모델의 어텐션 맵 (attention matrix) 에서 높은 가중치를 받는 시퀀스 영역을 추출하여 후보 모티프를 식별합니다.
  • 동적 시간 왜곡 (Dynamic Time Warping, DTW): 염색질 모티프의 길이 변이와 구조적 유사성을 처리하기 위해 DTW 알고리즘을 도입합니다.
  • 클러스터링: DTW 점수를 기반으로 유사한 모티프들을 계층적 클러스터링 (Agglomerative Clustering) 하여 대표 모티프 패턴을 도출합니다. 이는 정확한 서열 일치뿐만 아니라 생물학적으로 유사한 기능 패턴을 그룹화합니다.

3. 주요 기여 (Key Contributions)

1. ChromBERT 모델 개발: 염색질 상태 시퀀스를 '언어'로 간주하고 BERT 기반의 자기 주의 (self-attention) 메커니즘을 적용하여 전장 유전체 수준의 염색질 패턴을 학습하는 최초의 모델 중 하나입니다.
2. 가변 길이 모티프 처리: DTW 를 결합하여 길이가 다르고 역동적인 염색질 상태 패턴을 효과적으로 정렬하고 클러스터링하는 새로운 워크플로우를 제시했습니다.
3. 다양한 태스크에서의 검증: 유전자 발현 예측, 세포 유형 분류, 3D 게놈 구조 분류 등 다양한 생물학적 태스크에서 모델의 성능을 입증했습니다.
4. 생물학적 통찰력 제공: 고발현 유전자와 관련된 프로모터 모티프, 줄기세포 특이적 모티프 (bivalent/poised TSS), 그리고 3D 게놈 영역 (A/B compartment) 과의 상관관계를 규명했습니다.

4. 주요 결과 (Results)

• 유전자 발현 예측:
  • 이진 분류: 프로모터 영역 (TSS 상/하류) 의 염색질 상태 시퀀스를 기반으로 고발현/비발현 유전자를 분류하는 데 높은 정확도 (F1 점수) 를 보였습니다. 특히 상류 190kb/하류 100kb 영역을 입력으로 사용할 때 가장 좋은 성능을 나타냈습니다.
  • 회귀 분석: 염색질 상태 시퀀스만으로 유전자 발현량 (log-transformed RPKM) 을 정량적으로 예측하여 Pearson 상관 계수 0.791을 달성했습니다.
  • 어텐션 분석: 모델은 TSS 주변 (프로모터) 에 가장 높은 주의를 기울였으며, 이는 생물학적으로 알려진 조절 메커니즘과 일치합니다.
• 세포 유형 특이적 모티프 발견:
  • 다양한 세포 유형 (ESC, iPSC, T 세포 등) 간의 이진 분류를 수행하여 세포 유형별 특이적인 염색질 서명 (signature) 을 식별했습니다.
  • 특히 배아 줄기세포 (ESC) 에서 **bivalent/poised TSS 상태 ('J')**가 풍부한 모티프가 발견되었으며, 이는 줄기세포의 다능성 (pluripotency) 과 관련된 생물학적 사실과 부합합니다.
• 3D 게놈 구조 분류:
  • A/B Compartment: 염색질 상태 패턴을 기반으로 활성 (A) 과 비활성 (B) 영역을 매우 정확하게 분류했습니다.
  • TAD 경계: TAD (Topologically Associating Domain) 경계와 비경계 영역을 구분하는 성능은 상대적으로 낮았으나 (F1 < 0.7), 이는 TAD 경계의 복잡성과 데이터의 한계 때문으로 분석되었습니다.
• 모티프 클러스터링: DTW 기반 클러스터링을 통해 "G-B-A"와 같은 전이 패턴 (엔핸서에서 활성 프로모터로의 전환) 이나 "OOO...AAA"와 같은 급격한 상태 변화 패턴 등을 발견하여 유전자 발현 조절의 역동성을 규명했습니다.

5. 의의 및 결론 (Significance)

• 새로운 패러다임: 염색질 상태를 단순한 주석이 아닌 '시퀀스 언어'로 해석하여, NLP 기반 딥러닝이 에피게놈 데이터 분석에 적용될 수 있음을 증명했습니다.
• 해석 가능성 (Interpretability): 블랙박스 모델이 아닌, 어텐션 메커니즘과 DTW 클러스터링을 통해 생물학적으로 해석 가능한 모티프 패턴을 직접 추출할 수 있습니다.
• 확장성: ROADMAP 데이터뿐만 아니라 IHEC(국제 인간 에피게놈 컨소시엄) 의 18 상태 모델 등 더 큰 규모의 데이터셋에도 적용 가능하며, 향후 다양한 에피게놈 태스크 (예: 질병 연관 변이 예측, 약물 반응 예측 등) 의 기반이 될 수 있습니다.
• 한계 및 향후 과제: TAD 경계 예측의 낮은 성능은 3D 게놈 구조가 염색질 상태만으로 완전히 설명되지 않음을 시사하며, CTCF 결합 데이터 등 다른 오믹스 데이터와의 통합이 필요함을 지적했습니다. 또한, 토큰화 전략과 입력 길이 제한을 개선하여 더 긴 범위의 의존성을 학습할 수 있도록 발전시킬 필요가 있습니다.

이 연구는 ChromBERT 를 통해 인간 게놈의 에피게놈적 복잡성을 체계적으로 해독하고, 유전자 조절 메커니즘을 이해하는 새로운 프레임워크를 제시했다는 점에서 의의가 큽니다.