ARCH3D: A foundation model for global genome architecture

이 논문은 DNA, RNA, 단백질에 국한되던 기존 생물학적 기반 모델의 한계를 넘어 전장 유전체의 공간적 구조를 포착하고 희소 데이터에서도 상호작용을 재구성할 수 있는 새로운 기반 모델인 ARCH3D 를 소개합니다.

핵심

이 논문은 **'ARCH3D'**라는 새로운 인공지능 모델을 소개합니다. 이 모델은 우리 몸속의 DNA 가 어떻게 3 차원 공간에 접혀 있는지, 즉 **'유전자의 건축 구조'**를 이해하는 데 특화된 '기초 모델 (Foundation Model)'입니다.

기존의 AI 모델들이 주로 DNA 의 문자열 (A, T, G, C) 이나 단백질 구조를 분석했다면, ARCH3D 는 전체 유전자가 어떻게 서로 연결되어 있는지를 파악하는 데 초점을 맞춥니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: 거대한 도서관의 지도가 사라지다

우리 세포 안의 DNA 는 길이가 약 2 미터나 되는 실처럼 매우 깁니다. 하지만 이 실은 세포라는 아주 작은 방에 쑤셔 넣어야 하죠. 그래서 DNA 는 마치 거대한 도서관처럼 정교하게 접혀 있습니다.

• 기존의 한계: 이전의 AI 모델들은 이 도서관의 **책장 하나 (DNA 조각)**만 보거나, **책장 옆의 작은 구석 (국소적인 부분)**만 분석했습니다. 마치 도서관 전체 지도 없이 책장 한 칸만 보고 "이 책이 어디에 있을까?"라고 추측하는 것과 비슷합니다.
• 실제 상황: 하지만 DNA 는 멀리 떨어진 두 부분이 서로 붙어있을 수도 있고 (예: 1 번 염색체의 한 부분과 20 번 염색체의 한 부분이 붙음), 이 연결이 세포의 운명을 결정합니다. 기존 모델은 이 **전체적인 연결 관계 (Global Architecture)**를 놓치고 있었습니다.

2. 해결책: ARCH3D, '전체 도서관의 지도'를 그리는 AI

ARCH3D 는 이 문제를 해결하기 위해 전체 도서관의 지도를 한눈에 볼 수 있는 능력을 갖췄습니다.

• 창의적인 학습법 (가림막 놀이):
  ARCH3D 는 '마스크 (가림막)' 게임을 통해 배웁니다.

  1. 도서관의 책장 (유전자 위치) 1,024 개를 무작위로 뽑습니다.
  2. 그중 200 개를 가림막으로 가립니다.
  3. AI 는 나머지 열린 책장들의 정보를 바탕으로, 가려진 책장들이 다른 책장들과 어떻게 연결되어 있는지를 추측해야 합니다.
  4. 이 과정을 반복하며 AI 는 "아, 이 책장은 저쪽 책장과 자주 붙어있구나"라는 전체적인 구조를 머릿속에 그립니다.

• 전체적인 시야:
  다른 모델들이 "이 책장 100 칸만 봐"라고 제한했다면, ARCH3D 는 **"전체 도서관에서 아무 책장이나 1,024 개 골라와"**라고 합니다. 이렇게 하면 멀리 떨어진 책장들 사이의 숨겨진 연결고리도 발견할 수 있습니다.

3. ARCH3D 의 놀라운 능력 3 가지

① 빈 공간도 채워주는 '마법 같은 복원력'

Hi-C(유전자 구조를 측정하는 기술) 데이터는 실험 조건에 따라 매우 희박하고 노이즈가 많을 때가 많습니다. 마치 비어있는 퍼즐 조각만 주어졌을 때, 전체 그림을 완성해야 하는 상황입니다.

• 기존 모델: 퍼즐 조각이 너무 적으면 "이건 알 수 없어"라고 포기하거나, 근처 조각만 보고 대충 채웁니다.
• ARCH3D: "이 조각이 비어있지만, 도서관 전체 지도를 기억하고 있으니 이 빈 공간에 어떤 그림이 들어갈지 완벽하게 추측해 낼 수 있어!"라고 말합니다. 데이터가 99% 이상 빠져도 나머지 1% 로 전체 구조를 정확하게 복원해냅니다.

② '가상의 3 차원 구조' 만들기

ARCH3D 는 단순히 숫자를 나열하는 게 아니라, 유전자가 실제 세포 핵 안에서 어떻게 배치되어 있는지를 수학적으로 재현합니다.

• 마치 가상 현실 (VR) 게임처럼, AI 가 만든 지도를 보면 실제 세포 안의 DNA 구조와 거의 똑같은 모양을 띠고 있습니다. 같은 염색체끼리는 가까이 있고, 다른 염색체는 멀리 있는 등 실제 물리적 법칙을 따릅니다.

③ '3 개 이상의 연결'을 찾아내다

기존 기술은 "A 와 B 가 연결되어 있나?" (2 개) 를 주로 봤다면, ARCH3D 는 **"A, B, C 세 곳이 동시에 연결된 '허브'가 있나?"**를 찾아냅니다.

• 이는 마치 3 명이서만 가능한 비밀 회의실을 찾는 것과 같습니다. 기존 모델들은 2 명끼리만 대화하는 것을 봤지만, ARCH3D 는 3 명 이상이 모여 중요한 일을 하는 복잡한 구조도 찾아냅니다. 이는 새로운 치료제 개발이나 세포 재프로그래밍에 큰 도움이 될 것입니다.

4. 결론: '가상 유전체 (Virtual Genome)'의 시작

이 연구의 최종 목표는 가상의 유전체를 만드는 것입니다.

• 상상해 보세요: 실험실에서 실제로 세포를 조작하기 전에, 컴퓨터 안에서 "만약 이 유전자를 건드리면 어떻게 될까?"라고 시뮬레이션해 볼 수 있다면 어떨까요?
• ARCH3D 는 그 시뮬레이션의 기초가 되는 3 차원 지도를 제공합니다. DNA, RNA, 단백질에 이어 이제 유전자의 건축 구조까지 AI 가 이해하게 된 것입니다.

한 줄 요약:
ARCH3D 는 거미줄처럼 복잡하게 얽힌 DNA 의 전체 지도를, 희박한 데이터로도 완벽하게 복원하고 예측할 수 있는 초지능 AI로, 앞으로 세포의 비밀을 풀고 새로운 치료법을 찾는 데 핵심 열쇠가 될 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 최근 생물학 기초 모델 (Foundation Models) 은 DNA 서열, RNA, 단백질 데이터 등을 기반으로 발전해 왔으며, Transformer 아키텍처를 통해 입력 컨텍스트를 확장함으로써 성능을 극대화하고 있습니다.
• 문제점: 기존 연구들은 주로 분자 서열 (DNA, RNA, Protein) 에 집중하여 왔습니다. 반면, 유전체 구조 (Genome Architecture) 를 결정하고 세포 주기, 운명 결정 등에 핵심적인 역할을 하는 **3 차원 유전체 구조 (Chromatin Organization)**는 상대적으로 간과되었습니다.
• 기존 기술의 한계:
  • 기존 Hi-C 데이터 분석 모델들은 주로 '패치 기반 (Patch-based)' 접근법을 사용합니다 (예: HiCFoundation). 이는 Hi-C 매핑의 작은 부분 (서브매트릭스) 만을 입력으로 받아 국소적인 상호작용만 학습할 수 있어, 전장 유전체 (Genome-wide) 수준의 장기 상호작용이나 염색체 간 (Interchromosomal) 상호작용을 포착하는 데 한계가 있습니다.
  • '로커스 기반 (Locus-based)' 접근법도 존재하지만, 기존 모델들은 입력 데이터의 해상도나 컨텍스트 윈도우 (Context Window) 가 매우 제한적이어서 전장 유전체 수준의 구조를 학습하기 어렵습니다.

2. 제안된 방법론 (Methodology)

저자들은 ARCH3D라는 새로운 유전체 구조 기초 모델을 제안했습니다. 이는 전장 유전체 Hi-C 데이터를 기반으로 로커스 (Locus) 단위의 임베딩을 생성하는 모델입니다.

• 데이터 전처리 및 토큰화 (Tokenization):

  • 입력 데이터: 4DNucleome 및 ENCODE 컨소시엄의 31 개 인간 조직에서 수집된 481 개의 Hi-C 실험 데이터 (5kb 해상도) 를 사용했습니다.
  • 로커스 기반 토큰화: 기존 패치 방식과 달리, 유전체 전체에 흩어진 임의의 로커스 (Locus) 를 입력으로 사용합니다. 각 로커스는 해당 영역에 해당하는 Hi-C 행렬의 전체 행 (Row) 을 포함하며, 로커스 길이는 5kb 에서 1Mb 까지 가변적으로 설정됩니다.
  • 위치 인코딩 (Positional Encoding): Transformer 의 순열 불변성 (Permutation-invariance) 을 해결하기 위해, 단순한 시퀀스 위치가 아닌 **생물학적 위치 (염색체 번호 + 염기서열 위치)**를 인코딩합니다. 이는 입력 시퀀스가 유전체 상에서 연속적이지 않아도 (임의의 로커스 선택) 모델이 공간적 관계를 이해할 수 있게 합니다.

• 모델 아키텍처:

  • Backbone: BERT-large 기반의 24 층 Transformer 인코더를 사용합니다.
  • 학습 태스크 (Masked Locus Modeling, MLM):
    • 입력 시퀀스 (1,024 개의 무작위 로커스) 중 200 개를 [MASK]로 가립니다.
    • 목표: 가려진 로커스를 포함한 모든 로커스 쌍 (Pairwise) 간의 접촉 빈도 (Contact Frequency, Hi-C 픽셀 값) 를 예측하는 것입니다.
    • 이 과정을 통해 모델은 국소적 정보뿐만 아니라 전장 유전체 수준의 구조적 맥락을 학습하게 됩니다.

• 파인튜닝 (Fine-tuning) 전략:

  • 해상도 향상 (Resolution Enhancement): 희소성이 극도로 높은 (예: 1% 샘플링) Hi-C 데이터로부터 고해상도 접촉 지도를 복원하는 태스크에 파인튜닝합니다.
  • 하이퍼엣지 예측 (Hyperedge Prediction): Hi-C 데이터 (쌍별 상호작용) 를 기반으로 Pore-C 데이터 (다중 상호작용, Multi-way interactions) 를 예측하는 태스크에 적용합니다.

3. 주요 기여 및 성과 (Key Contributions & Results)

가. 전장 유전체 구조의 보존 (Preservation of Global Structure)

• ARCH3D 가 생성한 임베딩 공간은 실제 세포핵 내의 3 차원 유전체 구조를 잘 반영합니다.
• 염색체 영역 (Chromosome Territories): 동일한 염색체 내 로커스들의 임베딩 거리가 서로 다른 염색체 간 거리보다 가깝게 형성되어, 염색체 영역을 잘 구분합니다.
• 세포 분화도 반영: 덜 분화된 세포 (H1-hESC) 일수록 임베딩 간 거리가 가깝고, 분화가 진행될수록 (GM12878, IMR-90) 거리가 멀어지는 등, 실제 생물학적 분화 과정과 일치하는 패턴을 보입니다.

나. 극도의 희소성 하에서의 상호작용 추론 (Inference under Extreme Sparsity)

• 기존 패치 기반 모델 (HiCFoundation) 은 국소적 디테일은 잘 복원하지만, 염색체 간 상호작용이나 데이터가 거의 없는 영역에서는 실패합니다.
• ARCH3D 는 **1% 샘플링 (약 0.42% 만의 비영점 픽셀)**과 같은 극도로 희소한 데이터에서도 전장 유전체, 특히 염색체 간 (Interchromosomal) 상호작용을 정확하게 복원합니다. 이는 전장 유전체 맥락을 학습한 기초 모델의 강력한 능력을 입증합니다.

다. 고차원 구조 (Multi-way Interactions) 식별

• Hi-C 데이터 (쌍별 상호작용) 만으로 Pore-C 데이터 (3~5 개 로커스의 동시 상호작용) 를 예측하는 능력을 검증했습니다.
• 성능: ARCH3D 는 평균 AUROC 0.930을 기록하여, 기존 최첨단 모델인 MATCHA (0.787) 및 통계적 다중 상관관계 방법들보다 압도적으로 우수한 성능을 보였습니다. 이는 ARCH3D 임베딩이 유전체의 고차원적 구조적 특성을 효과적으로 포착함을 의미합니다.

4. 의의 및 향후 전망 (Significance & Future Directions)

• 생물학 기초 모델 생태계 확장: DNA, RNA, 단백질에 집중되어 있던 기존 기초 모델 생태계에 **3 차원 유전체 구조 (Genome Architecture)**를 통합한 최초의 모델 중 하나입니다.
• 가상 유전체 (Virtual Genome) 의 기반: ARCH3D 는 유전체 구조를 시뮬레이션하고, 세포 재프로그래밍 전략을 탐색하거나, 실험실 (Wet-lab) 실험을 최적화하는 '가상 유전체' 구축을 위한 핵심 구성 요소가 될 수 있습니다.
• 다중 모달리티 통합: 향후 ARCH3D 임베딩은 단일 세포 RNA-seq 기초 모델이나 에피제네틱 데이터와 결합되어, 유전체 구조와 유전자 발현을 통합적으로 이해하는 강력한 도구로 발전할 것으로 기대됩니다.

요약

ARCH3D 는 Transformer 기반의 기초 모델로서, 가변 길이 로커스 토큰화와 **전장 유전체 맥락을 활용한 마스킹 학습 (MLM)**을 통해 기존 Hi-C 분석 모델들의 한계를 극복했습니다. 이는 극도로 희소한 데이터에서도 전장 유전체 구조를 복원하고, 고차원적 상호작용을 예측할 수 있게 하여, 차세대 생물학 발견 및 가상 실험을 위한 강력한 기반을 마련했습니다.