기술 요약: BlockFormer – 상호작용 맵 기반의 트랜스포머 추론

1. 문제 정의

본 논문은 개체 간의 쌍별 관계를 요약한 상호작용 맵으로부터 개체별 매개변수를 추론하는 일반적인 역문제에 대해 다룹니다. 이러한 맵들은 종종 **블록별 구조 (block-wise structure)**를 보이는데, 각 블록은 두 특정 개체 간의 상호작용을 나타냅니다. 핵심적으로, 이러한 블록의 수와 크기는 서로 다른 사례 (예: 다른 종 또는 실험 해상도) 간에 크게 변하며, 맵 내에는 블록 내부의 국소적 패턴과 블록 간의 비국소적 정렬 정보가 모두 포함되어 있습니다.

주요 생물학적 응용 사례로 히트-Contact (Hi-C) 접촉 맵으로부터의 중심체 (centromere) 국소화가 강조됩니다. 이 맥락에서 상호작용하는 개체는 염색체이며, 목표는 전-블록 (trans-blocks, 염색체 간 상호작용) 의 상호작용 피크를 기반으로 중심체의 게놈 위치 ($\theta$) 를 식별하는 것입니다. 기존 방법인 Centurion과 같은 방법들은 비볼록 최적화를 통해 상호작용 피크에 가우스 프로파일을 적합시키는 방식에 의존합니다. 효과적이기는 하지만, 이러한 접근 방식은 계산 비용이 많이 들고, 비감가 (non-amortized, 새로운 데이터셋마다 재최적화 필요) 이며, 초기화에 민감합니다. 또한, 표준 딥러닝 접근법 (CNN, 그래프 신경망) 은 이러한 맵들의 가변적 차원과 블록별 조직화 처리에 어려움을 겪습니다.

2. 방법론: BlockFormer

저자들은 가변적인 블록 수와 크기를 가진 상호작용 맵을 처리하도록 특별히 설계된 트랜스포머 기반 아키텍처인 BlockFormer를 제안합니다.

아키텍처

• 블록 인식 토큰화 (Block-Aware Tokenization): 입력 맵은 블록 시퀀스로 분해됩니다. 블록 구조를 존중하기 위해 저자들은 각 블록에 비대칭 제로 패딩을 적용하여 차원이 패치 크기 ($P$) 의 배수가 되도록 합니다. 그런 다음 맵을 정사각형 패치로 잘라냅니다.
• 3D 위치 인코딩: 핵심 혁신은 각 패치에 대한 3D 위치 인코딩 $(i, j, k)$의 사용입니다. 여기서:
  • $i$는 블록 인덱스입니다.
  • $(j, k)$는 해당 블록 내 패치의 상대적 위치입니다.
    이 인코딩은 모델이 서로 다른 블록을 구분하고 블록 내 공간 정보를 유지할 수 있게 하여, 개체 수와 블록 크기가 변하는 경우에도 일반화할 수 있게 합니다.
• 트랜스포머 백본: 아키텍처는 비전 트랜스포머 (ViT) 패러다임을 따르며, 멀티헤드 셀프 어텐션, 레이어 정규화 (LayerNorm), MLP 블록을 교대로 사용합니다. 학습 가능한 클래스 토큰이 시퀀스 앞에 추가되어 전역 정보를 집계하고 매개변수 추정치를 출력합니다.
• 출력 프로젝션: 클래스 토큰은 선형 레이어와 시그모이드 활성화 함수를 통해 투영되어 매개변수의 정규화된 추정치 (예: 염색체 내 상대적 위치) 를 생성하며, 이는 실제 게놈 좌표로 재조정됩니다.

훈련 전략 및 시뮬레이션

• 시뮬레이션 기반 추론 (SBI): 수동 주석의 비용과 생물물리 시뮬레이터의 복잡성을 피하기 위해, 저자들은 경량 접촉 맵 시뮬레이터를 설계했습니다. 이 시뮬레이터는 전-블록 내 중심체 위치에 가우스 "스팟"을 배치하고 노이즈를 추가하며 희귀 상호작용을 시뮬레이션함으로써 합성 상호작용 맵을 생성합니다.
• 유연한 훈련: 모델은 **가변적인 블록 수 (염색체)**와 가변적인 블록 크기를 가진 합성 맵 배치로 훈련됩니다. 이 전략은 네트워크가 개체의 특정 수와 크기에 불변인 표현을 학습하도록 강제하여, 보지 못한 종과 해상도에 일반화할 수 있게 합니다.
• 손실 함수: 모델은 시뮬레이터의 예측 매개변수와 실제 값 (ground truth) 간의 표준 회귀 손실 (평균 제곱 오차) 을 사용하여 훈련됩니다.

불확실성 정량화

점 추정치를 넘어, BlockFormer는 베이지안 프레임워크 내에서 요약 통계량으로 작용합니다. 저자들은 훈련된 모델을 근사 베이지안 계산 (ABC) 및 신경 사후 추정 (NPE) 파이프라인에 통합하여 매개변수 추정치의 불확실성을 정량화하고, 점 추정치뿐만 아니라 사후 밀도를 제공합니다.

3. 주요 기여

1. BlockFormer 아키텍처: 블록별 패딩과 3D 위치 인코딩을 통해 상호작용 맵의 블록별 구조를 명시적으로 모델링하는 새로운 트랜스포머 아키텍처로, 가변적 입력 차원의 문제를 해결합니다.
2. 데이터 기반 접근법: 추론에 필요한 필수 구조적 패턴 (스팟형 상호작용) 을 포착하는 단순화되고 계산 효율적인 시뮬레이터 개발로, 비용이 많이 드는 생물물리 시뮬레이션이나 수동 주석의 필요성을 우회합니다.
3. 감가 추론 (Amortized Inference): 최적화 기반 방법 (예: Centurion) 과 달리, BlockFormer는 감가적입니다. 한 번 훈련되면 단일 순전파 (forward pass) 를 통해 추론을 수행하므로 훨씬 빠르며, 재훈련 없이 다양한 데이터셋에 적용 가능합니다.
4. 변동성에 대한 강건성: 이 방법은 개체 수, 블록 크기, 시퀀싱 깊이, 노이즈 패턴의 변화에 강건하며, 많은 경우 서브-해상도 정밀도를 달성합니다.

4. 결과

저자들은 BlockFormer를 7 종의 효모 종, 기생충 (P. falciparum), 식물 (A. thaliana) 에 대한 실제 Hi-C 데이터와 합성 데이터에서 평가했습니다.

• 정확도: BlockFormer는 다양한 종과 게놈 크기에 걸쳐 서브-해상도 정밀도 (맵 해상도 미만의 오차, 예: <32 kb) 를 달성합니다. 많은 경우, 최첨단 Centurion 방법과 정확도 면에서 맞먹거나 능가합니다.
• 효율성: 이 방법은 극적으로 빠릅니다. 예를 들어, P. falciparum에서 BlockFormer는 24.6 초 만에 0.27 의 오차를 달성한 반면, Centurion은 유사한 오차에 185.5 초가 소요되었습니다. 모델의 감가적 특성으로 인해 추론 시간은 데이터 크기에 선형적으로 비례하며, Centurion이 요구하는 최적화 반복 횟수와는 무관합니다.
• 일반화: 모델은 훈련 분포 밖의 염색체 수와 크기를 가진 종 (예: 큰 염색체를 가진 A. thaliana) 과 다른 시퀀싱 깊이 (10% 에서 50%) 에 성공적으로 일반화됩니다.
• 노이즈에 대한 강건성: BlockFormer는 노이즈가 많은 맵, 블록당 여러 스팟, 또는 가우스 적합 가정이 실패하는 비가우스 스팟 모양 (예: 정사각형 또는 링 스팟) 시나리오에서 Centurion보다 우수한 성능을 보입니다.
• 사후 추정: 베이지안 추론에서 요약 통계량으로 사용될 때, BlockFormer 기반 접근법 (ABC-Transf, NPE-Transf) 은 CNN 기반 대안보다 더 날카롭고 잘 보정된 사후 분포를 생성합니다.
• 루프 국소화 확장: 저자들은 이 접근법이 DNA 루프 (염색체 내 특징) 국소화에 적응될 수 있음을 입증했으며, 단일 블록 추론 작업에서 사전 국소화 단계를 사용한다면 속도와 정확도 면에서 Centurion을 능가합니다.

5. 중요성과 주장

본 논문은 BlockFormer가 가변적 구조를 가진 상호작용 맵으로부터 매개변수를 추론하기 위한 유연하고, 감가적이며, 데이터 기반의 솔루션을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 구조적 제약 극복: 표준 CNN 과 GNN 의 한계인 상호작용 블록의 가변적인 수와 크기를 성공적으로 처리합니다.
• 최적화 병목 현상 우회: 반복적인 비볼록 최적화를 단일 순전파로 대체함으로써 대규모 게놈 데이터셋에 대한 신속한 추론을 가능하게 합니다.
• 실제 복잡성 처리: 시뮬레이터가 실제 데이터의 복잡한 생물물리와 완벽하게 일치하지 않더라도 방법이 강건하게 유지되므로, 핵심 구조적 패턴을 포착하는 것만으로도 정확한 추론이 가능함을 시사합니다.
• 불확실성 정량화: 시뮬레이션 기반 추론을 위한 효과적인 요약 통계량으로 작용하여 원칙적인 불확실성 정량화를 용이하게 합니다.

저자들은 겸손하게 한계를 지적합니다: 모델은 개체당 단일 매개변수를 출력하므로, 매개변수 수가 알려지지 않았거나 맵에 매개변수 정보가 없는 경우 (예: 루프 국소화는 단일 루프 영역으로의 사전 필터링이 필요함) 적용이 제한됩니다. 향후 연구에서는 이 프레임워크를 3D 게놈 구성 추론과 같은 다른 추론 작업에 적용하고, 더 생물학적으로 영감을 받은 시뮬레이터를 사용할 것을 제안합니다.