🧬 biology

Integrating gene regulatory priors into Transformer attention with scTransformer for interpretable scRNA-seq analysis

이 논문은 단일 세포 RNA-seq 분석의 성능과 생물학적 해석력을 모두 향상시키기 위해 유전자 조절 사전 지식을 어텐션 메커니즘에 통합한 새로운 트랜스포머 기반 모델인 scTransformer을 소개한다.

원저자: Mikele Milia, Louis Fabrice Tshimanga, Henning Mueller, Manfredo Atzori, Barbara Di Camillo

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

원저자: Mikele Milia, Louis Fabrice Tshimanga, Henning Mueller, Manfredo Atzori, Barbara Di Camillo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 학생(AI 모델)에게 붐비는 방 안에서 ID 배지만 보고 서로 다른 유형의 사람들을 구별하는 법을 가르치고 있다고 상상해 보세요. 생물학의 세계에서 이 "사람들"은 세포이며, 이들의 "ID 배지"는 세포 내부에서 활성화된 유전자 목록입니다. 이것을 **단일 세포 RNA 시퀀싱(scRNA-seq)**이라고 부릅니다.

오랫동안 과학자들은 이 세포들을 연구하기 위해 **트랜스포머(Transformers)**라고 불리는 강력한 AI 도구(현대적인 챗봇 뒤에 있는 기술과 동일한 기술)를 사용해 왔습니다. 하지만 문제가 하나 있습니다. 이 AI 모델들은 대개 모든 유전자를 서로와 상관없는 낯선 이로 취급합니다. 이들은 수백만 개의 세포를 보면서, 마치 사전 지식 없이 누가 누구와 아는 사이인지 추측하려는 탐정처럼 순전히 우연에 의존해 연결 고리를 찾아내려 합니다.

이 방식은 방대한 양의 데이터가 있다면 괜찮을 수도 있지만, 두 가지 큰 결함이 있습니다:

무모한 추측: AI는 실제처럼 보이는 패턴을 찾아낼 수도 있지만, 그것은 사실 단지 무작위적인 노이즈(noise)일 뿐일 수 있습니다.
신뢰하기 어려움: 만약 당신이 AI에게 왜 그런 결정을 내렸는지 묻는다면, 그것은 단지 통계적 운을 따르는 것일 뿐 생물학적 규칙을 따르는 것이 아니기에 설명하기가 어렵습니다.

해결책: scTransformer

이 논문의 저자들은 scTransformer라는 새로운 모델을 만들었습니다. 이 모델을 단순히 추측만 하는 학생이 아니라, 공부를 시작하기 전에 규칙책을 전달받은 학생이라고 생각해보세요.

이 규칙책은 알려진 생물학적 관계의 지도입니다. 이 책은 AI에게 이렇게 말합니다: "이봐, 유전자 A는 보스(전사 인자)이고 유전자 B를 조절해. 하지만 유전자 A는 유전자 C에 대해서는 권한이 없어."

기술적인 용어로, 그들은 이 규칙책을 AI의 "어텐션(attention)" 메커니즘 안에 직접 구축했습니다. 일반적인 AI에서는 모든 유전자가 다른 모든 유전자를 "볼" 수 있습니다. 하지만 scTransformer에서는 AI가 과학자들이 이미 확인한 관계에만 주의를 기울일 수 있도록, 존재하지 않는 연결 관계를 보는 것을 물리적으로 차단합니다. AI는 오직 확인된 관계에만 집중할 수 있습니다.

작동 원리 (비유)

학생들이 퍼즐을 풀려고 노력하는 교실을 상상해 보세요.

기존 방식 (표준 트랜스포머): 모든 학생이 서로에게 속삭일 수 있습니다. 그들은 공통점이 없더라도 단지 옆에 앉아 있다는 이유만으로 우연히 그룹을 형성할 수도 있습니다. 만약 그들에게 왜 그룹을 만들었냐고 묻는다면, 그들은 "그냥 그렇게 느껴졌어요"라고 답할지도 모릅니다.
새로운 방식 (scTransformer): 선생님이 가족 관계를 바탕으로 한 좌석 배치도를 나누어 줍니다. 학생 A(보스)는 자신의 특정 형제자매(대상 유전자)에게만 속삭일 수 있습니다. 학생 B(일반 유전자)는 자기 자신이나 자신의 가족에게만 말할 수 있습니다. AI는 무작위적인 좌석 배치도가 아니라 실제 가족 구조를 학습하도록 강제됩니다.

연구 결과

연구진은 특정 질병과 관련된 뇌 세포 데이터셋을 통해 이 새로운 모델을 테스트했습니다. 결과는 다음과 같았습니다:

적은 데이터로도 더 똑똑함: AI가 공부할 데이터가 매우 적을 때(전체 세포의 1%만 있을 때), 이 새로운 모델은 기존 모델보다 세포 유형을 훨씬 더 잘 맞혔습니다. "규칙책" 덕분에 AI는 불가능한 연결을 추측하는 데 시간을 낭비하지 않아도 되었기에 더 빠르게 학습할 수 있었습니다.
더 일관적임: 만약 기존 AI 모델을 열 번 실행한다면, 정확도는 같더라도 매번 서로 다른 유전자 그룹을 선택하여 결정을 내릴 수 있습니다. 이는 마치 시험에서 정답은 맞혔지만, 매번 서로 다른 무작위적인 방법을 사용하는 학생과 같습니다. 반면, 새로운 모델은 매번 동일한 유전자 그룹을 선택합니다. 즉, 신뢰할 수 있습니다.
이해가 됨: AI가 생물학적 규칙책을 따르도록 강제되었기 때문에, AI가 찾아낸 연결 고리는 실제로 생물학자들이 이미 알고 있는 것과 일치합니다. AI가 기울이는 "어텐션(주의)"은 무작위적인 혼란이 아니라 실제 조절 프로그램처럼 보입니다.

핵심 요약

이 논문은 AI가 알려진 생물학적 규칙을 존중하도록 강제함으로써, 단순히 약간 더 정확해진 것이 아니라 더욱 신뢰할 수 있게 되었다고 결론짓습니다.

데이터가 종종 무질서하고 불완전한 세상에서, 이러한 접근 방식은 AI의 "생각"이 현실에 근거하도록 보장합니다. AI는 단순히 답을 예측하는 것이 아니라, 생물학의 언어를 사용하여 답을 설명합니다. 저자들은 자연의 법칙에 의해 엄격히 안내되면서도 유연성을 갖춘 강력한 AI를 보유할 수 있음을 보여주며, 이것이 우리 세포가 어떻게 작동하는지 이해하는 데 훨씬 더 나은 도구임을 입증했습니다.

기술 요약: scTransformer – 유전자 조절 사전 지식을 트랜스포머 어텐션에 통합

문제 정의

단일 세포 RNA 시퀀싱(scRNA-seq) 데이터는 고차원성, 희소성, 기술적 노이즈라는 특성을 가지며, 이는 표현 학습(representation learning)에 상당한 어려움을 초래한다. scGPT, Geneformer과 같은 트랜스포머 기반 파운데이션 모델들은 수백만 개의 세포를 사전 학습함으로써 확장성을 입증해 왔으나, 일반적으로 유전자를 제약 없는 셀프 어텐션(unconstrained self-attention)을 가진 독립적인 토큰으로 취급한다. 이러한 설계는 어떤 유전자라도 다른 유제에 어텐션을 가할 수 있게 하여, 오로지 통계적 공변량(co-variation)에만 의존해 의존성을 발견하게 한다. 결과적으로 이러한 모델들은 다음과 같은 문제점을 겪는다:

제한된 해석 가능성: 어텐션 패턴을 기계적인 생물학적 과정에 매핑하기 어렵다.
불안정성: 저데이터 환경이나 배치 효과(batch effects)가 존재하는 경우, 제약 없는 모델은 데이터셋 특유의 상관관계에 과적합되어, 예측 정확도는 높을지라도 특징 선택(feature selection) 측면에서는 불안정한 결과(즉, 서로 다른 학습 실행 시 서로 다른 유전자 집합을 선택함)를 낼 수 있다.
생물학적 지식의 무시: 기존 방식들은 전사 인자(TF)–타겟 유전자(TG) 조절 네트워크라는 정교하게 큐레이션된 구조를 대부분 무시하며, 이는 전사 조절의 타당한 인과 구조를 인코딩하고 있다.

방법론: scTransformer 아키텍처

저자들은 큐레이션된 TF–TG 조절 네트워크를 하드 마스킹(hard masking)을 통해 셀프 어텐션 메커니즘에 직접 통합하는 생물학적 정보 기반의 트랜스포머 인코더인 scTransformer를 제안한다.

1. 입력 표현 및 임베딩:

유전자 토큰 임베딩: 세포 내 각 유전자는 학습 가능한 유전자 식별 임베딩( $e^{id}$ )과 연속적인 발현 인코딩( $e^{expr}$ )이 결합된 $d$ -차원 토큰으로 매핑된다.
연속 사인 함수 인코딩(Continuous Sinusoidal Encoding): 이산적인 빈닝(binning)과 달리, 발현 값은 연속적인 사인 함수 스킴( $\sin(x \cdot \omega_k), \cos(x \cdot \omega_k)$ )을 사용하여 인코딩된다. 이는 scRNA-seq 측정값의 동적 범위 전반에 걸쳐 양적 정보를 보존하여 매끄러움과 유계성(boundedness)을 보장한다.
풀링(Pooling): 유사도 기반 풀링 메커니즘은 가변 길이의 토큰 시퀀스를 고정 차원의 세포 임베딩으로 집계한다. 컨텍스트 벡터는 토큰 임베딩의 평균으로 계산되며, 토큰 시퀀스에 대한 크로스 어텐션의 쿼리(query)로 사용된다.

2. 사전 게이트 어텐션 메커니즘(Prior-Gated Attention Mechanism):
핵심 혁신은 제약 없는 어텐션을 사전 게이트형(prior-gated) 메커니즘으로 교체하는 것이다:

조절 네트워크: 충분한 타겟을 가진 TF와 데이터셋에 존재하는 유전자를 필터링하기 위해 CollecTRI로부터 큐레이션된 TF–TG 네트워크를 전처리한다.
하드 마스킹: 유전자 $i$ 가 TF이고 유전자 $j$ 가 그 타겟인 경우에만 $M_{allow}(i, j) = 1$ 이 되는 불리언 허용 행렬( $M_{allow}$ )을 구축한다(자기 루프의 경우 $i=j$ ). 그 외의 모든 상호작용은 0으로 설정된다.
어텐션 제약: 이 행렬은 금지된 상호작용에 $-\infty$ 를 할당하는 가산 마스크( $\tilde{M}_{prior}$ )로 변환된다. 스케일드 닷 프로덕트 어텐션의 소프트맥스 연산 이전에 이 마스크가 어텐션 점수에 더해진다:
$A_h = \text{softmax}\left(\frac{Q_h K_h^\top}{\sqrt{d_k}} + \tilde{M}_{prior} + M_{pad}\right)$
이를 통해 정보가 알려진 조절 엣지(및 자기 루프)를 따라서만 흐르도록 보장하며, 효과적으로 가설 공간을 생물학적으로 타당한 상호작용으로 제한한다.

3. 해석 가능성 지표:
학습된 어텐션의 생물학적 관련성을 정량화하기 위해 저자들은 모듈 수준의 지표를 정의한다:

집중도 점수 ( $\phi$ ): 정규화된 엔트로피를 사용하여 TF가 주석 처리된 타겟에 얼마나 선택적으로 어텐션을 집중시키는지를 측정한다. 낮은 엔트로피(높은 $\phi$ )는 집중되고 구조화된 어텐션을 나타낸다.
모듈 중요도: 규제 신호의 강도를 정량화하기 위해 집중도 점수를 타겟으로 향하는 총 어텐션 질량(total attention mass)과 결합한다.

4. 구현 세부 사항:

데이터: MSSM 단일 핵 RNA 시퀀싱 아틀라스(PsychAD 코호트)를 대상으로 하며, 17개 아형 및 TF–TG 유전자 교집합으로 제한하였다.
학습: Pre-LN 아키텍처와 AdamW 옵티마이저를 사용한다. 대규모 데이터셋을 효율적으로 처리하기 위해 CSR(Compressed Sparse Row) 행렬에 직접 적용되는 희소 배칭(sparse batching)을 사용하여 학습한다.
평가: 샘플 효율성과 견고성을 평가하기 위해 다양한 훈련 데이터 환경(1% ~ 100%)에서 모델을 테스트하였다.

주요 기여

사전 게이트 어텐션: 큐레이션된 TF–TG 네트워크를 하드 제약 조건으로 트랜스포머 아키텍처에 내장하여, 조절 지식을 구조적 귀납 편향(inductive bias)으로 전환한 최초의 프레임워크이다.
연속 발현 인코딩: scRNA-seq 데이터의 양적 특성을 이산화 없이 보존하는 사인 함수 인코딩 스킴을 제공한다.
희소 학습 파이프라인: CSR 행렬에서 직접 작동하는 효율적인 구현을 통해 대규모 단일 세포 데이터셋에 대한 확장 가능한 학습을 가능하게 한다.
사후 분석 없이도 직접적인 평가가 가능하도록 어텐션 집중도와 조절 중요도를 정량화하는 일련의 공식적인 해석 가능성 지표를 제공한다.
재현 가능한 프로토콜: 엄격한 데이터 분할과 멀티 시드 평가를 포함한 분산 학습 설정을 통해 안정성을 철저히 검증한다.

결과

저자들은 세포 유형 분류 작업에 대해 제약 없는 베이스라인 모델과 scTransformer를 비교 평가하였다:

저데이터 환경에서의 성능: 제한된 훈련 데이터(1% 및 25%) 환경에서, 사전 게이트 모델은 제약 없는 베이스라인보다 유의미하게 높은 정확도를 달 기록했다(예: 1% 데이터에서 0.486 vs 0.464). 이는 개선된 샘플 효율성을 입증한다.
전체 데이터 환경에서의 성능: 100% 데이터 가용성에서, 사전 게이트 모델(TF–TG 제한 유전자만 사용)은 훨씬 작은 상호작용 공간에서도 불구하고 모든 유전자를 사용하는 제약 없는 베이스라인과 대등한 정확도를 달성했다(0.911 vs 0.917).
안정성 및 재현성: 제약 없는 모델은 훈련 실행 시 높은 변동성을 보이며 서로 다른 유전자 집합을 선택했다(Jaccard 지수가 0에 가깝고 음의 Spearman 상관관계를 보임). 반면, 사전 게이트 모델은 높은 안정성을 보였으며, 일관되게 유사한 유전자 부분 집합을 선택하고 일관된 순위를 매겼다.
생물학적 일관성: 사전 게이트 모델의 어텐션 맵은 높은 집중도 점수( $\phi$ )를 보여, TF가 특정 생물학적 타겟 부분 집합에 어텐션을 집중시킴을 나타냈다. 이러한 패턴은 알려진 아형 특이적 조절 프로그램(예: 내피세포 유사 집단에서의 GRHL3 농축, OPCs에서의 NANOG 농축)과 일치하는 반면, 제약 없는 모델은 확산되고 덜 해석 가능한 어텐션 분포를 생성했다.

의의 및 주장

본 논문은 조절 사전 지식을 통합하는 주요 가치가 단순히 예측 정확도를 높이는 것이 아니라, 학습된 표현의 인식론적 신뢰성과 해석 가능성을 향상시키는 것에 있다고 주장한다.

모호성 해결: 고차원적이고 희소한 데이터에서 여러 유전자 조합이 동일한 표현형을 설명할 수 있다. 제약 없는 모델은 임의적이고 불안정한 솔루션으로 수렴할 수 있다. 조절 사전 지식은 가설 공간을 제한하여 모델이 생물학적으로 근거 있고 일관된 솔루션으로 향하도록 유도한다.
귀납 편향: 생물학적 구조를 아키텍처에 직접 내장함으로써, 모델은 충분한 데이터가 있을 때 유연성을 희생하지 않으면서도 노이즈와 배치 효과에 강건한 표현을 학습한다.
해석 가능성의 토대: 이 접근 방식은 어텐션 가중치가 직접적으로 조절 프로그램으로서 해석될 수 있는 "생물학적 근거를 가진 파운데이션 모델"을 향한 원칙적인 단계를 제공하며, 사후 분석 없이도 생물학적 통찰을 용이하게 한다.

저자들은 현재의 한계점으로 하드 바이너리 마스크의 사용(새로운 상호작용 학습 방지), 지도 학습 작업으로의 제한, 단일 데이터셋에서의 평가를 언급하며 겸허한 태도를 유지했다. 이들은 향후 연구에서 소프트/학습 가능한 사전 지식, 자기 지도 학습 기반의 사전 학습, 그리고 하이브리드 아키텍처를 탐구할 수 있을 것이라고 제안한다.