📄 other

Reading Mechanism off Biological Foundation Models: An Empirical Analysis of Genomic Neighborhood Structure in scGPT Gene Embeddings

이 경험적 연구는 scGPT 생물학적 파운데이션 모델의 정적 유전자 임베딩 기하학 구조와 선형 게놈 인접성 사이에 작지만 재현 가능한 연관성이 있음을 입증하며, 이는 훈련 과정에서 이러한 공간 정보가 명시적으로 제공되지 않았음에도 불구하고 동일한 염색체 상에 가깝게 위치한 유전자들이 멀리 떨어진 유전자들보다 모델의 표현 방식에서 더 유사하다는 것을 드러낸다.

원저자: Liu Chen

게시일 2026-07-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Liu Chen

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 방금 아주 똑똑한 로봇 사서 한 마리를 만들었다고 상상해 보세요. 당신은 이 로봇에게 박테리아 같은 아주 작은 생물부터 거대한 고래에 이르기까지, 생명체가 어떻게 작동하는지에 관한 수백만 권의 책을 학습시켰습니다. 과학자들이 '파운데이션 모델(foundation model)'이라고 부르는 이 로봇은 문장에서 다음에 올 단어를 추측하거나, 세포가 약물에 어떻게 반응할지 예측하는 데 매우 뛰어납니다. 하지만 여기 큰 미스터리가 있습니다. 이 로봇이 정말로 생물학을 '이해'하고 있는 것일까요, 아니면 그저 책들을 아주 잘 암기한 뛰어난 패턴 매칭 기계일 뿐일까요?

이를 알아내기 위해 과학자들은 종종 로봇이 어떻게 '생각하는지'를 살펴봅니다. 그들은 로봇이 비슷한 것들을 함께 그룹화하는지 확인합니다. 예를 들어, 로봇에게 "사과"와 "오렌지"에 대해 묻는다면, 둘 다 과일이기 때문에 로봇은 자신의 정신적 지도 안에서 이들을 가까이 배치해야 합니다. 생물학의 세계에는 '유전체 인접성(genomic neighborhood)'이라는 규칙이 있습니다. 이것은 마치 유전자를 위한 부동산 규칙과 같습니다. 세포 내부의 길고 뒤틀린 DNA 가닥 위에 바로 옆에 붙어 사는 유전자들은 서로 '베스트 프렌드'처럼 행동하는 경향이 있습니다. 이들은 같은 동네 환경을 공유하기 때문에 함께 켜지거나 꺼지는 경향이 있습니다. 우리의 로봇 사서에게 던져진 큰 질문은 이것입니다. 아무도 로봇에게 DNA 상의 위치를 명시적으로 가르쳐주지 않았음에도 불구하고, 로봇이 책을 읽는 과정에서 우연히 이 부동산 규칙을 학습했는가 하는 점입니다.

이 논문은 리우 첸(Liu-Chen)이라는 연구자가 특정 로봇 사서인 scGPT를 사용하여 이 미스터리를 풀려고 시도하는 탐정 이야기입니다. 이 모델은 단일 세포 데이터를 통해 학습되어 유전자가 어떻게 행동하는지 이해하도록 만들어졌지만, 연구자들은 인간 게놈의 지도를 제공하지 않았습니다. 그들은 "유전자 A는 위치 100에 있고, 유전자 B는 위치 101에 있다"라고 말해주지도 않았습니다. 그저 데이터를 읽게 두었을 뿐입니다. 연구자는 로bot의 내부적인 유전자 정신 지도를 살펴보았을 때, 인체 내에서 물리적으로 가까운 이웃인 유전자들이 로봇의 뇌 속에서도 실제로 가깝게 위치하는지를 알고 싶었습니다.

이 조사는 인간의 19,012개 유전자에 대한 로봇의 '정적(static)' 기억, 즉 세포 데이터를 보기 전 각 유전자에 할당된 512차원의 벡터를 가져오는 것으로 시작되었습니다. 그런 다음 연구자는 유전자 쌍들을 비교했습니다. 그들은 '국소적(local)' 쌍(같은 염색체 상에서 1 메가베이스, 즉 1,000,000 염기쌍 미만으로 떨어져 있는 유전자들)과 '원거리(far)' 쌍(같은 염색체에 있지만 10 메가베이스 이상 떨어져 있는 유전자들)을 조사했습니다. 그리고 '코사인 유사도(cosine similarity)'라는 수학적 도구를 사용하여 이 유전자들이 로봇에게 얼마나 유사하게 보이는지를 측정했습니다. 이는 로봇의 마음속에 있는 거리 자금 역할을 합니다.

결과는 마치 희미한 지문을 발견한 것과 같았습니다. 연구는 물리적 이웃인 유전자들이 멀리 떨어진 유전자들보다 로봇의 정신적 지도에서 약간 더 가깝다는 것을 발견했습니다. 구체적으로, '국소적' 쌍의 평균 유사도는 0.0618이었던 반면, '원거리' 쌍은 0.0316을 기록했습니다. 이 차이는 작았지만 일관성이 있었으며, 만약 무작위로 국소적 쌍과 원거리 쌍을 뽑는다면 로봇은 국소적 쌍이 더 '가깝다'고 약 **59%**의 확률(AUROC 0.589)로 추측할 수 있었습니다. 이는 무작위 추측(50%)보다는 낫지만, 완벽한 지도는 아닙니다. 이 효과는 유전자들이 매우 가까이(100 킬로베이스 미만) 있을 때 가장 강력하게 나타났으며, 이때 유사도는 0.1009로 뛰어올랐다가 거리가 멀어짐에 따라 점차 사라졌습니다.

하지만 연구자는 이 발견을 과장하지 않도록 매우 주의했습니다. 그들은 유전자 라벨의 이름을 뒤섞는 '파괴적 대조군(destructive control)' 테스트를 실시했는데, 이는 로봇의 기억은 그대로 둔 채 이름표만 바꾸는 방식입니다. 이렇게 했을 때, 이웃 간의 특별한 연결 관계는 사라졌고 점수는 다시 0.500(순수한 확률)으로 떨어졌습니다. 이는 로봇이 단순히 염색체에 대한 일반적인 규칙을 배운 것이 아니라, 어떤 유전자가 이웃인지에 대한 구체적인 정보를 배웠음을 증명합니다.

그러나 여기서 중요한 반전이 있습니다. 이 논문은 이 결과가 로봇이 예측을 하기 위해 게놈의 지도를 사용하고 있다는 뜻도 아니고, 3D DNA 접힘이나 염색체 루프를 이해하고 있다는 뜻도 아니라고 명시적으로 주장합니다. 로봇은 좌표를 받지 않았으므로, 인간이 지도를 배우는 방식처럼 좌표를 '배운' 것이 아닙니다. 대신, 연구자는 로봇이 생물학의 부수적인 효과를 포착했을 가능성이 높다고 제안합니다. 즉, 이웃하는 유전자들은 종종 동일한 화학적 환경을 공유하거나 진화 과정에서 함께 복제되기 때문에, 훈련 데이터에서 매우 자주 함께 등장하며, 이로 인해 로봇의 뇌가 자연스럽게 이들을 하나로 묶게 되었다는 것입니다. 이는 마치 모든 사람이 빨간 모자를 쓰고 있는 동네에 살면서 빨간 모자를 쓴 사람 외에는 본 적이 없다면, 누군가 그 거리의 이름을 알려주지 않아도 결국 '빨간 모자'를 '그 거리'와 연관 짓게 되는 것과 같습니다.

결론적으로, 이 연구는 scGPT의 내부 기하학 구조가 선형 게놈의 '작지만 재현 가능한' 메아리를 담고 있다고 결론짓습니다. 그것은 강한 신호가 아니라 약한 신호입니다. 로봇은 DNA를 위한 GPS가 아니며, 유전자가 어디에 위치하는지 완벽하게 예측하기 위해 그 기억을 사용할 수도 없습니다. 하지만 이는 로봇에게 도로의 규칙을 명시적으로 가르쳐주지 않았음에도 불구하고, 로봇이 생물학적 이웃이 어떻게 조직되어 있는지에 대한 미묘한 힌트를 흡수했다는 것을 보여줍니다. 이는 거대한 AI 모델이 우리가 인지하지 못하는 사이, 생명의 숨겨진 패턴을 어떻게 흡수하는지를 보여주는 매혹적인 통찰입니다.

기술 요약: 생물학적 파운데이션 모델의 읽기 메커니ism

문제 제기
scGPT와 같은 생물학적 파운데이션 모델들은 유전자 표현형(gene representations)을 생물학적 기능에 따라 조직한다고 자주 주장된다. 그러나 테스트하려는 속성이 모델의 학습 데이터에도 존재할 경우, 이를 검증하는 것은 매우 까나다. 이는 학습된 메커니즘과 단순한 데이터 누수(data leakage) 또는 상관관계를 구분하기 어렵게 만들기 때문이다. 구체적으로, 명시적인 게놈 좌표(genomic coordinates) 없이 발현 프로파일로 학습된 단일 세포 파운데이션 모델이 정적 유전자 토큰 임베딩(static gene-token embeddings) 내에 선형적인 게놈 인접 정보(linear genomic neighborhood information)를 암묵적으로 인코딩하고 있는지 여부는 불분명하다. 저자들은 모델이 명시적인 입력 특징으로 제공되지 않았음에도 불구하고, 유전자를 물리적 근접성에 따라 조직하는지 조사한다.

방법론
본 연구는 공개된 휴먼 전체 scGPT 체크포인트의 정적 입력 임베딩 행렬에 대한 경험적 분석을 수행한다. 방법론은 다음 단계로 구성된다:

데이터 매핑: 저자들은 GENCODE 릴리스 50의 19,012개 고유 단백질 코딩 유전자 심볼을 scGPT 모델의 512차원 입력 임베딩에 매핑하였다. 정밀한 좌표 매핑을 보장하기 위해 특수 토큰은 제외하였고, 모호한 다중 로커스(multi-locus) 심볼은 제거하였다.
벤치마크 설계: 주요 '국소 대 원거리(local-versus-far)' 벤치마크를 구축하였다. 24개의 염색체 각각에 대해, 저자들은 중간 지점이 1메가베이스(Mb) 이내인 무순서 유전자 쌍("국소")을 식별하였고, 중간 지점이 10Mb 이상 떨어져 있는 동일 염색체 내의 쌍("원거리")을 동일한 수만큼 샘플링하였다. 이 설계는 염색체 멤버십을 통제하면서 거리 효과를 격리한다.
지표 계산: 유전자 임베딩 간의 코사인 유사도(cosine similarity)를 주요 지표로 활용하였다. 핵심 통계에는 평균 코사인 유사도, 코헨의 d(Cohen's d) 효과 크기, 그리고 AUROC(Area Under the Receiver Operating Characteristic Curve)가 포함되었다.
통계적 통제:
- 매크로-AUROC (Macro-AUROC): 염색체별 변동을 고려하기 위해, 염색체 블록 부트스트래핑을 통해 95% 신뢰 구간을 도출한 염색체별 AUROC의 가중치 없는 평균인 매크로-AUROC를 계산하였다.
- 파괴적 통제 (Destructive Control): 신호가 염색체 수준의 분포로 인한 인위적 결과가 아님을 검증하기 위해, 엔드포인트(endpoints)는 고정한 채 임베딩 행을 유전자 좌표에 무작위로 재할당하는 100회의 염색체 내 유전자 라벨 순열(permutation)을 수행하였다.
- 거리 구배 (Distance Gradient): 효과의 규모를 결정하기 위해 6개의 게놈 거리 빈(bin) (<100 kb에서 >50 Mb까지)에 걸쳐 연관성을 분석하였다.
- 최근접 이웃 농축 (Nearest-Neighbor Enrichment): 각 유전자의 상위 $k$ 개 임베딩 최근접 이웃 중 국소 게놈 파트너의 농축도를 계산하였다.

주요 결과
분석 결과, scGPT의 정적 유전자 기하학(static gene geometry)과 선형 게놈 인접성 사이에 작지만 재현 가능한 연관성이 있음이 밝혀졌다:

국소 대 원거리 유사도: 국소 유전자 쌍(≤1 Mb)은 평균 코사인 유사도가 0.0618로 나타났으며, 이는 염색체 매칭된 원거리 쌍(>10 Mb)의 0.0316보다 유의미하게 높았다. 이는 0.323의 코헨의 $d$ 값을 나타냈다.
분류 성능: 염색체 매크로 평균 AUROC는 0.589 (95% CI: 0.575–0.603)였으며, 이는 무작위로 선택된 국소 쌍이 원거리 쌍보다 약 59%의 확률로 더 높은 점수를 기록했음을 의미한다. 24개 개별 염색체 수준의 AUROC 모두 0.50을 초과했다.
순열 통제: 파괴적 통제는 결과의 타당성을 확인해주었다. 염색체 내에서 유전자 라벨을 순열한 후, 평균 매크로-AUROC는 0.500 (95% 범위: 0.496–0.604)으로 떨어졌으며, 100회의 순열 중 관찰된 0.589에 도달한 사례는 없었다 (단측 몬테카를로 $P = 0.0099$ ).
거리 쇠퇴 (Distance Decay): 연관성은 짧은 거리에서 매우 집중되어 있었다. 평균 코사인 유사도는 <100 kb 쌍에서 0.1009였고, 100 kb에서 1 Mb 사이의 쌍에서는 0.0563이었다. 1 Mb를 넘어서면 신호가 감소하여 5 Mb 부근에서 순열 베이스라인으로 수렴하였다.
최근접 이웃 농축: 국소 게놈 파트너는 무작위 기대치와 비교했을 때 상위 10개 최근접 임베딩 이웃 중 15.0배 농축되어 나타났으나, 절대적인 정밀도는 여전히 낮았다.

의의 및 주장
저자들은 scGPT의 정적 유전자 토큰 임베딩이, 사전 학습 중에 명시적인 염색체 좌표나 게놈 위치를 전달받지 않았음에도 불구하고 선형 게놈 조직의 흔적을 포함하고 있다고 결론짓는다. 이는 공유된 염색질 상태(chromatin states), 탠덤 유전자 가족(tandem gene families), 또는 복제수 변이(copy-number variations)와 같은 학습 코퍼스의 반복적인 통계적 패턴이 인접한 유전자들을 유사한 토큰 벡터로 압축할 수 있음을 시사한다.

그러나 본 논문은 다음과 같이 주장의 범위를 겸허하게 제한한다:

기술적이지, 인과적이지 않음: 본 연구는 기하학적 연관성을 확립했을 뿐, 모델이 예측을 위해 게놈 인접성을 인과적으로 사용한다거나 게놈 좌표를 명시적으로 표현한다는 것을 증명하지는 않는다.
제한된 예측력: 효과 크기는 "약함에서 중간" 수준으로 묘사되었다. 임베딩 공간은 정밀한 게놈 좌표 예측기가 아니며, 대부분의 임베딩 이웃은 국소 게놈 이웃과 일치하지 않는다.
3D 복구 불가: 선형 거리 연관성이 세포 유형 특이적인 3차원 염색질 접촉(chromatin contacts)이나 루프(loops)의 복구를 의미하는 것은 아니다.

궁극적으로, 이 논문은 좁은 외부 타겟, 일치된 비교, 척도 분석, 그리고 파괴적 통제를 결합함으로써 광범위한 해석 가능성(interpretability) 주장을 어떻게 검증 가능한 경험적 진술로 전환할 수 있는지를 보여준다. 이는 생물학적 파운데이션 모델이 학습 데이터로부터 구조적 흔적을 물려받을 수 있지만, 이러한 흔적을 해독하기 위해서는 상관관계와 메커니즘 사이의 엄격한 구분이 필요함을 명확히 한다.

유사한 논문