Multi-Dimensional Spectral Geometry of Biological Knowledge in Single-Cell Transformer Representations

이 논문은 단일 세포 기초 모델인 scGPT 의 내부 표현이 세포 내 위치, 단백질 상호작용, 전사 조절 네트워크 등 생물학적 지식을 체계적인 기하학적 좌표계로 인코딩하여 해석 가능한 세포 조직 모델을 학습함을 63 회에 걸친 자동 가설 검증을 통해 규명했습니다.

핵심

이 논문은 **'scGPT'**라는 인공지능이 세포 속 유전자 데이터를 어떻게 이해하고 있는지 그 '머릿속 구조'를 해부한 연구입니다.

쉽게 말해, **"AI 가 유전자들을 단순히 숫자 나열로 외운 게 아니라, 실제로 세포가 어떻게 작동하는지 '지도'를 그렸을까?"**라는 질문에 답하는 내용입니다.

연구팀은 이 AI 의 내부 세계를 63 번에 걸쳐 자동화된 실험으로 검증했고, 놀라운 사실을 발견했습니다. AI 는 유전자들을 무작위로 섞어놓은 것이 아니라, **생물학적 현실을 완벽하게 반영한 '3 차원 공간 지도'**로 정리해 놓았습니다.

이 복잡한 내용을 일상적인 비유로 설명해 드릴게요.

---

1. AI 는 유전자를 '무작위 파일'이 아니라 '정리된 도서관'으로 봅니다

우리가 컴퓨터에 파일을 아무렇게나 저장하면 찾기 어렵지만, 이 AI 는 유전자들을 자동으로 분류하고 정리합니다.

• 비유: 마치 거대한 도서관에 책 (유전자) 을 아무렇게나 쌓아두는 게 아니라, **'책이 어떤 방에 있는지 (위치)', '누구와 친구인지 (상호작용)', '누가 책을 관리하는지 (조절)'**에 따라 꽂아둔 것과 같습니다.
• 연구 결과, AI 는 12 단계의 층 (Layer) 을 거치면서 이 정리를 점점 더 명확하게 해냈습니다. 처음엔 흐릿했던 정보가 나중엔 아주 선명한 지도로 변했습니다.

2. AI 의 '머릿속 지도' 3 가지 축 (가장 중요한 발견)

AI 는 유전자들을 3 가지 주요 기준 (축) 으로 나누어 배치했습니다.

① 첫 번째 축: "이 유전자는 세포의 어디에 살까?" (위치)

• 비유: 세포를 대형 공장이라고 생각해보세요.
  • 공장 밖으로 물건을 보내는 직원들 (분비 단백질) 은 공장 정문 쪽에 모입니다.
  • 공장 안에서만 일하는 직원들 (세포질 단백질) 은 공장 내부에 있습니다.
  • 그리고 **공장 창고 (미토콘드리아)**나 **포장 작업대 (소포체)**를 거쳐 정문으로 나가는 순서대로 AI 는 유전자들을 배치했습니다.
• 의미: AI 는 단백질이 만들어져서 세포 밖으로 나가는 실제 이동 경로를 기억하고 있습니다.

② 두 번째 축: "누구와 친구일까?" (상호작용)

• 비유: 세포 안의 유전자들은 사교 파티를 합니다.
  • 서로 물리적으로 손을 잡거나 (단백질 상호작용) 함께 일하는 유전자들은 AI 의 지도상에서 서로 아주 가깝게 모여 있습니다.
  • 특히, 실험실에서 확인된 '진짜 친구 관계'일수록 AI 는 그들을 더 가깝게 배치했습니다.
  • 흥미롭게도, 단순히 '역할이 비슷한' 유전자들보다 '물리적으로 붙어있는' 유전자들이 더 가깝게 모여 있었습니다.

③ 세 번째 축: "누가 누구를 부려먹나?" (조절 관계)

• 비유: 세포는 회사 조직도처럼 작동합니다.
  • **임원 (전사 인자, TF)**과 **직원 (표적 유전자)**의 관계를 AI 가 이해하고 있습니다.
  • 초기 층 (AI 의 얕은 뇌): "A 임원이 B 직원을 직접 지시한다"는 구체적인 명령을 기억합니다.
  • 후기 층 (AI 의 깊은 뇌): "A 는 임원이고 B 는 직원이다"라는 대분류로 압축합니다.
  • 재미있는 점: AI 는 '명령을 내리는 것 (활성화)'보다 **'명령을 막는 것 (억제)'**을 기하학적으로 더 뚜렷하게 구분했습니다. (예: "이건 하지 마!"라는 명령이 "이건 해!"라는 명령보다 더 선명하게 구분됨)

3. B 세포 (면역 세포) 의 성장 과정을 '영화'처럼 보여줌

이 연구의 하이라이트는 **B 세포 (면역 세포)**가 성숙해가는 과정을 AI 가 어떻게 이해하는지 보여준 부분입니다.

• 비유: B 세포의 성숙은 영웅의 성장 이야기와 같습니다.
  • PAX5(주인공): 처음부터 B 세포의 정체성을 가진 '핵심 영웅'입니다. AI 지도상에서 항상 중심에 있습니다.
  • BATF, BACH2(새로 합류한 영웅들): 처음엔 지도의 구석진 곳에 멀리 떨어져 있었지만, AI 가 정보를 처리할수록 (층이 깊어질수록) 점점 PAX5(주인공) 쪽으로 다가와 모입니다.
  • BCL6(특별한 역할): 이 유전자는 대사 (에너지) 와 관련된 일을 하므로, 다른 B 세포 유전자들보다는 메타볼리즘 (대사) 구역에 따로 떨어져 있습니다.
• 의미: AI 는 정적인 데이터만 보고도, **"B 세포가 성숙해가는 시간의 흐름과 순서"**를 기하학적인 움직임으로 학습했습니다. 마치 정지된 사진에서 움직임을 읽는 것과 같습니다.

4. 왜 이 연구가 중요한가요?

과거에는 AI 가 유전자를 분석할 때 "어떤 유전자가 자주 같이 나오네?" (통계적 상관관계) 정도만 알았을 뿐, 그 이유를 몰랐습니다. 하지만 이 연구는 AI 가 **생물학의 진짜 법칙 (위치, 상호작용, 조절)**을 스스로 배워내어 내부 지도를 그렸음을 증명했습니다.

• 실용적 가치:
  • 약 개발: 어떤 단백질이 서로 만날지 AI 지도를 보면 예측할 수 있습니다.
  • 질병 연구: 세포가 어떻게 변하는지 (예: B 세포가 암으로 변하는 과정) AI 의 지도를 통해 추적할 수 있습니다.
  • AI 검증: 새로운 AI 모델을 만들었을 때, 이 '지도'가 제대로 그려져 있는지 확인하면 그 AI 가 제대로 학습했는지 알 수 있습니다.

요약

이 논문은 **"인공지능이 생물학의 복잡한 세계를 단순히 숫자로 외운 게 아니라, 세포가 실제로 어떻게 작동하는지 '3 차원 지도'로 완벽하게 이해하고 있다"**는 것을 증명한 획기적인 연구입니다. 마치 AI 가 세포 안을 여행하며 직접 지도를 그려낸 것과 같습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

단일 세포 기초 모델 (Single-cell foundation models) 인 scGPT와 같은 모델은 고차원의 유전자 표현 (gene representations) 을 학습하지만, 이러한 표현이 실제로 어떤 생물학적 지식을 인코딩하는지는 불명확했습니다. 기존 연구들은 주로 **어텐션 패턴 (attention patterns)**을 분석하여 생물학적 구조를 파악하려 했으나, 이는 단순한 공발현 (co-expression) 을 반영할 뿐 인과적 조절 관계나 물리적 상호작용을 명확히 구분하지 못한다는 한계가 있었습니다.

이 연구는 scGPT 의 내부 표현이 "불투명한 특징 공간"이 아니라, 구조화된 생물학적 좌표계로 조직화되어 있는지, 그리고 트랜스포머의 각 층 (layer) 이 어떻게 생물학적 정보를 처리하고 추상화하는지를 규명하는 것을 목표로 합니다.

2. 방법론 (Methodology)

저자는 scGPT 의 잔류 스트림 (residual stream) 기하학을 체계적으로 분석하기 위해 다음과 같은 방법론을 적용했습니다.

• 자동화된 가설 스크리닝 루프: 13 개의 가설 패밀리에서 63 번의 반복을 통해 183 개의 가설을 자동화된 에이전트 (Executor 와 Brainstormer) 를 통해 제안, 테스트, 폐기하는 과정을 거쳤습니다.
• 스펙트럼 분석 (Spectral Analysis): 각 트랜스포머 층 (12 층) 에서 유전자 임베딩 행렬에 **특이값 분해 (SVD)**를 적용하여 주성분 (Singular Vectors, SV) 을 추출했습니다.
• 차원 축소 및 유효 차원 (Effective Rank): 유전자 표현이 어떻게 압축되는지 분석하기 위해 유효 차원, TwoNN 내재 차원, 참여 비율 (Participation Ratio) 등을 계산했습니다.
• 통제 실험 및 교란 변수 제거:
  • Gene-label shuffle: 유전자 라벨을 무작위로 섞어 생물학적 신호가 우연인지 확인.
  • Co-expression residualization: 공발현 상관관계를 회귀 분석으로 제거한 후, 순수한 조절 신호가 남는지 확인.
  • Cross-seed replication: 3 개의 독립적인 시드 (random seed) 로 실험을 반복하여 재현성 검증.
• 데이터: Tabula Sapiens 의 면역 계통 세포 데이터를 사용하며, scGPT 의 4,803 개 유전자 어휘 중 생물학적 주석이 달린 195 개 유전자를 대상으로 심층 분석을 수행했습니다.

3. 주요 결과 (Key Results)

3.1. 생물학적 좌표계로의 점진적 압축

• scGPT 는 정보를 통과시키면서 유전자 표현을 점점 더 적은 수의 방향으로 압축합니다. 유효 차원 (Effective Rank) 은 0 층 (23.6) 에서 11 층 (1.6) 으로 14.4 배 감소하며, 최종 층에서는 단일 방향 (SV1) 이 전체 분산의 93.4% 를 설명합니다.
• 이는 생물학적 정보가 손실되는 것이 아니라, 생물학적으로 중요한 구분 (세포 내 위치, 상호작용, 조절 관계) 이 기하학적으로 두드러진 축으로 정제 (distill) 됨을 의미합니다.

3.2. 주된 스펙트럼 축의 생물학적 의미

• SV1 (세포 내 위치 축): 분비 경로 (Secretory pathway) 를 인코딩합니다.
  • 한쪽 극 (Pole) 은 분비/세포 외 단백질 (cytokines 등), 다른 쪽 극은 세포질 단백질로 분리됩니다.
  • 중간 층에서는 미토콘드리아 $\rightarrow$ 소포체 (ER) $\rightarrow$ 세포 외 공간 순서로 세포 분비 경로의 생물학적 순서를 반영하는 중간의 축들이 일시적으로 나타납니다.
• SV2 (단백질 상호작용 네트워크 축): 단백질 - 단백질 상호작용 (PPI) 과 조절 공동 소속 관계를 인코딩합니다.
  • 실험적으로 측정된 상호작용 강도 (STRING 점수) 와 기하학적 근접성이 단조 증가 (monotonically graded) 관계를 보입니다 ($\rho = 1.000$).
  • 이는 기능적 주석 (GO) 이 아닌 물리적 결합에 기반한 기하학적 구조임을 확인했습니다.
• SV3~SV7 (조절 관계 축): 전사 인자 (TF) 와 표적 유전자의 관계를 인코딩합니다.
  • 층별 분업: 초기 층 (L0-L3) 은 구체적인 조절 관계 ("어떤 TF 가 어떤 유전자를 조절하는가") 를 유지하는 반면, 깊은 층 (L4-L8 이상) 은 TF 와 표적 유전자의 범주적 구분 ("조절자 vs 조절 대상") 으로 압축됩니다.
  • 억제 (Repression) vs 활성화 (Activation): 억제적 조절 관계가 활성화 관계보다 기하학적으로 더 뚜렷하게 분리됩니다.

3.3. B 세포 분화의 기하학적 궤적

• 거울상 (Echo) 현상: B 세포 분화 중 핵심 조절 인자들 (BATF, BACH2) 이 초기 층에서는 B 세포 중심 (PAX5) 에서 멀리 떨어져 있다가, 층이 깊어질수록 PAX5 로 수렴하는 기하학적 궤적을 보입니다. 이는 생체 내 생식 중심 (Germinal Center) 반응의 시간적 논리를 모델이 학습했음을 시사합니다.
• BCL6 의 고립: BCL6 은 B 세포 마커가 아닌 대사 유전자들과 기하학적으로 밀접하게 위치하며, 이는 BCL6 의 생물학적 역할 (대사 재프로그래밍과 면역 조절의 교차점) 을 반영합니다.

3.4. 부정적 결과 (Negative Findings)

• 지속적 호모로지 (Persistent Homology): 단순한 교란 모델에서는 유의했으나, 그래프 구조를 유지하는 더 엄격한 교란 모델에서는 신호가 사라졌습니다. 이는 잘못된 가설 검증의 중요성을 보여줍니다.
• 공발현의 교란: SV2SV4 의 조절 신호는 공발현 상관관계로 완전히 설명될 수 있었으나, SV5SV7 은 공발현을 제거한 후에도 유의한 조절 신호를 유지했습니다. 이는 잔류 스트림 기하학이 어텐션 패턴이 포착하지 못하는 진정한 조절 정보를 담고 있음을 증명합니다.

4. 주요 기여 및 의의 (Significance)

1. 해석 가능한 내부 모델의 발견: scGPT 가 단순한 통계적 기억이 아니라, 세포의 조직 원리 (위치, 상호작용, 조절) 를 반영하는 해석 가능한 내부 생물학적 좌표계를 학습했음을 처음 체계적으로 증명했습니다.
2. 어텐션 vs 잔류 스트림 기하학의 구분: 기존 연구가 어텐션 패턴에 집중했던 것과 달리, 잔류 스트림 (Residual Stream) 의 기하학적 구조가 단백질 상호작용과 공발현 독립적인 조절 관계를 더 잘 포착함을 규명했습니다.
3. 실용적 응용 가능성:
   • 조절 네트워크 추론: 초기 층의 SV5~SV7 임베딩을 활용하여 공발현에 의존하지 않는 조절 네트워크를 추출할 수 있습니다.
   • 약물 타겟 우선순위 선정: SV2~SV4 의 기하학적 거리를 통해 단백질 상호작용 확률을 정량적으로 예측할 수 있습니다.
   • 모델 감사 (Auditing): 학습된 모델이 생물학적 현실 (예: 분비 경로, PPI 구조) 을 올바르게 인코딩하는지 검증하는 지표로 스펙트럼 축을 활용할 수 있습니다.
4. 트랜스포머 계산 구조에 대한 통찰: 생물학적 정보가 층별로 어떻게 추상화되고 압축되는지 (초기 층: 세부적 관계 $\rightarrow$ 깊은 층: 범주적 정체성) 를 규명하여, 생물학적 트랜스포머의 작동 원리를 이해하는 새로운 창을 열었습니다.

결론

이 연구는 단일 세포 트랜스포머 모델이 "블랙박스"가 아니라, 세포 생물학의 기본 원리를 기하학적으로 구조화한 해석 가능한 지식 시스템임을 입증했습니다. 이를 통해 유전자 조절 네트워크 추론, 신약 개발, 그리고 모델의 신뢰성 검증에 새로운 방법론적 기반을 제공했습니다.