Sparse autoencoders reveal organized biological knowledge but minimal regulatory logic in single-cell foundation models: a comparative atlas of Geneformer and scGPT

이 논문은 스파스 오토인코더를 활용하여 Geneformer 와 scGPT 와 같은 단일세포 기반 모델이 경로 및 기능 모듈과 같은 조직화된 생물학적 지식을 내재하고 있지만, 인과적 유전적 조절 논리는 거의 포함하지 않고 있음을 규명했습니다.

핵심

🏭 1. 인공지능 공장: 거대한 지식의 저장고

우선, Geneformer와 scGPT라는 두 개의 거대한 인공지능 모델을 상상해 보세요. 이 모델들은 수백만 개의 세포 데이터를 학습하여, 유전자들이 어떻게 작동하는지 배웠습니다. 마치 수만 권의 의학 서적과 실험 데이터를 모두 읽은 천재 의대생과 같습니다.

하지만 문제는 이 천재 의대생이 **"왜 A 가 B 를 조절하는지 (인과관계)"**를 진짜로 이해하는지, 아니면 단순히 **"A 가 나올 때 B 도 자주 나온다 (상관관계)"**는 패턴만 외우고 있는지를 알기 어렵다는 것입니다.

🔍 2. 해부 도구: 스파이스 오토인코더 (SAE)

인공지능의 두뇌는 보통 밀집된 숫자 덩어리 (네트워크) 로 이루어져 있어, 어떤 정보가 어떻게 저장되어 있는지 알기 힘듭니다. 마치 수만 개의 전구가 한꺼번에 켜진 어두운 방처럼요.

저자는 **'스파이스 오토인코더 (SAE)'**라는 도구를 사용했습니다. 이는 어두운 방의 전구들을 하나씩 분리해서, 각각의 전구가 어떤 의미를 갖는지 (예: "세포 분열", "면역 반응" 등) 명찰을 붙여주는 작업과 같습니다.

이 연구를 통해 저자는 두 모델의 두뇌에서 **총 10 만 개가 넘는 (107,000 개) 개별적인 '개념 (Feature)'**을 찾아냈습니다.

🧩 3. 놀라운 발견: "숨겨진 지식"의 대량 존재 (Superposition)

가장 놀라운 발견은 99.8% 의 개념이 기존 분석 방법으로는 전혀 보이지 않았다는 점입니다.

• 비유: 만약 인공지능의 두뇌가 1,152 개의 서랍을 가지고 있다면, 보통은 서랍 수만큼만 정보를 넣을 수 있다고 생각하기 쉽습니다. 하지만 이 모델은 **1,152 개의 서랍에 82,000 개가 넘는 개념을 '중첩 (Superposition)'**시켜 넣었습니다. 마치 1 개의 서랍에 여러 개의 투명 폴더를 겹쳐서 넣은 것처럼, 겉보기엔 서랍이 꽉 찬 것 같지만, 실제로는 그 안에 훨씬 더 많은 정보가 숨겨져 있는 것입니다.
• 이 숨겨진 개념들은 생물학적 지식 (유전자 경로, 단백질 상호작용 등) 으로 잘 정리되어 있었습니다. 즉, 모델은 엄청난 양의 생물학적 사실을 알고 있었습니다.

🕸️ 4. 조직화된 지식, 하지만 '원리'는 부재

모델의 두뇌를 자세히 들여다보니, 이 개념들은 매우 잘 조직되어 있었습니다.

• 모듈화: 관련 있는 개념들이 모여 **141 개의 '동료 그룹 (Module)'**을 이루고 있었습니다. (예: '세포 분열 팀', '면역 반응 팀' 등)
• 계층적 구조: 초기 층에서는 '분자 기계' 같은 구체적인 지식을, 나중 층에서는 '세포 분화' 같은 추상적인 지식을 다뤘습니다.

하지만 치명적인 문제가 있었습니다.

🚫 5. 핵심 결론: "동반자"는 알지만, "주인"은 모른다

저자가 CRISPRi(유전자 가위) 실험 데이터를 이용해 모델을 테스트했습니다. "A 유전자를 끄면 B 유전자가 어떻게 변할까?"라고 물었을 때, 모델은 다음과 같은 반응을 보였습니다.

• 상황: "A 유전자가 꺼졌네? 아, 그럼 세포 상태가 변했구나!" (변화를 감지함)
• 실수: 하지만 **"A 가 B 를 직접 조절해서 B 가 변한 거야"**라는 **인과 관계 (Regulatory Logic)**를 정확히 설명하지는 못했습니다.

비유하자면:
이 인공지능은 **"비가 오면 우산이 많이 팔린다"**는 통계적 패턴은 완벽하게 알고 있습니다. 하지만 **"비가 오기 때문에 우산이 팔리는 것 (인과 관계)"**을 논리적으로 추론하거나, "비가 오지 않아도 우산이 팔리는 다른 이유"를 구분하지는 못합니다.

• 결과: 48 개의 전사 인자 (TF) 중 **단 3 개 (6.2%)**만이 정확한 조절 관계를 보여주었습니다. 나머지 93% 이상은 단순히 유전자들이 함께 움직이는 '동반자 관계'만 기억하고 있었습니다.

🧪 6. 추가 실험: 데이터의 문제인가, 모델의 문제인가?

혹시 학습 데이터가 부족해서 그런 걸까? (예: 특정 세포만 봤을 때)
저자는 다양한 조직 (신장, 폐, 면역세포 등) 의 데이터를 섞어서 다시 테스트했습니다. 결과는 별로 개선되지 않았습니다 (10.4% 로 약간 늘었지만 여전히 낮음).
이는 데이터의 문제가 아니라, 모델 자체가 '인과 관계'를 학습하는 방식에 한계가 있다는 것을 의미합니다.

💡 7. 요약 및 시사점

이 논문은 다음과 같은 메시지를 전달합니다:

1. 인공지능은 엄청난 지식을 가지고 있다: 우리가 몰랐던 숨겨진 생물학적 개념들을 찾아냈고, 이는 매우 잘 정리되어 있습니다.
2. 하지만 '원리'는 모른다: 현재 모델들은 유전자 간의 **'통계적 동행 (Co-expression)'**은 잘 기억하지만, **'원인과 결과 (Regulatory Logic)'**를 이해하지는 못합니다.
3. 미래의 방향: 더 나은 모델을 만들기 위해서는 단순히 데이터를 많이 읽게 하는 것이 아니라, **"왜 그런 변화가 일어났는지"를 학습시키는 새로운 교육 방법 (Perturbation-aware training)**이 필요합니다.

한 줄 요약:

"이 인공지능은 유전자들의 '동행 패턴'을 외운 천재이지만, 유전자 조절의 '원리'를 이해하는 철학자는 아직 아니다."

이 연구는 이러한 한계를 명확히 보여줌으로써, 앞으로 더 정교한 생물학적 인공지능을 개발하는 데 중요한 이정표가 되었습니다.

기술 요약

이 논문은 단일 세포 기반 모델 (Single-cell Foundation Models, scFMs) 인 Geneformer와 scGPT의 내부 표현을 해석하기 위해 **희소 오토인코더 (Sparse Autoencoders, SAEs)**를 최초로 체계적으로 적용한 연구입니다. 저자는 이 모델들이 생물학적 지식을 어떻게 조직화하고 있는지, 그리고 이러한 지식이 인과적 조절 논리 (causal regulatory logic) 를 포함하는지 아니면 단순한 통계적 공발현 (statistical co-expression) 에 불과한지를 규명했습니다.

주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 제기

• 배경: Geneformer 와 scGPT 와 같은 단일 세포 기반 모델은 수백만 개의 전사체 프로파일로 훈련되어 세포 유형 주석, 교란 반응 예측, 유전자 네트워크 추론 등에서 뛰어난 성능을 보입니다.
• 문제: 이러한 모델이 학습한 표현이 전사 인자 (TF) 와 표적 유전자 간의 인과적 조절 관계를 인코딩하는지, 아니면 단순히 상관관계에 기반한 통계적 공발현 패턴을 반영하는지 불분명합니다.
• 기존 한계: 이전 연구들은 주로 어텐션 (attention) 가중치를 분석했으나, 이는 모델의 내부 계산 구조를 완전히 설명하지 못합니다. 또한, 표준 선형 분해 방법 (SVD, PCA) 은 신경망의 '중첩 (superposition)' 현상 (제한된 차원에 많은 개념을 인코딩하는 것) 을 해결하지 못해 모델이 가진 풍부한 생물학적 구조를 놓칠 수 있습니다.

2. 방법론 (Methodology)

• SAE 적용: 연구진은 Geneformer V2-316M(18 레이어, 차원 1,152) 과 scGPT whole-human(12 레이어, 차원 512) 의 모든 레이어에서 잔여 스트림 (residual stream) 활성화 값을 추출했습니다.
• TopK SAE 훈련: 각 레이어의 활성화 값을 4 배 과완전 (overcomplete) 사전 (Geneformer: 4,608 개 특성, scGPT: 2,048 개 특성) 으로 매핑하고, TopK(K=32) 희소성 제약을 적용하여 훈련했습니다.
• 데이터: Replogle CRISPRi 데이터셋 (Geneformer) 과 Tabula Sapiens 데이터셋 (scGPT 및 다조직 실험) 을 사용했습니다.
• 분석 파이프라인:
  1. 특성 주석: Gene Ontology, KEGG, Reactome, STRING, TRRUST 등 5 개 생물학 데이터베이스를 통해 특성을 주석했습니다.
  2. 공활성화 (Co-activation) 네트워크: 점별 상호 정보 (PMI) 를 계산하여 특성이 어떻게 모듈로 조직화되는지 분석했습니다.
  3. 인과적 패치 (Causal Patching): 특정 SAE 특성을 0 으로 설정 (ablation) 하고 모델 출력의 변화를 측정하여 인과적 특이성을 검증했습니다.
  4. 교란 반응 매핑: CRISPRi 교란 데이터와 비교하여 특정 TF 의 조절 표적에 대한 반응이 있는지 확인했습니다.
  5. 다조직 제어 실험: 훈련 데이터의 한계 (K562 세포만 사용) 를 배제하기 위해 다양한 조직의 데이터를 혼합하여 SAE 를 재훈련하고 비교했습니다.

3. 주요 결과 (Key Results)

A. 거대한 중첩 (Massive Superposition)

• 두 모델 모두 **99.8%**의 SAE 특성이 표준 SVD 분석으로는 감지되지 않는 '새로운 (novel)' 구조임을 확인했습니다.
• Geneformer 는 1,152 차원 공간에 82,525 개의 생물학적 개념을 인코딩하고 있으며, 이는 70 배 이상의 압축 비율을 의미합니다.
• 이 새로운 특성들이 전체 생물학적 주석 (Ontology annotations) 의 **98.7%**를 담당하고 있습니다.

B. 조직화된 생물학적 지식

• 계층적 추상화: 레이어별 주석률은 U 자형 곡선을 보입니다. 초기 레이어는 분자 기계 (세포 주기, 번역 등) 를, 중반 레이어는 추상적 계산을, 후기 레이어는 통합적 세포 프로그램 (세포 분화, 신호 전달 등) 을 인코딩합니다.
• 모듈화: Geneformer 는 141 개, scGPT 는 76 개의 공활성화 모듈을 형성하며, 각 모듈은 명확한 생물학적 정체성 (예: 면역 신호, 미토콘드리아 조직화) 을 가집니다.
• 정보 고속도로: 레이어 간 특성 유사성은 거의 없으나, 기능적 연결 (정보 흐름) 은 97~99.8% 로 매우 밀접하게 유지됩니다.

C. 인과적 특이성 vs. 조절 논리 부재 (핵심 발견)

• 특성 수준의 인과성: 개별 SAE 특성을 제거했을 때 해당 특성이 주석된 유전자 집합의 로짓 (logit) 이 선택적으로 교란되었습니다 (중앙값 특이성 2.36 배). 이는 모델이 특성 수준에서 계산 구조를 가지고 있음을 보여줍니다.
• 조절 논리의 부재: 그러나 CRISPRi 교란 데이터에 대한 테스트에서 TF 조절 특이성은 극히 낮았습니다.
  • Geneformer 는 48 개의 전사 인자 (TF) 중 **6.2% (3 개)**만이 알려진 조절 표적에 특이적으로 반응했습니다.
  • 모델은 교란이 발생했음을 감지하지만 (92% 감지율), 어떤 특정 유전자가 조절되어야 하는지에 대한 인과적 논리는 인코딩하지 못했습니다.
• 모델의 한계 확인: K562 세포만 사용한 SAE 와 다양한 조직을 포함한 다조직 SAE 를 비교한 결과, 특이성은 6.2% 에서 10.4% 로 미미하게만 증가했습니다. 이는 데이터의 부족이 아니라 모델 자체의 표현 (representation) 이 조절 논리를 학습하지 못했기 때문임을 시사합니다.

4. 기여 및 의의

1. 새로운 해석 도구: 단일 세포 기반 모델에 SAE 를 적용하여 10 만 개 이상의 해석 가능한 생물학적 특성을 추출한 최초의 체계적인 연구입니다.
2. 모델 능력의 한계 규명: 현재 scFMs 이 풍부하고 조직화된 생물학적 지식 (경로, 상호작용, 모듈) 을 내부화하고 있음을 증명했으나, 인과적 조절 논리 (인과성) 는 학습하지 못함을 명확히 했습니다. 이는 모델이 공발현 패턴을 학습할 뿐, 인과적 인과관계를 학습하지 못함을 의미합니다.
3. 향후 연구 방향 제시: 인과적 조절 관계를 학습시키기 위해서는 단순한 예측 훈련이 아닌, 교란 (perturbation) 을 명시적으로 고려한 훈련 목표 (training objectives) 가 필요함을 시사합니다.
4. 공개 리소스: Geneformer 와 scGPT 에 대한 **상호작용형 웹 기반 특성 지도 (Feature Atlas)**를 공개하여, 연구자들이 30 개 레이어에 걸친 10 만 개 이상의 특성을 탐색할 수 있도록 했습니다.

5. 결론

이 연구는 단일 세포 기반 모델이 생물학적 지식을 어떻게 표현하는지에 대한 심층적인 통찰을 제공하며, 동시에 현재의 모델이 가진 근본적인 한계 (인과적 조절 논리의 부재) 를 규명했습니다. 이는 차세대 기초 모델 개발이 단순한 상관관계 학습을 넘어 인과적 구조를 포착할 수 있도록 훈련 전략을 수정해야 함을 강력히 시사합니다.