Causal Circuit Tracing Reveals Distinct Computational Architectures in Single-Cell Foundation Models: Inhibitory Dominance, Biological Coherence, and Cross-Model Convergence

이 논문은 유전자 기반 기초 모델 (Geneformer V2, scGPT) 에 대한 인과 회로 추적 분석을 통해 억제 우세와 생물학적 일관성이 보편적이며, 교차 모델 간 합의가 질병 관련 도메인을 식별하고 CRISPRi 실험을 통해 발현 상관관계가 인과적 인코딩이 아님을 입증했음을 보고합니다.

핵심

이 논문은 **"인공지능이 생물학 데이터를 어떻게 '이해'하고 있는지 그 내부 작동 원리를 해부한 연구"**입니다.

쉽게 말해, 두 개의 거대한 생물학 AI 모델 (Geneformer 와 scGPT) 의 뇌를 들여다보고, **"어떤 정보가 어떻게 흘러가서 최종적인 판단을 내리는가?"**를 추적한 것입니다. 연구자는 이를 위해 **'인과 회로 추적 (Causal Circuit Tracing)'**이라는 새로운 방법을 개발했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

1. 연구의 핵심: "AI 의 뇌 속 전선 지도 그리기"

생각해 보세요. 거대한 도시 (AI 모델) 가 있습니다. 이 도시에는 수많은 건물 (뉴런) 과 전선 (데이터 흐름) 이 있습니다. 우리는 이 도시가 어떻게 작동하는지 알고 싶지만, 전선이 너무 복잡해서 보이지 않습니다.

연구자들은 **'특정 전선 하나를 잘라내면 (Feature Ablation), 도시 전체에 어떤 변화가 일어나는지'**를 관찰했습니다.

• 비유: 도시의 '전력 공급'을 끊어보면 어떤 건물이 멈추는지, '물 공급'을 끊으면 어떤 공장이 멈추는지 확인하는 것과 같습니다.
• 결과: AI 가 단순히 정보를 저장하는 것이 아니라, 생물학적 과정 (DNA 수리, 세포 분열 등) 을 마치 실제 생물체처럼 순차적으로 처리하고 있음을 발견했습니다.

2. 두 AI 모델의 성격 차이: "조화로운 합창단 vs 치열한 스포츠 경기"

연구는 두 가지 서로 다른 AI 모델을 비교했는데, 그 성격이 매우 달랐습니다.

• Geneformer (유전자 모델):
  • 성격: 조화로운 합창단 같습니다.
  • 특징: 대부분의 정보가 서로를 억제하거나 도와주는 '협력적'인 방식으로 흐릅니다. (약 80% 가 억제적)
  • 중심: RNA 처리와 유전자 조절을 가장 중요하게 여깁니다. 마치 도서관의 사서가 책 (유전자) 을 정리하고 분류하는 데 집중하는 것과 같습니다.
• scGPT (단일 세포 모델):
  • 성격: 치열한 스포츠 경기 같습니다.
  • 특징: 정보들이 서로 경쟁하며, 한쪽이 이기면 다른 쪽이 밀려나는 '경쟁적'인 역동성이 강합니다. (약 65% 억제, 35% 촉진)
  • 중심: 미토콘드리아 (세포의 발전소) 와 에너지 대사를 가장 중요하게 여깁니다. 마치 도시의 전력 관리가 모든 활동의 핵심인 것처럼, 에너지 상태를 가장 먼저 파악합니다.

3. 놀라운 발견: "생물학의 보편적 진리"

두 모델은 훈련 데이터도 다르고, 구조도 달랐지만, 생물학적 진리를 파악하는 방식은 놀랍도록 비슷했습니다.

• 비유: 두 명의 다른 요리사 (AI) 가 서로 다른 재료를 가지고 요리를 했지만, **"소금 (DNA 손상) 을 넣으면 요리가 망가지고, 그걸 고치려면 시간 (세포 주기 정지) 이 필요하다"**는 기본 원리는 똑같이 이해하고 있었습니다.
• 핵심 발견:
  1. 생물학적 일관성: 두 모델 모두 생물학적으로 관련 없는 정보끼리 연결되는 경우가 거의 없었습니다. (예: '소화'와 '뇌 활동'이 직접 연결되지 않음). 약 53% 의 연결은 생물학적으로 매우 논리적였습니다.
  2. 시간의 흐름: AI 의 깊은 층 (Layer) 을 거칠수록, 정보가 시그널 전달 → 유전자 조절 → 최종 결정 순서로 흐르는 것을 확인했습니다. 이는 실제 세포가 신호를 받고 반응하는 시간적 순서와 완벽하게 일치합니다.

4. 질병과 AI 의 관계: "중요한 것은 항상 중심에 있다"

연구자들은 이 AI 지도를 통해 질병 관련 유전자들을 찾아냈습니다.

• 발견: 암, 면역 질환, DNA 손상과 관련된 생물학적 과정들은 AI 의 회로에서 가장 중심이 되는 '허브 (Hub)' 위치에 있었습니다.
• 의미: AI 가 학습한 생물학 지식에서, 인간에게 가장 중요한 질병 관련 부분들이 가장 튼튼하고 잘 연결되어 있다는 뜻입니다. 이는 AI 가 인간 질병의 핵심을 잘 파악하고 있음을 보여줍니다.

5. 한계점: "지도는 정확하지만, 구체적인 처방전은 아니다"

하지만 이 연구는 AI 가 완벽한 '의사'는 아니라고 경고합니다.

• 비유: AI 는 **"소방서 (DNA 수리) 가 불 (손상) 을 감지하면 소방차 (세포 정지) 를 보낸다"**는 큰 흐름 (지도) 은 정확히 알고 있습니다. 하지만 **"어떤 특정 소방관 (특정 유전자) 이 어떤 특정 불을 끄는지"**를 예측하는 것은 아직 서툴러요.
• 결과: AI 가 예측한 유전자 간의 인과 관계를 실제 실험 (CRISPR) 으로 검증했을 때, 방향성은 56% 정도만 맞았습니다. 즉, 큰 흐름은 알지만, 미세한 개별 유전자의 역할은 아직 완벽하지 않습니다.

---

📝 요약: 이 논문이 우리에게 주는 메시지

1. AI 는 생물학을 '이해'하고 있다: AI 는 단순히 데이터를 외운 것이 아니라, 생물학적 과정의 인과 관계와 시간적 순서를 내부적으로 재구성했습니다.
2. 두 가지 다른 사고방식: 생물학 AI 는 에너지 중심 (scGPT) 이나 유전자 조절 중심 (Geneformer) 등 다양한 방식으로 세상을 바라볼 수 있습니다.
3. 새로운 발견의 가능성: AI 가 찾아낸 연결고리 중에는 기존 과학 지식이 알려주지 않았던 새로운 생물학적 관계 (예: 미토콘드리아가 단백질 이동에 미치는 영향) 가 많아, 앞으로의 연구에 큰 힌트를 줍니다.
4. 주의할 점: AI 는 생물학의 '큰 지도'는 잘 그리지만, '세부적인 길'을 찾는 데는 아직 인간 과학자의 검증이 필요합니다.

이 연구는 인공지능이 생물학의 복잡한 미로를 어떻게 헤쳐나가는지 그 지도를 처음으로 그려낸 획기적인 작업이라고 할 수 있습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Motivation)

• 배경: 희소 오토인코더 (Sparse Autoencoders, SAE) 는 대규모 언어 모델 및 생물학적 기초 모델 (Foundation Models) 의 활성화 (activations) 를 해석 가능한 특징 (features) 으로 분해하여 '중첩 (superposition)' 가설을 해결합니다. 이전 연구 (동행 논문) 를 통해 Geneformer 와 scGPT 와 같은 단일 세포 기초 모델이 풍부한 생물학적 지식 (경로, 단백질 상호작용 등) 을 인코딩하고 있음이 확인되었습니다.
• 문제: 그러나 기존 연구는 어떤 특징이 존재하는지와 어디에 위치하는지는 규명했지만, 네트워크 깊이를 가로지르는 특징 간의 인과적 상호작용 (causal feature-to-feature interactions) 은 규명되지 않았습니다. 단순한 공활성화 (co-activation) 통계는 상관관계와 인과관계를 구분하지 못하며 정보 흐름의 방향성과 크기를 파악할 수 없습니다.
• 목표: 생물학적 기초 모델 내부의 계산 그래프 (computational graph) 를 매핑하고, 모델 아키텍처와 학습 데이터에 따른 계산 구조의 차이를 규명하기 위해 인과 회로 추적 (Causal Circuit Tracing) 기법을 도입합니다.

2. 방법론 (Methodology)

• 인과 회로 추적 (Causal Circuit Tracing):
  • 원리: 특정 층 (layer) 의 소스 SAE 특징 (source feature) 을 활성화 (ablation, 0 으로 설정) 시킨 후, 하위 층의 모든 SAE 특징이 어떻게 변화하는지 측정합니다. 이는 활성화 패칭 (activation patching) 논리를 SAE 특징 수준으로 확장한 것입니다.
  • 실험 설정:
    • 모델: Geneformer V2-316M (18 층) 과 scGPT Whole-Human (12 층).
    • 데이터: K562 세포 (Geneformer 전용) 와 Tabula Sapiens (다양한 조직, scGPT 및 Geneformer 다조직 SAE 용).
    • 조건: 4 가지 실험 조건 (K562/K562, K562/Multi, TS/Multi-Geneformer, TS/Multi-scGPT) 에서 총 96,892 개의 인과적 에지 (edges) 와 80,191 번의 순전파 (forward passes) 를 수행.
  • 통계적 기준: 코헨의 d (Cohen's d) 가 0.5 초과이고 일관성 (consistency) 이 70% 이상인 경우를 유의미한 인과 에지로 정의.
• 검증:
  • 생물학적 일관성 (Biological Coherence): 소스와 타겟 특징이 공유하는 생물학적 용어 (GO, KEGG, Reactome 등) 가 있는지 확인.
  • 교차 모델 합의 (Cross-Model Consensus): 두 모델에서 공통적으로 발견된 생물학적 도메인 쌍 (domain pairs) 분석.
  • CRISPRi 검증: Replogle 게놈 규모 스크린 데이터를 사용하여 유전자 수준의 예측 정확도 검증.

3. 주요 결과 (Key Results)

3.1. 계산 아키텍처의 발견: 억제 우세 (Inhibitory Dominance)

• 밀집된 회로: 모델의 계산 그래프는 희소하지 않고 매우 밀집되어 있음. 소스 특징 하나가 평균 600~2,400 개의 하위 특징에 인과적 영향을 미침.
• 억제 우세: 모든 조건에서 65%~89% 의 인과적 에지가 억제적 (inhibitory, 음의 부호) 임.
  • 이는 특징들이 '필요한 정보'를 인코딩함을 의미 (특징을 제거하면 의존하는 하위 특징의 활성화가 떨어짐).
  • Geneformer: 80.1% 억제 우세 (협력적, 의존 기반 아키텍처).
  • scGPT: 65.5% 억제 우세 (더 균형 잡힌 경쟁적 동역학).

3.2. 모델별 고유한 계산 조직화 (Distinct Architectures)

• Geneformer:
  • 허브 (Hub): 염색체 조절 (Chromatin), RNA 처리 (RNA Processing), 성장 인자 반응 등이 초기 층의 주요 허브.
  • 특징: 초기 층 (L0) 특징이 가장 광범위하게 연결됨.
• scGPT:
  • 허브: 미토콘드리아 전자 전달 (Mitochondrial Electron Transport), 에너지 대사가 핵심 조직 원리.
  • 특징: 중간 층 (L4) 이 가장 밀집된 연결을 보임 ("Funnel then broadcast" 구조). 개별 효과 크기 (Mean |d|=1.40) 가 Geneformer (1.05) 보다 큼.

3.3. 생물학적 일관성과 보편성

• 일관성: 두 모델 모두 약 53% 의 생물학적 일관성 (인과 에지의 소스/타겟이 생물학적 용어를 공유) 을 보임. 이는 아키텍처나 학습 데이터와 무관하게 생물학적 지식 조직화의 보편적 속성임을 시사.
• 다조직 SAE 의 효과: 다조직 SAE 를 사용할 경우 생물학적 일관성이 68.8% 로 크게 향상됨 (세포 유형에 무관). 이는 SAE 학습 데이터가 특징의 '렌즈' 역할을 하여 생물학적 프로그램을 더 깨끗하게 분리함을 보여줌.
• 교차 모델 합의: 두 모델이 독립적으로 학습한 1,142 개의 보존된 도메인 쌍이 발견됨 (우연 대비 10.6 배 풍부, p < 0.001). 이는 모델 고유의 아티팩트가 아닌 실제 생물학적 관계를 반영함.

3.4. 해석 가능한 생물학적 회로 (Interpretable Circuits)

• DNA 손상 반응 (DDR) 캐스케이드: DNA 손상 감지 (L0) → 체크포인트 활성화 (L5) → 세포 주기 정지 (L17) 로 이어지는 명확한 시간적 순서가 네트워크 깊이에 인코딩됨.
• 단백질 품질 관리 및 스트레스 반응: scGPT 에서 단백질 분해 (Protein Catabolism) 가 염색체 조직화 및 스트레스 반응으로 이어지는 일관된 회로 발견.
• 신경 발달 - 프로테오스타시스 연결: 신경 발달 특징이 단백질 품질 관리 시스템과 강하게 연결됨.

3.5. 유전자 수준 검증 및 한계

• CRISPRi 검증: 유전자 - 유전자 예측의 방향성 정확도는 56.4% (무작위 50% 보다 약간 높음) 였으나, 효과 크기의 상관관계는 거의 0 에 가까움.
• 결론: 모델은 공발현 (co-expression) 패턴을 잘 학습했으나, 특정 유전자가 다른 유전자를 인과적으로 조절 (causal regulation) 한다는 메커니즘적 예측은 아직 불완전함.
• 질병 연관성: 질병 관련 생물학적 도메인은 회로 그래프에서 더 중심적인 위치를 차지하며, 두 모델 간 합의 가능성이 3.59 배 높음.

4. 주요 기여 (Key Contributions)

1. 새로운 해석 기법 도입: 생물학적 기초 모델의 내부 작동 원리를 규명하기 위해 SAE 기반 인과 회로 추적을 처음 적용.
2. 계산 아키텍처의 발견: Geneformer 와 scGPT 가 서로 다른 계산 전략 (협력적/의존적 vs 경쟁적/에너지 중심) 을 사용함을 규명.
3. 생물학적 보편성 증명: 서로 다른 모델이 동일한 생물학적 회로 구조 (약 53% 일관성, 억제 우세) 를 공유함을 확인하여, 기초 모델이 실제 생물학적 지식을 내부화했음을 입증.
4. 새로운 생물학적 가설 제시: 기존 지식 베이스에 없는 29,864 개의 새로운 도메인 간 연결 (예: 미토콘드리아 에너지 상태가 단백질 수송에 미치는 영향) 을 발견하여 실험적 검증 대상 제시.

5. 의의 및 시사점 (Significance)

• 메커니즘적 해석 가능성 (Mechanistic Interpretability): 단일 세포 기초 모델이 단순한 통계적 패턴 매칭을 넘어, 생물학적 인과 관계의 시간적 순서 (신호 전달 → 염색체 수정 → 유전자 발현) 를 네트워크 깊이에 인코딩하고 있음을 보여줌.
• 모델 비교의 중요성: 단일 모델 분석만으로는 알 수 없는 보편적 속성 (일관성, 억제 우세) 과 아키텍처 특유의 계산 방식을 구분하기 위해 교차 모델 비교가 필수적임을 강조.
• SAE 의 역할 강조: 모델 자체보다 SAE 학습 데이터 (단일 조직 vs 다조직) 가 해석의 질 (생물학적 일관성) 에 더 큰 영향을 미칠 수 있음을 시사.
• 미래 방향: 모델이 '어떤 과정이 연결되는지'는 잘 알지만 '어떤 유전자가 어떤 유전자를 직접 조절하는지'는 아직 학습 중임을 명확히 함으로써, 향후 기초 모델의 정밀한 인과 추론 능력 향상을 위한 방향을 제시.

이 논문은 단일 세포 기초 모델이 생물학적 지식을 어떻게 구조화하고 처리하는지에 대한 깊은 통찰을 제공하며, 인공지능과 생물학의 융합 연구에서 중요한 이정표가 됩니다.