AblateCell: A Reproduce-then-Ablate Agent for Virtual Cell Repositories

1. 문제 정의 (Problem)

AI 가상 세포 (Virtual Cell) 모델의 성능 향상 요인 규명 (Attribution) 의 부재
최근 대규모 언어 모델 (LLM) 기반 에이전트들이 과학적 아이디어를 코드로 구현하는 능력은 향상되었으나, 어떤 구성 요소가 실제 성능 향상에 기여하는지 체계적으로 규명 (Attribution) 하는 과정은 여전히 큰 병목 현상입니다.

• 재현성 문제: 생물학 데이터 저장소 (Repository) 는 표준화가 부족하고 도메인 특화 데이터 형식 (예: h5ad) 과 의존성 문제가 복잡하여, 자동화된 에이전트가 기존 논문의 결과를 재현 (Reproduction) 하는 데 실패하는 경우가 많습니다.
• 절단 실험 (Ablation Study) 의 어려움: 성능에 중요한 구성 요소를 찾기 위해서는 체계적인 절단 실험이 필요하지만, 이는 수동으로 수행되거나 도메인 지식이 부족하여 에이전트가 효과적으로 수행하지 못합니다.
• 검증의 부재: 기존 에이전트들은 코드 생성에 그치고, 생성된 코드가 강력한 베이스라인을 재현하며 어떤 부분이 중요한지 검증하는 'Closed-loop' 프로세스가 결여되어 있습니다.

2. 방법론 (Methodology)

AblateCell: 재현 후 절단 (Reproduce-then-Ablate) 에이전트
AblateCell 은 가상 세포 저장소를 대상으로 자동화된 재현과 폐쇄 루프 (Closed-loop) 절단 실험을 수행하는 엔드 - 투 - 엔드 에이전트 시스템입니다.

핵심 구성 요소 및 프로세스:

1. 자동화된 베이스라인 재현 (Automated Baseline Reproduction):

   • Planner-Agent: 작업 지시를 하위 태스크 (데이터 로딩, 학습, 추론 등) 로 분해하고 도메인 지식 베이스에서 관련 정보를 검색하여 실행 계획을 수립합니다.
   • Code-Agent: Docker 컨테이너 내에서 코드를 실행하고, 의존성 충돌, 데이터 형식 오류, 누락된 임포트 등을 자동으로 디버깅하여 공식적인 평가 파이프라인을 성공적으로 재현합니다.
   • 결과: 검증 가능한 아티팩트 (Artifacts) 를 생성하여 재현성을 보장합니다.

2. 그래프 기반 자율 절단 (Graph-based Autonomous Ablation):

   • 고립된 코드 변형 (Isolated Code Mutation): 각 실험마다 Git Worktree 를 사용하여 코드 변형을 격리합니다. 이는 병렬 실행을 가능하게 하고 실험 간 간섭을 방지합니다.
   • 적응형 밴디트 샘플링 (Adaptive Bandit Sampling):
     • 절단 실험을 다중 팔 밴디트 (Multi-armed Bandit) 문제로 모델링합니다.
     • 각 '팔 (Arm)'은 특정 가설 (예: 특정 모듈 제거, 하이퍼파라미터 변경) 에 해당합니다.
     • UCB (Upper Confidence Bound) 알고리즘을 변형하여 적용하며, 도메인 지식 가중치를 반영하여 중요한 구성 요소를 우선적으로 탐색합니다.
     • 보상 함수 (Reward): 성능 변화량 ($|\Delta|$) 에서 계산 비용 (GPU 시간) 을 뺀 값을 최대화하도록 설계되어, 비용 효율적이면서 영향력이 큰 실험을 선택합니다.

3. 도메인 지식 베이스 (Domain Knowledge Base):

   • 관련 논문과 코드베이스를 파싱하여 함수, 클래스, 모듈의 의미론적 설명을 추출하고 임베딩합니다.
   • 재현 단계에서는 구현 가이드로, 절단 단계에서는 가설 생성과 결과 해석을 위한 컨텍스트로 활용됩니다.

3. 주요 기여 (Key Contributions)

1. AblateCell 프레임워크 개발: 단일 세포 교란 예측 (Single-cell perturbation prediction) 저장소를 대상으로 한 최초의 엔드 - 투 - 엔드 '재현 - 후 - 절단' 에이전트입니다.
2. 검증 가능한 자동화: 환경 자동 구성, 의존성 해결, 공식 평가 재실행을 통해 96.3% 의 재현 성공률 (TSR) 을 달성하고 검증 가능한 아티팩트를 생성합니다.
3. 지능형 절단 엔진: 그래프 기반 실행, 적응형 밴디트 샘플링, 도메인 지식 검색을 결합하여, 인간 전문가보다 높은 정확도로 성능에 중요한 구성 요소를 식별합니다.
4. 광범위한 평가: CPA, GEARS, BioLORD 세 가지 주요 단일 세포 모델에 대한 종합적인 실험을 통해 기존 에이전트 (Mini-SWE-Agent, RepoMaster) 와 인간 전문가 대비 성능을 입증했습니다.

4. 실험 결과 (Results)

세 가지 저장소 (CPA, GEARS, BioLORD) 에 대한 평가에서 AblateCell 은 다음과 같은 성과를 거두었습니다.

• 엔드 - 투 - 엔드 작업 성공률 (End-to-End TSR): 88.9% (인간 전문가 대비 +29.9% 향상).
  • 재현 단계: 96.3% (인간 전문가 대비 +24.0% 향상).
  • 절단 단계: 92.0% (인간 전문가 대비 +12.0% 향상).
• 중요 구성 요소 식별 정확도 (Acc@5): 93.3% (휴리스틱 기반 방법 대비 +53.3% 향상).
  • 모델의 성능에 가장 큰 영향을 미치는 핵심 구성 요소 (예: GEARS 의 Perturbation GNN Encoder, CPA 의 Unified Latent Embedding 등) 를 인간 전문가의 합의 (Ground Truth) 와 높은 일치도로 찾아냈습니다.
• 효율성: 밴디트 알고리즘을 통해 불필요한 실험을 줄이고, Git Worktree 를 통해 병렬 실행 효율을 극대화했습니다.

5. 의의 및 결론 (Significance)

• 과학적 검증의 자동화: AI 가 생성한 과학적 아이디어의 신뢰성을 확보하기 위해, 단순한 코드 생성을 넘어 검증 (Verification) 과 귀속 (Attribution) 을 자동화하는 새로운 패러다임을 제시했습니다.
• 확장 가능한 생물학적 연구: 생물학 코드베이스에서 직접 수행 가능한 확장성 있는 검증 프로세스를 제공하여, wet-lab 실험에 대한 의존도를 줄이고 가상 세포 모델의 최적화를 가속화합니다.
• 미래 방향: 현재는 단일 세포 교란 예측에 국한되어 있으나, 이 프레임워크는 다양한 과학적 도메인으로 확장되어 AI 기반 과학 발견의 신뢰성을 높이는 핵심 인프라가 될 수 있습니다.

요약하자면, AblateCell은 복잡한 생물학 코드 저장소에서 인간 전문가의 개입 없이도 정확한 재현과 체계적인 성능 분석을 수행할 수 있는 강력한 자율 에이전트로서, AI 과학 연구의 재현성 위기와 검증 부족 문제를 해결하는 중요한 솔루션입니다.