[기술 요약] SynthPert: 합성 추론 흔적을 통한 세포 유전자 변이 예측 LLM의 생물학적 추론 능력 향상

1. 문제 정의 (Problem Statement)

세포 내 유전자 변이(Genetic Perturbation)에 따른 반응을 예측하는 것은 신약 개발 및 가상 세포 모델링의 핵심 과제입니다. 기존의 접근 방식은 다음과 같은 한계가 있습니다.

• 기존 딥러닝 모델 (GEARS, scGPT 등): 대규모 데이터를 학습하지만, 학습 데이터에 없는 새로운 생물학적 맥락(unseen biological contexts)으로의 일반화 능력이 부족합니다.
• 기존 LLM 기반 모델 (SUMMER 등): 생물학적 지식을 활용할 수 있으나, 주로 문헌 분석이나 실험 설계에 치중되어 있으며, 실제 변이 예측 시 문제를 '차등 발현 여부'와 '발현 방향성'으로 인위적으로 분해하여 예측하는 한계가 있습니다. 이는 실제 연구 현장에서 변이 효과를 사전에 알 수 없는 상황과 괴리가 있습니다.

2. 방법론 (Methodology: SynthPert)

본 논문은 SynthPert라는 새로운 방법론을 제안합니다. 핵심 아이디어는 단순한 실험 데이터(결과값)를 학습하는 대신, 프론티어 모델(Frontier Model)이 생성한 '합성 추론 흔적(Synthetic Reasoning Traces)'을 통해 지도 미세 조정(SFT)을 수행하는 것입니다.

주요 단계:

1. 합성 Chain-of-Thought (CoT) 생성: OpenAI의 o4-mini와 같은 고성능 모델을 사용하여, 주어진 (세포 유형, 변이, 유전자) 입력에 대해 왜 그런 결과가 나오는지에 대한 **기전적 설명(Mechanistic Explanation)**을 생성합니다.
   • Approach 2 (결과 기반 설명 생성): 정답(Ground Truth)을 모델에 제공하고, 그 결과가 도출된 생물학적 근거를 생성하게 합니다.
2. 품질 검증 (Quality Filtering): 별도의 비판 모델(Critic LLM)을 사용하여 생성된 설명의 품질을 5점 척도로 평가하고, 'Excellent' 등급을 받은 고품질 데이터만 선별합니다.
3. 지도 미세 조정 (Supervised Fine-Tuning): 선별된 고품질 합성 추론 데이터를 사용하여 DeepSeek-R1 8B 모델을 LoRA(Low-Rank Adaptation) 방식으로 미세 조정합니다. 이때 예측은 '상향 조절(Up)', '하향 조절(Down)', '차등 발현 없음(Not differentially expressed)'의 3개 클래스를 동시에 예측하도록 설계되었습니다.

3. 주요 기여 (Key Contributions)

• 합성 추론 증류 (Synthetic Reasoning Distillation): 원시 실험 데이터가 아닌, 모델이 생성한 논리적 추론 과정을 학습함으로써 생물학적 인과 관계를 학습하도록 유도했습니다.
• 실용적 작업 구성: 문제를 분해하지 않고 3-클래스 분류를 직접 수행함으로써 실제 생물학적 워크플로우에 적합한 모델을 구축했습니다.
• 데이터 효율성: 전체 데이터의 단 **2%**만을 사용하여 성능을 극대화했습니다.

4. 실험 결과 (Results)

PerturbQA 벤치마크를 통해 검증한 결과는 다음과 같습니다.

• SOTA 달성: 기존 모델(SUMMER, GEARS 등)을 능가하는 성능을 보였으며, 특히 차등 발현 예측(Differential Expression) 작업에서 높은 AUROC를 기록했습니다.
• 교사 모델 능가 (Distillation Paradox): 놀랍게도, 학습 데이터를 생성한 교사 모델(o4-mini)보다 미세 조정된 작은 모델(SynthPert)의 예측 정확도가 더 높게 나타났습니다 (3-클래스 예측 기준 89% vs 52%). 이는 고품질 추론 경로를 통해 모델이 잠재된 생물학적 지식을 더 효율적으로 활성화했음을 의미합니다.
• 탁월한 일반화 능력 (Cross-cell-type Generalization): 학습에 전혀 사용되지 않은 새로운 세포 유형(RPE1)에 대해 테스트했을 때 87%의 정확도를 기록했습니다. 이는 모델이 세포 특이적인 패턴을 암기한 것이 아니라, **전이 가능한 생물학적 원리(Transferable biological principles)**를 학습했음을 입증합니다.
• 정밀도 중심의 예측: 불균형한 데이터 분포 속에서도 모델은 매우 높은 정밀도(Precision)를 보여, 실제 실험 설계 시 신뢰할 수 있는 예측을 제공합니다.

5. 의의 및 결론 (Significance & Conclusion)

본 연구는 생물학적 AI 모델 구축에 있어 **"방대한 실험 데이터의 양보다, 정교하게 구조화된 추론 과정의 질이 더 중요하다"**는 것을 보여주었습니다.

• 학술적 의의: LLM의 사전 학습된 지식을 특정 도메인(생물학)의 추론 능력으로 전환하는 효과적인 방법론(Synthetic Reasoning Distillation)을 제시했습니다.
• 실용적 의의: 세포 유형이 바뀌어도 작동하는 일반화된 모델을 통해, 실험 전 단계에서 유전자 변이의 효과를 예측하는 'In silico' 실험의 가능성을 높였습니다.