Biological Reasoning-Informed Regression for Interpretable Regulatory DNA Activity Prediction

기술 요약: 해석 가능한 조절 DNA 활성 예측을 위한 생물학적 추론 기반 회귀 모델

문제 정의
인핸서(enhancer)와 같은 시스 조절 요소(cis-regulatory elements, CREs)의 조절 활성을 DNA 서열로부터 예측하는 것은 대사 공학, 개인 맞춤형 의료 및 농업 분야에서 매우 중요한 과제입니다. 엔포머(Enformer)와 같은 딥러닝 모델은 서열에서 활성으로의 엔드 투 엔드(end-to-end) 매핑을 학습함으로써 성공을 거두었으나, 블랙박스로 작동합니다. 이러한 해석 가능성의 결여는 이 모델들을 서열 최적화를 위한 보상 모델로 사용할 때 "보상 해킹(reward hacking)"에 취약하게 만들며, 생물학자의 신뢰를 제한합니다. 반면, 대규모 언어 모델(LLM)은 단계별 추론(Chain-of-Thought)에는 뛰어나지만, 가공되지 않은 DNA 서열("ACGT...")에 직접 적용될 경우 표현 방식의 불일치 문제로 인해 실패합니다. 즉, LLM은 구조화되지 않은 뉴클레오타이드 문자열로부터 전사 인자 결합 부위(TFBS)나 조절 문법과 같은 생물학적으로 의미 있는 특징을 본질적으로 추출할 수 없습니다.

방법론: R3LM 프레임워크
저자들은 LLM의 추론 능력과 생물학적 서열 분석 사이의 간극을 메우기 위해 설계된 2단계 훈련 파이프라인인 R3LM(Reasoning Regression Reward Language Model)을 제안합니다.

1. 조절 컨텍스트 카드 (Regulatory Context Card, RCC):
   표현 방식의 불일치를 해결하기 위해, 저자들은 가공되지 않은 DNA 서열을 해석 가능하고 생물학적 근거가 있는 표현으로 컴파일하는 구조화된 입력 형식인 RCC를 도입했습니다. RCC는 단순한 뉴클레오타이드 서열 대신, $S$라는 서열과 $c$(예: 세포 유형)라는 컨텍스트를 포함하는 결정론적 스키마로 변환합니다:

   • 모티프 증거 ($M$): JASPAR 데이터베이스 스캐닝을 통해 식별된 TFBS(패밀리, 점수, 위치, 가닥).
   • 서열 통계 ($G$): GC 함량과 같은 글로벌 사전 정보(global priors).
   • 문법 태그 ($T$): 모티프 배치(예: 간격, 공존)에서 유도된 고차원 휴리스틱.
   • 컨텍스트: 명시적인 실험 조건.
     이러한 변환을 통해 LLM은 임의의 문자열이 아닌 조절 로직을 "읽을" 수 있게 됩니다.

2. CRE-ReasonBench 데이터셋:
   저자들은 DNA 서열과 기전적 추론 흔적(reasoning traces)을 결합한 최초의 데이터셋을 구축했습니다. 프런티어 LLM(Claude Sonnet 4.5)을 사용하여 특정 모티프 구성, 간격, 세포 컨텍스트가 어떻게 활성 수준을 결정하는지 설명하는 단계별 추론 과정을 합성했습니다. 각 샘플에는 RCC 프롬프트, 구조화된 추론 흔적(CoT), 그리고 이산적 활성 수준 레이블(0–3)이 포함됩니다.

3. 2단계 훈련 전략:
   생성(generation)과 회귀(regression)의 공동 최적화 시 발생하는 그래디언트 충돌 및 메모리 문제를 피하기 위해, R3LM은 분리된 2단계 접근 방식을 채택합니다:

   • 1단계 (추론 생성기): RCC 프롬프트를 바탕으로 기전적 근거와 이산적 활성 수준($\ell$)을 생성하는 Chain-of-Thought 생성기($g_\theta$)를 학습시킵니다. 이 모델은 표준 언어 모델링 손실 함수를 사용하여 최적화됩니다.
   • 2단계 (추론 조건부 회귀 모델): 연속적인 활성 점수($y$)를 예측하는 회귀 모델($f_\Theta$)을 학습시킵니다. 입력값은 RCC 프롬프트와 1단계에서 생성된 (최종 이산 결론을 제외한) '자기 생성' 근거를 결합한 것입니다. 모델은 앵커 위치에서의 은닉 상태(hidden state)를 추출하고 이를 MSE 손실을 사용하여 연속적인 점수로 투영합니다. 결정적으로, 회귀 모델은 "오라클 갭(oracle gap)"을 방지하기 위해 추론 시의 분포와 일치하도록 (구문적 타당성만 필터링된) 자기 생성 근거 위에서 학습됩니다.

주요 기여

• RCC: 가공되지 않은 DNA를 LLM이 접근 가능한 구조화되고 감사 가능한 생물학적 증거로 변환하는 표준화된 프로그래매틱 스키마입니다.
• CRE-ReasonBench: DNA 서열, 활성 점수, 그리고 명시적인 단계별 기전적 추론 흔적을 연결하는 최초의 데이터셋입니다.
• R3LM 프레임워크: LLM이 추론 기반 회귀를 수행할 수 있게 하여, 최첨단 성능을 달면서도 해석 가능한 설명을 제공하는 2단계 훈련 파이프라인입니다.
• 실증적 검증: 세 가지 세포 유형(HepG2, K562, SK-N-SH)에 대해 R3LM이 블랙박스 모델(Enformer 등) 및 원시 서열 LLM보다 우수한 성능을 보임을 입증했습니다.

결과

• 회귀 성능: R3LM은 인핸서 예측 작업에서 최첨단 피어슨 상관계수($\rho$)를 달성하고 가장 낮은 RMSE를 기록했습니다. 예를 들어, K562 세포 유형에서 R3LM(Generated-CoT)은 $\rho = 0.8246$을 달성하여, Enformer($\rho = 0.7990$)와 원시 서열 LLM($\rho = 0.3919$)을 능가했습니다.
• 해석 가능성: 모델은 RCC 증거(모티프, 문법, GC 함량)에 기반한 기전적 근거를 제공합니다. 절제 연구(ablation studies) 결과, 회귀 모델이 이러한 근거에 의존함을 확인했습니다. 테스트 시 추론 텍스트를 섞으면 성능이 급락($\rho = 0.8246$에서 $0.0198$로)하는데, 이는 추론 흔적이 정보가 풍부한 중간 매개 요인임을 증명합니다.
• 추론 품질: 1단계 생성기는 높은 구문적 타당성(~97–99%)과 이산적 활성 수준에 대한 합리적인 정확도(Acc@1 $\approx$ 78–81%)를 달성했습니다. 비록 정확한 수준 예측은 완벽하지 않더라도, 회귀 모델은 여전히 견고하게 작동합니다.

의의 및 주장
본 논문은 R3LM이 현재 CRE 예측 모델의 근본적인 한계인 성능과 해석 가능성 사이의 트레이드오프를 해결한다고 주장합니다. LLM이 원시 서열이 아닌 구조화된 생물학적 지식을 바탕으로 추론하도록 가르침으로써, 이 프레임워크는 해석 가능한 보상 모델 역할을 합니다. 이를 통해 생물학자들은 단순히 예측된 활성 점수를 받는 것을 넘어, 그 예측을 뒷받침하는 기전적 증거(예: 특정 TF 결합 및 간격 로직)를 검토할 수 있습니다. 저자들은 R3LM이 블랙박스 신경망에 대한 투명한 대안을 제공하며, 생성된 근거가 새로운 지상 참값(ground-truth)의 인과 기전을 발견했다는 주장이 아니라, 프로그래매틱 증거에 기반한 "근거 있고 감사 가능한" 대리물(proxy)임을 강조합니다.