기술 요약: 유전체 모델 연구는 해석 가능성 방법론의 일화적 평가를 넘어서야 한다

문제 제기

딥러닝 모델은 유전체학(예: 전사 인자 결합, 유전자 발현 및 인핸서 활성 예측) 분야에서 상당한 예측 성과를 달ей었으나, 그 "블랙박스" 특성은 근저에 있는 생물학적 기전을 규명하는 데 걸림돌이 되고 있다. 이 간극을 메우기 위해 연구자들은 해석 가능한 머신러닝(Interpretable Machine Learning, IML) 기법을 점점 더 많이 도입하고 있다. 그러나 이 분야는 **일화적 평가(anecdotal evaluation)**에 대한 만연한 의존성으로 인해 어려움을 겪고 있다. 현재의 관행은 다음과 같은 특징을 보인다:

1. 단일 방법론 의존: 대다수의 연구가 정당한 근거 제시나 비교 없이 단 하나의 IML 방법만을 사용한다.
2. 주관적 검증: 평가는 종종 사전 지식과 일치하는 "성공적인" 사례만을 선택적으로 제시(cherry-picking)하거나 시각적 검사에 의존하며, 실패 사례는 누락한다.
3. 엄밀성 부족: 일관성, 충실도(faithfulness) 또는 생물학적 타당성을 체계적으로 평가하는 방법에 대한 합의된 기준이 없다.

이러한 엄밀한 평가의 부재는 IML 출력값에 대한 부당한 신뢰를 키울 위험이 있으며, 이는 실험 자원의 잘못된 배분과 오류가 있는 생물학적 결론으로 이어질 수 있다.

방법론

저자들은 현재의 관행이 가진 결함을 정량화하고 입증하기 위해 두 갈래의 접근 방식을 채택하였다.

1. 대규모 매핑 연구

저자들은 2010년부터 2025년 사이에 IML을 활용한 3,575편의 논문을 대상으로 체계적인 매핑 연구를 수행하였다.

• 데이터 추출: 소수의 샷 인컨텍스트 학습(few-shot in-context learning)과 자기 성찰 프롬프트(self-reflection prompts)를 사용하는 대규모 언어 모델(Gemini-3-flash-preview)을 사용하여, 사용된 IML 방법의 수, 검증 전략, 보고된 "성공적" 사례의 수, 그리고 실패 모드(failure modes)의 보고 여부에 관한 구조화된 데이터를 추출하였다.
• 검증: 무작위로 추출된 100편의 논문을 수동 검토한 결과, 전체 데이터 추출 일치율은 98%로 확인되었다.

2. 벤치마킹을 통한 실증적 감사

추상적인 비판을 넘어, 저자들은 전사 인자(Transcription Factor, TF) 결합 예측에 대한 통제된 벤치마킹 연구를 설계하였다.

• 모델: 세 가지 서로 다른 유전체 파운데이션 모델을 평가하였다: DNABERT-2 (Transformer), HyenaDNA (Convolution/SSM), Nucleotide Transformer v3 (Hybrid).
• IML 방법: 다섯 가지 일반적인 방법을 테스트하였다: DeepLIFT, Integrated Gradients (IG), In Silico Mutagenesis (ISM), LIME, Categorical Jacobian (CJ).
• 데이터셋: 다섯 가지 TF(CTCF, MAX, SP1, TBP, GATA1)에 대해 서로 다른 특성(높은 신호 모티프, 조성 편향, 짧거나 퇴화된 모티프 등)을 가진 대규모 데이터셋(~35,75개 훈련 시퀀스, 11.5k 테스트 시퀀스)을 구축하였다. 참값(ground truth)은 UniBind 데이터베이스를 사용하여 설정하였다.
• 평가 지표:
  • 일관성(Consistency): 방법 쌍 간의 상위 20개 중요 위치에 대한 Spearman 순위 상관계수와 Jaccard 유사도.
  • 충실도(Faithfulness): 삽입/삭제 분석(Sequential Deletion/MoRF 및 Sequential Insertion)을 통해 설명이 모델의 결정 과정을 얼마나 잘 반영하는지 AUC를 통해 측정.
  • 생물학적 타당성(Biological Validity): 가장 높은 기여도를 보이는 영역과 실험적으로 검증된 모티프 좌표 간의 중첩 정도를 측정하는 "Perception" 점수.

주요 기여

1. 일화적 의존성에 대한 체계적 증거 제시: 매핑 연구 결과, 86%의 연구가 단일 IML 방법을 사용하고 있으며, 약 50%는 주관적인 시각적 검사에 의존하고, 90%는 실패 모드를 보고하지 않는 것으로 나타났다.
2. 세 가지 실패 모드의 입증: 실증적 감사는 현재의 관행이 다음의 실패를 감지하지 못한다는 구체적인 증거를 제공한다:
   • 불일치(Inconsistency): 서로 다른 IML 방법들이 동일한 예측에 대해 상충되는 설명을 생성한다.
   • 불충실(Unfaithfulness): 설명이 모델의 실제 내부 결정 로직을 반영하지 못하는 경우가 많다.
   • 생물학적 불일치(Biological Misalignment): "그럴듯한" 설명이 특히 조성 편향이나 짧은 모티프가 포함된 까다로운 과제에서 인과적 참값과 일치하지 않는 경우가 빈번하다.
3. 계층적 프레임워크 제안: 저자들은 미래의 연구를 가이드하기 위해 낮은 노력의 계산적 검사부터 높은 노력의 습식 실험(wet-lab) 검증에 이르는 실용적인 계층적 프레임워크를 제안한다.

주요 결과

1. 매핑 연구 결과

• 방법론 사용: 86%의 연구가 단 하나의 IML 방법만을 사용하였다.
• 검증: 49.36%가 시각적 검사에 의존하였으며, 단 2.81%만이 습식 실험을 수행하였다.
• 보고: 90.24%의 논문이 실패 모드를 보고하지 않았다. 대부분의 논문은 단 1~3개의 "성공적" 사례만을 보고하였는데, 이는 체리피킹(cherry-picking)을 시사한다.

2. 실증적 감사 결과

• 불일치: 서로 다른 IML 방법들은 극도로 다른 설명을 생성하였다. 방법 쌍 간의 평균 Spearman 순위 상관계수는 일관되게 0.4 미만이었다. 가장 중요한 위치(상위 20개)에 대해서도 최대 Jaccard 유사도는 0.5 미만이었으며, 이는 방법들이 가장 중요한 특징의 절반도 일치시키지 못함을 의미한다.
• 불충실: 충실도는 방법과 과제에 따라 크게 달랐다. 일부 방법(예: ISM, IG)이 특정 맥락에서 더 나은 성능을 보였으나, 어떤 방법도 일관되게 우수하지 않았다. 특히 조성 편향이 있는 과제(SP1, TBP)에서 모든 방법은 삭제 실험 시 1.0에 가까운 높은 AUC 값을 보였는데, 이는 이들이 예측을 구동하는 특징을 식별하는 데 실패했음을 나타낸다.
• 생물학적 불일치:
  • 양성 대조군: CTCF(높은 신호)의 경우, 방법들은 적절한 정렬을 달려냈다(중앙값 Perception > 0.5).
  • 까다로운 과제: GATA1(해상도 문제) 및 MAX의 경우, 중앙값 점수가 0.2~0.4로 떨어졌다.
  • 편향 스트레스 테스트: SP1 및 TBP의 경우, 대다수의 시퀀스가 0에 가까운 Perception 점수를 기록하였다. 이는 설명이 특정 조절 모티프를 포착하는 대신 배경 뉴클레오타이드 조성에 의해 혼동되었음을 나타낸다.
  • 체리피킹: 본 연구는 (그림 4b와 같은) "성공적인" 정렬 사례가 존재하며 자주 보고되지만, (그림 4c와 같은) 실패 사례가 훨씬 더 흔하며 거의 공개되지 않는다는 점을 강조한다.

의의 및 주장

본 논문은 유전체 딥러닝의 신뢰성이 현재 일화적 증거에 대한 의존로 인해 훼손되고 있다고 주장한다. 저자들의 주장은 다음과 같다:

• 이론적 보증은 불충분하다: 수학적 공리(예: IG, SHAP)를 만족하는 방법이라 할지라도 생물학적 타당성이나 모델의 충실도를 보장하지 않는다.
• 시각적 검사는 결함이 있다: 이는 확증 편향에 취약하며, 미묘한 실패를 감지하거나 충실도를 평가할 수 없다.
• 예측 정확도가 해석 가능성을 의미하지 않는다: 모델은 (GC 함량과 같은) 가짜 상관관계(spurious correlations)를 통해 높은 정확도를 달성할 수 있으며, IML 방법은 진정한 생물학적 신호 대신 이러한 가짜 신호를 강조할 수 있다.
• 패러다임 전환이 필요하다: 분야는 주관적인 "그럴듯함(plausibility)"에서 벗어나 일관성, 충실도, 생물학적 타당성에 대한 체계적인 평가로 이동해야 한다.

저자들은 IML으로부터 도출된 통찰이 실험 설계나 치료 타겟 발굴을 안내할 만큼 신뢰할 수 있으려면, 여러 방법론을 사용하는 것과 같은 최소 표준을 포함하여 자신들이 제안한 계층적 프레임워크를 채택하는 것이 필수적이라고 주장한다.