Improving genomic language model reliability under distribution shift

이 논문은 온도 스케일링과 에피스템릭 신경망과 같은 불확실성 정량화 기법을 적용하여 다양한 분포 변화 하에서 게놈 언어 모델의 예측 신뢰성을 향상시키는 방법을 제시합니다.

핵심

이 논문은 **"유전체 언어 모델 (GLM) 이 낯선 데이터를 만났을 때, 얼마나 자신감 있게 (혹은 무모하게) 대답하는지"**를 연구한 내용입니다.

간단히 말해, **"유전자를 읽는 AI 가 모르는 종이나 변이를 만나도 '정답'이라고 확신하며 틀린 말을 하지 않게 하려면 어떻게 해야 할까?"**에 대한 해답을 찾은 연구입니다.

이 복잡한 내용을 일상적인 비유로 풀어보겠습니다.

---

🧬 배경: 유전자를 읽는 AI 의 '자신감' 문제

최근 AI(특히 트랜스포머 기반 모델) 는 유전체 데이터를 자연어처럼 학습해서 매우 뛰어난 성능을 보여줍니다. 마치 유전학 박사가 된 셈이죠.

하지만 문제는 이 박사님이 **자신이 모르는 새로운 환자 (데이터)**를 만나면 어떻게 행동하느냐입니다.

• 현실: AI 는 자신이 모르는 데이터가 와도 마치 모든 것을 다 안다는 듯 100% 확신을 가지고 틀린 답을 내놓습니다. (이를 '과신'이라고 합니다.)
• 비유: 유전학 박사가 "이건 A 병이야!"라고 100% 확신하며 말하는데, 사실은 전혀 다른 B 병인 경우입니다. 의학에서는 이런 '과신'이 치명적일 수 있습니다.

이 연구는 AI 가 **"아, 이 데이터는 내가 배운 것과는 좀 다르네. 내가 잘 모를 수도 있어"**라고 겸손하게 인정하게 만드는 방법 (불확실성 측정, UQ) 들을 비교했습니다.

---

🛠️ 실험: 어떤 방법들이 시도되었나?

연구진은 AI 의 '자신감'을 조절하기 위해 네 가지 방법을 실험했습니다.

1. 기본 AI (Base): 그냥 AI 가 내린 원래 답. (가장 흔한 방법)
2. 온도 조절 (Temperature Scaling): AI 의 답변을 조금 더 부드럽게 만드는 '온도 조절기'.
   • 비유: AI 가 너무 흥분해서 큰 소리로 외칠 때, "조금 차분해져, 확신할 수 있는 부분만 말해"라고 말려주는 것.
3. 랜덤 드롭아웃 (MC Dropout): AI 가 시험 볼 때 매번 눈을 가리고 일부 문제를 찍게 만드는 것.
   • 비유: 같은 문제를 10 번 풀게 해서, 10 번 중 9 번이 같은 답이면 "확실해", 5 번씩 갈리면 "모르겠어"라고 판단하는 것.
4. 에피넷 (Epinet): AI 에게 '변수'를 하나 더 추가해 다양한 관점에서 생각하게 하는 것.
   • 비유: 같은 환자를 볼 때, AI 가 "내 생각엔 A 병이야"라고 말하면, 에피넷은 "잠깐, 내가 다른 관점에서 보면 B 일 수도 있어"라고 덧붙여 AI 스스로의 불확실성을 계산하게 합니다.

---

🔍 결과: 어떤 방법이 가장 좋았을까?

연구진은 두 가지 상황 (익숙한 데이터 vs 낯선 데이터) 에서 이 방법들을 테스트했습니다.

1. 익숙한 상황 (In-Distribution)

• 상황: AI 가 배운 것과 비슷한 유전자 데이터를 볼 때.
• 결과: 대부분의 AI 는 이미 잘 calibrated(보정) 되어 있었습니다.
• 최고의 방법: **온도 조절 (Temperature Scaling)**이 가장 간단하고 효과적이었습니다.
  • 비유: 이미 잘하는 학생에게 "조금 더 신중하게 답을 써"라고 말해주면 점수가 조금 더 좋아지는 것과 같습니다.

2. 낯선 상황 (Out-of-Distribution)

• 상황: AI 가 전혀没见过한 새로운 종의 유전자나, 훈련 데이터와 다른 환경의 데이터를 볼 때. (예: 훈련은 인간 유전자로 했는데, 테스트는 박테리아 유전자로 한 경우)
• 결과:
  • 온도 조절: 실패했습니다. 낯선 상황에서는 오히려 더 엉뚱한 확신을 주기도 했습니다.
  • 랜덤 드롭아웃: 결과가 들쑥날쑥했습니다.
  • **최고의 방법 (승자): 에피넷 (Epinet)**이 압도적으로 좋았습니다.
  • 비유: 낯선 땅에 떨어진 탐험가에게, "이건 내가 아는 지도와 다르니, '모른다'고 솔직하게 말해"라고 가르쳐주는 에피넷이 가장 현명하게 행동했습니다. AI 가 "이건 내가 모르는 영역이야"라고 인정하게 만들어, 과도한 자신감을 줄여주었습니다.

---

⚠️ 중요한 발견: "자신감 조절"이 "낯선 것 찾기"를 의미하지는 않음

이 연구에서 가장 흥미로운 점은 다음과 같습니다.

• 잘못된 믿음: "AI 가 자신의 불확실성을 잘 알면 (자신감을 조절하면), 당연히 낯선 데이터도 잘 찾아낼 수 있겠지?"
• 현실: 아닙니다.
  • 에피넷은 AI 가 "내가 모른다"고 말하게 만들어 **정확도 (Calibration)**는 높였지만, "이 데이터는 낯선 거야!"라고 **탐지 (Detection)**하는 능력은 크게 향상되지 않았습니다.
  • 비유: AI 가 "이건 내가 모른다"고 겸손하게 말하게 만들 수는 있지만, 그것이 AI 가 "아, 이건 내가 배운 게 아니야!"라고 경고 신호를 보내는 것과 같지는 않다는 뜻입니다.

---

💡 결론: 우리에게 주는 교훈

이 논문은 유전체 AI 를 실제 의료나 연구에 쓸 때 중요한 세 가지를 알려줍니다.

1. 익숙한 데이터라면: 간단한 온도 조절만으로도 AI 의 답변을 더 신뢰할 수 있게 만들 수 있습니다.
2. 낯선 데이터라면: 에피넷 (Epinet) 같은 고급 기법을 써야 AI 가 "내가 모른다"는 사실을 인정하게 되어, 위험한 과신을 막을 수 있습니다.
3. 주의할 점: AI 가 겸손해진다고 해서, AI 가 "이건 위험한 낯선 데이터야"라고 자동으로 알아내는 것은 아닙니다. 불확실성을 측정하는 것과, 낯선 것을 찾아내는 것은 별개의 문제입니다.

한 줄 요약:

"유전체 AI 가 모르는 것을 모른다고 인정하게 만들면 (에피넷), 우리가 그 AI 를 더 신뢰할 수 있게 되지만, 그것이 AI 가 낯선 위험을 자동으로 감지한다는 뜻은 아닙니다."

기술 요약

이 논문은 **변환기 (Transformer) 기반의 게놈 언어 모델 (Genomic Language Models, GLMs)**이 다양한 게놈 예측 작업에서 뛰어난 성능을 보이지만, 노이즈가 있거나 훈련 데이터와 다른 분포 (OOD, Out-of-Distribution) 의 데이터에 대해 과도하게 자신감 있는 (overconfident) 예측을 한다는 문제를 해결하기 위한 연구입니다. 저자들은 다양한 불확실성 정량화 (Uncertainty Quantification, UQ) 기법을 GLM 에 적용하여, 분포 변화 (distribution shift) 하에서도 신뢰할 수 있는 예측을 할 수 있도록 모델의 신뢰성을 향상시키는 방법을 탐구했습니다.

다음은 이 논문의 기술적 요약입니다.

---

1. 문제 제기 (Problem)

• 과도한 자신감 (Overconfidence): GLM 은 훈련 데이터와 유사한 분포 (ID, In-Distribution) 에서는 잘 작동하지만, 새로운 종이나 변이와 같은 훈련 데이터와 다른 분포 (OOD) 에서는 여전히 높은 확률 값을 부여하며 잘못된 예측을 합니다.
• 신뢰성 부족: 게놈 데이터는 진화적 관계와 느린 돌연변이 과정으로 인해 복잡한 분포 이동을 겪습니다. 이러한 환경에서 모델이 자신의 예측에 대한 불확실성을 정확히 표현하지 못하면, 하류 분석 (downstream analysis) 및 의사결정에 치명적인 오류를 초래할 수 있습니다.
• 기존 방법의 한계: 기존 딥러닝 분야의 불확실성 추정 기법들이 게놈 언어 모델의 다양한 작업 (조절 요소 예측, 메타게놈 분류 등) 에서 어떻게 작동하는지에 대한 체계적인 비교 연구가 부족했습니다.

2. 방법론 (Methodology)

A. 평가 대상 모델 (Foundation Models)

논문은 다음과 같은 4 가지 주요 GLM 아키텍처를 베이스라인으로 사용했습니다:

• Nucleotide Transformer v2: 다종 (multi-species) 게놈 사전 학습.
• DNABERT-2: 다종 사전 학습, Byte-pair 인코딩 토크나이저 사용.
• HyenaDNA: 장기 범위 (long-range) 인간 게놈 학습, 컨볼루션 기반.
• CARMANIA: 긴 컨텍스트 인간 게놈 학습.

B. 불확실성 정량화 (UQ) 기법 비교

저자들은 4 가지 주요 접근 방식을 비교했습니다:

1. Softmax Baseline (Deterministic): 모델의 최종 로짓을 Softmax 로 변환한 확률. 불확실성을 구분하지 않음.
2. Temperature Scaling: 로짓에 온도 파라미터 $T$를 곱하여 확률 분포를 조정하는 사후 (post-hoc) 보정 기법. 과신 (overconfidence) 을 줄이지만 단일 모델 기반임.
3. Deep Ensembles & MC Dropout:
   • Deep Ensembles: 여러 개의 독립적으로 초기화된 모델을 학습하여 평균을 내는 방식 (계산 비용이 매우 큼).
   • MC Dropout: 테스트 시 드롭아웃을 활성화하여 여러 번의 스토캐스틱 (stochastic) 프론트워딩을 수행하고 평균을 내는 방식.
4. Epistemic Neural Networks (ENNs) / Epinet:
   • Epinet: 베이스 모델의 결정론적 표현에 '인지적 인덱스 (epistemic index, $z$)'를 추가하여 학습 가능한 보정 헤드를 구성합니다.
   • 여러 번의 $z$ 샘플링을 통해 예측 분포를 생성하며, **알레토릭 (Aleatoric, 데이터 자체의 잡음)**과 인지적 (Epistemic, 모델 지식 부족) 불확실성을 분리하여 추정할 수 있습니다.

C. 데이터셋 및 평가 프로토콜

• 작업 영역:
  1. 조절 서열 (Regulatory Sequence): 프로모터, 엔핸서, 스플라이스 부위 예측.
  2. 메타게놈 유전자 분류: 유전자 기능 및 분류.
  3. 메타게놈 분류 (Taxonomic Classification): 시뮬레이션된 긴 리드 (long reads) 를 이용한 박테리아 분류.
• 분포 이동 (Distribution Shift) 시나리오:
  • ID (In-Distribution): 훈련과 테스트가 동일한 분포.
  • Near-ID / Near-OOD: 훈련 데이터와 생물학적으로 유사하지만 완전히 다른 분류군 (예: 새로운 속, 새로운 과).
  • OOD (Out-of-Distribution): 훈련 데이터와 완전히 다른 분포 (예: 비박테리아 데이터, 다른 유전자 클래스).
• 평가 지표:
  • 분류 정확도 (Classification Error): 예측 성능.
  • 기대 보정 오차 (ECE, Expected Calibration Error): 예측 확률과 실제 정확도의 일치도 (낮을수록 좋음).
  • OOD 탐지 (AUROC): 불확실성 점수를 이용해 ID 와 OOD 데이터를 구분하는 능력.

3. 주요 결과 (Key Results)

A. 분포 이동 하에서의 보정 (Calibration) 성능

• ID 데이터 (훈련 분포와 유사):
  • 대부분의 GLM 은 이미 잘 보정되어 있습니다.
  • Temperature Scaling이 가장 효과적이고 계산 비용이 적게 들며, ECE 를 추가로 개선합니다.
  • MC Dropout 이나 Epinet 같은 스토캐스틱 방법은 오히려 결정 경계를 교란시켜 정확도나 보정 성능을 떨어뜨리는 경우가 많았습니다.
• OOD 데이터 (분포 이동이 큰 경우):
  • Temperature Scaling은 보정 데이터와 테스트 데이터의 분포가 다를 경우 실패하며, 오히려 보정 오차 (ECE) 를 급격히 증가시킵니다 (취약함).
  • Epinet이 모든 백본 모델과 작업에서 가장 일관되게 보정 성능을 개선했습니다. 특히 분류 오류가 높은 어려운 OOD 환경에서도 모델의 과도한 자신감을 줄이고 예측 확률을 실제 정확도에 더 가깝게 맞췄습니다.
  • MC Dropout 은 일관된 개선 효과를 보이지 못했습니다.

B. 불확실성 분해의 효과

• Aleatoric vs. Epistemic: Epinet 을 통해 불확실성을 알레토릭과 인지적으로 분해할 수 있지만, 이것이 항상 OOD 탐지 성능 향상으로 이어지지는 않았습니다.
• OOD 탐지 (Detection):
  • 대부분의 작업에서 불확실성 점수 (Total, Aleatoric, Epistemic) 를 이용한 OOD 탐지 (AUROC) 는 베이스라인 (Softmax) 과 비슷하거나 오히려 떨어지는 결과를 보였습니다.
  • 예외: CARMANIA 모델의 메타게놈 분류 작업에서 Conv-Epinet 기반 점수가 OOD 탐지 성능을 유의미하게 향상시킨 사례가 있었습니다.
  • 결론: 게놈 데이터의 분포 이동은 '근접 OOD (Near-OOD)'인 경우가 많아, 표준 불확실성 점수로는 ID 와 OOD 를 명확히 구분하기 어렵습니다.

C. 기존 생물정보학 도구와의 비교

• Kraken2, MMseqs2와 같은 전통적인 정렬 (alignment) 기반 도구들은 신뢰도 점수를 제공하지만, 확률론적 보정 (calibration) 관점에서는 딥러닝 모델보다 성능이 떨어지거나 해석이 어려운 경우가 많았습니다. 딥러닝 모델은 명시적인 확률 분포를 출력하여 보정 기법 적용이 용이하다는 장점이 있습니다.

4. 주요 기여 (Key Contributions)

1. 체계적인 벤치마크: 게놈 언어 모델의 다양한 아키텍처와 작업 (조절, 메타게놈) 에 걸쳐 여러 UQ 기법 (Temperature Scaling, MC Dropout, Epinet 등) 을 대규모로 비교 평가했습니다.
2. Epinet 의 유효성 입증: 분포 이동 (Distribution Shift) 하에서 GLM 의 신뢰성을 높이는 데 Epinet이 가장 강력하고 일관된 해결책임을 보였습니다. 이는 모델의 예측 확률을 실제 정확도에 맞게 보정 (calibration) 하는 데 핵심적입니다.
3. 보정 vs. 탐지의 분리: "신뢰성 있는 보정 (Calibration)"이 반드시 "신뢰성 있는 OOD 탐지 (Detection)"로 이어지지 않음을 실증했습니다. 특히 게놈 데이터의 특성을 고려할 때, 두 목표를 별개로 접근해야 함을 강조했습니다.
4. 실용적 가이드라인:
   • ID 환경: Temperature Scaling 이 효율적입니다.
   • OOD 환경 (분포 이동): Epinet 도입이 필수적이며, 이는 모델의 과신을 줄여 하류 분석의 신뢰도를 높입니다.

5. 의의 및 결론 (Significance)

이 연구는 게놈 AI 의 신뢰성을 높이기 위해 **불확실성 정량화 (UQ)**가 필수적임을 강조합니다. 특히, 새로운 종이나 변이가 등장하는 실제 생물학적 환경에서는 모델이 "모른다"고 표현할 수 있어야 합니다.

• 실용적 함의: Epinet 과 같은 기법을 도입하면, 모델의 분류 정확도 (Accuracy) 가 변하지 않더라도 **예측 확률의 신뢰도 (Calibration)**가 크게 향상됩니다. 이는 연구자가 모델의 예측을 신뢰할지, 아니면 추가 실험이 필요한지 판단하는 데 중요한 기준이 됩니다.
• 미래 방향: 단순한 OOD 탐지보다는 보정된 확률을 통해 모델의 신뢰 구간을 설정하고, 이를 기반으로 한 의사결정 지원 시스템 개발이 필요함을 시사합니다.

요약하자면, 이 논문은 게놈 언어 모델이 새로운 데이터에 대해 과신하지 않도록 하기 위해 Epinet이 가장 효과적인 도구임을 증명하고, 이를 통해 게놈 AI 의 신뢰성을 높이는 구체적인 방법론을 제시했습니다.