Reliable Molecular Retrieval from Mass Spectra using Conformal Prediction

이 논문은 분자 구조 식별의 신뢰성을 높이기 위해 컨포멀 예측을 적용하여, 각 스펙트럼별로 사용자가 지정한 확률로 정답을 포함하는 후보 집합을 생성하고 분포 변화 상황에서도 견고한 성능을 입증했습니다.

핵심

🕵️‍♂️ 비유: 잃어버린 지갑을 찾는 상황

상상해 보세요. 누군가 지갑을 잃어버렸고, 당신은 그 지갑을 찾기 위해 수백만 개의 지갑이 있는 거대한 창고로 갔습니다. 하지만 창고에는 지갑만 있는 게 아니라, 모양이 비슷한 가방, 지갑과 똑같은 다른 사람의 지갑 등 수백만 개의 후보가 있습니다.

AI 는 이 중에서 "아, 이 지갑이 잃어버린 지갑일 확률이 가장 높아!"라고 **순위 (Ranking)**를 매겨줍니다.

• 기존 방식 (Top-k Accuracy): "AI 가 1 위라고 한 지갑이 90% 의 확률로 맞다"라고 전체 평균을 말합니다. 하지만 특정 지갑 하나를 볼 때, "이건 1 위가 맞을 수도 있고, 100 위일 수도 있어"라는 구체적인 불확실성은 알려주지 않습니다.

💡 이 논문이 제안하는 해결책: "안전한 후보 목록" (Conformal Prediction)

이 논문은 AI 에게 "무조건 1 위만 말하지 말고, 90% 확률로 정답이 들어갈 것 같은 '후보 목록'을 만들어달라"고 요청합니다.

1. 명확한 경우 (Easy Mode):
   • AI 가 "이 지갑이 99% 확률로 맞아요!"라고 확신할 때, 목록은 1 개만 남습니다. (정답을 바로 찾을 수 있음)
2. 모호한 경우 (Hard Mode):
   • AI 가 "음... 이 지갑도 맞을 것 같고, 저 지갑도 비슷해서 잘 모르겠네요"라고 고민할 때, 목록은 수십 개로 늘어납니다.
   • 하지만 중요한 건, 목록이 커지더라도 "정답이 이 안에 있을 확률은 90% 이상"이라는 약속을 지킨다는 점입니다.

이처럼 상황에 따라 목록 크기를 조절하면서, "정답이 여기에 있을 거야"라는 신뢰도를 보장하는 기술을 **적합 예측 (Conformal Prediction)**이라고 합니다.

---

🌍 실험 상황: 세 가지 시나리오

연구진은 이 기술이 얼마나 잘 작동하는지 세 가지 상황을 만들어 테스트했습니다.

1. 상황 1 (평범한 날): 훈련 데이터와 실제 데이터가 비슷합니다. (예: 한국 사람 얼굴만 본 AI 가 한국 사람을 찾음)
   • 결과: 목록이 매우 짧습니다 (평균 1~2 개). AI 가 확신할 때 목록은 작고, 신뢰도도 정확합니다.
2. 상황 2 (약간 낯선 날): 훈련 데이터와 다릅니다. (예: 한국 사람 얼굴만 본 AI 가 일본 사람을 찾음)
   • 결과: AI 가 헷갈려서 목록이 매우 커집니다 (후보 80% 이상 포함). 하지만 여전히 "정답이 이 목록 안에 있다"는 약속은 지킵니다.
3. 상황 3 (완전 낯선 날): 아예 다른 데이터입니다. (예: 한국 사람 얼굴만 본 AI 가 아프리카 사람을 찾음)
   • 결과: AI 가 완전히 혼란스러워합니다. 목록이 거대해지고, 약속한 90% 신뢰도도 약간 떨어질 수 있습니다. 하지만 그래도 **가장 비슷한 후보들만 모아놓은 '안전한 목록'**은 제공합니다.

---

🔍 핵심 발견: "어떻게 그룹을 나눌 것인가?"

이 논문은 단순히 목록을 만드는 것뿐만 아니라, 어떤 기준으로 그룹을 나누느냐에 따라 결과가 달라진다는 것을 발견했습니다.

• 잘못된 기준: "지갑의 무게"나 "색깔"로 그룹을 나누면, 그룹이 너무 작거나 불규칙해서 신뢰도를 보장하기 어렵습니다.
• 최고의 기준: **"AI 의 확신도 (Softmax Probability)"**로 그룹을 나눴을 때 가장 좋습니다.
  • 비유: "AI 가 '내가 100% 확신해!'라고 외치는 경우"와 "AI 가 '음... 모르겠는데?'라고 중얼거리는 경우"를 따로 분류해서, 각각에 맞는 목록 크기를 정해주는 것입니다. 이렇게 하면 어려운 경우에도 신뢰도를 유지하면서 불필요한 후보를 덜어낼 수 있습니다.

🚀 결론: 왜 이것이 중요한가요?

이 연구는 화학 물질 (분자) 을 찾는 과학자들에게 다음과 같은 가치를 줍니다.

• 단순한 순위가 아닌 '신뢰도': "1 위가 맞을 거야"라고 말하는 대신, "이 5 개 중 하나가 맞을 거야 (90% 확신)"라고 말합니다.
• 상황에 따른 유연성: 데이터가 평범할 때는 빠르게 1 개만 골라주고, 데이터가 복잡할 때는 넓은 범위를 제시해서 실수를 막아줍니다.
• 모델과 무관함: 어떤 AI 모델을 쓰든 (새로운 기술이 나와도), 이 방법은 그 AI 가 낸 점수만 있으면 바로 적용할 수 있습니다.

한 줄 요약:

"이 기술은 AI 가 '정답'을 찾을 때, 상황이 헷갈리면 목록을 넓혀서 실수를 막고, 상황이 명확하면 목록을 줄여 빠르게 찾아주는 '신뢰할 수 있는 나침반' 역할을 합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 액체 크로마토그래피 - 탠덤 질량 분석 (LC-MS/MS) 은 대사체학 (Metabolomics) 에서 소분자를 식별하는 핵심 기술입니다. 최근 딥러닝 모델의 발전으로 스펙트럼 표현과 식별 성능이 향상되었으나, 측정된 스펙트럼을 분자 구조로 매핑하는 것은 여전히 어렵습니다.
• 기존 접근법의 한계:
  • 기존 방법은 화학 데이터베이스에서 후보 분자를 검색하여 예측된 지문 (fingerprint) 유사도로 순위 매깁니다.
  • Top-k 정확도와 같은 표준 평가 지표는 전체 데이터셋 수준의 성능만 요약할 뿐, 개별 스펙트럼에 대한 신뢰성 (reliability) 을 제공하지 않습니다.
  • 모델이 명확한 1 위 후보를 주는 경우와 여러 후보가 유사한 점수를 받아 모호한 경우를 구분하지 못합니다. 사용자는 특정 스펙트럼에 대해 "정답이 포함될 확률이 90% 이상인 후보 집합"을 알고 싶어 하지만, 기존 방법은 이를 제공하지 못합니다.
• 핵심 문제: 개별 스펙트럼의 난이도 (후보 집합 크기, 점수 분포 등) 가 크게 달라지므로, 평균적인 성능만 보장하는 기존 평가 방식으로는 실제 적용 시 신뢰할 수 있는 불확실성 정량화가 불가능합니다.

2. 방법론 (Methodology)

이 논문은 응답 예측 (Conformal Prediction, CP) 프레임워크를 LC-MS/MS 기반 후보 분자 검색에 적용하여, 사용자 지정 신뢰 수준 (예: 90%) 하에서 정답 분자를 포함하는 스펙트럼별 예측 집합 (Prediction Sets) 을 생성하는 방법을 제안합니다.

2.1 기본 설정

• 후보 기반 검색: 각 스펙트럼 $x$는 전구체 질량 등으로 필터링된 유한한 후보 집합 $A(x)$와 연결됩니다.
• 점수화: 모델은 후보 분자 $c$에 대해 점수 $s(x, c)$를 부여하며, 이를 Softmax 를 통해 확률 $\pi(x, c)$로 변환합니다.
• 목표: 오차율 $\alpha$에서 $P(Y \in \hat{C}_\alpha(X)) \ge 1-\alpha$를 만족하면서, 예측 집합 $\hat{C}_\alpha(x)$의 크기를 최소화하는 것입니다.

2.2 비동일성 점수 (Non-conformity Scores)

모델의 출력 점수를 CP 에 적합한 점수로 변환하는 세 가지 방식을 비교했습니다:

1. LAC (Least Ambiguous set-valued Classifier): $r(x, c) = 1 - \pi(x, c)$. 확률 임계값 기반.
2. APS (Adaptive Prediction Sets): 순위가 높은 후보들의 확률을 누적하여 점수를 계산.
3. RAPS (Regularized APS): 누적 점수에 정규화 항을 추가하여 낮은 순위의 노이즈 영향을 줄임.

2.3 조건부 응답 예측 (Conditional Conformal Prediction)

단순한 한계 (Marginal) 보장만으로는 스펙트럼 하위 집단 간 편차가 발생할 수 있으므로, 조건부 CP를 도입했습니다.

• 조건 변수 (Conditioning Variables): 스펙트럼의 난이도와 관련된 4 가지 변수를 사용:
  1. 전구체 질량 (Precursor mass)
  2. 후보 집합 크기 ($|A(x)|$)
  3. 최대 Softmax 점수 ($\max \pi(x, c)$)
  4. 후보 집합 간 유사도 (Candidate-set similarity)
• 그룹화 전략:
  1. CCCP (Cluster-conditional CP): 조건 변수를 기반으로 칼리브레이션 데이터를 클러스터링하여 그룹별 임계값을 계산.
  2. CCP-NN (Nearest-neighbor CP): 테스트 스펙트럼의 $K$개 최근접 칼리브레이션 이웃을 기반으로 지역적 임계값을 계산.

2.4 실험 설정

• 데이터셋: MassSpecGym (약 23 만 개의 스펙트럼, 3 만 개 이상의 분자).
• 시나리오:
  • S1 (IID): 훈련, 검증, 칼리브레이션, 테스트 데이터가 동일한 분포 ( IID).
  • S2 (Shifted Model): 훈련/검증 데이터가 다른 분포 (분자 클러스터) 에서 생성되나, 칼리브레이션과 테스트는 정렬됨.
  • S3 (Full Shift): 훈련, 칼리브레이션, 테스트 데이터가 모두 서로 다른 분포 (가장 어려운 상황).

3. 주요 결과 (Key Results)

3.1 분기별 검색 난이도

• S1: Top-1 정확도 87.1%, 평균 최대 Softmax 점수 0.72로 모델이 매우 자신감 있게 예측.
• S2/S3 (Distribution Shift): Top-1 정확도 10% 수준으로 급감, 평균 최대 점수 0.3 수준으로 낮아짐. 점수 분포가 평평해져 (flat) 후보 간 구분이 모호해짐.

3.2 한계 응답 예측 (Marginal CP) 성능

• S1: 모든 방법 (LAC, APS, RAPS) 이 목표 90% 커버리지를 달성하며, 평균 예측 집합 크기는 전체 후보의 **약 1.5~3.5%**에 불과함 (매우 효율적).
• S2/S3: 분포 이동으로 인해 예측 집합 크기가 급격히 증가하여 전체 후보의 80% 이상을 포함해야 함. 이는 모델이 분포 이동 하에서 후보를 제대로 구분하지 못하기 때문임. RAPS 가 분포 이동 하에서 가장 견고한 커버리지를 보임.

3.3 조건부 응답 예측 (Conditional CP) 및 변수 분석

• 최고의 조건 변수: **최대 Softmax 점수 (Max Softmax)**가 하위 집단 간 커버리지 편차 (MACG) 를 가장 효과적으로 줄임. 이는 모델의 자신감 (난이도) 을 직접 반영하기 때문.
  • 반면, 후보 집합 유사도 (Candidate-set similarity) 는 클러스터가 불균형하게 형성되어 성능이最差임.
• CCCP vs CCP-NN:
  • S1/S2 (정렬된 데이터): CCCP (클러스터 기반) 가 더 안정적이고 MACG 가 낮음.
  • S3 (비정렬 데이터): CCP-NN (최근접 이웃 기반) 이 분포 이동에 더 강건하여 성능이 우세함.
• 효율성 - 신뢰성 트레이드오프:
  • S1: 조건부 CP 는 신뢰성 (MACG 감소) 을 높이지만, 예측 집합 크기를 약간 증가시킴 (예: 1.5 개 $\to$ 6.2 개). 그러나 여전히 전체 후보의 25% 미만을 차지하여 실용적임.
  • S2/S3: 조건부 CP 를 적용해도 예측 집합 크기는 marginal CP 와 유사하게 큼 (80% 이상). 이는 모델의 예측 능력 자체가 낮아 조건부 보정이 효율성을 크게 개선하지 못함을 의미함.

4. 주요 기여 (Key Contributions)

1. 스펙트럼별 신뢰성 보장: LC-MS/MS 분자 검색에 응답 예측을 적용하여, 개별 스펙트럼마다 "정답이 포함될 확률이 90% 이상인 후보 집합"을 제공하는 프레임워크를 구축.
2. 조건부 CP 전략 비교: 클러스터링 (CCCP) 과 최근접 이웃 (CCP-NN) 기반의 조건부 CP 를 다양한 분포 이동 시나리오에서 평가하고, 최대 Softmax 점수가 가장 효과적인 조건 변수임을 규명.
3. 모델 독립성: 응답 예측이 모델 내부 구조가 아닌 점수 목록에 기반하므로, 새로운 검색 아키텍처 (예: JESTR, MVP 등) 에 재학습 없이 바로 적용 가능.
4. 실용적 통찰: 분포 이동 (Distribution Shift) 하에서는 모델의 예측력이 떨어질 수밖에 없으므로, 응답 예측이 후보 수를 줄이는 데 한계가 있음을 명확히 보여줌.

5. 의의 및 결론 (Significance)

이 연구는 대사체학 및 질량 분석 분야에서 **불확실성 정량화 (Uncertainty Quantification)**의 중요성을 강조합니다.

• 실무적 가치: 연구자들은 단순히 '가장 유력한 분자' 하나를 보고하는 것이 아니라, 특정 신뢰 수준 하에서 신뢰할 수 있는 후보 목록을 얻을 수 있게 되어, 실험적 검증 비용을 절감하고 오류를 줄일 수 있습니다.
• 미래 지향성: 응답 예측 프레임워크는 모델 아키텍처와 무관하므로, 질량 분석 기술이 발전함에 따라 더 강력한 모델이 등장하더라도 이를 즉시 활용하여 더 작고 정확한 후보 집합을 생성할 수 있는 기반을 마련했습니다.
• 한계: 분포 이동이 심한 경우 (S3) 모델의 예측력이 낮아지면 예측 집합이 커질 수밖에 없으며, 이는 응답 예측의 한계가 아니라 근본적인 검색 문제의 난이도임을 시사합니다.

요약하자면, 이 논문은 LC-MS/MS 데이터 분석에 응답 예측을 도입하여, 개별 스펙트럼의 난이도에 따라 적응적인 신뢰성 있는 후보 집합을 생성하는 방법을 제시하고, 이를 통해 대사체학 연구의 신뢰도를 높이는 데 기여했습니다.