🤖 machine learning

MassSpecGym in the Wild: Uncovering and Correcting Evaluation Pitfalls in AI-Driven Molecule Discovery

이 논문은 AI 기반 분자 발견 벤치마크의 신뢰성을 저해하는 데이터 누수, 지름길 학습(shortcut learning), 구현 버그를 포함한 결정적인 평가 오류들을 식별하고 수정하며, 신뢰할 수 있는 모델 평가를 보장하기 위해 개선된 MassSpecGym v1.5 제품군을 출시한다.

원저자: Hongxuan Liu, Roman Bushuiev, Ivy Lightheart, Mrunali Manjrekar, Anton Bushuiev, Magdalena Lederbauer, Filip Jozefov, Yinkai Wang, Soha Hassoun, Josef Sivic, James Taylor, Runzhong Wang, David Healey

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hongxuan Liu, Roman Bushuiev, Ivy Lightheart, Mrunali Manjrekar, Anton Bushuiev, Magdalena Lederbauer, Filip Jozefov, Yinkai Wang, Soha Hassoun, Josef Sivic, James Taylor, Runzhong Wang, David Healey, Tomáš Pluskal, Connor W. Coley

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 고액 상금이 걸린 요리 경연 대회를 상상해 보세요. 요리사들(AI 모델)은 소스 한 숟가락(질량 분석 스펙트럼)만 맛보고 비밀 레시피를 맞혀야 합니다. 누가 최고의 요리사인지 판가름하기 위해, 주최측(과학자들)은 MassSpecGym이라는 표준화된 테스트를 만들었습니다.

1년 동안 많은 요리사가 이 대회에 참가했고, 리더보드에는 놀라운 점수들이 기록되었습니다. 하지만 한 팀의 감사관들(논문 저자들)은 주방을 조사해 보기로 했습니다. 그들은 점수가 매우 훌륭해 보였지만, 사실 많은 요리사가 실제로 요리를 더 잘하게 된 것이 아니라, 심판들이 눈치채지 못한 미묘한 방식으로 속임수를 쓰고 있었다는 사실을 발견했습니다.

이 조사의 과정은 다음과 같은 간단한 비유로 나누어 설명할 수 있습니다.

1. 문제점: "너무 좋아서 믿기 힘든" 점수들

감사관들은 MassSpecGym을 사용한 최근 논문 26편을 조사했습니다. 그 결과 17편에서 심각한 결함이 발견되었습니다. 모델들이 반드시 화학 실력이 뛰어난 것이 아니라, 테스트 규칙의 허점을 아주 잘 이용하고 있었던 것입니다. 이는 마치 학생이 대수학을 배워서 수학 시험에서 100점을 받은 것이 아니라, 정답지를 통째로 외웠거나 선생님이 항상 정답을 왼쪽 페이지에 적는다는 규칙을 알아내어 만점을 받은 것과 같습니다.

감사관들은 이러한 "속임수"를 세 가지 주요 유형으로 분류했습니다.

2. 세 가지 유형의 속임수

A. "구멍 난 양동이" (데이터 누수 - Data Leakage)

공부를 하려고 하는데, 실수로 책상 위에 정답지를 펼쳐둔 채로 공부하는 상황을 상상해 보세요. 시험을 볼 때 당신은 실제로 내용을 아는 것이 아니라, 이전에 답을 봤기 때문에 문제를 알아보는 것뿐입니다.

속임수: 일부 AI 모델은 나중에 테스트를 치러야 할 정확한 분자들을 포함한 데이터로 학습되었습니다. 이는 요리사에게 나중에 심사를 받을 바로 그 요리의 레시피가 담긴 요리책을 주고 훈련시키는 것과 같습니다.
해결책: 감사관들은 이러한 "스포일러"를 훈련 데이터에서 엄격히 제거하면 모델의 점수가 현저히 떨어진다는 것을 보여주었습니다. 그들은 단순히 똑같은 레시피를 제거하는 것만으로는 부족하며, 90%가 유사한 레시피까지도 제거해야 한다는 것을 깨달았습니다. 그렇지 않으면 모델이 요리하는 법을 배우는 대신 '이웃'들을 통째로 암기해 버리기 때문입니다.

B. "지름길" (단축 학습 - Shortcut Learning)

1,000명의 인파 속에서 특정 인물을 찾아야 하는 게임을 상상해 보세요. 규칙은 그 사람의 얼굴(화학적 구조)로 식별하라고 되어 있습니다. 하지만 주최측이 실수를 저질렀습니다. 타겟 인물은 밝은 빨간색 모자를 쓰고 있는데, 나머지 사람들은 모두 파란색 모자를 쓰고 있는 것입니다.

속임수: AI 모델들은 복잡한 화학(얼굴)을 볼 필요가 없다는 것을 깨달았습니다. 그들은 그저 빨간 모자(데이터의 포맷팅 특징)를 찾기만 하면 되었습니다.
- 빨간 모자: 어떤 모델들은 '정답'인 데이터가 '오답'인 데이터보다 약간 다른 글꼴 스타일(SMILES 문자열 포맷팅)로 작성되어 있다는 점을 알아차렸습니다. 그들은 실제 화학을 무시하고, 이상한 글꼴을 가진 것을 골라내는 법을 배웠습니다.
- 인기 투표: 다른 모델들은 '정답'인 분자들이 데이터베이스에 더 자주 등장하는 유명한 분자(예: 흔한 비타민)라는 점을 알아차렸습니다. 그들은 소스의 맛을 무시한 채, 가장 인기 있는 분자를 찍어서 맞히는 방식을 택했습니다.
해결책: 감사관들은 모든 "모자"의 색깔을 동일하게 만들고(포맷팅 표준화), 유명한 분자들이 항상 맨 앞줄에 있지 않도록 군중을 섞었습니다. 그러자 지름길에 의존했던 모델들은 처참하게 실패했습니다.

C. "고장 난 자" (구현 버그 - Implementation Bugs)

두 사람이 테이블 길이를 재고 있습니다. 한 명은 인치 단위가 표시된 자를 사용하고, 다른 한 명은 센티미터 단위가 표시된 자를 사용하는데, 두 사람 모두 "표준" 자를 사용한다고 주장합니다.

속임수: 서로 다른 연구팀들이 점수를 계산할 때 조금씩 다른 코드를 사용했습니다. 한 팀의 코드에는 작은 버그가 있어서, 데이터의 "패딩"(빈 공간)을 실제 데이터로 간주하여 점수를 인위적으로 높였습니다. 또 다른 팀은 "유사성"에 대한 정의를 약간 다르게 사용하여, 자신들의 모델이 실제보다 더 뛰어나 보이게 만들었습니다.
해결책: 감사관들은 모두가 동일한 방식으로 측정하도록 하나의 공식적인 "황금 자"(MassSpecGym v1.5)를 만들었습니다. 그들은 고장 난 코드를 수정하고, 모두가 같은 방식으로 측정하도록 보장했습니다.

3. 해결책: MassSpecGym v1.5

이 논문은 문제점을 지적하는 데 그치지 않고, 더 깨끗한 버전의 경연 대회인 MassSpecGym v1.5를 제안합니다.

이것은 요리 경연 대회를 위한 "개정된 규칙서"와 같습니다. 여기에는 다음이 포함됩니다:

깨끗한 식재료: 스포일러가 유출되지 않도록 엄격하게 필터링된 데이터셋.
표준화된 도구: 모두가 동일한 자를 사용하여 성공을 측정하도록 하는 공식 코드.
새로운 심판: 새로운 제출물이 리더보드에 올라오기 전, 기존의 빨간 모자나 고장 난 자를 사용하는지 확인하는 자동화된 시스템("AI 감사관").

핵심 요약

이 논문은 오랫동안 AI 기반 분자 발견 분야가 고장 난 줄자로 성과를 측정해 왔다고 결론짓습니다. 많은 모델이 스스로 똑똑해지고 있다고 생각했지만, 사실은 시스템을 이용하는 법을 더 잘 알게 된 것뿐이었습니다.

줄자를 고치고 허점을 차단함으로써, 새로운 MassSpecGym v1.5는 모델이 높은 점수를 받았을 때, 그것이 단순히 시스템을 속인 것이 아니라 실제로 화학을 이해하는 법을 배웠음을 의미하도록 보장합니다. 저자들은 미래의 발견들이 신뢰받을 수 있도록 이 새로운 버전을 공개적으로 배포했습니다.

기술 요약: 야생의 MassSpecGym (MassSpecGym in the Wild)

문제 정의
탠덤 질량 분석(MS/MS) 기반의 분자 발견을 위한 머신러닝(ML) 모델을 발전시키기 위해서는 신뢰할 수 있는 벤치마킹이 필수적이다. 그러나 실험 설계 및 평가 절차에서의 미세한 문제들은 벤치마크의 신뢰성을 저하시켜 잘못된 결론을 도출할 수 있다. 본 논문은 MassSpecGym 벤치마크 스위트의 급격한 도입 과정에서 광범위한 평가상의 함정들이 동반되었음을 지적한다. MassSpecGym 결과를 보고한 26편의 논문을 체계적으로 감사한 결과, 최소 17편에서 평가 문제가 발견되었다. 이러한 문제들은 "지름길 학습(shortcut learning)", 데이터 누출(data leakage), 그리고 구현 버그를 은밀하게 보상하며, 화학적 추론이나 스펙트럼-구조 매핑의 실질적인 진보를 반영하지 못한 채 성능 지표만을 부풀린다.

방법론
저자들은 세 가지 상호 보완적인 증거를 결합하여 MassSpecGym 생태계를 체계적으로 감사하였다:

문헌 및 코드 구조 감사: 반복되는 평가 가정과 구현 패턴을 식별하기 위해 26편의 논문을 검토하였다.
통제된 재현 및 절제 실험(Ablations): 데이터 분할 기준, 후보군 정규화(canonicalization), 메트릭 정의와 같은 특정 설계 선택이 미치는 영향을 정량화하는 실험을 수행하였다.
표적 스트레스 테스트: 발표된 과제 형식이 의도치 않은 학습 지름길에 취약한지 조사하기 위해 "스펙트럼 무시(spectrum-blind)" 베이스라인과 적대적 설정을 구축하였다.

감사는 실패 사례를 세 가지 주요 클래스로 분류하였다:

데이터 누출 (Data Leakage): 외부 사전 학습 데이터(예: 테스트 세트의 유사체를 포함하는 디코더), 합성 데이터 증강(예: 테스트 세트로 학습된 시뮬레이터), 그리고 질량 기반 챌린지에서의 암시적 분자식 누출을 분석하였다.
검색에서의 지름길 학습 (Shortcut Learning in Retrieval): 모델이 스펙트럼 관계를 학습하는 대신 후보군 내의 아티팩트를 어떻게 이용하는지 조사하였다. 구체적으로는 SMILES 정규화 불일치와 PubChem 고유의 랭킹 편향(예: 분자의 인기 또는 카이랄 원자 수)을 조사하였다.
구현 버그 및 메트릭 불일치 (Implementation Bugs and Metric Divergence): 공유 코드 구성 요소에서의 은밀한 오류(예: 배치 추론 시 어텐션 마스킹 버그)와 리더보드 순위를 변경하는 메트릭 구현의 불일치(예: 핑거프린트 유형, MCES 솔버 파라미터)를 식별하였다.

주요 기여 및 결과

데이터 누출의 정량화:
- 사전 학습 오염: MolForge 디코더를 이용한 실험 결과, 벤치마크 성능은 테스트 구조와 매우 유사한 구조를 사전 학습 단계에서 기억하는 것에 의해 크게 좌우됨을 보여주었다. InChIKey가 정확히 일치하는 것만 제외하고 Tanimoto 유사도가 $\ge$ 0.7인 구조를 포함한 모델은, 더 엄격하게 제외한 모델에 비해 성능이 크게 부풀려졌다.
- 합성 데이터 누출: 테스트 데이터로 학습된 스펙트럼 시뮬레이터(예: ICEBERG)를 사용하거나 테스트 분자를 위해 생성된 합성 스펙트럼을 사용하는 경우 성능 부풀림이 심각했다. 전체 데이터셋(훈련 + 테스트)으로 학습된 시뮬레이터는 누출이 없는 버전보다 훨씬 높은 성능을 보였다.
- 분자식 누출: 질량 기반 검색 챌린지에서, 실제 분자식(또는 테스트 데이터로 학습된 모델이 예측한 분자식)을 다운스트림 모델의 입력으로 사용할 경우, Hit Rate@1이 무작위 수준인 ~0.4%에서 35% 이상으로 급증하여 질량 기반 제약을 사실상 우회하였다.
검색 지름길의 발견:
- SMILES 정규화: 근거가 되는 SMILES 문자열은 소스 저장소의 비정규(non-canonical) 형식을 유지하는 반면, 디코이(decoy)들은 RDKit에 의해 균일하게 정규화되는 주요 아티팩트가 식별되었다. 이러한 포맷팅 단서를 이용하는 모델은 스펙트럼 관계를 학습하지 않고도 Hit Rate@1 > 82%를 달성했다. 이를 균일한 정규화를 통해 교정하자 성능은 ~6–8%로 떨어졌다.
- 후보군 랭킹 편향: PubChem의 기본 랭킹 순서(저장 빈도 기반)를 이용하는 스펙트럼 무시 베이스라인은 ~50%의 Hit Rate@1을 달성했으며, 카이랄 원자 수를 기준으로 랭킹을 매긴 베이스라인은 학습 가능한 핑거프린트 베이스라인과 대등한 성능을 보였다. 이는 현재의 후보군 세트에 모델이 이용할 수 있는 허위 상관관계가 포함되어 있음을 나타낸다.
구현 버그 식별:
- MIST 추론 버그: 배치 추론 시 MIST 인코더의 어텐션 메커니즘에서 발생하는 결정적인 버그(불리언 마스크 대신 $-\infty$ 를 통한 마스킹을 적용하지 않는 오류)가 Tanimoto 유사도를 ~0.37에서 ~0.52로, Top-1 정확도를 약 17 퍼센트 포인트만큼 부풀린다는 것이 발견되었다.
- 메트릭 불일치: 메트릭 구현의 차이(예: 27자 전체 InChIKey 대 14자 연결성 레이어 사용, 서로 다른 ECFP4 반경, 또는 MCES 솔버 타임아웃)가 리더보드 순위를 크게 재편하는 것으로 나타났다.

의의 및 권고 사항
본 논문은 엄격한 감사가 없다면 리더보드의 상승이 과학적 진보가 아닌 평가의 아티팩트를 반영할 수 있다고 주장한다. 이러한 문제를 해결하기 위해 저자들은 다음과 같은 권고 사항을 실행에 옮긴 MassSpecGym v1.5를 공개하였다:

데이터 안전성 (Data Safety): 사전 학습 데이터에서 테스트 세트 유사체(Tanimoto 유사도 $\ge$ 0.7)를 엄격히 배제하고, 시뮬레이터가 벤치마크 분할을 준수하도록 보장한다.
표준화 (Standardization): 모든 SMILES 문자열에 대해 균일한 RDKit 정규화를 의무화하고, 모든 평가 메트릭(예: 14자 InChIKey, 2048비트 ECFP4, 특정 MCES 파라미터)에 대해 고정되고 표준화된 구현을 제공한다.
강건한 평가 (Robust Evaluation): 데이터 안전 버전의 보조 구성 요소(MIST-CF, ICEBERG)를 공개하고, 데이터 누출 및 지름길 학습과 같은 실패 모드를 탐지하기 위해 자동 코드 리뷰 및 리더보드 유지를 위한 에이전트 워크플로우를 도입한다.

저자들은 이러한 교정 작업이 계산 대사체학(computational metabolomics)에서 방어 가능한 평가를 확립하는 데 필수적이며, 이를 통해 향후 모델 개발이 벤치마크의 빈틈을 이용하는 것이 아니라 진정한 스펙트럼-구조 추론에 집중할 수 있도록 보장한다고 결론짓는다.