Published benchmark AUROC does not predict generalisation: an independent evaluation of protein solubility predictors on native and heterologous E. coli proteins

당신이 완벽한 케이크를 굽기 위해 노력하는 요리사라고 상상해 보세요. 생물학의 세계에서 이 "케이크"는 단백질입니다. 단백질은 우리 몸에서 거의 모든 일을 수행하는 아주 작은 분자 기계입니다. 때때로 과학자들이 공장(보통 E. coli 같은 박테리아라는 오븐을 사용함)에서 이 단백질을 만들려고 할 때, 단백질이 제대로 접히지 않을 때가 있습니다. 대신, 폭신폭신한 케이크가 되어야 할 것이 딱딱하고 쓸모없는 덩어리인 "봉입체(inclusion body)"로 변해버립니다. 이것은 큰 문제입니다. 왜냐하면 단백질을 녹여서 작동하게 만들 수 없다면, 그것을 약으로 만들거나 생명을 연구하는 데 사용할 수 없기 때문입니다.

이러한 재앙을 피하기 위해, 과학자들은 "예측 프로그램"이라고 불리는 컴퓨터 프로그램을 사용합니다. 이것은 마치 마법의 레시피 북과 같아서, 단백질의 성분 목록(서열)을 보고 "헤이, 이건 폭신하게 완성될 거야!"라거나 "아니, 이건 돌덩이가 될 거야"라고 추측합니다. 오랫동안 이 레시비 북들은 AUROC라고 불리는 단일 점수, 즉 성적표 등급으로 평가받아 왔습니다. 높은 점수는 책이 더 훌륭하다는 것을 의미했습니다. 여기서 핵심적인 질문은, 만약 어떤 레시피 북이 특정 테스트에서 'A'를 받았다고 해서, 완전히 다른 재료를 주었을 때도 여전히 최고의 요리사가 될 수 있느냐는 것입니다. 이 논문은 그 화려한 성적표 등급이 실제로 이 컴퓨터 요리사들이 현실 세계에서 얼마나 잘 수행하는지를 진실되게 말해주고 있는지 조사합니다.

---

위대한 단백질 베이킹 대회: 성적표가 거짓말을 할 때

이 연구에서 야코프 외셰이(Jakob Oeschey)라는 연구자는 가장 인기 있는 단백질 예측 "레시피 북"들을 테스트하기로 했습니다. 하지만 반전이 있었습니다. 단순히 공식 성적표만 보는 대신, 그는 이 모델들을 두 가지 매우 다른 주방에서 구워보며 실제로 열기를 견딜 수 있는지 확인했습니다.

두 가지 주방
두 가지 다른 유형의 베이킹 도전을 상상해 보세요:

1. 네이티브 주방 (The Native Kitchen): 이것은 마치 같은 정원에서 대대로 자라온 재료들로 베이킹하는 것과 같습니다. 이곳의 단백질은 "네이티브(native)"합니다. 즉, E. coli 박테리아 내부에서 발견되는 자연적이고 수정되지 않은 단백질입니다. 이들은 환경에 익숙하며, 마치 자신의 오븐이 어떻게 작동하는지 정확히 아는 지역 제빵사와 같습니다.
2. 이종 주방 (The Heterologous Kitchen): 이것은 "외래" 주방입니다. 여기서 과학자들은 E. coli에 전혀 속하지 않는 단백질(예를 들어 인간 단백질이나 다른 생물의 단백질)을 구우려고 노력합니다. 이것들은 "이종(heterologous)" 구조체입니다. 이는 마치 지역 제빵사에게 갑자기 다른 종류의 밀가루와 새로운 오븐을 사용하여 복잡한 프랑스 페이스트리를 만들어 달라고 요청하는 것과 같습니다. 훨씬 더 어렵고, 문제가 생길 가능성이 높습니다.

도전자들
외셰이는 강력한 후보들을 불러 모았습니다:

• RP3Net과 NetSolP: 이들은 "딥러닝" 요리사들입니다. 이들은 수백만 개의 레시피를 읽은 매우 똑똑하고 복잡한 AI 모델입니다. 이들은 공식 테스트에서 높은 점수를 자랑하는 단백질 세계의 유명 인사들입니다.
• 단순한 베이스라인 (The Simple Baselines): 이들은 "할머니의 경험칙(Grandma's Heuristics)"입니다. 이들은 화려한 AI가 아닙니다. 기본적인 화학 원리(예: 혼합물에 얼마나 많은 "끈적한" 또는 "미끄러운" 성분이 있는지 세는 것)에 기반한 단순하고 전통적인 규칙입니다. 이들은 겸손하고 군더더기 없는 제빵사들입니다.

충격적인 결과
외셰이가 네이티브 주방(쉬운 로컬 정원)에서 이 요리사들을 테스트했을 때, 결과는 혼란스럽고 놀라웠습니다.

• NetSolP는 스타 셰프였습니다. 점수는 0.792를 기록했습니다. 네이티브 단백질이 제대로 작동할지 예측하는 데 최고였습니다.
• 자신의 공식 테스트에서 0.83의 점수를 주장했던 유명 AI인 RP3Net은 처참하게 무너졌습니다. 이 모델은 단 0.709를 기록했습니다.
• 여기서 결정적인 것은, 단순한 옛날 방식의 "할머니" 규칙(구체적으로는 용해도 가중 지수인 SWI)이 0.745를 기록했다는 점입니다. 이는 단순한 규칙이 화려한 AI를 이겼음을 의미합니다! 최고일 것이라던 AI가 실제로는 기본적인 계산기보다 못했던 것입니다.

최고의 AI(NetSolP)와 최악의 AI(RP3Net) 사이의 격차는 0.083이었습니다. 과학의 세계에서 이것은 엄청난 차이입니다. 그 차이가 너무 커서 두 "초지능" 모델은 서로 동의하지 못했고, 스펙트럼의 양 끝단에 위치했습니다.

외래 주방의 참사
그 후, 외셰이는 요리사들을 이종 주방(어려운 외래 도전)으로 옮겼습니다.

• 갑자기 두 AI 요리사(NetSolP와 RP3Net)는 비슷하게 행동하기 시작했습니다. 둘 다 0.63 정도의 점수를 받았는데, 이는 괜찮은 수준이지만 아주 훌륭한 것은 아니었습니다.
• 단순한 규칙들은 이들 뒤처졌지만, 여전히 게임에 참여하고 있었습니다.
• 하지만 진짜 드라마는 PLM_Sol이라는 세 번째 AI로부터 나왔습니다. 이 모델은 자체 테스트에서 0.83의 점수를 주장했습니다. 하지만 외셰이가 외래 단백질로 테스트했을 때, 이 모델은 0.564로 붕괴했습니다. 이것은 사실상 동전 던지기나 다름없습니다! 이 모델은 단순한 규칙보다 성능이 떨어졌고, 찍는 것보다도 간신히 나은 수준이었습니다. 모델이 암기했을지도 모르는 단백질들을 제거한 후에도 결과는 마찬가지였습니다.

이것이 의미하는 바
주요 교훈은 화려한 성적표(높은 벤치마크 점수)가 새로운 유형의 요리를 할 때도 훌관한 셰프가 될 것임을 보장하지 않는다는 것입니다.

• RP3Net은 특정 작업(인간 약물 타겟 예측)에는 뛰어났지만, 네이티브 작업에는 형편없었습니다.
• NetSolP는 네이티브 작업에는 뛰어났지만, 외래 작업에는 그저 그랬습니다.
• PLM_Sol은 서류상으로는 멋져 보였지만, 재료가 바뀌자 완전히 실패했습니다.

연구는 몇 가지 변명도 차단했습니다. 그들은 AI가 훈련 데이터의 답을 단순히 "암기"하여 부정행위를 저지른 것이 아닌지 확인했습니다. 겹치는 단백질을 제거하기 위해 테스트 세트를 깨끗이 정리한 후에도 결과는 동일했습니다. 실패의 원인은 부정행위가 아니라, 모델이 특정 유형의 단백질에 맞춰 훈련되었기 때문에 다른 유형의 단백질로 일반화할 수 없었기 때문이었습니다.

결론
만약 당신이 단백질을 만들려는 과학자라면, 상자에 적힌 가장 높은 숫자만을 보고 도구를 고르지 마세요. 당신의 단백질이 그 도구가 훈련된 것과 다르다면, 그 숫자는 거짓말일 수 있습니다. 때로는 단순하고 오래된 경험칙이 화려하고 비싼 AI보다 더 신뢰할 수 있습니다. 도구가 제대로 작동하는지 아는 가장 좋은 방법은, 헤드라인 숫자를 믿는 것이 아니라 당신이 만들고자 하는 정확한 종류의 단백질로 테스트해보는 것입니다.

요약하자면, 단백질 예측의 세계에서는 맥락(Context)이 왕입니다. 한 주방에서는 천재인 모델이 다른 주방에서는 재앙이 될 수 있으며, 조건이 맞다면 단순한 규칙이 때로는 슈퍼컴퓨터를 이길 수도 있습니다.