Can it be checked? A cross-sectional meta-research audit of access to, and reporting in, machine learning studies of pharmaceutical manufacturing and quality control

현대적인 의약품을 제조하는 공장에서 이제 기계는 단순히 혼합하고 병에 담는 것 이상의 일을 합니다. 기계는 관찰하고, 측정하며, 예측합니다. 머신러닝이라 불리는 일종의 컴퓨터 지능을 사용하여, 이 시스템들은 사진 한 장으로 결함이 있는 알약을 찾아내거나, 약물이 어떻게 용해될지 예측하거나, 살아있는 세포가 자라는 거대한 탱크 내부의 섬세한 조건을 모니터링할 수 있습니다. 이 기술은 모든 알약과 주사제가 안전하고 효과적임을 보장하기 위한 표준 도구가 되었습니다. 하지만 이러한 스마트 시스템이 이를 규제하는 사람들과 이를 처방하는 의사들에게 신뢰를 얻기 위해서는, 이를 구축한 과학자들이 자신의 작업물을 증명할 수 있어야 합니다. 요리사가 레시피와 재료를 보여주지 않고서는 자신이 만든 요리가 맛있다고 주장할 수 없는 것처럼, 과학자 또한 컴퓨터 모델이 작동한다고 주장하려면 그 모델이 학습한 데이터와 실행되는 코드, 그리고 보지 못한 새로운 사례들에 대해 작동한다는 증거를 보여주어야 합니다.

한 새로운 연구는 매우 간단하지만 결정적인 질문을 던집니다. 과학자들이 의약품 제조에 관한 이러한 머신러닝 연구를 발표할 때, 실험실 외부의 사람들도 실제로 그들의 작업을 검증할 수 있는가 하는 점입니다. 연구자인 독립 학자 파니 쿠마르 발라가람(Phani Kumar Balagam)은 2019년부터 2025년까지 이 분야의 발표된 기록을 감사하는 작업을 수행했습니다. 그는 두 가지를 알고 싶어 했습니다. 첫째, 특별한 도서관 구독권이 없는 일반인도 논문 전문을 읽을 수 있는가? 둘째, 만약 읽을 수 있다면, 그 논문에 실험을 반복하고 결과를 검증하는 데 필요한 구체적인 세부 사항이 포함되어 있는가? 연구 결과, 대부분의 논문에 대해 두 질문 모두에 대한 답은 '아니오'였습니다.

이를 확인하기 위해 연구자는 수천 편의 논문이 담긴 다섯 개의 주요 과학 데이터베이스를 검색하여 인간용 의약품을 만들거나 테스트하는 데 머신러닝을 사용하는 논문을 찾았습니다. 리뷰 논문, 프리프린트(preprint), 그리고 기준에 맞지 않는 연구들을 걸러낸 후, 연구에는 553편의 논문이 남았습니다. 첫 번째 장애물은 접근성이었습니다. 연구는 각 논문을 대중이 무료로 읽을 수 있는지 확인했습니다. 553편 중 단 186편, 즉 약 3분의 1만이 구독 없이 읽을 수 있었습니다. 나머지는 유료 결제 장벽(paywall) 뒤에 갇혀 있었거나, 심지어 일부는 오픈 액세스(open access)로 표시되어 있음에도 불구하고 다운로드를 차단하는 자동 보안 체크와 같은 기술적 장벽 때문에 아예 불러올 수조차 없었습니다. 이는 이 분야의 연구 세 편 중 두 편은 호기나 있는 독자가 전문을 볼 수조차 없음을 의미합니다.

연구자는 그다음으로 읽을 수 있는 186편의 논문에 집중했습니다. 연구자는 결과 검증에 필요한 네 가지 필수 재료인 원시 데이터, 컴퓨터 코드, 데이터를 훈련 그룹과 테스트 그룹으로 나누는 명확한 설명, 그리고 모델이 한 번도 본 적 없는 데이터에 기반한 최종 성능 점수가 보고되었는지 면밀히 살펴보았습니다. 이 마지막 부분은 매우 중요한데, 이것이 없으면 모델이 규칙을 배우는 것이 아니라 단순히 정답을 암기하는 것에 불과할 수 있기 때문입니다. 연구 결과, 거의 모든 논문이 데이터를 어떻게 나누었는지는 언급했지만, 실제 데이터나 코드를 공유한 논문은 매우 적었습니다. 약 4편 중 1편만이 데이터를 공개했고, 약 10편 중 1편만이 코드를 공개했습니다.

전체 패키지를 찾는 상황은 더욱 심각했습니다. 연구는 데이터, 코드, 데이터 분할 방식, 그리고 최종 테스트 결과를 모두 동시에 공유하는 논문을 '검증 가능한(checkable)' 논문으로 정의했습니다. 186편의 읽을 수 있는 논문 중 이 기준을 충족한 것은 단 2편뿐이었습니다. 이는 겨우 1%가 조금 넘는 수준입니다. 즉, 이 분야의 거의 모든 발표된 연구는 독립적인 사람이 분석을 다시 실행하고 헤드라인 숫자를 확인할 수 있을 만큼 충분한 정보를 제공하지 않고 있습니다. 연구자는 이러한 투명성 부족이 데이터 자체의 성격 때문은 아니라고 언급했습니다. 데이터가 거대한 산업 공장이 아닌 작은 실험실 실험에서 나온 것이라 할지라도, 데이터는 좀처럼 공유되지 않았습니다. 마찬가지로, 코드 공유가 미흡한 이유도 코드가 비밀이었기 때문이 아니라, 단지 제공되지 않았기 때문이었습니다.

또한 연구는 이러한 문제들이 시간이 흐름에 따라 개선되고 있는지, 혹은 논문이 발표된 저널의 유형에 따라 차이가 있는지 조사했습니다. 결과는 시간이 지나도 데이터나 코드 공유율이 유의미하게 개선되지 않았으며, 보고 품질 또한 과학 저널의 유형에 관계없이 동일하다는 것을 보여주었습니다. 연구자는 대규모 언어 모델(LLM)이라는 일종의 인공지능을 사용하여 논문을 읽고 점수를 매겼으며, 모델이 동일한 논문을 두 번씩 확인하도록 하여 이 방법을 검증했습니다. 모델은 논문 내에서 자신의 판단을 뒷받침하는 특정 문장을 찾아낼 수 있었는데, 이는 정보의 부재가 독자의 오해가 아니라 실제적인 격차임을 입증하며, 정보 누락이 실재함을 보여주었습니다.

결론은 냉혹합니다. 머신러닝이 제약 제조에서 일상이 되고 있는 반면, 이 작업에 관한 발표된 기록은 대체로 불투명합니다. 논문의 3분의 1은 대중이 읽을 수 없으며, 읽을 수 있는 논문들 중에서도 결과를 검증하는 데 필요한 전체 세부 사항을 포함하고 있는 경우는 거의 없습니다. 연구자는 해결책이 저자들에게 새롭거나 어려운 일을 요구하는 것이 아니라고 제안합니다. 그들은 단지 이미 가지고 있는 데이터와 코드를 공유하고, 어떤 데이터가 주요 결과를 만들어냈는지 명확히 밝히기만 하면 됩니다. 저자들이 이미 보유하고 있는 것을 요청함으로써, 과학계는 발표된 내용과 검증 가능한 내용 사이의 간극을 메울 수 있으며, 우리의 의약품을 만드는 스마트한 기계들이 주장하는 만큼 신뢰할 수 있음을 보장할 수 있을 것입니다.