Failing FDA drug inspections are recorded later and less often than passing ones, biasing models trained and monitored on them
이 논문은 FDA 의약품 검사 분류가 심각한 보고 편향을 겪고 있음을 입증하며, 즉 불합격 검사는 합격 검사에 비해 기록 빈도가 낮고 상당한 지연을 동반하여 발생하는데, 이는 특정 통계적 조정을 통해 부분적으로 완화되거나 게시 날짜를 공개함으로써 해결될 수 있는 머신러닝 모델 및 모니터링 지표의 상당한 성능 저하로 이어진다는 것을 보여준다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
매년 미국 식품의약국(FDA)은 제약 공장들이 의약품을 안전하게 제조하고 있는지 확인하기 위해 검사팀을 파견합니다. 이러한 검사는 공중 보건의 핵심적인 부분이며, 해당 기관은 그 결과를 공개합니다. 검사관이 아무런 문제를 발견하지 못하면 해당 시설은 합격 판정을 받습니다. 반면 심각한 문제가 발견되면 해당 시설은 불합격 판정을 받으며, 이는 벌금, 제품 압류 또는 기타 법적 조치로 이어질 수 있습니다. 이 공장들이 얼마나 잘 운영되고 있는지 이해하려는 누구에게나, 이 공개 기록은 정보의 보물창고와 같습니다. 이 기록들은 날짜가 기재되어 있고, 수십만 개의 시설을 다루며, 누구나 자유롭게 사용할 수 있습니다. 이는 컴퓨터 프로그램, 즉 머신러닝 모델을 훈련시켜 향후 어떤 공장이 위험에 처할지 예측하는 데 완벽한 자료가 됩니다. 과거의 기록을 연구함으로써, 이러한 프로그램들이 문제가 발생하기 전에 징후를 포착하여 규제 기관이 한정된 자원을 가장 필요한 곳에 집중할 수 있도록 돕는 것이 목표입니다.
하지만 지금까지 주목받지 못한 채 숨겨진 결함이 이 기록 관리 방식에 존재합니다. 그 결함은 검사 자체에 있는 것이 아니라, 최종 결과가 작성되고 공개되는 방식에 있습니다. 공장이 검사를 통과하면 기관은 그 결과를 빠르고 신뢰성 있게 기록합니다. 그러나 공장이 불합격하면 과정이 훨씬 느려지며, 종종 그 결과가 공개 데이터베이스에 전혀 기록되지 않기도 합니다. 이는 이 데이터를 사용하는 사람들에게 왜곡된 현실을 보여줍니다. 이 기록을 살펴보는 컴퓨터 프로그램은 세상의 거의 모든 것이 괜찮다고 보는 세상을 마주하게 되는데, 이는 나쁜 소식이 누락되었거나 혹은 프로그램이 이미 다음 단계로 넘어갈 만큼 너무 늦게 도착하기 때문입니다. 이것은 사소한 오류가 아닙니다. 데이터가 실제로 말하는 바를 바꾸어 놓는 근본적인 편향입니다.
연구자 파니 쿠마르 발라감(Phani-Kumar Balagam)은 2018년부터 2023년 사이에 이루어진 1만 건 이상의 약물 검사를 조사하여 이 문제를 연구했습니다. 연구는 충분한 시간이 경과하여 완전히 처리될 수 있었던 특정 그룹의 검사에 초점을 맞추었습니다. 연구 결과는 극명했습니다. 합격 판정을 받은 검사의 경우, 약 74%가 데이터베이스에 최종 결정이 기록되어 있었습니다. 반면 불합격 판정을 받은 검사의 경우, 약 26%만이 기록되어 있었습니다. 이는 합격한 검사가 불합격한 검사보다 공개 기록에 나타날 확률이 거의 3배 더 높다는 것을 의미합니다. 게다가 불합격 검사가 기록되더라도 시간이 오래 걸립니다. 평균적으로 합격 검사는 약 86일 만에 기록되는 반면, 불합격 검사는 300일 이상이 걸립니다. 많은 경우, 불합격 결과는 아예 나타나지 않습니다.
이러한 지연과 부재는 이 데이터를 기반으로 하는 컴퓨터 모델에 심각한 문제를 일으킵니다. 이 모델들은 대개 한 공장의 이력을 살펴보고 미래를 예측하도록 훈련됩니다. 만약 어떤 공장이 5년 전에 검사에서 탈락했다면, 모델은 이상적으로 그 사실을 알고 있어야 합니다. 하지만 그 실패 기록이 아직 존재하지 않거나 아예 존재하지 않을 수 있기 때문에, 모델은 이를 볼 수 없습니다. 연구자는 컴퓨터가 기록이 실제로 나타날 때까지 기다리도록 강제했을 때 어떤 일이 발생하는지 테스트하기 위해 예측 모델을 다시 구축했습니다. 결과는 충격적이었습니다. 모델이 우수한 공장과 그렇지 못한 공장을 구별하는 능력이 유의미하게 떨어졌습니다. 모델의 정확도는 측정 가능한 수준으로 하락했는데, 이는 이전의 높은 점수들이 모델이 실제로 볼 수 없었던 데이터에 의해 만들어진 일종의 환상이었음을 증명합니다. 모델은 현실 세계에서는 아직 사용 불가능한 정보를 사용하고 있었던 것입니다.
문제는 이러한 모델들을 실무에 투입한 후 모니터링할 때 더욱 악화됩니다. 규제 기관은 모델이 예측한 실패와 실제로 발생한 실패의 비율을 비교함으로써 모델이 여전히 제대로 작동하고 있는지 확인하곤 합니다. 하지만 공개 기록에는 너무나 많은 실패 사례가 누락되어 있기 때문에, 이 점검은 터무니없이 잘못된 답을 내놓습니다. 연구자는 표준적인 점검 방식이 모델이 포착했어야 할 실제 실패 사례 중 단 6%만을 발견한다는 것을 찾아냈습니다. 이는 마치 깊은 곳의 해류는 무시한 채 수면 위의 잔물결만을 보고 강의 깊이를 측정하려는 것과 같습니다.
연구는 또한 통계학자들이 누락된 데이터를 수정하기 위해 사용하는 표준적인 수학적 기법들을 테스트했습니다. 한 가지 흔한 방법은 가용한 정보를 바탕으로 얼마나 많은 실패 사례가 누락되었는지 추측하는 것입니다. 연구자는 이 방법이 이 사례에서는 완전히 실패한다는 것을 발견했습니다. 누락된 실패 사례들은 단순히 지연되는 것이 아니라, 종종 영원히 사라져 버립니다. 데이터가 왜 기록이 누락되었는지 알려주지 않기 때문에, 컴퓨터는 진실을 추측할 수 없습니다. 또 다른 방법은 데이터가 도착할 때까지 더 오래 기다리는 것인데, 이는 약간의 도움은 되지만 충분하지는 않습니다. 2년을 기다린 후에도 점검 방식은 여전히 대다수의 실패 사례를 놓치고 있었습니다. 연구는 현재의 공개 데이터로는 이 모니터링 문제를 해결할 방법이 없다고 결론지었습니다. 누락된 정보는 찾을 수 없는 곳에 존재하기 때문입니다.
연구자는 해결책이 놀라울 정도로 간단하다고 제안합니다. FDA는 이미 필요한 정보를 가지고 있습니다. 단지 한 가지 추가적인 데이터, 즉 분류 결정이 대중에게 공개된 정확한 날짜를 공개하기만 하면 됩니다. 만약 기관이 기록이 게시된 시점을 보여주는 간단한 항목을 추가한다면, 컴퓨터 프로그램은 특정 시점에 자신이 무엇을 볼 수 있고 무엇을 볼 수 없는지 정확히 알 수 있을 것입니다. 이는 모델이 과거의 예측을 위해 미래의 정보를 사용하는 것을 막아줄 것이며, 모니터링 도구가 자신들이 전체 그림 중 얼마만큼을 놓치고 있는지 정확히 이해할 수 있게 해줄 것입니다. 이러한 변화가 없다면, 공개 기록은 제약 공장들이 실제보다 더 안전한 것처럼 계속 보여줄 것이며, 우리를 보호하기 위해 설계된 도구들은 그들이 찾아내야 할 바로 그 위험에 대해 계속 눈먼 상태로 남게 될 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.