Forensic Reproducibility Audit of a Radiology Vision-Language Model Benchmark: From Intended Protocol to Released Artifact

디지털 탐정의 보고서

설정: 테스트가 아니었던 테스트
당신이 수학 퀴즈를 내는 선생님이라고 상상해 보세요. 당신은 반 아이들에게 "A 버전과 B 버전, 두 가지 다른 버전의 퀴즈를 줄 거야. 어떤 것이 더 어려운지 확인해 보자"라고 말합니다. 시험지를 나누어 주고, 걷은 뒤, 채점을 합니다. 하지만 나중에 답안지를 확인했을 때, 실수로 모든 학생에게 똑같은 '버전 C' 시험지를 주었다는 사실을 깨닫습니다. 당신은 A와 B의 차이를 테스트한다고 생각했지만, 실제로는 C를 두 번 테스트했을 뿐입니다.

이 연구에서 일어난 일이 바로 그것입니다. 연구자들은 의료 AI에게 두 가지 다른 질문(프롬프트 A와 프롬프트 B)을 던지는 것이 답변을 바꾸는지 확인하고 싶었습니다. 그들은 30장의 흉부 엑스레이로 테스트를 진행했습니다. 그러나 저자가 컴퓨터 코드를 파헤쳤을 때, 전달 시스템에서 '글리치(오류)'를 발견했습니다. 코드는 프롬프트 A와 프롬프트 B를 교체해야 했지만, 프로그래밍 오류(구체적으로 명령어를 불러오는 방식의 문제)로 인해 두 그룹의 질문 모두 프롬프트 C로 전송되었습니다. 저자는 실제 API로 전송된 데이터의 원본 페이로드를 직접 확인할 수는 없었지만, 저장된 임포트(import)와 호출 경로(call path)를 추정한 결과, 프롬프트가 의意와 다르게 결합되었다는 사실을 입증해 낼 수 있었습니다. 따라서 컴퓨터가 답변하도록 요청받은 60번의 상황에서, 실제로는 똑같은 질문에 60번 답하고 있었던 것입니다. 연구는 A와 B 사이의 차이를 발견했다고 주장했지만, A와 B는 실제로 존재하지 않았기에 그 차이는 유령에 불과했습니다.

엑스레이 혼선
다음으로, 흑백 사진을 보고 있다고 상상해 보세요. 만약 사진이 '네거티브(검은색이 흰색이고 흰색이 검은색인 상태)'로 인쇄되었다면, 당신은 어두운 점을 밝은 점이라고 착각할 수 있습니다. 의료 영상의 세계에는 두 가지 흑백 설정이 있습니다. 하나는 '뼈'가 어둡게 보이는 설정이고, 다른 하나는 '공기'가 어둡게 보이는 설정입니다. 연구는 표준 엑스레이를 사용한다고 주장했습니다. 하지만 저자는 4개의 이미지가 '공기' 설정이었으며, 컴퓨터 코드가 AI에게 보여주기 전에 이를 '뼈' 설정으로 뒤집는 것을 잊었다는 것을 발견했습니다.

이것은 고객에게 빵을 아래에 두고 패티를 위에 올린 버거를 서빙한 뒤, '표준 버거'를 서빙했다고 주장하는 것과 같습니다. AI는 실제 엑스레이가 아닌 왜곡된 이미지를 보고 있었습니다. 이는 AI가 실제 엑스레이가 아닌 왜곡된 현실을 바탕으로 결정을 내리고 있었음을 의미합니다.

환자 수와 누락된 파일
연구는 30명의 서로 다른 환자를 사용했다고 밝혔습니다. 하지만 저자가 파일을 세어본 결과, 두 명의 환자가 중복되어 나타났으며, 즉 실제로는 28명의 고유한 환자뿐이었습니다. 이는 출석을 부를 때 두 명의 학생이 두 번씩 이름을 올려, 28명이 아니라 30명이 있는 것처럼 보이는 것과 같습니다. 같은 사람이 테스트에 두 번 포함되면 결과가 왜곡될 수 있기 때문에 이는 중요합니다.

나아가, 연구는 300개의 답변(30장의 엑서레이 × 10개의 서로 다른 AI 모델)을 계획했습니다. 하지만 저자가 파일을 확인했을 때, 3개가 누락되었거나 비어 있었습니다. 두 개의 파일은 완전히 빈 상태(0 바이트)였고, 하나는 아예 사라졌습니다. 원래 보고서는 이것들을 성공적인 답변인 것처럼 가장했지만, 실제로는 실패였습니다. 이는 선생님이 학생이 백지로 낸 시험지를 채점하면서 점수를 주는 것과 같습니다.

"마법 같은" 수학
이러한 오류들 때문에 원래 논문의 수학은 틀렸습니다. 저자들은 모델들이 서로 다른지 확인하기 위해 '코크란 통계량(Cochran statistic)'을 계산했습니다. 원래 논문은 이 점수가 154.73이라고 밝혔습니다. 하지만 저자가 정확하고 완전한 데이터(엉망이고 불완전한 버전 대신 369개의 정보 블록 사용)를 사용하여 수학을 수정하자, 점수는 182.29로 뛰었습니다.

또한 원래 논은 45번의 비교 중 26번이 '유의미한' 차이를 보였다고 주장했습니다. 하지만 저자가 수정된 환자군을 바탕ான 분석했을 때, 조정되지 않은 상태에서는 45번 중 27번이 유의미했으나, 홀름(Holm) 보정을 적용한 분석에서는 20번만이 유의미한 차이를 보였습니다. 원래 논문의 26/45라는 수치는 각 비교마다 고유한 분모를 사용하는 별도의 '가용 사례 분석(available-case analysis)'을 통해 재현된 것이었습니다. 이 숫자들은 비슷해 보일 수 있지만, 데이터가 결함이 있었기 때문에 그 '의미'는 완전히 다릅니다. "모델 A가 모델 B보다 낫다"라는 원래의 주장은 실제로는 일어나지도 않은 테스트에 기반한 것이었습니다.

"오래된" 배포
가장 답답한 부분은 여기입니다. 연구자들이 실수를 깨닫고 논문의 숫자를 수정했을 때, 그들은 공유된 디지털 파일들을 업데이트하는 것을 잊었습니다. 그들은 '수정된' 논문을 업로드했지만, 첨부된 압축 파일(zip)에는 여전히 예전의 잘못된 숫자와 잘못된 모델 이름이 들어 있었습니다. 이는 요리사가 요리책의 레시피를 수정하면서 웹사이트에 있는 재재료 목록은 바꾸는 것을 잊은 것과 같습니다. 파일을 다운로드한 모든 사람은 오래되고 망가진 버전을 받게 된 것입니다.

해결책: 새로운 규칙집
저자는 단순히 실수만을 지적하는 것이 아니라, 이런 일이 다시 발생하지 않도록 하는 새로운 규칙집을 만듭니다. 그는 이를 '벤치마크 계약(Benchmark Contract)'이라고 부릅니다. 이는 컴퓨터가 점수를 발표하기 전에 자신이 제대로 수행했음을 증명하도록 강제하는 계약과 같습니다.

이 계약에는 8가지 규칙이 있습니다:

1. 코호트 계약(Cohort Contract): 고유한 환자의 수가 맞는지 증명하라.
2. 픽셀 계약(Pixel Contract): 엑스레이 이미지가 뒤집히거나 손상되지 않았음을 증명하라.
3. 프롬프트 계약(Prompt Contract): AI가 실제로 당신이 요청한 특정 질문을 받았는지, 또는 다른 질문을 받았는지 증명하라.
4. 모델 계약(Model Contract): 당신이 말한 것과 정확히 일치하는 버전의 AI를 사용했는지 증명하라.
5. 출력 계약(Output Contract): 답변 파일이 비어 있지 않음을 증명하라.
6. 어노테이션 계약(Annotation Contract): 라벨(예: '질병 있음' 또는 '건강함')이 올바르게 할당되었는지 증명하라.
7. 분석 계약(Analysis Contract): 수학적 계산이 올바른 데이터 그룹에 대해 수행되었는지 증명하라.
8. 배포 계약(Release Contract): 공유하는 파일이 작성한 논문과 일치함을 증명하라.

저자는 이 규칙들을 체크하는 36개의 자동화된 테스트(로봇 검사관 같은 역할)를 구축했습니다. 만약 테스트가 실패하면, 시스템은 멈추고 "안 됩니다, 아직 이것을 발표할 수 없습니다"라고 말합니다.

결론
핵적인 핵심은 원래 연구의 결과가 **철회(withdrawn)**되었다는 것입니다. 저자는 매우 명확하게 말합니다. 원래의 결과는 유효하지 않습니다. 테스트 자체가 망가졌기 때문에 순위나 "더 나은" 모델을 신뢰할 수 없습니다. 유일하게 살릴 수 있는 것은 그것이 '어떻게' 망가졌는지에 대한 이야기뿐입니다. 특히 자동화된 보고서-라벨 불일치(automated report-label discordance)를 포함한 결과들은 신뢰할 수 없습니다.

저자는 미래에 이러한 '기계로 확인 가능한 계약'을 사용해야 한다고 제안합니다. 우리는 단지 컴퓨터가 우리가 시킨 대로 했다고 믿어서는 안 되며, 컴퓨터가 그것을 증명하게 해야 합니다. 이 논문은 더 나은 AI 모델을 제공하는 것이 아니라, AI를 판단하기 위해 사용하는 테스트가 실제로 공정하고 실재하는지 확인하는 더 나은 방법을 제공합니다. 이는 디지털 시대에, 만약 코드를 확인하지 않는다면 당신은 일어나지도 않은 테스트를 채점하고 있을지도 모른다는 경고입니다.