Protocol for the development of a tool (INSPECT-IPD) to identify problematic randomised controlled trials when individual participant data are available

기술 요약: INSPECT-IPD 개발을 위한 프로토콜

문제 정의
무작위 대조 시험(RCT)은 의료 분야의 증거 합성의 초석이지만, 이 중 일부는 데이터가 조작되거나 위조되었거나, 혹은 아예 수행되지 않았을 가능성이 있습니다. 기존의 리스크 오브 바이어스(RoB) 도구들은 방법론적 한계를 평가하지만, 연구 부정행위나 데이터 무결성 문제를 탐지하도록 설계되지는 않았습니다. 저자들은 이전에 출판된 요약 및 레지스트리 데이터를 기반으로 RCT의 신뢰성을 평가하는 INSPECT-SR 도구를 개발한 바 있습니다. 그러나 개별 환자 데이터(IPD)를 활용하면 포렌식 분석을 수행할 수 있는 훨씬 더 강력한 기회가 제공됩니다. 현재 문헌에 따르면, IPD 없이는 허위 데이터의 탐지율이 낮지만(약 2%), IPD에 접근할 수 있으면 탐지율을 40% 이상으로 높일 수 있습니다. 이러한 잠재력에도 불구하고, 데이터 무결성을 분석하기 위해 원시 IPD에 요구되는 구체적인 포렌식 검사 방식에 대한 합의가 없으며, 연구자, 편집자 또는 체계적 문헌고찰자가 이 과정을 안내할 표준화된 도구도 부재한 상황입니다.

방법론
본 논문은 원시 데이터 접근이 가능한 경우를 위해 특별히 설계된 INSPECT-SR의 확장판인 INSPECT-IPD(Individual Participant Data를 이용한 문제적 임상 시험 조사)를 개발하기 위한 5단계 프로토콜을 설명합니다. 개발 과정은 국제적 전문가 합의와 실증적 증거에 기반합니다:

1. 검사 항목 구성 (Compilation of Checks): 초기 IPD 신뢰성 검사 목록은 범위 검토(scoping review), 질적 전문가 연구 및 INSPECT-SR 프로젝트로부터 도출되었습니다. 이 목록은 전문가 피드백을 통해 정제되었으며 도메인별로 분류되었습니다.
2. 실증적 평가 (2단계): 전체 검사 목록을 30개의 데이터 세트에 적용할 예정입니다. 여기에는 공공 저장소에서 가져온 15개의 실제 데이터 세트와, 현대적 사기 수법을 시뮬레이션하기 위해 연구팀이 대규모 언어 모델(특히 ChatGPT)을 사용하여 생성한 15개의 조작 데이터 세트가 포함됩니다. 다양한 통계적 전문 지식을 가진 약 30명의 평가자가 이 데이터 세트들에 검사를 적용할 것입니다. 이들은 구조화된 데이터 캡처 양식을 통해 실행 가능성, 해석 가능성, 그리고 우려 사항의 존재 여부(없음, 일부 있음, 심각함)를 기록하게 됩니다.
3. 델파이 조사 (3단계): 최소 50명의 전문가(통계학자, 임상가, 무결성 조사관, 저널 편집자 포함)가 참여하는 2회차 델파이 조사를 통해 합의를 도출합니다. 참가자들은 각 검사 항목에 대해 "유용성"(신뢰할 수 없는 데이터를 식별하는 능력)과 "해석 용이성"을 1~9점 척도로 점수 매깁니다. 응답자의 80% 이상으로부터 7점 이상의 점수를 받은 항목이 다음 단계로 넘어갑니다.
4. 합의 회의 (4단계): 가상 회의를 통해 2단계와 3단계의 결과를 종합하여 초안 도구에 포함될 검사 항목을 최종 확정합니다. 이 단계에서는 높은 유용성과 낮은 해석 용이성 사이의 절충안을 다루며, 복잡한 검사 항목은 선택적 가이드라인으로 격하시킬 수 있습니다.
5. 전향적 테스트 (5단계): 초안 도구는 체계적 문헌고찰(특히 IPD 메타 분석) 및 저널 편집 과정 등 실제 시나리오에서 테스트됩니다. 도구의 사용성과 구조를 개선하기 위해 설문 조사와 사용자 워크숍을 통해 피드백을 수집합니다.

주요 기여

• 포렌식 도구 개발: 본 논문은 요약 데이터 평가의 한계를 넘어, 연구 무결성을 위한 원시 IPD의 포렌식 분석을 안내하도록 특별히 설계된 최초의 도구인 INSPECT-IPD의 개발을 제안합니다.
• AI 생성 사기 통합: 본 방법론은 새로운 유형의 데이터 조작 방식에 대해서도 도구가 견고함을 보장하기 위해 대규모 언어 모델(LLM)로 제작된 데이터 세트를 명시적으로 포함합니다.
• 다중 이해관계자 합의: 본 프로토콜은 통계학자, 임상의, 저널 편집자, 환자 파트너를 포함한 다양한 이해관계자 패널을 참여시켜 기술적으로 타당하면서도 실무에 적용 가능한 도구를 만들기 위해 엄격하고 포괄적인 개발 과정을 강조합니다.
• 오픈 사이언스 프레임워크: 프로젝트는 프로토콜, 데이터 세트 및 분석 코드를 Open Science Framework(OSF)에 등록하고 결과를 오픈 액세스 논문으로 발표함으로써 투명성을 준수할 것을 약속합니다.

결과
본 문서는 완료된 연구 결과가 아닌 프로토콜이므로, 특정 검사의 성능이나 최종 도구의 구성에 관한 실증적 결과는 제시하지 않습니다. 논문은 제출 시점에 1단계(구성)는 완료되었으며, 2단계부터 5단계까지는 향후 실행될 계획(2026년 초 시작)임을 명시하고 있습니다. 따라서 우려 사항의 빈도, 특정 탐지율 또는 최종 선정된 검사 목록에 관한 데이터는 본 텍스트에 포함되어 있지 않습니다.

의의 및 주장
저자들은 INSPECT-IPD를 문제적 데이터에 대한 '골드 스탠다드(표준)' 테스트가 부재하다는 점을 인정하며, 이를 확정적인 "진단 도구"가 아닌 보조 도구로 규정합니다. 대신, 이 도구가 연구의 신뢰성을 평가하는 데 있어 체계적 문헌고찰 및 편집 과정의 중요한 부속 도구 역할을 할 것이라고 주장합니다.

본 연구의 의의는 다음과 같은 잠재력에 있습니다:

• IPD가 사용 가능한 경우 문제적 RCT를 탐지하는 능력을 개선하여 현재의 방법론적 공백을 메웁니다.
• 공유된 데이터를 검증할 수 있는 메커니즘을 제공함으로써 데이터 공유 의무화 추세(예: BMJ 및 NIH 정책)를 지원합니다.
• 탐지 가능성을 높임으로써 연구 부정행위를 억제합니다.
• 조작된 데이터가 체계적 문헌고찰에 포함되는 것을 방지하여 증거 합성의 신뢰성을 높입니다.

본 논문은 이 도구가 인간의 판단을 대체할 수는 없지만, 조사자들이 의료 증거 합성에 포함하기에 충분히 신뢰할 수 있는 연구를 식별할 수 있도록 구조화되고 근거 중심적인 프레임워크를 제공할 것이라고 결론짓습니다.