Practitioner Allegiance Risk Scale (PARS-6): Development of a Theory-Informed Instrument for Screening Investigator Allegiance-Related Risk Across Intervention Research
본 논문은 중재 연구에 대한 체계적 문헌고찰의 데이터 추출 과정에서 연구자의 충성도 관련 특성을 체계적으로 선별하고 기록하기 위해 설계된 새로운 6개 항목의 도구인 실무자 충성도 위험 척도(PARS-6)의 이론적 개발 및 구조를 제시하며, 이것이 확정적인 편향 측정치가 아니라 기술적인 위험 지표로서 기능함을 명시적으로 밝힌다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
과학 연구의 세계에는 아무도 눈치채지 못하는 사이에 연구 결과의 기울기를 바꿀 수 있는 조용하지만 강력한 힘이 존재합니다. 이것은 '연구자 충성도(investigator allegiance)'라고 불립니다. 이는 새로운 치료법을 테스트하는 과학자가 해당 치료법의 신봉자이거나, 그 방법론의 개발자이거나, 혹은 수년간 이를 공개적으로 옹호해 온 사람일 때 발생합니다. 부모가 자신의 자녀를 자연스럽게 최고라고 여기는 것과 마찬가지로, 특정 요법이나 약물과 깊은 개인적 또는 직업적 유대 관계를 가진 연구자는 자신도 모르게 연구를 설계하거나, 데이터를 해석하거나, 혹은 그 치료법이 실제보다 더 좋아 보이도록 결과를 보고할 수 있습니다. 이러한 현상은 심리치료 분야에서 잘 알려져 있는데, 수십 년간의 연구를 통해 연구를 주도하는 사람이 결과에 영향을 미친다는 사실이 밝혀졌습니다. 그러나 명상부터 수술, 영양학에 이르기까지 다양한 분야를 연구하는 연구자들에게는 이러한 편향을 점검할 수 있는 표준화되고 신뢰할 수 있는 방법이 그동안 없었습니다. 공통된 도구가 없다 보니, 한 검토 팀은 어떤 연구를 잠재적 편향이 있는 것으로 표시하는 반면, 동일한 증거를 살펴보는 다른 팀은 이를 놓칠 수도 있어, 과학이 실제로 무엇을 말하고 있는지에 대한 혼란을 초래할 수 있습니다.
이 문제를 해결하기 위해, 한 연구팀이 '실무자 충성도 위험 척도(Practitioner Allegiance Risk Scale)' 또는 'PARS-6'라고 불리는 새로운 도구를 개발했습니다. 이 도구는 과학자들이 연구 중인 치료법과 연구자 사이의 구체적인 관계를 포착하도록 설계된 구조화된 체크리스트라고 생각하면 됩니다. 이 도구는 연구가 틀렸거나 연구자가 부정직하게 행동했는지를 측정하는 것이 아니라, 단지 편향을 일으킬 수 있는 구조적 조건들을 기록합니다. 이 척도는 검토자들이 조사하는 모든 연구에 대해 답변해야 하는 6가지 구체적인 질문으로 구성됩니다. 이 질문들은 저자가 연구 중인 전통의 오랜 실천가인지, 연구가 치료법의 성공에 재정적 이해관계가 있는 조직으로부터 자금을 지원받았는지, 혹은 저자가 이전에 해당 치료법을 찬양하는 공개 강연을 했거나 기사를 쓴 적이 있는지 등을 살펴봅니다. 각 질문에 대해서는 '관계가 존재함', '부재가 확인됨', 또는 '판단할 수 있는 충분한 공개 정보가 없음' 중 하나의 옵션으로 답변합니다.
연구진은 충성도가 연구에 영향을 미치는 세 가지 뚜식한 방식을 매핑하여 이 도구를 개발했습니다. 첫 번째는 '경험적(experiential)' 방식으로, 연구자의 개인적인 수행(practice)이 결과를 바라보는 관점을 형성하는 것입니다. 두 번째는 '제도적(institutional)' 방식으로, 연구자의 직업, 자금, 또는 경력 발전이 해당 치료법의 성공 여부에 달려 있는 경우입니다. 세 번째는 '평판적(reputational)' 방식으로, 특정 치료법이 효과가 있다고 공개적으로 약속한 연구자가 그 약속을 뒷받침하기 위해 데이터가 지지하도록 만드는 심리적 압박을 느끼는 것입니다. 이 6가지 유형의 관계를 확인함으로써, 이 도구는 '충성도 위험 지수(Allegiance Risk Index)'라고 불리는 간단한 점수를 산출하며, 이 점수는 0점에서 6점 사이입니다. 0점은 공적 기록에서 충성도 관련 관계가 발견되지 않았음을 의미하며, 6점은 6가지 유형의 관계가 모두 기록되었음을 의미합니다. 저자들은 높은 점수가 연구의 결함을 증명하는 것도, 낮은 점수가 완벽함을 보장하는 것도 아니라고 신중하게 밝히고 있습니다. 그것은 단지 검토 팀에게 더 자세히 살펴보거나, 고득점 연구를 제외했을 때 최종 결론이 바뀌는지 확인하는 특별한 테스트를 실행하라는 신호를 보내는 표식일 뿐입니다.
도구가 일관되게 작동하도록 하기 위해, 연구진은 엄격한 프로세스를 구축했습니다. 척도를 적용하기 전에, 이를 사용하고자 하는 사람은 누구나 규칙을 동일하게 해석할 수 있도록 훈련 과정을 거쳐야 합니다. 두 사람이 동일한 연구에 점수를 매길 때, 두 사람의 의견이 일치해야 하며, 만약 의견이 다를 경우 제3자가 결정하도록 합니다. 또한 이 도구에는 각 답변에 대한 '신뢰도 등급'이 포함되어 있어, 검토자가 논문에서 명확한 진술을 찾은 것인지 아니면 간접적인 단서를 바탕으로 추측한 것인지를 기록할 수 있게 합니다. 개발자들은 자신들의 연구팀에 이 척도를 먼저 적용하여 테스트했습니다. 그 결과, 주요 저자 중 한 명이 연구 중인 명상 전통과 개인적인 연결 고리가 있다는 사실을 발견했으며, 도구는 이를 척도상의 단일 지점으로 정확히 식별해 냈습니다. 이러한 자체 점검은 이 시스템이 제작자 본인들에 의해서도 투명하게 사용될 수 있음을 입증했습니다.
이 논문은 이 척도를 과학계가 사용하고 테스트할 수 있도록 공개하는 '진행 중인 작업(work in progress)'이자 '살아있는 도구(living instrument)'로 제시합니다. 저자들은 이 도구가 모든 상황에서 편향된 결과를 예측한다고 아직 입증된 것은 아니며, 무엇을 '높은 위험' 점수로 간주할지에 대한 기준은 고정된 규칙이라기보다 임시적인 제안임을 인정합니다. 그들은 다른 연구팀들이 검토 과정에서 이 척도를 사용하고 그 결과를 공공 레지스트리에 공유하도록 권장합니다. 이러한 집단적 노력은 척도가 충성도로 인해 진실이 왜곡된 연구를 정확하게 식별하는지 결국 증명할 수 있도록 충분한 실질 데이터를 모으기 위한 것입니다. 이러한 숨겨진 영향력을 포착하는 명확하고 공유된 방법을 제공함으로써, 연구진은 과학적 증거를 검토하는 과정이 더욱 일관되고 신뢰할 수 있게 되어, 우리가 무엇이 효과적인지에 대해 내리는 결론이 과학자들이 수집한 개인적 헌신이 아닌 사실에 기반하도록 만들기를 희망합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.