Effects of Audit and Feedback on the Clinical Performance of Physicians Providing Direct-to-Consumer Teleconsultation in China: A 2×2×2 Factorial Randomised Controlled Trial

인터넷을 운동화부터 기분이 좋아지는 법에 대한 조언까지 무엇이든 살 수 있는 거대하고 북적이는 시장이라고 상상해 보세요. 최근 몇 년 동안 이 시장의 특별한 구역이 폭발적으로 성장했습니다: 바로 온라인 의사 진료입니다. 붐비는 대기실에서 기다리는 대신, 소파에 앉아 화면을 탭하여 의사와 채팅할 수 있습니다. 이것을 "직접 소비자 대상 원격 진료(Direct-to-Consumer Teleconsultation, DTCT)"라고 부릅니다. 마치 집을 떠나지 않고도 감기나 발진 같은 문제를 해결해 주는, 잠들지 않는 의료 핫라인을 가진 것과 같습니다.

하지만 여기 까다로운 점이 있습니다: 온라인으로 제품을 살 수 있다고 해서 판매자가 항상 그 일을 가장 잘한다는 뜻은 아니라는 점입니다. 이 디지털 시장에서 의사들은 청진기나 실험실 검사 같은 평소의 도구들을 갖지 못하며, 규칙을 잘 따르고 있는지 옆에서 지켜보는 상사도 없습니다. 때때로 온라인에서 제공되는 조언은 마땅히 그래야 하는 수준만큼 좋지 않을 수 있습니다. 이를 해결하기 위해 과학자들은 "감사 및 피드백(Audit and Feedback)"이라는 전략을 사용합니다. 이것은 마치 비디오 게임의 리플레이와 같습니다. 레벨을 마친 후, 게임은 "여기서 점프를 놓쳤습니다" 또는 "여기서는 아주 잘했습니다!"와 같은 성적표를 보여줍니다. 이 성적표를 보면 다음번에는 더 열심히 노력하게 될 것이라는 희망을 담고 있습니다. 하지만 인터넷상의 의사들에게도 이것이 효과가 있을까요? 그리고 만약 그들에게 성적표를 준다면, 다른 의사들과 비교해야 할까요, 규칙 책을 보여줘야 할까요, 아니면 단지 "고객"이 어떻게 생각하는지를 보여줘야 할까요? 그것이 바로 이 연구가 답하고자 하는 큰 질문입니다.

실험: 더 나은 온라인 케어를 위한 레시피

연구진은 세 개의 주요 중국 온라인 건강 플랫폼에서 활동하는 152명의 실제 의사를 대상으로 거대하고 영리한 실험을 설계했습니다. 그들은 어떤 "재료"(또는 그 조합)가 의사들로 하여금 다음 온라인 진료 시 의료 규칙을 더 엄격히 준수하고 싶게 만드는지 테스트하고자 했습니다.

그들은 피드백 보고서를 맞춤형 레시피처럼 취급했습니다. 모든 의사는 특정 사례에 대해 자신이 어떻게 했는지를 보여주는 기본 보고서를 받았습니다. 그런 다음 연구진은 이 세 가지 특별한 재료 중 하나 또는 그 이상을 혼합하여 무작위로 추가했습니다:

1. "동료 순위" 재료: 이것은 의사에게 "당신은 이 특정 질병에 대해 상위 70%의 의사입니다" 또는 "당신은 하위 30%에 속합니다"라고 알려줍니다. 이는 친구들과 비교하여 자신의 위치를 보여주는 비디오 게임의 리더보드와 같습니다.
2. "규칙 책" 재료: 이것은 공식적인 의료 가이드라인에 근거하여 구체적이고 상세한 피드백을 제공했습니다. 이는 마치 코치가 공식 매뉴얼을 인용하며 어떤 동작이 틀렸고 어떤 동작이 맞았는지 정확히 지적하는 것과 같습니다.
3. "고객 리뷰" 재형: 이것은 "환자"(이 연구에서는 훈련된 배우가 역할을 함)가 진료에 대해 어떻게 느꼈는지에 기반한 점수를 포함했습니다. 이는 레스토랑 앱에서 볼 수 있는 별점과 같습니다.

과학자들은 "2×2×2 요인 설계(factorial design)"를 사용했는데, 이는 모든 가능한 재료의 조합을 테스트했다는 뜻의 세련된 표현입니다. 어떤 의사들은 리더보드만 받았고, 어떤 이들은 규칙 책만 받았으며, 어떤 이들은 고객 리뷰만 받았고, 또 어떤 이들은 이 세 가지를 모두 섞은 것을 받았습니다. 그런 다음 연구진은 의사들에게 "다음번에 규칙을 따를 가능성이 0에서 100 사이의 척도로 얼마나 됩니까?"와 "이 피드백을 받는 것에 대해 얼마나 만족했습니까?"라고 물었습니다.

결과: 마법은 혼합에 있다

결과는 놀라웠으며, 연구팀에게 단 하나의 "마법의 탄환" 같은 재료는 없다는 것을 가르쳐 주었습니다.

첫째, 연구는 단일 재료만으로는 작동하지 않는다는 것을 발견했습니다. 의사에게 리더보드만 주는 것은 생각을 크게 바꾸지 못했습니다. 규칙 책만 주는 것도 마찬가지였습니다. 고객 리뷰만 주는 것 역시 그 자체로는 큰 차이를 만들지 못했습니다. 마치 의사들이 단 하나의 단서만을 보고 "음, 흥미롭긴 한데, 이걸로 뭘 해야 할지 모르겠네"라고 생각하는 것과 같았습니다.

그러나 재료를 섞기 시작하자, 흥미로운 일이 벌어졌습니다.

• 강력한 듀오: 동료 순위(리더보드)와 고객 리뷰(환자의 의견)를 결합했을 때, 마법 같은 일이 일어났습니다. 의사들의 규칙 준수 의도가 눈에 띄게 상승했습니다. 의사가 자신의 위치를 나타내는 "리더보드"와 "고객이 어떻게 생각하는지"를 동시에 보게 되면 강력한 더블 위해(double-whammy)의 동기 부여가 발생하는 것으로 보입니다. 이는 플레이어가 자신의 최고 점수와 팬들의 환호성을 동시에 보는 것과 같으며, 이 조합이 더 잘하도록 밀어붙이는 것입니다.
• 충돌: 반대로, 규칙 책(공식 가이드라인)과 고客户 리뷰(주관적인 고객 의견)를 섞었을 때는 의사들이 피드백을 오히려 덜 좋아했습니다. 연구는 엄격한 전문가의 의료 규칙과 주관적인 고객 의견을 섞는 것이 의사들에게 혼란스럽거나 짜증스럽게 느껴질 수 있음을 시사합니다. 이는 마치 요리사가 "레시피에는 밀가루 2컵이 필요하다고 되어 있는데", 고객이 "제 생각엔 3컵을 넣는 게 더 맛있어요!"라고 외치는 것과 같습니다. 두 메시지가 서로 충돌하여 요리사가 피드백에 대한 확신을 잃고 불쾌감을 느끼게 만드는 것입니다.

시사점

이 연구는 의사에게 한 종류의 피드백만 던져준다고 해서 그들이 변화할 것이라고 기대할 수는 없다는 결론을 내립니다. 온라인 의료를 개선하기 위한 "비법 소스"는 단일 도구가 아니라, 그것들을 어떻게 조합하느냐에 달려 있습니다. 의사들이 규칙을 따르도록 유도하려면, 그들에게 동료들과 비교한 위치를 보여줌과 동시에 환자들이 어떻게 생각하는지를 보여주는 것이 가장 효과적인 것으로 보입니다. 그러나 엄격한 전문가의 규칙 책을 고객 리뷰와 섞지 않도록 주의해야 합니다. 그렇게 하면 의사들이 눈을 굴리게(짜증을 내게) 만들 수 있기 때문입니다.

연구진은 또한 추적 관찰이 어렵다는 점에도 주목했는데, 연구가 끝날 때쯤 연락을 시도한 의사 중 약 24%가 이미 플랫폼을 떠난 상태였습니다. 이는 온라인 의료 세계가 매우 빠르게 변화하며, 품질을 개선하기 위한 시스템 또한 빠르고 적응력이 있어야 함을 시사합니다. 비록 이 연구가 (의사들이 실제로 무엇을 했는지가 아니라 무엇을 할 것이라고 '말했는지'를 측정했기에) 환자의 건강 결과가 실제로 개선되었음을 입증하지는 못했지만, 향-후 더 나은 피드백 시스템을 설계하기 위한 명확한 지도를 제공합니다. 즉, 디지털 진료실에서 바람직한 행동을 장려하는 최선의 방법은 의사들에게 그들이 하나의 공동체에 속해 있으며 환자들이 지켜보고 있다는 것을 보여주는 것이지만, 전문가의 규칙 책은 고객 리뷰와 분리하여 유지하는 것입니다.