When Do Physicians Trust AI? The Role of Clinical Context in Decision Support: SMART vignette study

기술 요약: 의사들은 언제 AI를 신뢰하는가? 의사결정 지원에서의 임상적 맥락의 역할

문제 제기
의료 워크플로에 인공지능 기반 임상 의사결정 지원 시스템(AI-CDSS)의 통합이 증가하고 있음에도 불구하고, 알고리즘의 성능을 유의미한 임상적 영향으로 전환하는 작업은 여전히 제한적이며, 2% 미만의 AI 모델만이 프로토타이핑 단계를 넘어 발전하고 있다. 채택을 가로막는 핵심 장벽은 인간 요인, 즉 임상의가 알고리즘의 출력을 어떻게 비판적으로 평가, 해석 및 독립적인 임상적 판단과 통합하는가 하는 문제이다. 규제 승인은 급증하고 있으나, 성공적인 구현은 임의의 신뢰도, 인지된 워크플로 저해, 그리고 의사가 임상적 추론이 아닌 인지적 부담 때문에 경고를 무시하게 되는 '알람 피로(alert fatigue)'의 위험에 의해 크게 좌우된다. 또한, 기존 문헌들은 종종 리스크 인식, 정보 프레이밍, 사전 노출과 같은 의사의 신뢰에 영향을 미치는 요인들을 독립적으로 조사하며, 실제 임상 맥락 내에서의 상호 관계나 상호작용을 설명하지 못한다. 본 연구는 임상 결정 유형(리스크 프로필), AI에 대해 공개된 정보의 양, 그리고 의사의 사전 AI 노출 정도가 신뢰도, 인지된 효과성 및 AI 도구에 대한 의존도에 어떻게 집단적으로 영향을 미치는지 이해해야 한다는 시급한 필요성을 다룬다.

연구 방법론
본 연구는 온라인 연구를 위해 조정된 새로운 설문 방법론인 순차적 다중 할당 무작위 시험(SMART) 베네치아(vignette) 설계를 채택하였다.

• 참가자: 미국 의사협회(AMA) 의사 전문 데이터 파일을 통해 모집된 내과 및 가정의학과 전문의 420명의 미국 현직 의사를 대상으로 설문을 실시하였다.
• 실험 설계: 참가자들에게 단일 정적 내러티브 대신 일련의 순차적 마이크로 시나리오("서브 베네치아")를 제시하였다. 확률적 할당을 통해, 본 연구는 표본 전체에 걸쳐 세 가지 핵심 특성을 체계적으로 변화시켰다:
  1. 임상 결정 유형: 처방(높은 리스크) 대 의뢰(낮은 리스크).
  2. 정보량: "더 많은" 정보(개발 데이터, 훈련 데이터, AUC 값을 포함한 10개 문장) 대 "적은" 정보(사용법 및 환자 기록에 집중한 5개 문장).
  3. AI 권고: 치료 시행 대 치료 미시행.
• 측정 지표: 주요 결과에는 최종 결정에 대한 자기 보고식 신뢰도와 AI-CDSS의 인지된 효과성(5점 리커트 척도 사용)이 포함되었다. 탐색적 결과로는 실제 진료에서의 AI 사용에 대한 인식, 자신의 판단 대 AI에 대한 의존도, 도구 사용 의향 등을 평가하였다.
• 예측 변수: 분석은 임상 결정 유형, 정보량, 그리고 사전 AI 노출에 대한 이진 분류(연구 또는 실무에서의 사용 경험 또는 높은 친숙도 점수로 정의됨)에 초점을 맞추었다.
• 통계 분석: 주효과 및 상호작용 항(조절 효과)을 평가하기 위해 선형 회귀 모델을 사용하였다. 주요 가설에는 Benjamini-Hochberg 교정이 적용된 단측 검정을 적용하였고, 탐색적 분석에는 양측 검정을 사용하였다.

주요 결과

• 사전 노출의 영향: AI에 대한 사전 노출 경험이 있는 의사들은 최종 결정에 대해 유의미하게 높은 신뢰도($\beta = 0.274$, 조정된 $p = 0.042$)를 보였으며, AI-CDSS가 환자 케어를 개선하는 데 더 효과적이라고 평가했다($\beta = 0.350$, 조정된 $p = 0.006$). 또한 사전 노출은 AI 결과가 최종 결정에 기여했다는 데 동의할 가능성이 더 높음과 연관이 있었다($\beta = 0.305$, $p = 0.010$).
• 정보량의 영향: 더 높은 투명성이 신뢰를 높일 것이라는 가설과 달리, AI-CDSS에 대해 제공된 정보의 양(많음 대 적음)은 의사들의 신뢰도나 인지된 효과성에 유의미한 영향을 미치지 않았다.
• 임상 결정 유형의 영향: 임상 결정 유형은 신뢰와 의존도에 유의미한 영향을 미쳤다. 처방 시나리오(고위험)에 배정된 의사들은 다음과 같이 보고했다:
  • AI의 일관된 권고 제공 능력에 대한 낮은 신뢰도($\beta = -0.211$, $p = 0.027$).
  • 위험보다 이득이 크다고 인지하는 정도가 낮음($\beta = -0.179$, $p = 0.042$).
  • AI 권고보다 자신의 검진 결과에 더 의존함($\beta = 0.154$, $p = 0.027$).
  • 반면, 의뢰 시나리오에 배정된 이들은 더 높은 신뢰도와 독립적 판단에 대한 낮은 의존도를 보였다.
• 조절 효과: 사전 AI 노출는 신뢰도나 효과성 평가에 미치는 정보량의 효과를 유의미하게 조절하지 않았다.

의의 및 주장
본 논문은 AI-CDSS의 성공적인 배포를 위해서는 인간 요인에 대한 사전 배포 평가가 필요함을 역설하며, 특히 사전 지식과 AI 노출이 의사의 신뢰와 도구의 인지된 효과성을 결정하는 핵심 동력임을 강조한다. 연구 결과는 다음을 시사한다:

1. 교육의 필수성: 의사 교육에 AI 사용 및 AI 보조 의사결정을 통합하는 것이 필수적이다. 저자들은 교육이 단순히 알고리즘에 의존하는 것이 아니라, 환자의 맥락과 임상적 판단과 함께 AI 생성 입력을 어떻게 함께 고려할 것인지에 초점을 맞춰야 한다고 주장한다.
2. 맥락의 중요성: 의사들은 리스크 프로필에 따라 차이를 둔다. 그들은 저위험 시나리오(예: 의뢰)에 비해 고위험 시나리오(예: 처방)에서 더 회의적이며 AI에 대한 의존도가 낮다. 구현 전략은 이러한 과업별 신뢰 변동을 고려해야 한다.
3. 정보 프레이밍의 한계: 단순히 AI 모델에 대한 기술적 세부 사항(예: 훈련 데이터, AUC)을 제공하는 것이 바쁜 임상의들의 신뢰나 인지된 효과성을 반드시 높이는 것은 아니다. 이는 다른 인터페이스나 제시 방식의 요소가 더 영향력 있을 수 있음을 시사한다.
4. 안전 및 보정: AI에 대한 부적절한 의존(환자에게 위험을 초래할 수 있음)을 방지하기 위해, 의사의 신뢰도를 모델의 실제 신뢰도와 일치시키는 안전장치가 개발되어야 한다. 여기에는 감사 및 피드백 메커니즘이 포함된다.

본 연구는 알고리즘의 성능이 필수적이기는 하지만, "인간 참여형(human-in-the-loop)" 역학, 즉 의사의 배경, 노출 정도, 그리고 구체적인 임상 맥락이 AI 도구가 임상 현장에서 채택될지, 검토될지, 혹은 무시될지를 결정하는 결정적 요인이라는 결론을 내린다.