Selective Prediction Reduces the Negative Effects of Automation Bias Overall but Increases False Negatives

문제점
고성능 AI 모델은 부정확한 예측을 생성할 수 있으며, 이는 배포 시 자동화 편향(잘못된 AI 출력에 대한 과도한 의존)을 통해 인간의 의사결정에 해를 끼칠 수 있습니다. 이를 완화하기 위해, AI 시스템이 잠재적으로 유해할 수 있는 사례에 대해 예측을 보류하고 인간에게 독립적인 결정을 요청하는 "선택적 예측(selective prediction)" 또는 "AI 유예(AI deferral)" 방식이 제안되었습니다. 그러나 이 접근 방식에 대한 일반적인 평가는 AI가 유예할 때 인간이 AI가 개입하지 않았을 때와 마찬가지로 기본 성능으로 복귀한다는 가정을 바탕으로 한 시뮬레이션에 의존합니다. 이러한 가정은 AI가 일부 예측은 공개하면서 다른 예측은 보류할 수 있는 멀티레이블(multilabel) 작업에서 검증되지 않았습니다. 또한, 유예에 관한 기존의 실증 연구들은 주로 단일 출력 이진 설정에 집중되어 있어, 복잡한 멀리레이블 임상 워크플로에서 선택적 예측이 어떻게 기능하는지에 대한 이해의 공백을 남겨두었습니다.

방법론
저자들은 급성 호흡 부전(ARF) 환자를 관리하는 259명의 임상의(의사 및 전문 간호사/APPs)를 대상으로 사전 등록된 베니에트(vignette) 기반 연구를 수행했습니다. 이 연구는 폐렴, 심부전, 만성 폐쇄성 폐질환(COPD)이라는 세 가지 동시 질환에 대한 정답(ground-truth) 진단을 포함하는 45개의 실제 환자 사례를 활용했습니다.

실험 설계는 다음 세 가지 조건에 따른 임상의의 성능을 비교했습니다:

1. 임상의 단독: AI 입력 없음.
2. 임상의 + AI: AI가 정확도와 상관없이 세 가지 조건 모두에 대한 예측을 제공함.
3. 임상의 + 선택적 예측: AI가 잠재적으로 유해할 수 있는(부정확한) 예측을 보류하고, 해당 예측을 유예하고 있음을 임상의에게 명시적으로 알리는("모델이 귀하에게 유예합니다") 동시에 다른 조건에 대한 예측은 보여줌.

선택적 예측 메커니즘은 잠재적으로 유해한 예측을 식별하기 위해 사후 정답(post-hoc ground truth)을 사용하여 구축되었습니다. 현실적인 배포의 불완전함을 시뮬레이션하기 위해, 메커니즘은 모든 부정확한 예측을 보류했을 뿐만 아니라 정확한 예측 중 일부(11%)도 함께 보류했습니다. 임상의들은 AI 지원 조건에 무작위로 배정되었으며, ARF의 원인을 진단하고 그에 상응하는 치료법(항생제, 이뇨제 또는 스테로이드)을 선택하도록 요청받았습니다. 성능은 치료 정확도, 위양성률(FPR), 위음성률(FNR)로 측정되었으며, 반복 측정치를 고려하기 위해 혼합 효과 모델(mixed-effects models)을 사용한 통계 분석이 이루어졌습니다.

주요 기여
본 연구는 멀티레이블 임상 의사결정 작업에서 선택적 예측을 평가한 첫 번째 사례를 제시합니다. 저자들은 AI가 명시적으로 유예할 때 인간의 의사결정이 중립적으로 유지된다는 행동적 가정에 이의를 제기합니다. 구체적으로, 저자들은 다음을 입증했습니다:

1. 선택적 예측은 부정확한 AI가 전체 치료 정확도에 미치는 부정적인 영향을 부분적으로 완화합니다.
2. 선택적 예측은 임상의가 범하는 오류의 유형을 근본적으로 변화시키며, 특히 AI가 유예할 때 위음성(과소 치료)을 증가시킵 most니다.
3. 이러한 효과는 임상의의 특성에 따라 다르며, AI 경험이 부족하거나 의료 교육 수준이 낮은(전문 간호사/APPs) 집단에서 이러한 오류 변화에 더 강한 취약성을 보였습니다.

결과

• 부정확한 AI의 영향: 임상의가 (부정확한 것을 포함한) 모든 AI 예측을 보았을 때, 치료 정확도는 베이스라인과 비교하여 위양성과 위음성의 모두 증가함에 따라 유의미하게 하락했습니다(62%에서 50%로).
• 선택적 예측의 영향: AI가 부정확한 예측을 보류했을 때, 치료 정확도는 "임상의 + AI" 조건에 비해 개선되었으나(55% vs 50%), "임상의 단독" 베이스라인에는 완전히 회복되지 않았습니다(62%).
• 오류의 변화: 선택적 예측 하에서 위양성률은 베이스라인 수준으로 돌아왔으나, 위음성률은 여전히 유의미하게 높게 유지되었습니다(베이스라인 31% 대비 42%). 이는 AI가 유예한다고 알려졌을 때, 임상의들이 개입이 필요한 환자를 과소 치료할 가능성이 훨씬 높다는 것을 나타냅니다.
• 하위 그룹 분석: 선택적 예측 하에서의 위음성 증가 현상은 AI를 이전에 사용해 본 경험이 없는 임상의(AI-inexperienced)와 의사에 비해 전문 간호사(APPs) 집단에서 특히 두드러졌습니다.
• 인지된 난이도: 임상의들은 AI가 존재할 때 사례가 더 어렵다고 인지했으며, 난이도 평가는 AI가 선택적 예측을 사용할 때 가장 높았습니다.

의의
본 논문은 선택적 예측을 맥락적 평가 없이 기본 "안전 메커니즘"으로 취급해서는 안 된다고 주장합니다. 선택적 예측은 유해한 AI 출력에 대한 과도한 의존(위양성 감소)은 줄여주지만, 새로운 위험을 도입합니다: 즉, 임상의를 과소 치료(위음성 증가) 쪽으로 유도합니다. ARF와 같이 과소 치료가 과다 치료보다 더 해로울 수 있는 고위험 상황에서 이러한 트레이드오프(trade-off)는 매우 중요합니다. 연구 결과는 AI가 유예하는 행위 자체가 중립적인 사건이 아니며, 가용성 편향(availability bias)이나 유예를 진단의 부재로 오해하는 등의 이유로 인간의 추론을 변화시킨다는 점을 강조합니다. 결과적으로, 저자들은 AI 시스템이 특정 임상 영역에서 어떤 유형의 오류가 더 수용 가능한지에 대해 주의를 기울이며 실제 워크플로 내에서 평가되어야 한다고 결론짓습니다.