🏥 surgery

Calibrating trust in AI-assisted pituitary surgery

본 연구는 설명 기능과 신뢰도 라벨을 통해 AI 보조 뇌하수체 수술 의사결정 지원 시스템을 강화하는 것이 기본 인터페이스와 비교하여, AI의 성능이 저하되었을 때 과도한 의존을 줄임으로써 임상의 신뢰의 교정을 개선하고, 더 높은 일관성과 숙련된 수준의 성과를 촉진한다는 것을 입증한다.

원저자: Hudson, G. R., Khan, D. Z., Fayez, F., Bhatia, S., Bano, S., Costanza, E., Blandford, A., Stoyanov, D., McCulloch, P., Marcus, H. J., University College London Collaborators,

게시일 2026-06-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hudson, G. R., Khan, D. Z., Fayez, F., Bhatia, S., Bano, S., Costanza, E., Blandford, A., Stoyanov, D., McCulloch, P., Marcus, H. J., University College London Collaborators,

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신이 두개골 깊숙한 곳에 위치한 뇌하수체라는 작고 복잡한 구조물을 대상으로 정교한 수술을 집도하는 외과의라고 상상해 보십시오. 이것은 마치 눈을 가린 채 미로를 헤쳐 나가는 것과 같지만, 당신에게는 화면 위에 안전한 경로를 빛나는 선으로 그려주는 첨단 GPS(인공지능)가 있습니다.

이 연구의 핵심 질문은 이것이었습니다: 그 GPS를 얼마나 믿어야 하는가?

너무 믿어서 GPS가 틀렸을 때 사고를 낼 것인가, 아니면 너무 믿지 않아서 GPS가 맞을 때 지름길을 놓칠 것인가? 연구진은 GPS의 '외형과 기능'을 바꾸는 것이 외과의들이 완벽한 신뢰의 균형을 찾는 데 도움이 될 수 있는지 알아보고 싶었습니다.

실험: 두 가지 유형의 GPS

연구진은 70명의 숙련된 외과의와 의대생들을 모아 가상 현실과 유사한 온라인 테스트를 진행했습니다. 참가자들에게 실제 수술 영상 6개를 보여주고 뇌하수체의 윤곽을 그리게 했습니다.

참가자들은 두 그룹으로 나뉘어 각기 다른 버전의 AI 조력자를 사용했습니다:

"기본형" GPS: 이 버전은 단순히 선만 그렸습니다. 이는 마치 "여기서 좌회전하세요"라고 말할 뿐, 왜 그래야 하는지 혹은 얼마나 확신하는지는 알려주지 않는 일반적인 GPS와 같습니다.
"강화형" GPS: 이 버전은 수다스러운 부조종사가 있는 GPS와 같았습니다. 단순히 선만 그리는 것이 아니라, 신뢰도 지표(AI가 얼마나 확신하는지를 나타내는 백분율)를 보여주었으며, AI가 어떻게 학습되었고 보통 얼마나 신뢰할 수 있는지에 대한 짧은 브리핑도 제공했습니다.

반전: 스트레스를 받는 GPS

신뢰도를 테스트하기 위해 연구진은 완벽한 영상만을 보여주지 않았습니다. 연구진은 AI가 처음에는 완벽했다가, 점차 나빠지고 혼란스러워졌다가, 마지막에는 다시 약간 좋아지도록 영상의 순서를 배치했습니다. 이는 마치 맑은 도시를 운전하다가, 안개가 자욱한 곳을 지나고, 다시 GPS가 이상한 길을 알려주는 공사 구간에 진입하는 것과 같았습니다.

결과는 어떠했는가?

1. AI가 완벽했을 때:
두 그룹 모두 AI를 똑같이 신뢰했습니다. 흥미롭게도, "강화형" 그룹(수다스러운 부조서종사가 있는 그룹)이 "기본형" 그룹보다 더 많이 신뢰하지는 않았습니다. 하지만 "강화형" 그룹의 숙련된 외과의들은 실제로 선을 더 잘 그렸습니다. 추가 정보가 전문가들이 도구를 더 효과적으로 사용할 수 있도록 자신감을 심어준 것으로 보이며, 이는 마치 AI의 조언 중 좋은 부분만을 "골라 쓰는" 것과 같았습니다.

2. AI가 혼란에 빠졌을 때 (안개가 낀 구간):
이 부분이 연구에서 매우 흥lik적인 지점이었습니다. AI가 실수를 하기 시작하자, "기본형" 그룹은 AI를 너무 많이 신뢰하는 경 tendency를 보였습니다. 그들은 마치 GPS가 호수로 가라고 명령해도 계속 따라가는 운전자와 같았습니다.

반면, "강화형" 그룹은 훨씬 더 빨리 신뢰를 거두었습니다. 신뢰도 지표가 떨어지는 것을 보고 AI가 어려움을 겪고 있다는 것을 알았기에, 이들은 신뢰도를 크게 낮추었습니다. 이것을 **신뢰의 교정(calibrating trust)**이라고 합니다. 그들은 "이 도구는 오늘 상태가 좋지 않으니, 맹목적으로 의존해서는 안 되겠다"라고 깨달은 것입니다.

3. 낮은 신뢰도의 결과:
"강화형" 그룹이 AI가 틀렸을 때 신뢰를 덜 하긴 했지만, 그렇다고 해서 "기본형" 그룹보다 반드시 선을 더 잘 그린 것은 아니었습니다. 하지만 그들의 결과는 더 일관적이었습니다. 그들은 황당하고 위험한 실수를 저지르지 않았습니다. 이는 "강화형" 그룹이 "GPS가 고장 났으니, 그냥 내 본능에 따라 조심스럽게 운전하겠다"라고 결정한 반면, "기본형" 그룹은 고장 난 GPS를 계속 따르려다 결국 갈팡질팡하며 헤맸던 것과 같습니다.

결론

이 연구는 외과의에게 더 많은 정보(신뢰도 점수 및 AI 배경 지식 등)를 제공하는 것이 그들이 신뢰를 교정하는 데 도움이 된다는 것을 발견했습니다.

좋은 AI일 때: 추가 정보는 전문가들이 도구를 훨씬 더 잘 활용하도록 돕습니다.
나쁜 AI일 때: 추가 정보는 안전장치 역할을 하여, 외과의들이 "이건 제대로 작동하지 않는다"라고 깨닫게 함으로써 맹목적으로 실수를 따르는 것을 방지합니다.

연구진은 이러한 추가 정보가 AI를 마법처럼 완벽하게 만들어주는 것은 아니지만, 외과의들이 언제 믿어야 하고 언제 무시해야 하는지를 알게 해준다고 결론지었습니다. 이는 이러한 도구들이 실제 수술실에 도입되기 전 매우 중요한 안전 기능입니다.

기술 요약: AI 보조 뇌하수체 수술에서의 신뢰도 교정

문제 정의
안시상 터키암(sella turcica) 주변의 신경혈관 구조가 매우 중요하기 때문에, 내시경 비내 경접동(EETS)을 통한 뇌하수체 선종 수술은 상당한 어려움을 수반한다. 실시간 해부학적 방향 설정을 돕기 위해 인공지능 임상 의사결정 지원 시스템(AI-CDSS)이 등장했으나, 불분명한 임상의 신뢰 역학으로 인해 안전한 배포에 제약이 있다. 신뢰는 고정된 것이 아니라 성향적, 상황적, 학습된 형태로 진화한다. 고위험 수술 환경에서 부적절한 신뢰 수준—너무 낮은 신뢰(방향 감각 상실 초래) 또는 너무 높은 신뢰(미션 크리티컬한 오류 초래)—는 환자의 안전을 위협할 수 있다. 기존 연구는 신뢰도 지표 및 설명과 같은 인터페이스 디자인 기능이 신뢰 교정에 영향을 미칠 수 있음을 시사하지만, 수술 환경에서 인간의 신뢰와 AI 성능 사이의 동적인 관계에 미치는 구체적인 영향은 아직 알려지지 않았다.

연구 방법론
본 연구는 DECIDE-AI 가이드라인을 준수하여 온라인으로 수행된 전임상 IDEAL 단계 0 무작위 대조 시험이다. 뇌하수체 수술 경험이 있는 70명의 임상의(신경외과 의사 및 의대생)를 대상으로 하였으며, 이들은 1:1 비율로 두 그룹에 무작위 배정되었다:

기본형 AI-CDSS: 수술 비디오 클립 상에 터키암을 나타내는 AI 생성 오버레이를 제공함.
강화형 AI-CDSS: 동일한 오버레이를 제공하되, 모델 구조에 대한 설명, 이전 출판물, 그리고 해당 윤곽선의 신뢰도를 나타내는 색상 코드(녹색: 신뢰도 70% 초과, 황색: 70% 미만)를 추가로 제공함.

실험 설계:

자극물: 참가자들은 실제 EETS 수술에서 추출한 6개의 5초 길이 비디오 클립을 사용하여 터키암을 주석(annotation) 처리하였다. 클립 순서는 AI 성능이 점진적으로 저하되는 상황을 시뮬레이션하도록 배치되었다(DICE 계수 0.95에서 0.68까지 감소하며, 마지막 클립은 중간 정도의 회복을 보여줌).
절차: 참가자들은 먼저 AI 도움 없이 클립을 주석 처리한 후, AI-CDSS를 사용하여 작업을 반복하였다. 참가자들은 AI 오버레이를 켜거나 끌 수 있었다.
측정 지표:
- 신뢰도: 각 주석 처리 후 단축된 자동화 신뢰 척도(STIAS)를 사용하여 1-7 리커트 척도로 측정하였다.
- 성능: 참가자의 주석과 전문가 합의 기반의 정답(ground truth) 간의 DICE 중첩 계수로 계산하였다.
분석: 그룹 간 비교에는 Mann-Whitney U 검정과 순열 분석(permutation analysis)을 사용하였다. 강건성 분석을 위해 선형 혼합 효과 모델을 사용하였다.

주요 결과

신뢰도 교정: AI 성능이 높았을 때(클립 1), 기본형 그룹과 강화형 그룹 간의 신뢰도는 통계적으로 동일했다(중앙값 5.00). 그러나 AI 성능이 저하됨에 따라 강화형 그룹은 기본형 그룹에 비해 유의미하게 낮은 신뢰 점수를 보였다. 특히 최악의 AI 성능을 보인 지점(클립 5)에서 강화형 그룹의 중앙값은 3.00이었던 반면, 기본형 그룹은 3.67이었다( $p=.035$ ). 이러한 추세는 마지막 클립에서도 지속되었으며( $p=.019$ ), 이는 강화형 인터페이스가 AI가 신뢰할 수 없을 때 신뢰도를 하향 교정하는 데 성공했음을 나타낸다.
성능 영향: AI-CDSS의 사용은 비보조 주석 방식에 비해 참가자의 성능을 전반적으로 향상시켰다(DICE 중앙값 0.83에서 0.85로 증가). 그러나 클립 전반에 걸쳐 기본형 그룹과 강화형 그룹 간의 성능 차이는 유의미하지 않았다.
하위 그룹 및 변동성 결과:
- 숙련된 임상의: 가장 우수한 AI 시나리오(클립 1)에서 강화형 그룹의 숙련된 임상의들은 기본형 그룹(중앙값 0.90)에 비해 높은 성능 경향(중앙값 0.95)을 보였으나, 통계적 유의성에는 도달하지 못했다( $p=.066$ ).
- 일관성: AI가 부정확했을 때(클립 5), 강화형 그룹은 성능의 분산이 유의미하게 낮았다(IQR 0.07 vs 0.21, $p=.004$ ). 이는 해당 인터페이스가 실패 모드에서도 반드시 더 정확하지는 않더라도, 더 일관된 주석 처리를 촉진함을 시사한다.

핵심 기여

인터페이스 디자인 및 신뢰 역학: 본 연구는 수정 가능한 인터페이스 기능(설명 및 신뢰도 라벨)이 수술용 AI의 신뢰도를 효과적으로 교정할 수 있다는 실증적 근로를 제공한다. 특히, 이러한 기능들은 사용자가 "블랙박스" 형태의 인터페이스보다 AI의 실패를 더 적절하게 인식하고 반응하도록 돕는다.
안전 메커니즘: 결과는 강화된 인터페이스가 AI의 정확도가 낮은 기간 동안 과도한 의존을 줄임으로써, 임상 현장에서 흔히 발생하는 '자동화 편향(automation bias)'을 방지하는 안전 점검 역할을 할 수 있음을 시사한다.
전문가 참여: 상세한 인터페이스 정보가 숙련된 임상의들로 하여금 정확한 AI 출력물에 더 깊이 관여하게 하여, 신뢰할 수 있는 AI 제안을 "선별(cherry-pick)"하는 데 전문성을 활용하도록 유도할 수 있다는 단서를 제공한다.

의의 및 주장
저자들은 본 연구가 실제 수술용 AI-CDSS 맥락에서 인터페이스 디자인이 신뢰도에 미치는 영향을 평가한 첫 번째 연구라고 주장한다. 본 연구는 인터페이스 디자인이 단기 시뮬레이션에서 반드시 작업 정확도를 변화시키지는 않지만, 신뢰도 교정을 유의미하게 개선한다는 결론을 내린다. 신뢰 수준을 실제 AI 성능과 일치시킴으로써, 이러한 디자인 기능들은 AI가 정확할 때 숙련된 임상의의 성능을 점진적으로 향 만큼 높이고, AI가 부정확할 때 더 높은 일관성을 보장할 수 있다. 저자들은 이러한 기능들이 고위험 신경외과 수술에서 인간-AI 팀 오류의 위험을 완화하기 위한 필수적인 안전 장치로서, 향-미래의 안전한 AI-CDSS 임상 전환에 있어 매우 중요하다고 상정한다.

실험: 두 가지 유형의 GPS

반전: 스트레스를 받는 GPS

결과는 어떠했는가?

결론

유사한 논문