How Best to Explain Machine Learning Models to Clinicians: A User Study of Explanation Types

당신이 환자의 데이터를 보고 환자가 병에 걸릴지 여부를 예측할 수 있는 초지능형 로봇 의사를 만들었다고 상상해 보세요. 하지만 여기 함정이 있습니다. 이 로봇은 '블랙박스'입니다. 결과는 알려주지만, 왜 그런 결론을 내렸는지는 말해주지 않습니다. 마치 "위험!"이라고 외치면서도 정작 어떤 수정구슬을 보고 그렇게 보았는지는 알려주지 않는 마법의 8번 구슬(Magic 8-ball)과 같습니다.

이를 해결하기 위해, 이 논문의 연구진들은 실제 의료진(간호사와 의사)에게 로봇의 사고 과정을 설명하는 세 가지 서로 다른 방식을 테스트하기로 했습니다. 그들은 어떤 설명 방식이 의사들로 하여금 로봇을 더 신뢰하게 하고, 더 잘 이해하게 하며, 실제로 환자의 상태에 대한 자신들의 생각을 바꾸게 만드는지를 알아보고 싶었습니다.

세 가지 "손전등" 스타일

연구팀은 로봇의 결정에 빛을 비추는 세 가지 방법을 테스트했습니다.

1. 기여도 손전등 (The "Scorecard" - 점수판): 이 방식은 모든 개별 데이터에 점수를 부여합니다. 이는 마치 선생님이 시험을 채점하면서 어떤 답이 맞았고 틀렸는지, 그리고 각 답이 몇 점짜리인지를 하이라이트하여 보여주는 것과 같습니다. "심박수가 높았고, 이것이 위험 점수에 4.5점을 더했습니다"라고 말해주는 식입니다.
2. 역사실적 손전등 (The "What-If" - 만약에): 이 방식은 "만약 ~라면 어떨까?"라는 게임을 합니다. 환자의 수치를 어떻게 바꿔야 다른 결과가 나올지를 의사에게 보여줍니다. 이는 마치 비디오 게임의 치트키처럼 "심박수를 낮추고 혈압을 높이면, 로봇이 '위험!'이라고 소리치는 것을 멈출 것입니다"라고 알려주는 것과 같습니다.
3. 규칙 기반 손전등 (The "Recipe" - 레시피): 이 방식은 요리 레시피처럼 간단한 규칙 목록을 제공합니다. "만약 젖산 수치가 높고 호흡이 빠르다면, 로봇은 위험을 예측한다"라고 말하는 식입니다.

놀라운 결과: 점수판의 승리

이 세 가지 스타일을 39명의 의사와 간호사에게 보여준 결과, 결과는 명확했습니다. **기여도 손전등 (점수판)**이 압도적인 승자였습니다.

• 신뢰: 의사들은 점수판을 보았을 때, 다른 두 가지 스타일을 보았을 때보다 로봇의 예측을 더 신뢰했습니다.
• 이해: 점수판은 이해하기 가장 쉬웠습니다. 의사들은 자신이 정말로 "이해했다"고 느꼈습니다.
• 영향력: 이 부분이 가장 중요합니다. 점수판은 실제로 의사들이 무엇이 중요한지에 대한 생각을 바꾸어 놓았습니다. 점수판을 본 의사들은 "아, 내가 무엇이 위험의 원인인지 잘못 알고 있었구나. 로봇은 다른 곳을 가리키고 있네"라고 말할 가능성이 더 높았습니다.

연구는 "만약에(What-If)" 방식과 "레시피(Recipe)" 방식도 도움이 되긴 했지만, 점수판만큼의 파급력을 갖지는 못했다고 시사합니다. 특히 "만약에" 스타일은 자유 기술형 의견에서 가장 선호도가 낮았는데, 많은 의사가 이를 혼란스럽거나 덜 유용하다고 느꼈습니다.

의사 vs 간호사: 두 가지 워크플로우의 이야기

여기 재미있는 반전이 있습니다. 두 유형의 의료 전문가가 서로 다르게 반응했다는 점입니다.

• 의사: 설명을 보기 전에도 이미 설명에 대해 꽤 관심이 있었습니다. 하지만 점수판을 사용한 후, 그들의 관심은 더욱 증가했습니다. 마치 "이게 중요하다는 건 알고 있었지만, 이제 이것이 나의 큰 결정을 내리는 데 어떻게 도움이 되는지 알겠다"라고 생각한 것과 같습니다.
• 간호사: 간호사들은 처음부터 설명이 중요하다고 생각했지만, 설명을 본다고 해서 생각이 크게 바뀌지는 않았습니다. 연구는 이것이 간호사들이 (체크리스트와 같은) 엄격하고 단계적인 프로토콜을 따르는 경우가 많기 때문에, 복잡한 설명이 처음부터 진단을 내려야 하는 의사만큼 워크플로우를 바꾸지는 못했기 때문일 수 있다고 시사합니다.

의사들이 원하는 것

이 연구는 또한 의사들이 화면에서 무엇을 보고 싶어 하는지도 물었습니다.

• 많을수록 좋지만, 너무 과하지 않게: 의사의 거의 절반(46.2%)은 세 가지 유형의 설명을 한꺼번에 보고 싶다고 답했습니다. 그들은 단 하나를 선택하는 것이 아니라, 전체적인 그림을 얻기 위해 점수판, "만약에", 그리고 "레시피"를 모두 보고 싶어 했습니다.
• 간결하게: 세부 사항에 있어서 그들은 "짧고 명료한" 버전을 원했습니다. 약 77%의 의사들이 모든 항목의 긴 리스트 대신 점수판에서 가장 중요한 상위 몇 가지 특징만 보고 싶어 했습니다. 마찬가지로 84%가 긴 소설 같은 레시피가 아닌 짧은 규칙 목록을 원했습니다.

이 논문이 말하지 않는 것

이 연구가 증명하지 못한 점을 아는 것이 중요합니다. 연구진은 이러한 설명 방식이 로봇 의사를 완벽하게 만든다거나 실세계에서 더 나은 환자 결과를 보장한다고 말한 것이 아닙니다. 그들은 오직 설문 조사를 통해 의사들이 말하고 생각한 것만을 측정했습니다. 또한, 이 방법들을 모든 종류의 로봇 의사나 모든 종류의 병원에 테스트한 것도 아닙서 결과는 특정 시계열 데이터(시간에 따른 환자의 생체 신호 등)로 학습된 로봇과 두 대학 출신의 39명의 의사 및 간호사 그룹을 대상으로 한 것입니다.

핵심 요약

만약 당신이 병원을 위한 로봇 의사를 만들고 있다면, 인간에게 단 하나의 설명만 제공하지 마세요. 이 논문은 신뢰와 이해를 가장 많이 구축하는 기여도 점수판을 우선시하라고 제안합니다. 하지만 많은 의사가 모든 것을 보고 싶어 한다는 점을 고려하여, 점수판을 보여주되 다른 스타일들도 함께 보여주되, 목록을 짧고 읽기 쉽게 유지해야 합니다. 그리고 기억하세요, 간호사와 대화할 때는 설명이 의사만큼 워크플로우를 변화시키지 않을 수 있으므로, 그에 맞춰 접근 방식을 조정해야 합니다.