User Interfaces in Machine Learning-Based Decision Support for Emergency Department Triage – A Systematic Review

당신이 북적이는 응급실로 걸어 들어가는 모습을 상상해 보십시오. 시끄럽고, 혼란스럽고, 모두가 서두르고 있습니다. 이 폭풍의 한가운데에 환자의 우선순위를 결정하는 문지기인 트리아제(triage, 환자 분류) 간호사가 서 있습니다. 그들의 직업은 환자가 입을 열기도 전에 그 사람이 위험에 처해 있는지 알아내는 것입니다. 이제 그 간호사에게 아주 똑똑한 컴퓨터 조수 하나를 쥐여준다고 상상해 보십시오. 이것은 단순한 계산기가 아닙니다. 수백만 개의 의료 기록을 읽었고 인간이 놓칠 수 있는 패턴을 찾아낼 수 있는 인공지능(AI)입니다. 이것이 바로 의료 분야에서 머신러닝(ML)이 약속하는 바입니다. 의사가 더 빠르고 안전한 결정을 내릴 수 있도록 돕는 도구 말입니다.

하지만 여기 함정이 있습니다. 대화 방식이 혼란스럽다면 아무리 똑똑한 두뇌를 가졌더라도 소용이 없다는 것입니다. 이것은 포뮬러 1 자동차와 같습니다. 세계에서 가장 강력한 엔진을 가질 수는 있지만, 만약 스티어링 휠이 젤리로 만들어져 있고 대시보드가 노이즈로 뒤덮여 있다면 운전자는 그것을 사용할 수 없습니다. 의료 현장에서 이 "스티어링 휠"을 사용자 인터페이스(User Interface)라고 부릅니다. 이것은 AI의 조언을 간호사에게 보여주는 화면, 색상, 버튼, 그리고 알림입니다. 만약 인터페이스가 투박하다면, 간호사는 좌절하거나, 컴퓨터를 무시하거나, 혹은 압도된 상태에서 실수를 저지를 수도 있습니다. 이 논문은 매우 간단하지만 결정적인 질문을 던집니다. 우리가 만들고 있는 컴퓨터 화면들이 정말로 지치고 스트레스받은 간호사를 돕기 위해 설계된 것일까요, 아니면 그저 방해가 되는 화려한 디스플레이일 뿐일까요?

위대한 인터페이스 탐색

이 논문의 저자들인 독일의 연구팀은 탐정 놀이를 하기로 했습니다. 그들은 이러한 AI 트리아제 도구들의 "스티어링 휠"이 실제 세상에서 어떤 모습인지 알고 싶었습니다. 그들은 단순히 AI가 질병을 얼마나 잘 예측하는지(이는 이미 많이 연구되었습니다)를 본 것이 아니라, AI가 인간에게 그 답을 어떻게 보여주는지를 보았습니다. 그들은 2015년 이후 발표된 모든 것을 찾기 위해 5개의 거대한 과학 논문 데이터베이스를 샅샅이 뒤졌습니다. 2,678개의 연구를 건초더미에서 바늘 찾듯 걸러낸 끝에, 그들은 완벽하게 일치하는 25개의 연구를 찾아냈습니다. 이 연구들은 응급실에서 누가 먼저 도움을 받아야 할지 결정하는 것을 돕기 위해 설계된 AI 도구들에 관한 것이었습니다.

그들이 발견한 것: 뒤섞인 화면들

연구팀은 AI의 두뇌는 점점 똑똑해지고 있지만, 그들이 우리에게 보여주는 화면은 여전히 다소 엉망이라는 것을 발견했습니다.

• "블랙박스" 문제: 그들이 살펴본 시스템의 80%에서 컴퓨터는 단지 숫자 하나나 단순한 "예/아니오" 답변만을 제공했습니다. 예를 들어, "이 환자는 패혈증 위험이 85%입니다"라고 말할 수 있습니다. 하지만 그것은 간호사에게 그 상황에 대해 무엇을 해야 하는지 알려주지 않았습니다. 이는 마치 날씨 앱이 비가 올 확률이 90%라고 알려주면서도, "그러니 우산을 챙기세요!"라고 말해주지 않는 것과 같습니다. 저자들은 이러한 "하위 문제"(AI가 특정 질병을 찾는 경우) 사례의 80%에서, 도구가 다음 단계에 대한 안내 없이 위험 점수만을 보여준다는 것을 발견했습니다.
• 시각 자료 vs 노이즈: 연구진은 거의 아무도 소리를 사용하지 않는다는 점에 주목했습니다. 시끄러운 응급실에서 큰 알람 소리는 혼란을 가중시킬 수 있으므로, 대부분의 시스템은 시각적인 것에 의존합니다. 도구의 약 3분의 2는 그림이나 색상(예: 위험을 나타내는 빨간색 배경)을 사용했지만, 오디오 알림을 사용하는 경우는 매우 드물었습니다.
• 단순함 vs 복잡함: 연구팀은 화면을 세 가지 유형으로 분류했습니다:
  • 단순형: 텍스트만 있거나 색상 하나만 있는 형태. (8개 시스템)
  • 중간형: 텍스트와 그림이 혼합된 형태. (13개 시스템)
  • 복잡형: 텍스트, 그림, 숫자가 모두 함께 작동하는 형태. (4개 시스템)
    흥미롭게도, "상용(commercial)" 도구들(기업들이 판매하는 것들)은 연구실에서 만든 도구들보다 더 화려하고 복잡한 화면을 갖는 경향이 있었습니다. 하지만 이 화려한 상용 도구들은 종종 병원의 메인 컴퓨터 시스템에 아직 연결되지 않은 상태였습니다. 즉, 간호사들이 이를 사용하기 위해 별도의 웹사이트에 로그인해야 할 수도 있다는 뜻입니다. 서둘러야 하는 상황에서 이는 너무 많은 클릭을 요구하는 일입니다.

누락된 조각들: 테스트와 교육

여기서 이야기는 조금 슬퍼집니다. 저자들은 이러한 도구들 중 아주 적은 수만이 실제로 만들어지기 전에 실제 간호사들을 대상으로 테스트되었다는 것을 발견했습니다.

• 사용자에게 물어보았는가? 연구 중 아주 극소수만이 간호사에게 "이 화면을 사용하기 쉽습니까?" 또는 "이것이 당신의 업무 흐름에 맞습니까?"라고 물어봤다고 언급했습니다.
• 직원들을 교육했는가? 거의 누구도 간호사들에게 새 도구를 사용하는 방법을 가르치는 것에 대해 이야기하지 않았습니다. 이는 마치 새로운 비디오 게임 콘솔을 사서 매뉴얼이나 튜토리얼도 없이 플레이어에게 그냥 던져주는 것과 같습니다. 게임 방법을 짐작할 수는 있겠지만, 아마 좌절하게 될 것입니다.
• 누가 만들었는가? 대부분의 팀은 의사와 컴퓨터 과학자들로 구성되었습니다. 하지만 "인간-컴퓨터 상호작용(HCI)" 전문가, 즉 인간에게 자연스럽게 느껴지는 디자인을 하는 법을 아는 전문가를 포함한 팀은 거의 없었습니다.

결론: 엔진은 갖췄지만, 더 나은 대시보드가 필요하다

이 논문은 우리가 누가 아픈지 예측하는 놀라운 AI를 보유하고 있음에도 불구하고, 간호사가 그 정보를 실제로 사용할 수 있게 만드는 데에는 충분히 노력하지 않았다고 결론짓습니다. 저자들은 응급실과 같은 고압박 환경에서 나쁜 인터페이스는 단순히 사람을 짜증 나게 하는 것이 아니라, 스트레스를 유발하고, 사람을 지치게 하며, 심지어 잘못된 결정을 내리게 할 수 있다고 주장합니다.

그들은 이를 해결하기 위해, 단순히 AI를 구축하는 것을 넘어 경험을 설계해야 한다고 제안합니다. 이는 다음을 의미합니다:

1. 사용자의 목소리 듣기: 설계 과정 초기에 간호사들을 참여시키는 것.
2. 화면 테스트하기: 인터페이스가 실제 적용되기 전에 읽기 쉽고 사용하기 쉬운지 확인하는 것.
3. 명확하게 전달하기: 위험뿐만 아니라 무엇을 해야 하는지를 보여주고, 컴퓨터가 얼마나 확신하는지에 대해 솔직해지는 것.

저자들은 AI가 실패했다고 말하는 것이 아닙니다. 응급실에서 AI가 진정으로 생명을 구하기 위해서는, 우리가 약을 다루는 것만큼이나 화면을 세심하게 다뤄야 한다고 말하는 것입니다. 우리는 똑똑한 컴퓨터와 지친 간호사 사이의 간극을 메워야 하며, AI가 말할 때 간호사가 그 말을 명확히 듣고 즉각적으로 행동할 수 있도록 보장해야 합니다. 그렇게 하지 않는 한, 이 생명을 구하는 도구들의 잠재력은 혼란스러운 문 뒤에 갇힌 채로 남게 될 것입니다.