Accuracy and Limitations of AI Scoring for Objective Medical Interview Checklist Items in a Year-One School of Medicine Objective Structured Clinical Examination (OSCE)

의과대학에서 환자와 대화하는 법을 배우는 것은 환자를 검진하는 법을 배우는 것만큼이나 중요합니다. 학생들의 실전 준비 상태를 확인하기 위해, 교육자들은 객관 구조화 임상 시험(Objective Structured Clinical Examination)이라는 평가 방법을 사용합니다. 이 환경에서 학생은 훈련된 배우가 연기하는 환자와 마주 앉게 됩니다. 학생은 병력을 수집하기 위해 적절한 질문을 던져야 하며, 배우는 학생이 무엇을 물었는지와 얼마나 잘 수행했는지에 대한 엄격한 체크리스트를 바탕으로 학생을 채점합니다. 이 과정은 임상 기술을 가르치는 데 있어 표준적인 방법이지만, 엄청난 노동력이 소요됩니다. 배우들이 일관성을 유지하면서 동시에 학생의 수행 능력을 판단하기 위해 많은 시간의 훈련을 받아야 하며, 교수진 또한 공정성을 보장하기 위해 이러한 상호작용을 검토하는 데 수많은 시간을 할애해야 합니다. 인공지능이 대화를 듣고 언어를 이해하는 능력이 향가짐에 따라, 교육자들은 컴퓨터가 채점을 대신할 수 있을지 고민하기 시작했습니다. 그 희망은 기계가 녹음된 내용을 듣고, 필수 질문들을 확인하며, 학생을 채점하는 데 드는 시간을 인간보다 훨씬 단축하여 교육을 위한 자원을 확보하는 것입니다.

텍사스 대학교 갤버스턴 분교(University of Texas Medical Branch at Galveston)의 연구팀은 구체적인 목표를 가지고 이 아이디어를 테스트하기 위해 나섰습니다. 즉, 인공지능이 의료 면담의 객관적인 부분들을 정확하게 채점할 수 있는지 확인하는 것이었습니다. 연구진은 234명의 학생이 참여한 1학년 의대 시험에 집중했습니다. 이 시험에서 학생들은 표준화 환자를 인터뷰하는 모습이 녹화되었으며, 인간 배우들은 통증의 위치, 증상의 심각도, 또는 환자의 가족력과 같은 12가지 특정 체크리스트 항목에 대해 이미 학생들을 채점한 상태였습니다. 연구진은 이러한 만남의 비디오 녹화본을 텍스트 전사본(transcripts)으로 변환했습니다. 그런 다음 이 전사본들을 인공지능이 탑재된 소프트웨어 플랫폼에 입력하고, 해당 12가지 체크리스트 항목을 찾도록 설계된 프롬프트를 프로그래밍했습니다. 컴퓨터는 채점관 역할을 하도록 지시받았으며, 텍스트에서 감지된 각 항목에 대해 점수를 부여했습니다. 연구팀은 컴퓨터가 생성한 점수를 인간 배우가 준 점수와 비교하여 차이점을 확인하고 그 원인을 파악하고자 했습니다.

결과는 인공지능이 완벽하지는 않지만 유능한 조수임을 보여주었습니다. 연구진이 컴퓨터의 성적과 인간의 성적을 비교했을 때, 중간 수준의 일치도를 발견했습니다. 컴퓨터가 부여한 평균 총점은 인간이 부여한 점수와 거의 동일했는데, 컴퓨터는 12점 만점에 평균 11.51점을 부여했고 인간은 11.60점을 부여했습니다. 시간 측면에서는 차이가 극명했습니다. 배우 훈련과 시험 검토를 포함한 인간의 채점 과정은 이 학생 그룹을 위해 약 56시간이 소요되었습니다. 반면 컴퓨터는 시스템이 구축된 후 234개의 인터뷰를 모두 분석하여 3시간도 채 되지 않아 점수를 생성했습니다. 이는 의료 면담에서 사실적인 질문을 확인하는 특정 작업에 있어서, 기계가 놀라운 속도와 높은 일관성을 가지고 중노동을 수행할 수 있음을 시사합니다.

하지만 이 연구는 기계가 어디에서 실수를 하는지도 명확히 드러냈습니다. 약 2,800건의 개별 채점 결정 중, 컴퓨터와 인간 배우의 의견이 일치하지 않은 사례가 83건 있었습니다. 연구진이 이러한 오류를 면밀히 조사했을 때, 불일치의 네 가지 주요 원인을 발견했습니다. 첫째, 컴퓨터는 자신이 읽는 텍스트의 품질에 전적으로 의존합니다. 오디오 녹음이 작거나, 두 사람이 동시에 말하거나, 배경 소음이 대화를 방해할 경우, 전사 소프트웨어가 단어를 놓치거나 잘못 들을 수 있습니다. 예를 들어, 학생이 통증이 다른 부위로 "방사된다(radiated)"고 물었으나 컴퓨터가 이를 "공명한다(resonated)"로 전사했다면, AI는 올바른 의학 용어를 인식하지 못해 해당 질문을 누락된 것으로 처리할 것입니다.

둘째, 컴퓨터는 인간이 실제로 말하는 방식에 어려움을 겪습니다. 학생들은 종로 종종 독특하거나 간접적인 방식으로 질문을 하는데, 인간 배우는 이를 즉각적으로 이해할 수 있지만, 특정 단어 세트를 찾는 컴퓨터는 이를 놓칠 수 있습니다. 만약 학생이 예상된 표현인 "통증이 방사됩니까?" 대신 "통증이 한 곳에 머물러 있나요?"라고 물었다면, 인간은 개념을 이해한 것에 대해 점수를 줄 수 있지만, 엄격한 규칙을 따르는 컴퓨터는 점수를 주지 않을 수 있습니다. 셋째, 컴퓨터는 비언어적 신호를 보고 들을 수 없습니다. 실제 인터뷰에서 환자가 고개를 끄덕이거나 배를 가리키며 대답할 수 있고, 인간 배우는 이러한 상호작용에 대해 학생에게 점수를 줄 것입니다. 하지만 컴퓨터는 오직 텍스트 전사본만을 읽기 때문에, 고개를 끄덕이거나 가리키는 동작을 볼 수 없으며, 따라서 해당 질문을 미응답 상태로 표시합니다. 마지막으로, 판단의 차이가 있었습니다. 때때로 인간 배우는 학생이 의도한 함축적 의미를 이해하여 점수를 주지만, 컴퓨터는 학생이 체크리스트에 적힌 정확한 단어를 말할 것을 요구했습니다.

연구진은 인공지능이 구조화되고 객관적인 체크리스트의 채점 속도를 높이는 강력한 도구이기는 하지만, 인간의 판단을 완전히 대체할 준비는 되어 있지 않다고 결론지었습니다. 컴퓨터는 전사본에서 특정 단어를 찾는 데는 탁월하지만, 맥락, 어조, 또는 학생의 질문 뒤에 숨겨진 미묘한 의도를 이해하는 능력은 부족합니다. 이 연구는 이 기술의 최선의 활용법이 지원 도구로서의 역할이라고 제안합니다. 컴퓨터는 초기 채점 단계를 처리하여 교육자들의 시간을 수십 시간 절약할 수 있지만, 열악한 오디오, 독특한 표현, 또는 비언어적 의사소통으로 인해 발생하는 오류를 잡아내기 위해 여전히 인간의 검토가 필요합니다. 기술이 인간 대화의 전체적인 뉘앙스, 즉 말해지지 않은 부분까지 안정적으로 해석할 수 있게 될 때까지, 학생의 임상 기술을 평가하는 최종 결정권은 여전히 사람에게 있어야 합니다. 의료 교육 평가의 미래는 기계가 양적인 부분을 처리하고 인간이 판단을 담당하는 파트너십의 형태가 될 것입니다. 이를 통해 학생들이 공정하고 효율적으로 평가받을 수 있도록 보장할 수 있을 것입니다.