Evaluating Safety-Critical Communication Behavior of Large Language Models Using Workflow-Embedded Multi-Agent Clinical Simulation

병원들은 환자의 안전을 지키기 위해 정교한 의사소통의 사슬에 의존합니다. 간호사가 환자의 상태가 악화되는 것을 발견하면, 문제를 보고하고 지침을 얻기 위해 레지스트레이트(registrar)라고 불리는 선임 의사에게 신속히 연락해야 합니다. 이 에스컬레이션(escalation)의 순간은 매우 결정적입니다. 만약 간호사가 핵심적인 세부 사항을 잊거나, 의사가 긴급성을 오해한다면 환자는 예방 가능한 해를 입을 수 있습니다. 이를 돕기 위해 많은 병원에서는 ISBAR라고 불리는 표준 체크리스트를 사용하는데, 이는 Identify(식별), Situation(상황), Background(배경), Assessment(평가), Recommendation(권고)의 약자입니다. 이 도구는 화자가 말을 하기 전에 생각을 정리하도록 강제하여, 활력 징후나 구체적인 요청과 같은 필수 정보가 누락되지 않도록 보장합니다.

병원이 이러한 대화를 보조하기 위해 인공지능을 활용하는 방안을 탐색하기 시작하면서, 새로운 질문이 제기되었습니다. 과연 컴퓨터 프로그램이 이처럼 중대한 의사소통을 안전하게 처리할 수 있는가 하는 점입니다. 현대 챗봇의 기반이 되는 기술인 거대 언어 모델(LLM)은 인간과 유사한 텍스트를 생성하는 데 탁월합니다. 하지만 이들은 스스로 내버려 두었을 때 사실을 지어내거나 중요한 세부 사항을 놓치는 것으로도 알려져 있습니다. 이러한 시스템이 실제 병원에서 신뢰받기 전, 연구자들은 이 프로그램들이 단순히 화면상의 간단한 질문에 답하는 수준을 넘어, 현실적이고 시간 압박이 있는 의료 워크플로우 내에서 배치되었을 때 안전하게 작동할 수 있는지 테스트할 방법이 필요했습니다.

이를 해결하기 위해 유니버시티 컬리지 코크(University College Cork)의 연구팀은 병동의 흐름을 그대로 모사한 디지털 시뮬레이션을 구축했습니다. 그들은 실제 환자나 실제 의사를 사용하지 않았습니다. 대신, AI 에이전트들이 특정 역할을 수행하는 통제된 환경을 만들었습니다. 한 에이전트는 병동 간호사 역할을, 다른 에이전트는 선임 레지스트레이트 역할을, 그리고 세 번째 에이전트는 간호 관리자 역할을 맡았습니다. 이 에이전트들은 '역할 고정(role-locked)' 되었는데, 이는 컴퓨터 프로그램들이 자신의 역할을 설명하거나 다른 사람처럼 행동하는 등 서사를 진행하지 않고 엄격하게 부여된 직무를 유지하도록 지시받았음을 의미합니다. 연구진은 이 에이전트들에게 심각한 감염이나 출혈성 상처를 가진 환자와 같이 상태가 악화되는 환자를 묘사하는 합성 케이스 파일을 제공했습니다. 목표는 환자의 상태가 악화될 때 AI 에이전트들이 서로 어떻게 대화하는지 관찰하는 것이었습니다.

연구진은 동일한 시나리오를 각 환자 케이스에 대해 두 번 실행함으로써 공정한 테스트를 설정했습니다. 첫 번째 버전에서 간호사 에이전트는 스크립트 없이 인간이 말하는 것처럼 자연스럽고 구조화되지 않은 방식으로 대화를 시작했습니다. 두 번째 버전에서 간호사는 ISBAR 체크리스트를 사용하여 정보를 특정된 조직적 형식에 맞춰 전달해야 했습니다. 레지스트레이트 에이전트는 두 가지 유형의 호출 모두에 응답했으며, 연구진은 발생하는 모든 대화 내용을 기록했습니다. 그 후 연구진은 정교한 자동화 시스템을 사용하여 수백 개의 대화를 검토하며 특정 유형의 오류를 찾아냈습니다. 그들은 간호사가 생명을 구하는 세부 사항을 누락했는지, 의사가 후속 조치를 위한 구체적인 시간을 포함한 명확한 계획을 제시했는지, 그리고 AI가 환자 파일에 없는 사실을 지어냈는지 등을 확인했습니다.

결과는 놀라운 성공과 실패의 혼합을 보여주었습니다. 간호사가 ISBAR 구조를 사용했을 때 대화는 훨씬 더 효율적이 되었습니다. 대화는 더 짧아졌고 결론에 도달하기까지 더 적은 차례를 거쳤으며, AI가 가짜 의료 사실을 지어낼 가능성도 훨씬 낮았습니다. 구조화되지 않은 대화에서는 AI가 환자의 상태에 대해 약 26.5%의 사례에서 내용을 지어냈지만, 체크리스트를 사용했을 때는 그 수치가 10.0%로 떨어졌습니다. 이는 AI에게 엄격한 형식을 제공하는 것이 AI가 제공된 사실에 근거하도록 돕는다는 것을 시사합니다.

그러나 이 연구는 숨겨진 위험도 밝혀냈습니다. 구조화된 대화가 더 깔끔하고 빨랐지만, 그것이 의사소통을 가장 결정적인 방식으로 더 안전하게 만들지는 못했습니다. 연구진은 '안전에 치명적인 누락(safety-critical omissions)'이라 불리는 필수 정보 누락률이 줄어들지 않았음을 발견했습니다. 실제로 구조화된 대화에서의 누락률은 16.0%로, 비구조화된 대화의 11.5%보다 약간 더 높았습니다. 연구진은 AI가 엄격한 체크리스트를 따를 때, 자신이 모든 것을 다 다루었다고 가정하고 빈틈을 채우기 위해 던질 수 있는 확인 질문을 멈추는 것일 수 있다고 추측합니다. 체크리스트는 AI가 무언가를 지어내는 것은 막아주었지만, 필수적인 것을 말하는 것을 잊게 만들지는 못했습니다.

컴퓨터 분석의 정확성을 보장하기 위해, 연구진은 두 명의 숙련된 중환자실 간호사에게 이 대화 중 일부를 검토하도록 요청했습니다. 인간 전문가들은 컴퓨터가 했던 것과 동일한 항목들을 살펴보았습니다. 즉, 누락된 세부 사항, 지어낸 사실, 그리고 명확한 실행 계획을 확인했습니다. 인간 간호사와 자동화 시스템은 항상 일치하지는 않았습니다. 컴퓨터는 잠재적인 정보 누락을 찾아내는 데 매우 뛰어났지만, 종종 너무 엄격하여 인간 간호사가 중요하지 않다고 생각하는 누락까지 지적했습니다. 반대로, 컴퓨터는 실행 계획이 실제 현장에서 왜 안전하지 못한지에 대한 미묘한 차이를 놓치기도 했습니다. 이러한 격차는 컴퓨터가 수천 건의 대화를 빠르게 스캔할 수는 있지만, 훈련된 인간처럼 임상적 안전의 미묘한 맥락을 완전히 이해하지는 못한다는 점을 보여주었습니다.

궁극적으로, 이 작업은 인공지능을 현실적인 역할 수행 시뮬레이션에서 테스트하는 것이 AI가 현실 세계에서 어떻게 행동할지 이해하는 데 필수적임을 입증합니다. 이 연구는 시스템이 단순히 정중하게 말하거나 형식을 따르게 만드는 것이 효율성을 높이고 거짓말하는 경향을 줄여줄 수는 있지만, 그것이 중요한 안전 세부 사항을 놓치지 않는다는 것을 보장하지는 않는다는 것을 보여주었습니다. 연구진은 이러한 도구들이 병원에서 사용되기 전에, 단순히 프로그램이 정중하게 들리거나 형식을 따르는지가 아니라, 환자의 상태에 대한 전체적인 그림을 신뢰성 있게 전달할 수 있는지에 대해 평가되어야 한다고 결론지었습니다. 안전한 의료 AI로 가는 길은 더 나은 소프트웨어만을 요구하는 것이 아니라, 자동화된 점검과 인간 전문가의 대체 불가능한 판단력을 결합한 엄격한 테스트 프로세스를 요구합니다.