Clinically Grounded AI-Scribing in Psychotherapy: Benchmarking LLMs Against Expert Documentation in the iCARE Framework

심리 치료가 이루어지는 조용한 방 안에서, 그 작업은 매우 인간적입니다. 그것은 치료사가 내담자의 이야기에 귀를 기울이고, 침묵의 무게를 알아차리며, 수년 전부터 이어진 두려움의 맥락을 이해하는 것에 의존합니다. 치료사가 이 작업을 효과적으로 수행하기 위해서는 기록 또한 남겨야 합니다. 이 노트는 단순한 행정적 서류가 아닙니다. 그것은 한 사람의 내면 세계를 담은 지도이며, 즉각적인 위기 상황부터 그들을 형성한 가족사와 습관의 긴 역사에 이르기까지 모든 것을 포착합니다. 전통적으로 이러한 노트를 작성하는 것은 치료사의 주의력을 환자가 아닌 컴퓨터 화면으로 돌리게 만드는 무거운 짐이었습니다. 최근 몇 년 동안 인공지능은 이 부담을 덜어주겠다고 약속해 왔습니다. 이러한 "AI 서기(AI scribes)"들은 대화를 듣고 이를 타이핑할 수 있지만, 정신 건강이라는 복잡한 세계에서 현재 대부분의 시스템은 기대에 미치지 못합니다. 그들은 대개 뉘앙스, 정서적 저의, 그리고 상담 세션을 정의하는 결정적인 안전 세부 사항들을 놓치는 짧고 건조한 요약본을 만들어냅니다. 과제는 단순히 단어를 받아쓰는 기계가 아니라, 이야기를 이해하는 기계를 만드는 것이었습니다.

인도와 싱가포르의 연구진은 치료 노트가 어떻게 구조화되어야 하는지, 그리고 기계가 이를 어떻게 학습해야 하는지를 재고함으로써 이 문제의 해결을 향한 중요한 발걸음을 내디뎠습니다. 그들은 먼저 iCARE라는 새롭고 포괄적인 문서화 프레임워크를 만드는 것부터 시작했습니다. 많은 병원에서 사용하는, 빠른 행정적 확인을 위해 설계된 짧은 형식들과 달리, iCARE는 임상적 만남의 전체 깊이를 포착하도록 구축되었습니다. 이는 기본적인 식별 정보와 내담자의 주요 호소 사항부터, 자해와 같은 즉각적인 위험에 대한 위험 평가, 그리고 향가 세션 계획에 이르기까지 17개의 별도 섹션으로 구성된 상세한 구조입니다. 연구진은 AI 시스템이 짧은 요약본으로 압축하기 전에, 이 풍부하고 완전한 그림을 생성할 수 있는 능력을 먼저 갖추어야 한다고 주장했습니다. 이 아이디어를 테스트하기 위해, 그들은 iHOPE라는 새로운 데이터셋을 구축했습니다. 그들은 공개 컬렉션에서 174개의 녹음된 치료 세션을 가져와 모든 단어가 들리도록 오디오를 정제한 후, 전문 정신과 의사와 심리학자 팀이 새로운 iCARE 형식을 사용하여 각 세션에 대한 완벽한 '골드 스탠다드(gold-standard)' 노트를 작성하게 했습니다. 이는 어떤 기계라도 측정할 수 있는 기준점, 즉 이상적인 답변 세트를 만들어냈습니다.

연구진은 이후 11개의 서로 다른 거대 언어 모델(LLM)을 테스트에 투입했습니다. 현대 AI 챗봇의 바탕이 되는 강력한 컴퓨터 프로그램인 이 모델들에게 치료 녹음본을 듣고 iCARE 노트를 작성하도록 요청했습니다. 그들은 두 가지 방식으로 모델을 테스트했습니다. 첫째는 따라 할 예시 없이 녹음본을 주는 것이었고, 둘째는 완벽한 노트의 예시를 하나 보여준 뒤 나머지 노트를 작성하게 하는 것이었습니다. 결과는 서로 다른 유형의 AI 사이에 명확한 차이를 드러냈습니다. 주요 기술 기업들이 개발하여 대중이 수정할 수 없는 폐쇄형 소스 모델들이, 공공 커뮤니티에 의해 구축된 오픈 소스 모델들보다 일관되적으로 더 우수한 성능을 보였습니다. 특정 모델인 GPT-4o-mini는 기계의 단어가 인간 전문가의 단어와 얼마나 일치하는지를 측정하는 표준 컴퓨터 테스트에서 가장 높은 점수를 기록했습니다. 또 다른 모델인 Gemini Pro는 자살 위험이나 약물 남용과 같은 위기 징후를 식별하는 데 있어 특별한 강점을 보였는데, 이는 치료에서 매우 중요한 안전 세부 사항입니다.

하지만 연구진이 컴퓨터 점수에 의존하는 대신 인간 전문가에게 노트를 판단하게 했을 때 이야기는 더욱 흥ًا로워졌습니다. 연구진은 6명의 정신 건강 전문가를 투입하여, AI가 썼다는 사실을 모르는 상태에서 노트를 블라인드 테스트로 읽게 한 뒤 신뢰성, 관련성, 정확성, 완결성, 명료성이라는 다섯 가지 핵심 특성에 대해 평가하게 했습니다. 인간 전문가들은 상위권의 컴퓨터 모델들이 우수함에도 불구하고, 여전히 시간의 흐름을 파악하는 데 어려움을 겪고 있다는 점을 발견했습니다. 기계들은 과거 세션에서 일어난 일과 다음 세션을 위해 계획된 일을 올바르게 구분하지 못하는 경우가 많았는데, 이는 타임라인에 대한 이해를 필요로 하는 테라피의 근본적인 측면입니다. 놀랍게도, 인간 전문가들은 더 강력한 상업용 모델들보다 Mistral이라는 작은 오픈 소스 모델의 노트를 선호했습니다. 실제로 Mistral은 특정 카테고리, 즉 '완결성' 항목에서 인간이 쓴 노트보다 약간 더 높은 점수를 받은 유일한 시스템이었습니다. 이 발견은 우리가 현재 AI의 성공을 측정하는 방식인 컴퓨터 알고리즘이 실제 임상가에게 필요한 것과 항상 일치하지는 않는다는 점을 시사합니다. 상업용 모델들은 특정 문구를 맞추는 데는 탁월했지만, 작은 모델은 전문가들의 눈에 세션의 임상적 본질을 더 효과적으로 포착하는 것으로 보였습니다.

이 연구는 인공지능이 치료사를 보조할 준비는 되었지만, 아직 대체할 준비는 되지 않았다고 결론짓습니다. 연구진은 최선의 길은 AI가 상세한 노트의 초안을 작성하는 무거운 작업을 처리하고, 치료사가 이를 검토, 수정 및 확정하는 협력적인 방식이라고 밝혔습니다. 이러한 접근 방식은 임상가들이 키보드가 아닌 환자에게 집중할 수 있는 귀중한 시간을 확보해 줄 수 있습니다. 연구팀은 자신들의 작업이 최종적인 해결책이 아니라 토대임을 강조했습니다. 그들은 자신들의 새로운 프레임워크, 전문가 노트 데이터셋, 그리고 평가 방법을 다른 과학자들이 사용할 수 있도록 공개하여 분야가 계속 발전할 수 있도록 했습니다. 궁극적인 목표는 기술을 사용하여 치유의 핵심인 인간적 연결을 대체하는 것이 아니라 지원함으로써, 정신 건강 케어에 대한 막대한 수요와 가용 가능한 치료사의 제한된 숫자 사이의 간극을 메우는 것입니다.