Characterizing psychological concerns in semi-structured healthcare conversations using conversational NLP and large language models

인간은 단순히 말 이상의 것을 끊임없이 교환합니다. 그들은 대화의 흐름을 통해 마음의 상태, 정서적 부담, 그리고 사회적 리듬을 공유합니다. 수십 년 동안 정신 건강 전문가들은 사람이 사회적 상호작용을 어떻게 다루는지, 혹은 얼마나 많은 심리적 고통을 짊어지고 있는지를 측정하기 위해 표준화된 설문지를 활용해 왔습니다. 펜과 종이 또는 화면을 통해 작성되는 이 설문지들은 사람들이 자신의 감정과 행동을 평가하도록 요청합니다. 유용하기는 하지만, 이러한 도구들은 대화가 진행되는 동안의 역동적이고 살아있는 현실보다는 자기 인식에 대한 정적인 스냅샷만을 포착합니다. 그것들은 목소리의 망설임, 걱정의 반복, 혹은 한 인간이 다른 인간과 연결되거나 혹은 연결되지 못하는 미묘한 방식들을 듣지 못합니다. 기술이 발전함에 따라 심리학과 컴퓨터 과학 분야에는 새로운 질문이 등장했습니다. 기계에게 임상 면담 중 사람들이 말하는 방식을 경청하게 하고, 오직 그 말들로부터만 화자의 사회적, 정서적 풍경을 이해하도록 가르칠 수 있을 것인가 하는 질문입니다.

이 질문은 일본의 국제기독교대학교와 하트랜드 시기산 병원의 연구진이 수행한 최근 연구의 핵심에 자리 잡고 있습니다. 연구팀은 현대의 컴퓨터 언어 도구가 정신과 의사와 환자 사이의 실제 대화 전사본을 분석하여 사회적 의사소통 및 정서적 고통과 관련된 숨겨진 패턴을 밝혀낼 수 있는지 확인하고자 했습니다. 그들은 환자를 진단하거나 의사를 대체할 수 있는 기계를 만들고자 한 것이 아니었습니다. 대신, 그들은 더 근본적인 질문을 던졌습니다. 사람들이 선택하는 특정한 단어들, 그들이 가져오는 주제들, 그리고 대화의 리듬이 그들의 정신 상태에 대한 측정 가능한 단서를 포함하고 있는가 하는 점입니다. 이를 알아내기 위해 그들은 자연어 처리(NLP)라고 알려진 도구 세트로 눈을 돌렸습니다. 이는 컴퓨터가 인간의 텍스트를 읽고 이해할 수 있게 하며, 방대한 양의 글에서 복잡한 아이디어를 요약하고 주제를 식별할 수 있는 고급 인공지능 시스템인 거대 언어 모델(LLM)을 활용합니다.

연구진은 일본의 성인 62명을 모집하여 정신과 의사와 반구조화된 대화에 참여하도록 했습니다. 이것은 자유로운 대화가 아니라 표준적인 체크인처럼 느껴지도록 설계된 유도된 세션이었습니다. 주제를 알지 못하는 상태로 유지된 정신과 의사는 참가자에게 기분이 어떤지, 그 주에 좋았던 일이나 힘들었던 일은 무엇인지, 그리고 어떤 주제들이 머릿속에 있는지에 대해 질문했습니다. 대화는 평균 약 11분 동안 지속되었습니다. 이 세션 동안 참가자들은 또한 두 가지 잘 알려진 설문지를 완료했습니다. 하나는 신경증, 절망감, 무가치함에 대한 감정을 묻는 심리적 고통 수준을 측정하는 것이었고, 다른 하나는 사회적 신호를 얼마나 잘 이해하고 관계를 유지하며 타인과 교류하는지를 보는 사회적 반응성을 측정하는 것이었습니다.

대화가 녹음되고 전사된 후, 연구진은 텍스트를 컴퓨터 모델에 입력했습니다. 그들은 대화를 여러 가지 다양한 유형의 특징(feature)으로 세분화했습니다. 어떤 특징들은 참가자가 의사에 비해 얼마나 많은 말을 했는지, 혹은 어휘가 얼마나 다양한지와 같은 단순한 횟수였습니다. 다른 특징들은 의사와 참가자의 단어 및 아이디어가 얼마나 유사한지를 측정하는 더 복잡한 것이었습니다. 분석의 가장 중요한 부분은 거대 언어 모델을 사용하여 각 참가자의 전체 전사본을 읽고 특정 '의제 항목(agenda items)'을 추출하는 것이었습니다. 컴퓨터는 참가자가 우울, 불안, 가족, 직장, 혹은 미래에 대해 이야기했는지 식별하고, 각 주제에 대해 얼마나 많은 우려를 표현했는지 평가하도록 요청받았습니다. 이를 통해 연구진은 단어 수를 세는 것을 넘어, 말해지는 내용의 실제 심리적 콘텐츠를 살펴볼 수 있었습니다.

결과는 사람들이 말하는 내용과 설문지 점수 사이에 명확한 연결 고리가 있음을 보여주었습니다. 가장 놀라운 발견은 특정 관심사, 특히 우울과 관련된 관심을 식별하는 컴퓨터의 능력이 참가자들의 점수와 강력하게 연관되어 있었다는 점입니다. 언어 모델이 참가자가 우울에 대해 상당한 걱정을 표현하고 있다는 것을 감지했을 때, 그 사람은 심리적 고통 설문과 사회적 반응성 설문 모두에서 높은 점수를 보이는 경향이 있었습니다. 이는 사람들이 자신의 고충에 대해 자연스럽게 말하는 방식이 그들의 내면 상태에 대한 직접적인 신호를 담고 있음을 시사합니다. 흥미롭게도, 컴퓨터 모델은 사회적 의사소통 점수를 예측하는 것보다 심리적 고통 점수를 예측하는 데 훨씬 더 뛰어난 성능을 보였습니다. 모델들이 정서적 고통의 징후를 상당히 정확하게 포착할 수는 있었지만, 텍라 자체만으로는 사회적 상호작용의 미묘한 차이를 포착하는 데 어려움을 겪었습니다.

또한 연구는 컴퓨터가 추출한 정보의 유형이 매우 중요하다는 점을 강조했습니다. 의사와 환자 사이의 단어 유사성이나 발화량과 같은 단순한 척도들은 설문 결과와 매우 약한 연결성을 보였습니다. 실질적인 통찰력을 제공한 것은 대화에 대한 더 깊은 의미론적 이해, 즉 컴퓨터가 '자기 평가'나 '미래에 대한 불안'에 대해 말하고 있다는 것을 파악하는 능력이었습니다. 연구진은 이러한 고차원적인 주제 요약과 더 기본적인 단어 수를 결합했을 때 컴퓨터의 예측력이 약간 향상되었으나, 주제 자체가 가장 큰 비중을 차지한다는 것을 발견했습니다. 이는 대화의 내용이 말의 기계적인 구조보다 개인의 고통을 더 잘 드러낸다는 것을 나타냅니다.

이러한 유망한 결과에도 불구하고, 연구진은 자신들의 작업에 한계가 있음을 주의 깊게 언급합니다. 연구 대상 집단이 상대적으로 작았으며, 본 연구는 확정적인 답을 내리기보다는 무엇이 가능한지를 확인하기 위해 설계된 탐색적 연구였습니다. 컴퓨터 모델은 완벽한 정확도를 달성하지 못했으며, 연구진은 이 도구들이 임상에서 진단 장치로 사용될 준비가 되지 않았음을 강조합니다. 또한 고통 점수와 사회적 점수 사이의 강한 연결성은 두 지표를 데이터에서 완전히 분리하는 것을 어렵게 만듭니다. 즉, 대화가 두 척도 모두에 영향을 미치는 일반적인 불안 상태를 반영했을 가능성이 있습니다. 더욱이, 이 연구는 음성의 톤, 얼굴 표정, 시선 접촉 등 인간 의사소통의 필수적인 부분들을 무시하고 오로지 텍스트에만 의존했습니다.

그럼에도 불구하고, 이 연구는 정신 건강 평가의 미래에 대한 설득력 있는 전망을 제시합니다. 이는 사람들이 대화 중에 선택하는 단어들이 단순히 무작위적인 소음이 아니라, 그들의 심리적 현실을 반영하는 방식으로 구조화되어 있음을 입증합니다. 거대 언어 모델을 사용하여 우울이나 불안과 같은 특정 주제를 경청함으로써, 컴퓨터는 이전에는 주관적인 자기 보고나 임상적 관찰을 통해서만 접근 가능했던 인간 경험의 측면들을 정량화하기 시작할 수 있습니다. 연구진은 향-후 이러한 기술이 의료 전문가들을 위한 더욱 현실적인 훈련 환경을 만드는 데 도움이 될 수 있다고 제안하며, 이를 통해 전문가들이 다양한 사회적, 정서적 행동 패턴을 보이는 가상의 고객들과 소통하는 연습을 할 수 있도록 할 수 있다고 말합니다. 현재로서는, 이 연구는 하나의 개념 증명으로서 존재합니다. 우리가 나누는 이야기, 비록 짧고 구조화된 대화일지라도, 그 안에는 우리 내면 세계의 측정 가능한 지도가 담겨 있습니다.