An Integrative Assistive Tool for Depression Severity Estimation: Cross-Cultural Robustness of Facial Dynamics in Diverse Clinical Interviews

당신이 누군가를 그저 지켜보는 것만으로 그 사람이 어떻게 느끼고 있는지 이해하려고 노력하고 있다고 상상해 보십시오. 목소리를 들을 필요도, 일기를 읽을 필요도 없습니다. 때로는 사람의 움직임, 눈 깜빡임, 혹은 표정의 변화가 강력한 이야기를 들려주기도 합니다. 이것이 바로 행동 과학과 인공지능(AI)이 함께 협력하는 세계입니다. 과학자들은 오랫동안 사람들이 우울함을 느낄 때 신체적인 변화가 나타난다는 사실을 알고 있었습니다. 예를 들어, 움직임이 느려지거나, 미소를 덜 짓거나, 눈빛이 "무거워" 보이는 등의 변화가 나타납니다. 큰 과제는 이러한 아주 작고 찰나적인 단서들을 어떻게 자동으로 포착하느냐는 것이었습니다. 특히 오디오를 사용할 수 없거나(소음이 심할 경우), 텍_스트를 활용하기 어려운 상황(개인정보 보호 문제 등)에서는 더욱 그렇습니다. 이 논문은 이 퍼즐의 특정 영역을 파고듭니다. 즉, 컴퓨터가 영상 속 얼굴만을 보고 소리를 한 마디도 듣지 않고도 한 사람의 우울증 심각도를 추측하는 법을 배울 수 있을까요?

Shu Liu와 Lan Li가 이끄는 연구진은 MMANet(Micro-Macro Temporal Alignment Network, 미세-거시 시간 정렬 네트워크)이라는 스마트 비디오 도구를 개발했습니다. 우울증을 하나의 단조로운 기분이 아니라, 두 가지 서로 다른 유형의 장면이 동시에 일어나는 영화라고 생각해 보십시오. 먼저 "미세(micro)" 장면이 있습니다. 이는 짧은 찌푸림, 갑작스러운 눈 깜빡임, 혹은 아주 짧은 순간 동안 스쳐 지나가는 슬픈 표정처럼 찰나의 순간들을 의미합니다. 그다음은 "거시(macro)" 장면입니다. 이는 더 길고 느린 패턴으로, 예를 들어 사람이 오랫동안 구부정한 자세로 앉아 있거나, 매우 느리게 움직이거나, 몇 분 동안 전반적으로 무표정한 상태를 유지하는 것 등을 말합니다.

기존의 도구들은 종-종 영상 전체를 한꺼번에 관찰하려다 보니 이러한 작고 중요한 순간들을 흐릿하게 만들거나, 혹은 긴 장면들에만 집중하여 빠른 감정의 번뜩임을 놓치곤 했습니다. MMANet은 다릅니다. 이 모델은 마치 매우 주의 깊은 편집자처럼 행동합니다. 특수한 "이중 척도 통합 선택기(Dual-Scale Unified Selector)"를 사용하여 영상을 스캔하고 가장 흥ente로운 부분들을 골라냅니다. 이 도구는 빠르고 날카로운 순간(미세)과 길고 꾸준한 구간(거시)을 각각 따로 추출한 다음, 이를 하나로 모아 완전한 이야기를 들려줍니다. 이 두 가지 서로 다른 관점이 서로 일치하도록 하기 위해, 이 도구는 "지도 학습 기반 대조 학습(supervised contrastive learning)"이라는 기술을 사용합니다. 이는 마치 선생님이 학생의 노트(빠른 순간에 대한 기록)가 학생의 다른 노트(긴 순간에 대한 기록)와 일치하는지 확인하며 최종적인 그림이 일관성을 갖도록 하는 것과 같습니다.

연구팀은 이 도구를 세 가지 다른 문화권의 집단을 대상으로 테스트했습니다. 서구권의 두 집단(DAIC-WOZ 및 E-DAIC 데이터셋 사용)과 중국의 한 집단(CMDC 데이터셋 사용)입니다. 그들은 이 도구가 오직 사람의 얼굴 영상에만 의존하여 서로 다른 문화와 언어를 가로질러 작동할 수 있는지 확인하고자 했습니다. 결과는 매우 유망했습니다. 서구권 데이터셋에서 이 도구는 평균 절대 오차(MAE) 3.83과 4.15를 기록했습니다. 중국 데이터셋에서는 더욱 정밀하여 3.04의 MAE를 보였습니다. 이를 설명하자면, 만약 우울증 점수가 0에서 24 사이의 숫자라면, 오차가 3.04라는 것은 이 도구의 예측치가 인간 전문가가 부여한 실제 점수와 평균적으로 약 3점 정도밖에 차이가 나지 않았음을 의미합니다.

연구진은 자신들의 특정 설계 방식이 성공의 이유임을 증명하기 위해 실험을 진행했습니다. 만약 그들이 스마트한 "중요도 인식(importance-aware)" 선택기 대신 무작위 클립이나 일정한 간격의 클립을 선택했다면, 도구의 성능이 훨씬 떨어졌을 것임을 발견했습니다(한 데이터셋에서 오차가 4.81까지 상승했습니다). 또한, 빠른 순간만을 보거나 느린 순간만을 보는 것만으로는 충분하지 않으며, 최상의 결과를 얻기 위해서는 두 가지가 함께 작동해야 한다는 것도 발견했습니다. 예를 들어, 중국 데이터셋의 경우 한 가지 타이밍만을 사용했을 때는 오차가 약 4.4였지만, 두 가지를 결합했을 때는 오차가 3.04로 낮아졌습니다.

하지만 저자들은 이것을 마법 같은 치료제나 의사를 대체할 수 있는 것으로 부르는 것에 대해 주의를 기울입니다. 그들은 MMANet이 선별(screening)을 돕는 "보조 도구"가 될 수 있다고 제안합니다. 즉, 특히 개인정보 보호가 중요하거나 오디오 녹음이 불가능한 곳에서 의사가 누구를 더 면밀히 살펴봐야 할지 결정하는 데 도움을 주는 첫 단계로서의 역할입니다. 이 연구는 얼굴의 움직임이 우울증에 관한 많은 유용한 정보를 담고 있다는 것을 보여주지만, 저자들은 이 기술이 널리 사용되기 전에 실제 임상 현장에서의 더 많은 테스트가 필요하다고 언급했습니다. 또한, 사용된 중국 데이터셋이 다른 데이터셋보다 규모가 작으므로, 그 결과는 주의해서 해석되어야 한다고 덧붙였습니다. 궁극적으로 이 논문은 AI에게 인간 표현의 빠른 번뜩임과 느린 리듬 모두에 주목하도록 가르침으로써, 정신 건강을 이해하는 데 도움이 되는 더 나은, 그리고 개인정보를 보호할 수 있는 도구를 구축할 수 있음을 시사합니다.