🧠 neurology

Predicting Cognitive Function Using Transformer-Derived Speech Representations and Longitudinal Coherence Features

본 연구는 트랜스포머 기반의 음성 표현과 임상 이력을 결합하여 미래의 MMSE 점수를 정확하게 예측하는 새로운 종단적 프레임워크를 도입함으로써, 치매 환자의 인지 저하를 지속적이고 조기에 모니터링하기 위한 유효한 디지털 바이오마커로서 음성의 가능성을 확립한다.

원저자: Devatha, D., Xiao, J.

게시일 2026-08-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Devatha, D., Xiao, J.

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

인간의 뇌를 북적이는 도시라고 상상해 보세요. 때때로 시간이 흐르면서 도로에는 안개가 자욱해지고, 표지판은 흐릿해지며, 교통 패턴은 다소 혼란스러워지기도 합니다. 이것이 바로 전 세계 수백만 명의 사람들에게 영향을 미치는 질환인 치매에서 일어나는 현상입니다. 오랫동안 의사들은 6개월마다 검사팀을 파견하여 이 도시의 건강 상태를 확인하려고 노력해 왔습니다. 그들은 거주자들에게 "‘world’를 거꾸로 말해보세요"라거나 "오늘이 몇 일인가요?"와 같은 일련의 질문을 던져 MMSE라는 점수를 산출합니다. 하지만 이 방식에는 몇 가지 결함이 있습니다. 검사관들도 사람이기에 피곤함을 느낄 수 있고, 까다로운 답변에 대해 점수를 매길 때 서로 의견이 다를 수도 있습니다. 게cip 더군다나, 방문 사이의 6개월이라는 대기 시간 때문에 검사 중간에 도시의 도로에 생겨나는 아주 작고 미세한 포트홀(구멍)들을 놓칠 수도 있습니다.

새로운 아이디어가 등장했습니다. 만약 도시의 거주자들이 그저 대화를 나누는 것만으로 도로의 상태를 우리에게 알려줄 수 있다면 어떨까요? 과학자들은 사람들이 말을 하는 방식이 뇌의 안개가 짙어짐에 따라 변화한다는 사실을 오래전부터 의심해 왔습니다. 사람들은 단어를 반복하거나, 생각의 흐름을 놓치거나, 혹은 더 단순한 문장을 사용할 수도 있습니다. 최근 몇 년 동안 컴퓨터는 이러한 이야기들을 "듣는" 데 매우 능숙해졌습니다. 그들은 "트랜스포머(transformer)"라고 불리는 특별한 도구를 사용하는데, 이는 (단순히 단어 자체를 넘어 단어의 깊은 의미까지 이해하는 아주 똑똑한 독서용 안경이라고 생각하면 됩니다) 음성을 디지털 지도로 변환합니다. 이 논문은 큰 질문을 던집니다. 우리는 이러한 음성의 디지털 지도와 환자의 방문 기록을 결합하여, 단순히 현재 상태가 어떤지 추측하는 것을 넘어, 미래에 그들의 뇌가 얼마나 더 짙은 안개 속에 놓이게 될지를 예측할 수 있을까요?

말하는 타임머신의 이야기

이 연구에서 두 명의 연구자, 데프탄슈 데바타(Deeptanshu Devatha)와 조 샤오(Joe Xiao)는 "말하는 타임머신"을 만들기로 결심했습니다. 그들의 목표는 단순히 치매를 진단하는 것이 아니라, 미래를 엿보는 것이었습니다. 그들은 환자의 과거 대화를 살펴보고, 다음 의사 방문이 이루어지기도 전에 미래의 인지 점수(MMSE)를 예측할 수 있는지 알고 싶었습니다.

이를 위해 그들은 DementiaBank Pitt 코퍼스에서 수집된 이야기들을 모았습니다. 치매 환자와 건강한 대조군이 수년간 연구자들과 대화한 인터뷰들이 담긴 거대한 도서관을 상상해 보세요. 연구팀은 인터뷰어의 목소리를 제거하여 환자의 말만 남도록 전사본을 정리했습니다. 그런 다음, 이 단어들을 두 가지 다른 유형의 데이터로 변환했습니다.

첫째, 그들은 "수작업(hand-crafted)" 방식을 사용했습니다. 그들은 다음과 같은 음성 속의 구체적인 단서들을 살펴보았습니다:

주제 이탈(Topic Wandering): 사람이 고양이에 대해 이야기하다가 날씨, 그리고 식료품 목록으로 화제를 돌렸는가? (낮은 "전역 일관성/Global Coherence")
반복(Repetition): 같은 단어를 계속해서 반복했는가? (높은 "문장 간 반복/Inter-Sentence Repetition")
추임새(Filler Words): "음", "어"와 같은 말을 많이 했는가? (높은 "추임새 비율/Filler Rate")
문장 길이: 문장이 점점 짧고 단순해졌는가?

둘째, 그들은 "트랜스포머(Transformer)" 방식을 사용했습니다. 그들은 강력한 AI 모델인 Sentence-BERT(SBERT)에 음성을 입력했습니다. 이것을 단순한 단어의 개수를 세는 것이 아니라 대화 전체의 느낌과 의미를 이해하는 마법의 번역기라고 생각하세요. 이 모델은 음성을 384차원의 복잡한 "지문(fingerprint)"인 개인의 의미론적 상태로 변환했습니다. 이를 관리 가능한 수준으로 만들기 위해, 그들은 이 지문을 가장 중요한 20개의 특징으로 압축했습니다.

마지막으로, 그들은 이러한 음성 단서들을 환자의 의료 기록(연령, 교육 수준, 과거 점수 등)과 결합하여 LightGBM이라는 스마트한 컴퓨터 프로그램에 입력했습니다. 이 프로그램은 데이터에서 패턴을 찾아 추측을 내놓는 탐정과 같습니다.

중대한 발견

결과는 상당히 유망했습니다. 컴퓨터 모델은 높은 정확도로 환자의 미래 MMSE 점수를 예측할 수 있었습니다. 테스트 결과, 모델의 예측값은 실제 점수와 매우 밀접하게 일치했으며, 상관계수는 0.917(예측의 세계에서는 매우 높은 수치입니다)이었고 오차율(RMSE)은 단 2.75점에 불계했습니다.

여기서 발견의 가장 중요한 부분은 이렇습니다: 모델은 단순히 의료 기록에만 의존하지 않았습니다. 음성 데이터, 특히 "트랜스포머" 지문은 의료 기록만으로는 제공할 수 없는 특별한 재료를 더해주었습니다. 이것은 날씨를 맞히려는 것과 같습니다. 기온(임상 기록)을 아는 것도 도움이 되지만, 바람의 방향과 습도(음성 패턴)를 아는 것은 다가오는 폭풍에 대한 훨씬 더 명확한 그림을 제공합니다.

연구진은 "SBERT" 음성 특징이 환자의 시작 점수와 특정 치매 등급 척수 바로 다음으로 모델이 사용한 세 번째로 중요한 단서였다는 것을 발견했습니다. 이는 사람의 음성이 어떻게 흐르고 결합되는지에 대한 정보가 뇌의 미래 건강에 대한 숨겨진 신호를 담고 있음을 시사합니다.

논문이 말하는 것 (그리고 말하지 않는 것)

저자들은 이것이 마법의 치료제나 완벽한 수정구슬이 아니라는 점을 주의 깊게 밝히고 있습니다. 그들은 상대적으로 적은 126명의 환자 그룹을 대상으로 모델을 테스트했으며, 그중에는 매우 심각한 치매 환자가 많지 않았습니다. 이로 인해 모델은 가장 심각하게 손상된 환자들의 점수를 약간 과대평가하는 경 경향이 있었습니다. 또한 그들은 자신들의 모델이 입증된 진단 대체제가 아닌, 하나의 "제안적(suggestive)" 도구임을 인정합니다. 예측의 오차 범위는 실제로 서로 다른 인간 의사들이 동일한 테스트를 채점할 때 발생하는 자연스러운 의견 차이와 비슷한 수준입니다.

하지만, 이 연구는 음성이 실행 가능한 "종단적 디지털 바이오마커(longitudinal digital biomarker)"임을 강력하게 시사합니다. 이것은 사람들이 대화하는 방식을 지속적으로 관찰하는 것이 뇌의 느린 퇴행을 추적하는 신뢰할 수 있는 방법이며, 일반적인 6개월 단위의 의사 방문 사이에 놓칠 수 있는 변화를 포착할 수 있는 방법을 제공한다는 뜻의 어려운 표현입니다.

핵가치(The Takeaway)

이 논문은 치매를 해결했다고 주장하는 것이 아닙니다. 대신, 뇌의 "도로 상태"를 지켜볼 수 있는 부담이 적은 새로운 방법을 제시합니다. AI의 깊은 이해력과 우리 일상 대화의 미묘한 단서를 결합함으로써, 연구진은 우리가 인지 저하를 그 어느 때보다 빈번하고 정확하게 예측할 수 있음을 보여주었습니다. 이는 안개가 너무 짙어지기 전에 이를 포착하여, 의사와 가족들이 적절한 시기에 더 나은 돌봄 결정을 내릴 수 있도록 돕는 한 걸음이 될 것입니다.

기술 요약: 트랜스포머 유래 음성 표현 및 종단적 일관성 특징을 이용한 인지 기능 예측

문제 정의
치매는 전 세계적으로 5,500만 명 이상의 사람들에게 영향을 미치고 있으나, 인적 대면 임상 평가의 드문 빈도로 인해 그 진행성 저하를 추적하는 것은 여전히 어려운 과제이다. 표준 도구인 간이 정신 상태 검사(MMSE)는 간헐적으로(예: 6개월마다) 실시되므로, 방문 사이의 미세한 인지 변화를 놓치는 경우가 많다. 또한, 이러한 평가는 인간 임상의에 의한 일관되지 않은 채점의 영향을 받아 편향과 변동성을 초래한다. 기존의 음성 기반 머신러닝 접근 방식들은 딥러닝을 활용하여 치매를 분류해 왔으나, 주로 미래의 인지 심각도를 예측하기보다는 횡단적이고 단일 방문 기반의 분류에 집중해 왔다. 트랜스포머 유래 의미론적 일관성 특징이 시간이 경과함에 따라 어떻게 진화하는지, 그리고 이러한 특징들이 종단적 환자 데이터를 사용하여 미래의 MMSE 점수를 예측하는 데 사용될 수 있는지에 대한 연구에는 공백이 존재한다.

방법론
본 연구는 환자의 과거 방문 이력을 바탕으로 환자의 미래 MMSE 점수를 예측하는 종단적, 환자 수준의 프레임워크를 제안한다. 방법론은 다음 구성 요소들을 포함한다:

데이터셋: 프레임워크는 DementiaBank Pitt 코퍼스의 전사 데이터를 활용한다. 여러 차례의 방문 기록과 완전한 MMSE 점수를 가진 환자를 필터링한 후, 최종 데이터셋은 126명의 환자(치매 환자 69명, 대조군 57명)로부터 얻은 173개의 예측 샘플로 구성되었다.
특징 추출 (Feature Extraction):
- 수작업 언어 특징 (Handcrafted Linguistic Features): 의미론적 조직, 담화 유지 및 통사 구조를 포착하기 위해 방문당 12개의 특징을 추출하였다. 여기에는 인접 코사인 유사도(ACS), 전역 일관성(GC), 의미론적 기울기(SS), 주제 표류(TD), 임베딩 분산(EV), 문장 간 반복(ISR), 필러 비율(FR), 이동 평균 유형-토큰 비율(MATMATR), 평균 문장 길이(MSL), 파편 비율(FRAG), 개체명 비율(NER), 일반 단어 비율(GWR)이 포함된다.
- 트랜스포머 유래 표현 (Transformer-Derived Representations): 전사 데이터로부터 Sentence-BERT(SBERT) 임베딩을 추출하였다. 차원 축소와 계산 비용 절감을 위해 주성분 분석(PCA)을 적용하여 상위 20개의 주성분을 유지함으로써 20차원의 의미론적 표현을 생성하였다.
- 종단적 집계 (Longitudinal Aggregation): 각 예측 샘플에 대해 환자의 상태를 나타내는 특징을 구축하였다. 여기에는 가장 최근의 이전 방문에서 추출한 12개의 언어적 특징, 8개의 단기 변화 특징(특정 지표에 대해 현재와 이전 방문 간의 차이로 계산됨), 그리고 4개의 시간적 메타데이터 특징(예: 방문 간 시간 간격)이 포함된다.
- 임상 및 인구통계학적 데이터: 기초 변수인 초기 MMSE, Blessed Dementia Rating, Clinical Dementia Rating (CDR), NYU staging, Mattis Dementia Rating Scale, 진단명, 연령, 교육 수준, 성별이 포함되었다.
모델 아키텍처: 최종 특징 벡터(53차원)는 LightGBM 그래디언트 부스팅 회귀 모델의 입력값으로 사용되었다.
훈련 및 검증:
- 전처리: RobustScaler 정규화를 적용한 후, 상관관계 기반 가지치기(임계값 0.8)와 순열 중요도 기반 특징 선택(상위 15개 특징 유지, 임상 변수는 강제로 다시 포함)을 수행하였다.
- 데이터 증강 (Augmentation): 작은 데이터셋 크기를 해결하기 위해 가우시안 증강을 사용하여 샘플당 3개의 노이즈가 섞인 복사본을 생성함으로써 데이터셋을 4배로 확장하였다.
- 교차 검증: 5-겹 GroupKFold 교차 검증을 채택하였으며, 이는 동일한 환자의 모든 샘플이 반드시 훈련 또는 검증 폴드 중 하나에만 속하도록 하여 데이터 누수를 방지하였다.
- 하이퍼파라미터 튜닝: Optuna를 사용하여 10개의 하이퍼파라미터를 200회의 시행 동안 최적화하였으며, 평균 검증 $R^2$ 점수를 최대화하였다.

주요 결과
모델은 미래 MMSE 점수를 예측하는 데 있어 높은 정확도와 안정성을 보여주었다:

성능 지표: 프레임워크는 교차 검증 폴드 전반에 걸쳐 $R^2$ 0.840 $\pm$ 0.015, RMSE 2.75, MAE 2.02, 그리고 피어슨 상관계수( $r$ ) 0.917를 달성하였다.
특징 중요도: 분석 결과, 임상 변수, 특히 초기 MMSE 점수와 Blessed Dementia Rating Scale이 지배적인 예측 변수임이 밝혀졌다. 그러나 트랜스포머 유-래 음성 표현(특히 SBERT 주성분) 또한 의미 있고 보완적인 예측 신호를 제공하였다.
절제 연구 (Ablation Study):
- 임상 특징만 사용했을 때 $R^2$ 는 0.716이었다.
- SBERT 임베딩만 사용했을 때 $R^2$ 는 0.458이었으며, 이는 수작업 언어 특징만 사용했을 때( $R^2$ = 0.118)보다 우수한 성능을 보였다.
- 임상 특징과 SBERT 임베딩을 결합했을 때 $R^2$ 가 0.759로 향상되었으며, 이는 음성 표현이 임상 이력만으로는 존재하지 않는 정보를 포착함을 시사한다.
- 전체 파이프라인(하이퍼파라미터 튜닝 및 특징 선택 포함)은 가장 높은 성능( $R^2$ = 0.840)을 달성하였으며, 이는 이질적인 데이터 소스를 통합하는 것의 가치를 입증한다.

의의 및 주장
저자들은 본 연구가 단일 방문 분류를 넘어 트랜스포머 유래 음성 인코딩과 종단적 인지 심각도 예측을 결합한 최초의 프레임워크라고 주장한다. 본 연구는 음성을 인지 저하의 유효한 종단적 디지털 바이오마커로 확립한다. 주요 기여는 다음과 같다:

종단적 예측: 단순히 현재 상태를 분류하는 것이 아니라 미래의 인지 심각도(MMSE)를 성공적으로 예측하였다.
보완적 신호: 트랜스포머 유래 의미론적 임베딩이 기존의 임상 평가를 대체하기보다는 이를 보완하는 예측 정보를 제공함을 입증하였다.
임상적 유용성: 간헐적인 임상 평가를 보완할 수 있는 저부담 방법을 제시하며, 이를 통해 더 이른 시기의 미세한 인지 변화 감지와 더 나은 시점의 케어 결정을 지원하기 위한 빈번한 모니터링을 가능하게 한다.

본 논문은 작은 데이터셋 크기, 독립된 코호트에 대한 외부 검증의 부재, 신경 영상 또는 바이오마커 데이터의 부재를 포함한 한계점을 인정한다. 저자들은 모델의 오차 크기가 MMSE 자체의 검사자 간 채점 변동성과 유사하다는 점을 언급하며, 잔여 오차가 측정 노이즈와 명확히 구별되지 않음을 시사한다. 향-후 연구로는 더 큰 데이터셋, 시간적 딥러닝 아키텍처(예: LSTM, Transformer), 그리고 추가적인 임상 데이터 소스를 통합하는 것이 제안되었다.

유사한 논문