Wearable and Interview-based Assessment of Psychological Risk in Alzheimers Caregivers: Machine Learning vs. Large Language Models

本研究比较了传统机器学习与大语言模型在评估阿尔茨海默病照护者心理风险方面的表现，发现多模态数据整合更利于传统模型，而仅基于访谈的文本则在大语言模型中取得更优结果，且其性能深受提示策略及所预测的具体心理构念的影响。

要点

想象一下，你试图判断一位照顾阿尔茨海默病配偶的照护者是否正暗中承受压力、感到不堪重负或孤独。通常，我们会要求他们填写冗长乏味的问卷。但人们往往厌倦填写这些内容，且可能无法在当下诚实或准确地作答。

本文如同一则侦探故事，研究人员尝试运用两种不同的“超级侦探”，在不单纯依赖问卷的情况下，破解照护者福祉之谜。

两位超级侦探

1. 传统机器学习模型（“数据 cruncher”）：这就像一位条理清晰的会计师。它审视硬性数据：这个人走了多少步？心率如何？睡眠是否良好？它擅长发现数字中的模式，却无法真正“理解”故事。
2. 大语言模型（“共情倾听者”）：这就像一位博学睿智的咨询师（使用如 GPT-4o 或 Gemini 等人工智能）。它阅读照护者谈论其日常生活的访谈转录稿。它极擅长理解语调、情感以及说话内容的“氛围”，但有时会被原始数据搞得晕头转向。

三条线索（数据类型）

研究人员为这些侦探提供了三种不同类型的线索：

• 健身追踪器线索（可穿戴设备）：来自 Fitbit 的数据，如心率、步数和睡眠模式。
• 访谈线索（文本）：照护者谈论其生活的 30 分钟对话转录稿。
• 混合包（多模态）：健身追踪器数据与访谈文本的结合。

待解的三个谜团

他们试图解决三个具体问题：

1. 感知压力（PSS）：照护者此刻感到多么不堪重负？
2. 照护负担（ZBI）：责任感到多么沉重？
3. 孤独感（UCLALS）：他们感到多么孤立无援？

他们发现了什么？

1. “压力”之谜最容易破解
研究人员发现，“感知压力”最容易被预测。它就像一声响亮的警报铃；在数字（心率、睡眠）和言语（人们说自己“压力大”或“匆忙”）中都清晰可见。无论是“数据 cruncher"还是“共情倾听者”，在此处都表现良好。

2. “负担”和“孤独”之谜更为棘手
判断某人是否感到“负担沉重”或“孤独”要困难得多。

• “数据 cruncher" 在同时拥有健身追踪器数据和访谈文本时表现最佳。这就像试图用两套不同的拼图碎片来解谜；当你将它们拼合在一起时，画面便清晰了。
• “共情倾听者”（AI 聊天机器人）在仅拥有访谈文本时表现最佳。它不需要数字；它只需要听到故事。当你强迫它查看数字时，它实际上会变得有些困惑，就像一位诗人试图阅读电子表格。

3. “如何提问”至关重要（提示工程）
研究人员发现，你如何要求 AI 解决问题会改变答案。

• 如果你告诉 AI“假装你是照护者，告诉我你的感受”，其给出的答案有时与你说“假装你是一名医生，正在查看这位患者的病历”时不同。
• 事实证明，措辞指令（即“提示”）的方式就像调谐收音机；如果调得稍有偏差，信号就会出现杂音。

4. 胜者取决于任务

• Gemini 2.0 是整体最稳定、最可靠的 AI。
• GPT-4o 擅长阅读访谈文本，但在面对健身追踪器数据时却表现挣扎。
• Llama 4 尚可，但整体表现不如其他模型。

核心结论

该论文得出结论：不存在一种“万能”的 AI。

• 如果你想使用数字（如心率），你需要传统的计算机模型。
• 如果你想使用文字（如访谈转录稿），现代 AI 聊天机器人是你的最佳选择。
• 如果你想获得尽可能高的准确性，你需要结合数字和文字，但你必须使用传统计算机模型来进行这种结合，而不是聊天机器人。

本质上，研究人员发现，要理解照护者隐藏的挣扎，你需要为正确的工作配备正确的工具：用计算器处理数字，用倾听者处理故事。要将二者混合，则需要一种特定的“翻译器”（即传统模型）来使两者产生意义。

技术摘要

技术摘要：基于可穿戴设备与访谈评估阿尔茨海默病照护者的心理风险

问题陈述
阿尔茨海默病及相关痴呆症（AD/ADRD）患者的配偶照护者经常经历感知压力、照护负担和孤独感的升高，这些因素与不良的生理及心理健康结果相关。当前的评估方法严重依赖低频次的自我报告工具（例如：感知压力量表、Zarit 照护者负担访谈、UCLA 孤独感量表），这些工具可能会遗漏有意义的日常波动。虽然数字健康技术可通过可穿戴设备和访谈的语言分析提供连续监测，但在这一特定的多模态背景下，传统机器学习（ML）方法与大型语言模型（LLMs）之间尚缺乏系统性的比较。此外，不同的数据模态（源自可穿戴设备的生理/行为数据与访谈转录文本）以及提示策略如何影响这些不同心理构念的检测，目前仍不明确。

方法论
本研究利用了一个包含 32 名配偶照护者的数据集，这些照护者佩戴 Fitbit 设备七天，并完成了一次 30 分钟的半结构化访谈。

• 数据模态：
  • 可穿戴数据： 分钟级的心率和步数经过处理，提取了 104 个特征，包括睡眠指标（时长、规律性）、日常活动统计（步数、活跃/久坐时间）以及节律特征（通过 M10/L5、相对振幅和 Cosinor 建模提取的超昼夜、昼夜和亚昼夜模式）。
  • 访谈数据： 音频访谈被转录、清洗，并分割为 28 个结构化的问答单元。
• 真实标签： 参与者完成了 PSS-10、ZBI-13 和 UCLALS-3 量表，并根据既定临界值将其二值化为高风险组和低风险组。
• 评估模型：
  • 传统机器学习： 由于样本量较小（$N=32$），使用留一法交叉验证（LOOCV）训练了支持向量机（SVM）、XGBoost、随机森林和 K 近邻（KNN）。特征选择在每个折叠内执行。
  • 大型语言模型（LLMs）： 使用零样本推理评估了 Gemini 2.0、Llama 4 和 GPT-4o。
• 提示工程： 测试了两种主要视角：(1) 以照护者为中心（模型采用照护者的视角）和 (2) 以心理测量学家为中心（模型充当专家评估者）。这些视角与两种任务框架相结合：(A) 直接分类（二元输出）和 (B) 分数预测（预测量表分数然后进行阈值处理）。“知情”提示包含完整的问卷细节，而“不知情”提示仅提供临界值。
• 实验配置： 模型在三种模态设置下进行了测试：仅可穿戴、仅访谈和多模态（结合可穿戴特征和访谈文本）。

主要结果

• 按模态划分的模型性能：
  • 传统机器学习： 在多模态设置下取得了最佳性能。对于感知压力量表（PSS），多模态 TF-IDF + XGBoost 配置达到了 0.81 的准确率和 0.96 的召回率。这表明结构化生理特征补充了传统分类器的语言信息。
  • 大型语言模型（LLMs）： 在仅访谈输入下表现最强。对于 PSS，GPT-4o 在仅访谈设置下达到了 0.79 的准确率。LLMs 在仅可穿戴设置下通常表现不佳，尤其是 GPT-4o 和 Llama 4，表明在没有叙事背景的情况下，它们难以解释原始数值特征描述。
• 构念可预测性：
  • PSS（感知压力） 是所有模型和模态中最可预测的构念。
  • ZBI（照护者负担） 和 UCLALS（孤独感） 更具挑战性。在某些配置中，LLMs 在 ZBI 上的表现相对传统模型更强，但这两个构念仍比压力更难检测。
• 特征重要性（SHAP 分析）：
  • PSS： 由与时间相关的语言特征（“时间”、“长”）和活动指标（最大步数较低、最少活跃时段的活动减少）驱动。
  • ZBI： 主要与心率变异性（HRV）和节律特征（上午/下午 HRV、16 小时中值）相关，同时伴有压力相关的语言标记（“压力”、“思考”）。
  • UCLALS： 由睡眠障碍（清醒分钟数）和昼夜节律延迟驱动，同时伴有与沟通相关的语言特征（“事情”、“说”）。
• 提示工程： 提示策略显著影响了 LLM 的性能。对于 ZBI，以照护者为中心的直接分类（C C）策略产生了最高的准确率（0.81）。对于仅可穿戴输入下的 UCLALS，只有以照护者为中心的分数预测（C S）策略产生了合理的结果；其他策略均失败，这表明具有不确定性意识的推理（保留余地）更符合孤独感的主观性质。
• 模型比较： Gemini 2.0 展现了最稳定且一致的总体性能。GPT-4o 在 PSS 预测方面表现出色，但在仅可穿戴输入上表现挣扎。Llama 4 在 PSS 和 ZBI 上的表现略低，但在 UCLALS 上结果相当。

意义与主张
本文声称提供了传统机器学习和 LLMs 用于识别 AD/ADRD 照护者心理风险的系统性初步比较，强调模型选择必须与数据模态相一致。

• 互补性： 传统机器学习模型受益于生理和语言数据的融合，而 LLMs 在利用叙事访谈文本中丰富的上下文和情感线索时最为有效。
• 提示敏感性： 本研究证明，提示工程（视角和任务框架）是一个关键变量，可以显著改变 LLM 的性能，没有任何单一策略在所有量表和模态上普遍优于其他策略。
• 构念特异性： 研究结果表明，不同的心理构念在行为和语言数据中的表现形式不同；压力在模态间更具全局可检测性，而负担和孤独感则需要更具体的特征集或建模方法。
• 局限性： 作者承认小样本量（$N=32$）限制了普遍性，并指出多模态融合方法被有意设计得较为简单以保持可解释性。他们还强调，本研究侧重于二元分类，这可能过度简化了照护者的细微体验。

研究结论指出，开发用于照护者风险识别的数字健康工具需要仔细考虑计算模型、数据模态和提示策略之间的相互作用，而不是假设单一方法适用于所有心理构念。