Development of a natural language processing application to extract and categorize mentions of violence from mental healthcare records text

以下是基于该论文《Development of a natural language processing application to extract and categorize mentions of violence from mental healthcare records text》的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：暴力经历（包括身体、性、情感和经济暴力）与心理健康障碍之间存在密切的双向联系。电子健康记录（EHR）是获取此类信息的重要来源，但暴力事件通常未作为结构化数据记录，而是散落在非结构化的临床文本叙述中。
• 现有局限：
  • 既往研究多关注单一的二分类模型，忽略了标签之间的依赖关系（例如：受害者角色与特定暴力类型的关联）。
  • 现有的自然语言处理（NLP）工具在心理健康记录中主要局限于识别物理或性暴力，缺乏对情感、经济暴力的提取能力，且难以同时刻画患者的角色（受害者/施暴者）、时间性、发生场景等复杂特征。
  • 缺乏能够综合提取多种暴力类型及其多维特征（如极性、存在形式、时间背景）的综合性工具。
• 研究目标：开发一个多标签 NLP 应用程序，从南伦敦大型心理健康服务机构的 EHR 文本中提取并分类各类暴力（身体、性、情感、经济），并进一步刻画患者的角色、时间性、家庭背景、存在形式及极性。

2. 方法论 (Methodology)

2.1 数据来源与构建

• 数据源：来自南伦敦和莫兹利 NHS 基金会信托（South London and Maudsley NHS Foundation Trust）的 Maudsley CRIS 平台，覆盖约 130 万人口的心理健康数据。
• 数据收集：
  • 第一阶段：使用关键词（如 "assault", "hit", "rape" 等）检索物理和性暴力相关文本，收集 3771 条实例。
  • 第二阶段：使用特定关键词（如 "coerciv", "emotional abus", "financial abus" 等）检索情感和经济虐待相关文本，收集 3500 条实例。
  • 筛选：经过去重和初步筛选，最终获得 6,685 条潜在暴力文本片段。
• 数据标注：
  • 标注工具：Label Studio。
  • 标注流程：两名标注员经过严格培训，依据预定义的编码手册进行独立标注。
  • 标注类别：
    • 暴力类型：情感、经济、身体（非性）、性、未指定、无关。
    • 患者角色：施暴者、受害者、目击者、角色不清。
    • 极性：确认（Affirmed）、抽象/推测（Abstract）、否定（Negated）。
    • 存在形式：实际发生、威胁、不清。
    • 时间性：过去（>1 年）、非过去、不清。
    • 场景：家庭内部、非家庭、不清。
  • 数据划分：共 6,500 条标注数据。其中 90%（5,849 条）用于训练和验证，10%（651 条）作为盲测集。数据在性别、种族和年龄组上进行了平衡。

2.2 模型开发

• 模型架构：基于预训练的 BERT 模型，采用 多标签序列分类（Multi-label Sequence Classification） 架构。
• 训练策略：
  • 使用 5 折交叉验证（5-fold cross-validation）进行模型调优。
  • 超参数设置：BERT tokenizer，最大长度 256，每折训练 4 个 epoch。
  • 评估指标：AUROC 用于确定最佳 epoch，最终报告精确率（Precision）、召回率（Recall）和 F1 分数。
  • 最终模型：在全部训练数据上训练完整模型，并在盲测集上进行评估。

3. 关键贡献 (Key Contributions)

1. 多标签分类框架：首次提出并验证了能够同时处理多种暴力类型及其多维特征（角色、时间、场景等）依赖关系的 NLP 模型，克服了传统单任务二分类的局限性。
2. 扩展的暴力类型覆盖：不仅涵盖传统的身体和性暴力，还成功实现了对情感暴力和经济暴力的自动化提取，填补了心理健康记录 NLP 研究的空白。
3. 细粒度特征刻画：模型不仅能识别“是否有暴力”，还能区分患者是受害者还是施暴者，判断暴力是实际发生还是威胁，以及是否发生在家庭环境中。
4. 高质量标注数据集：构建了包含 6,500 条临床文本片段的高质量标注数据集，包含详细的标注指南和经过严格一致性检验的数据（Kappa 值 0.78-0.84）。

4. 研究结果 (Results)

4.1 标注一致性

• 双标注的一致性检验显示，Cohen's Kappa 值在 0.78 到 0.84 之间，表明标注质量高，具有实质性的一致性。

4.2 模型性能（盲测集表现）

模型在大多数任务上表现优异，但在时间性判断上存在困难：

• 暴力类型识别：
  • 情感暴力 (Emotional): F1 = 0.89
  • 经济暴力 (Financial): F1 = 0.88
  • 身体暴力 (Physical, non-sexual): F1 = 0.84
  • 未指定暴力 (Unspecified): F1 = 0.81
  • 性暴力 (Sexual): F1 = 0.68 (召回率较低，0.55)
• 患者角色：
  • 施暴者 (Perpetrator): F1 = 0.89
  • 受害者 (Victim): F1 = 0.84
  • 注：目击者 (Witness) 和多重角色因样本量过少，模型未能有效学习（F1=0）。
• 其他特征：
  • 极性：确认的暴力行为 F1 = 0.89，抽象/推测 F1 = 0.87。
  • 存在形式：实际暴力 (Actual) F1 = 0.95。
  • 场景：家庭环境 (Domestic) F1 = 0.88。
  • 时间性：表现较差，过去暴力 (Past) F1 = 0.65，主要受限于临床文本中时态的模糊性和缺乏明确的时间标记。

5. 意义与局限性 (Significance & Limitations)

意义

• 研究赋能：该工具为研究人员提供了从大规模 EHR 中结构化提取暴力暴露数据的能力，有助于深入探究暴力与特定精神疾病（如 PTSD、抑郁症）之间的关联。
• 临床与公共卫生：改进的暴力识别能力有助于提高临床记录的完整性，支持对暴力受害者的早期识别和干预，并为公共卫生层面的暴力监测提供新途径。
• 方法学创新：证明了多标签 BERT 模型在处理复杂、相互依赖的医疗文本分类任务中的有效性。

局限性

• 时间性判断困难：由于临床记录多为回顾性书写，时态模糊，导致模型难以准确判断暴力发生的具体时间（过去 vs. 现在）。
• 样本不平衡：对于“目击者”角色和“共现多种暴力类型”的样本量不足，限制了模型在这些类别上的表现。
• 真实性推断缺失：标注过程未区分“真实发生的暴力”与“患者的妄想/幻觉”，所有记录均按文本表面意思标注。这在跨诊断患病率研究中可能引入偏差。
• 单一类型标注：当前标注策略倾向于为每个片段分配单一暴力类型，未充分处理同一描述中多种暴力类型共存的情况（尽管此类情况在数据中较少见）。

总结：该研究成功开发了一个高性能的 NLP 工具，显著提升了从心理健康记录中提取和分类暴力信息的自动化水平，为未来的精神健康研究和临床实践提供了强有力的数据支持，尽管在时间性推断和罕见类别识别上仍有改进空间。