FMI@SU ToxHabits: Evaluating LLMs Performance on Toxic Habit Extraction in Spanish Clinical Texts

以下是基于论文《FMI@SU ToxHabits: Evaluating LLMs Performance on Toxic Habit Extraction in Spanish Clinical Texts》的详细技术总结：

1. 问题背景 (Problem)

• 核心任务：在西班牙语的未结构化临床文本（如病例报告和出院摘要）中，识别与“有毒习惯”（Toxic Habits）相关的命名实体（Named Entities, NER）。
• 具体挑战：
  • 数据特性：临床数据中约 80% 是非结构化的，处理难度大。
  • 任务定义：属于 BioCreative IX 研讨会中的 ToxHabits 共享任务。本文主要关注子任务 1，即检测药物滥用提及（Trigger Phrases），并将其分类为四类：烟草 (Tobacco)、酒精 (Alcohol)、大麻 (Cannabis) 和药物 (Drug)。
  • 语言障碍：主要面向西班牙语临床文本，而非英语，这对通用模型提出了挑战。
  • 边界界定：LLM 在识别实体边界（Start/End indices）方面往往不够精确，容易包含额外的上下文信息（如剂量、频率、否定词等）。

2. 方法论 (Methodology)

研究团队提出了一种基于大语言模型 (LLM) 和上下文学习 (In-Context Learning) 的提取方法，主要步骤如下：

• 模型选择：经过初步实验（测试了 GPT-4o, GPT-4.1, GPT-4.5 preview），确定 GPT-4.1 表现最佳。
• 提示工程 (Prompting)：
  • Few-Shot Learning：相比 Zero-shot，Few-shot 策略显著提升了性能。
  • 示例采样：从训练集中随机抽取 5 个示例（5-shot）作为上下文输入，以平衡性能与 Token 成本。
  • 结构化输出：利用模型的指令遵循能力，要求模型按类别（烟草、酒精等）提取包含有毒习惯的短语。
• 文本预处理：将病例报告按双换行符分割成较短的段落，因为实验发现较短的输入文本能提高实体检索的准确率。
• 后处理策略：
  • 重叠处理：如果提取的短语在原文中有重叠，选择较短的跨度（因为标注数据倾向于较短的实体）。
  • 提示优化：使用 DsPy 库进行提示优化。
    • 尝试了 kNN Few-shot（基于语义相似性选择示例），但因时间限制未完全实施。
    • 使用 MIPROv2 优化器对提示进行自动优化。
    • 人工优化：最终通过人工调整提示（增加最大 Token 限制至 16,000，调整 Temperature 为 1），在验证集上进一步提升了约 1% 的 F1 分数。
• 基线对比：
  • 字典基线（基于训练集构建的词典）。
  • 微调模型：西班牙语临床 RoBERTa (BERT-based)。

3. 关键贡献 (Key Contributions)

1. LLM 在西班牙语临床 NER 中的评估：系统评估了不同 LLM（特别是 GPT-4.1）在西班牙语临床文本中识别有毒习惯实体的能力，证明了 Few-shot 提示的有效性。
2. 提示优化与工程实践：展示了如何通过 DsPy 库结合自动优化（MIPROv2）和人工提示调整，显著提升 LLM 在特定医疗领域的表现。
3. 细粒度评估指标：除了传统的 Precision/Recall/F1，还引入了 GC (Gold Contained) 和 GCT (Gold Contained with correct Type) 指标，评估模型提取的实体是否“包含”了黄金标准实体，即使边界不完全匹配。这揭示了 LLM 虽然边界不精确，但往往能覆盖核心语义。
4. 错误分析：深入分析了 LLM 的主要错误来源（主要是实体边界过长，包含了否定词或属性信息），并提出了未来通过后处理修正边界的思路。

4. 实验结果 (Results)

• 验证集 (Dev Set) 表现：
  • GPT-4.1 Few-shot (人工优化提示) 取得了最佳效果：Precision 0.5938, Recall 0.7242, F1 0.6526。
  • 相比 Zero-shot，Few-shot 提升了约 6% 的 F1 分数。
  • 相比字典基线，提升了约 2% 的 F1 分数。
  • 虽然微调的 Spanish Clinical RoBERTa 在验证集上表现更好 (F1 0.7909)，但 LLM 方法展示了无需大量标注数据微调的潜力。
• 测试集 (Test Set) 最终成绩：
  • 提交的最佳模型（GPT-4.1 Few-shot）在测试集上达到了 F1 0.65。
  • 召回率 (Recall)：字典基线最高 (0.87)，但精确率 (Precision) 较低。
  • 组合策略失败：尝试将字典方法与 LLM 结合，反而导致性能下降，说明简单的融合策略并不总是有效。
• 部分匹配分析：
  • 在 GC 指标上，GPT-4.1 Zero-shot 表现优异 (0.8308)，说明模型提取的文本往往包含了正确的实体，只是边界稍宽。
  • GPT-4.5 preview 在实体类型分类上表现较差。

5. 意义与未来展望 (Significance & Future Work)

• 多语言临床 NER 的潜力：证明了 LLM 在处理非英语（西班牙语）临床文本时的有效性，特别是利用少量示例（Few-shot）即可进行任务适配，降低了数据标注成本。
• 边界修正的重要性：研究指出 LLM 的主要短板在于实体边界界定（常包含否定词或属性）。未来的工作应集中在后处理步骤，专门用于修正实体边界，以提高精确匹配率。
• 联合任务探索：建议未来将“触发词提取”与“属性分类”（如剂量、频率、状态）合并为一个联合任务，利用 LLM 的生成能力一次性完成，而非分步处理。
• 示例选择优化：未来可探索基于语义相似度的 kNN Few-shot 策略，以选择更高质量的示例，进一步提升性能。

总结：该论文展示了一种基于 GPT-4.1 和 Few-shot 提示工程的解决方案，在西班牙语临床文本的有毒习惯实体识别任务中取得了具有竞争力的结果（F1 0.65）。尽管在精确边界识别上不如微调的 BERT 模型，但其灵活性、多语言支持能力以及在低资源场景下的潜力，使其成为临床信息提取领域的重要研究方向。