Comparing LLM and Fine-Tuned Model Performance on NVDRS Circumstance Extraction with Varying Prompt Complexity

想象一下，你正在尝试解开一个由成千上万篇关于悲剧事件的手写故事组成的巨大拼图。这些故事来自警方报告和法医笔记，它们蕴含着理解人们为何自杀的关键。目标是将这些故事归类到特定的类别中，例如“家庭物质滥用”或“照护者负担”。

然而，对这些故事进行分类颇具挑战性。这不仅仅是寻找特定的词语（如“酒精”或“癌症”）。有时，故事描述的情境看似符合某个类别，但实际上并非如此；或者，它描述了某种暗示该类别但未明说的内容。这就像试图仅通过观察单帧画面来猜测电影情节；你需要理解上下文，而不仅仅是画面中的物体。

以下是该论文如何拆解这一谜题的解决方案：

1. 两种类型的“侦探”

研究人员测试了两种不同类型的 AI“侦探”来进行分类：

• “专家”（微调模型）： 想象一位熟记海量过往案例的侦探。他们在识别曾见过百万次的模式时，速度极快且准确无误。然而，一旦遇到他们从未见过的罕见、怪异案例，他们往往会陷入困境或猜错，因为他们依赖的是记忆中的模式，而非深层理解。
• “通才”（大型语言模型或 LLM）： 想象一位才华横溢的哲学家侦探。他们并未死记硬背每一个具体案例，但几乎阅读过世间万物。他们擅长理解细微差别、逻辑以及“字里行间”的含义。即使从未见过某种特定情境，他们也能推断出罕见情况的答案，但他们有时可能稍慢，或者对简单事物过度思考。

2. 问题：“罕见案例”

研究人员发现，对于常见故事（如“工作问题”或“财务问题”），“专家”表现优异。但对于罕见且复杂的故事（如“家庭物质滥用”，其涉及关于谁在使用药物以及居住在哪里的非常具体的规则），“专家”则惨败，因为它没有见过足够的例子来学习这些规则。

另一方面，“通才”在这些罕见且复杂的案例中表现出色，因为它可以利用逻辑推断答案，即使它从未见过完全相同的情景。

3. 解决方案：“复杂度评分”算法

核心问题是：我们如何知道该为哪个故事使用哪位侦探？

团队发明了一种巧妙的工具，称为复杂度评分。这就像电子游戏中的“难度计”。

• 在 AI 阅读故事之前，该算法会查看该特定类别的“规则手册”。
• 如果规则手册中包含棘手的“否”示例（例如：“即使提到酒精也不要计入，因为该人是成年人”），难度计就会上升。它知道这是一个复杂案例。
• 如果规则手册直截了当，难度计则保持低位。它知道这是一个简单案例。

4. 混合策略：“智能开关”

研究人员没有为所有事情只使用一位侦探，而是构建了一个带有智能开关的混合系统：

• 如果难度计显示“简单”： 系统将故事发送给专家（快速、基于模式匹配的模型）。
• 如果难度计显示“复杂”： 系统将故事发送给通才（LLM），并提供详细的“作弊条”（复杂的提示词），解释具体的规则和例外情况。

5. 结果

• 获胜者： 混合系统整体表现最佳。它在故事分类方面几乎完美。
• 差距： “专家”擅长处理常见事物，但在罕见事物上表现糟糕。“通才”擅长处理罕见事物，但有时会将简单事物过度复杂化。
• 魔力： 通过让“难度计”决定使用哪位侦探，他们获得了两者的最佳优势。他们发现，对于最困难、最罕见的案例，配备详细“作弊条”的“通才”具有压倒性的优势。

6. 他们的失误之处（错误）

即使拥有最好的系统，错误依然发生。研究人员发现了三个主要原因：

1. 标签错误： 有时，最初撰写故事的人在“答案键”中犯了错。AI 实际上是正确的，而人类是错误的。
2. 对词语反应过度： AI 有时看到“对峙”或“被赶出”这样的词，就假设这意味着争吵或驱逐，即使故事后来解释那只是轻微的分歧或暂时性的情况。AI 过于关注词语，而忽视了上下文。
3. 真正模棱两可的故事： 有些故事就是含糊不清。即使人类也无法 100% 确定一种内疚感究竟意味着“照护者负担”还是仅仅是“悔恨”。在这些情况下，AI 的困惑是可以理解的。

结语

该论文得出结论，我们不应只为所有任务选择一种 AI 模型。相反，我们应该构建一个像智能管理者一样的系统：它审视任务的棘手程度，然后分配正确的工具来完成任务。对于罕见且令人困惑的情况，我们需要配备详细规则手册的“哲学家”AI。对于常见且直截了当的情况，“模式匹配”专家则更快且同样有效。这种方法使得理解自杀风险因素的全过程变得更加准确和高效。