💬 NLP

FOCUS: Decoupling Expert Personas in LLMs to Enhance Domain Expert Capabilities

本文提出了 FOCUS，一种通过正交分解和自适应门控机制将大语言模型中的特定领域专家角色进行解耦的方法，旨在解决跨领域耦合问题，并显著提升医疗和金融等高风险领域的任务准确率。

原作者： Guanyu Wang, Zidi Zhang, Xu Chu

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Guanyu Wang, Zidi Zhang, Xu Chu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人朋友，它几乎无所不知。它可以给你讲笑话，解释汽车引擎的工作原理，甚至还能背诵诗歌。但棘手的地方在于，有时当你问它严肃的问题时，它会搞不清自己“应该是谁”。如果你向它寻求医疗建议，它可能会不小心开始表现得像个鲁莽的股票交易员，采取巨大的风险而不是保持谨慎。如果你问它关于法律的问题，它可能会变得过于谨慎，从而错过一个精明的机会。这是因为机器人的“大脑”把它的各种不同人格混成了一个巨大的、纠缠在一起的乱团。科学家们称这些为“人格（personas）”——即机器人根据不同工作而表现出的不同方式。大问题在于：我们如何解开这些乱团，让机器人能够在谨慎的医生、大胆的交易员和敏锐的律师之间自由切换，而不至于混淆？

这正是研究人员正在用一种名为 FOCUS 的新方法解决的问题。把机器人的大脑想象成一座巨大的图书馆，其中的每一本书都代表一种不同的技能。目前，这些书都乱七八糟地堆叠在一起。如果你试图抽取出“医学”这本书，你会不小心把“金融”书也一起拽出来，造成一片混乱。研究人员发现，仅仅告诉机器人“做一个医生”是不够的，因为那堆乱七八糟的堆叠依然存在。相反，他们制造了一个特殊的工具来完美地分离这些书。他们将“医学”书和“金融”书进行切割，使它们完全独立。然后，他们添加了一位聪明的图书管理员（称为“门控模块”），这位管理员会观察你的问题，并决定究竟要抽取哪本书，或者在问题很复杂时，甚至结合哪两本书。

论文指出，通过使用一种叫做“正交分解（orthogonal decomposition）”的数学技巧（这只是一个高级说法，意思就是“把书切开使它们互不重叠”），我们可以清理机器人的不同人格。他们在三个非常不同的领域进行了测试：金钱（金融）、规则（法律）和健康（医学）。他们发现，当使用这种新方法时，机器人在回答问题时的准确性大大提高。例如，在医学测试中，机器人不再给出交易员可能会给出的冒险答案；在金融测试中，它不再因为过于胆怯而无法进行经过计算的风险尝试。研究人员还发现，他们必须分两步教导机器人：首先，要让它成为某个领域的完美专家；其次，要教它如何在需要两者兼顾时混合这些专业知识。如果没有这个两步走的训练过程，机器人又会变得困惑。

结果表明，这种“FOCUS”方法比仅仅礼貌地要求机器人改变人格，或者仅仅在更多数据上进行训练效果更好。在涉及股票价格、法律合同和医疗诊断的测试中，使用 FOCUS 的机器人比那些仅仅被告知“要做专家”的其他机器人得分更高。研究人员非常确定这一点，因为他们使用了真实世界的数据集进行测试，甚至检查了机器人大脑内部的情况，以确认它确实选择了适合工作的“人格”。他们甚至发现，如果把人格的“音量”调得太高，机器人就会开始犯错，因此他们必须找到恰到好处的平衡点。最终，这篇论文表明，我们不需要为每项工作都造一个新机器人；我们只需要学会如何解开现有的机器人，并教会它如何正确地切换身份。

技术摘要：FOCUS（通过正交控制实现解耦人格）

问题陈述
大语言模型（LLMs）具备展现多样化人格的能力，并且激活特定的“专家人格”已被证明可以增强其在数学推理和医疗等特定领域任务中的表现。然而，现有的控制人格的方法往往受到**跨领域耦合（cross-domain coupling）**的影响。由于 LLMs 是在混合数据上训练的，不同专家人格（例如医疗、法律、金融）的内部表示并不独立。这种耦合会导致行为冲突：为某一领域优化的角色可能会在另一领域表现出不良特征。例如，一个“激进”的金融交易人格，如果被误激活到医疗场景中，可能会导致过度自信、高风险的响应，从而危及患者安全。反之，医疗人格过度的谨慎可能会阻碍金融交易中对风险敏感型推理的支持。包括基于提示词激活和简单向量转向在内的现有方法，都无法解耦这些相互冲突的行为因素，导致性能不稳定且领域对齐不纯。

方法论
为了解决这些局排限制，作者提出了 FOCUS，这是一个旨在通过三个步骤解耦并控制特定领域专家人格的框架：

专家人格向量提取：
作者首先构建了一个自动化流水线，用于从 LLM 的残差流（residual stream）中提取人格向量。通过对比系统提示词（使用正向提示词诱发专家行为 vs. 使用负向提示词抑制专家行为）以及领域特定的问答对，他们计算了正向响应集与负向响应集之间平均激活向量的差异。这产生了通用专家（ $v_g$ ）以及特定领域（金融 $v_f$ 、法律 $v_l$ 和医疗 $v_m$ ）的候选向量。
正交分解（解耦）：
为了消除跨领域干扰，该方法应用了 Gram-Schmidt 正交化。通用专家向量 $v_g$ 被归一化以作为正交基。随后，每个领域特定向量被投影到该基上，并减去其投影分量。这一过程移除了“通用专家”以及共享的跨领域成分，从而得到了一组解耦的正交人格向量（ $q_g, q_f, q_l, q_m$ ），它们代表了纯粹的领域专业性。
带有专家门控的两阶段训练：
在 Transformer 的前馈网络（FFN）子层之后插入了一个轻量级的专家门控模块。该模块由一个两层 MLP 和一个 Softmax 函数组成，根据输入上下文动态计算权重（ $\alpha$ ），以组合解耦的人格向量。训练遵循两阶段策略：
- 第一阶段（单领域对齐）： 模型在单领域数据集上进行微调，并使用门控选择正则项。该损失项鼓励门控权重变得稀疏（对于正确的领域趋近于 1，对于其他领域趋近于 0），确保模型学会为单领域任务激活特定的专家向量。
- 第二阶段（跨领域泛化）： 模型在包含单领域和跨领域样本的混合数据集上进行微调。此时移除正则项，允许模型学习自适应的权重组合，以处理需要多种专家视角的复杂任务，而无需显式的选择约束。

核心贡献

识别了耦合不稳定性： 本文指出，由于需求冲突（例如：谨慎 vs. 冒险），耦合的专家人格会导致领域任务中的性能不稳定和行为冲突。
FOCUS 框架： 提出了一种结合正交分解（用于解耦人格向量）与门控选择机制（用于自适应激活）的新颖框架。
性能提升： 证明了 FOCUS 提高了金融、法律和医疗领域的回答准确性，以及在跨领域场景下的表现，优于现有的角色控制方法和标准的监督微调（SFT）。

实验结果
实验在包括股票预测（金融）、LegalBench（法律）、专业医学（MedQA/MMLU）以及跨领域数据集（MedEthicsQA, CUAD）在内的基准测试上进行。

准确率： FOCUS 一致优于基准模型，包括基于提示词的转向、推理时转向以及标准 SFT。值得注意的是，它超越了数个依赖大规模领域特定训练数据的领域特定模型（如 Finance-Chat, Law-Chat）。
跨领域能力： 在跨领域任务中，FOCUS 在所有对比方法中取得了最佳结果，证明了其有效组合多个人格向量（例如，结合医疗和法律推理）的能力。
消融研究：
- 解耦： 去除正交解耦步骤会导致性能持续下降，证实了原始提取的向量包含干扰成分。
- 两阶段训练： 去除第一阶段（稀疏性）或第二阶段（适应性）都会降低性能，表明专注的单领域激活与灵活的跨领域组合缺一不可。
- 门控强度 ( $\gamma$ )： 发现了一个最优缩放因子（ $\gamma=2$ ）；数值过低则无法注入人格特征，而数值过高则会导致“人格过度强化”，从而造成泛化能力的丧失。

意义
本文声称 FOCUS 为 LLM 的高效领域适配提供了一种新途径。通过显式地解耦和控制内部专家表示，它解决了由跨领域耦合引起的稳定性问题，且无需进行大规模的领域特定数据重训。结果表明，通过对人格向量进行结构化控制，模型可以在保持高纯度领域推理的同时，保留处理复杂、多维度任务的灵活性，这为提高高风险领域中 LLM 的可靠性提供了一个极具前景的方向。

技术摘要：FOCUS（通过正交控制实现解耦人格）

类似论文