💬 NLP

CLSGen: A Dual-Head Fine-Tuning Framework for Joint Probabilistic Classification and Verbalized Explanation

本文提出了 CLSGen 框架，通过创新的架构、训练方法和数据构建策略，解决了大语言模型在微调时难以兼顾可靠概率估计与解释生成能力的难题，从而在提升分类性能的同时保持了模型的可解释性。

原作者： WonJin Yoon, Kangyu Zhu, Ian Bulovic, Autumn Sehy, Yanjun Gao, Dmitriy Dligach, Majid Afshar, Timothy A. Miller

发布于 2026-04-14

📖 1 分钟阅读☕ 轻松阅读

原作者： WonJin Yoon, Kangyu Zhu, Ian Bulovic, Autumn Sehy, Yanjun Gao, Dmitriy Dligach, Majid Afshar, Timothy A. Miller

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 CLSGen 的新方法，旨在解决大语言模型（LLM）在医疗等高风险领域应用时的一个核心痛点：既想要模型给出“确定的答案和概率”，又想要它保留“像人一样解释原因”的能力。

为了让你更容易理解，我们可以把大语言模型想象成一位才华横溢但有点“偏科”的超级医生。

1. 核心问题：医生“失语”了

现状：现在的超级医生（大模型）非常聪明，能写病历、能解释病情（生成文本）。但是，当我们要它给出一个“确诊概率”（比如：病人有 85% 的概率会康复）时，它往往给不出一个可靠的数字，或者给出的数字和它说的话对不上。
旧方法的失败：以前，如果想让医生学会给出具体的概率，我们会强迫它只关注“对与错”的考试（传统的分类训练）。
- 后果：这就像为了考高分，强行让医生只背标准答案，结果医生忘了怎么说话，甚至开始胡言乱语（论文中称为“语言崩溃”）。它虽然能猜对概率，但再也写不出通顺的病历或解释原因了。这就好比一个医生虽然能准确判断病情，但一开口就只会说乱码，完全无法向家属解释。

2. 解决方案：CLSGen（双头训练法）

为了解决这个问题，作者设计了一个名为 CLSGen 的新框架。我们可以把它想象成给这位医生装上了**“双头大脑”**：

左脑（分类头）：专门负责**“算概率”**。它像一个冷静的数学家，盯着数据，直接给出一个量化的判断（比如：死亡风险 0.8）。
右脑（生成头）：专门负责**“写解释”**。它像一个博学的叙述者，负责把判断的理由用通顺、易懂的语言写出来（比如：“因为病人有高血压且年龄较大，所以风险较高”）。

关键点在于：这两个“头”是同时训练、互相配合的。

在训练时，我们不仅要求它算对概率，还要求它必须写出合理的解释。
如果它算对了概率但解释不通，或者解释很通顺但概率算错了，系统都会“扣分”。
这样，模型就学会了**“既要算得准，又要说得清”**，不会因为专注算数而忘了怎么说话。

3. 数据怎么来的？（“找茬”式训练）

为了让医生学会这种“双头”技能，作者没有用现成的数据，而是自己“造”了一套教材：

他们先让另一个更强大的 AI 模型（老师）去读病历，尝试给出答案和解释。
如果老师给出的答案是对的，且解释也合理，就把它收录进教材。
如果老师乱写或者答案错了，就直接扔掉。
最后，用这套高质量的“标准答案 + 完美解释”教材，来训练我们的“双头医生”。

4. 实验结果：既准又稳

作者在真实的医疗数据集（如预测病人出院后 30 天或 90 天的生存率）上进行了测试，结果非常亮眼：

比传统方法更准：在判断病情（分类准确率）上，CLSGen 超过了那些只懂算概率的旧模型，也超过了那些只懂猜答案的“零样本”模型。
没有“失语”：它依然能写出通顺、可读性很高的解释，没有发生“语言崩溃”。
逻辑自洽：最重要的是，它给出的数字概率和文字解释是高度一致的。不会出现“嘴上说风险很低，但心里算出来风险很高”的矛盾情况。

总结

这篇论文就像是在说：我们不需要在“精准计算”和“人类沟通”之间做选择题。

通过 CLSGen 框架，我们成功训练出了既能像数学家一样给出可靠的风险概率，又能像老专家一样娓娓道来解释原因的 AI 医生。这对于医疗、法律等需要“既要有结果，又要有理由”的高风险领域来说，是一个巨大的进步。

这是一份关于论文 CLSGen: A Dual-Head Fine-Tuning Framework for Joint Probabilistic Classification and Verbalized Explanation 的详细技术总结。

1. 研究背景与问题 (Problem)

随着大语言模型（LLM）在复杂推理和长上下文处理上的进步，将其应用于临床决策、药物发现等高利害领域（High-stakes domains）成为可能。然而，在实际部署中，LLM 面临两个关键挑战：

缺乏可靠的概率估计：用户不仅需要分类结果，还需要模型对结果的置信度（概率）。
可解释性需求：用户需要模型提供“为什么”做出该决策的文本解释。

现有方法的局限性：

推理阶段（Inference-only）：通过提示词（Prompting）让模型输出概率或解释，但往往存在校准不准（Overconfidence）或计算成本高昂（如自一致性采样）的问题，且难以获得真正的量化概率。
传统微调（Traditional Fine-tuning）：若使用传统的判别式目标（如在编码器模型中常用的 Sigmoid 层 + 二元交叉熵损失）对 Decoder-only 的 LLM 进行微调，会导致灾难性遗忘（Catastrophic Forgetting）。
- 语言崩溃（Linguistic Collapse）：模型为了优化分类任务，会丧失原本的语言生成能力，输出无意义的乱码，无法生成解释。
- 不一致性：即使能生成文本，生成的解释与分类结果之间也往往缺乏逻辑一致性。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 CLSGen，这是一个专为二元分类任务设计的新型 LLM 微调框架。其核心在于联合优化分类概率估计与文本解释生成，同时保持模型的生成能力。

2.1 核心架构：双头结构 (Dual-Head Architecture)

CLSGen 基于预训练的 Decoder-only LLM，设计了两个并行的输出头：

语言模型头 (LM Head)：负责生成文本。
- 任务：生成解释（Rationale/Explanation）以及结构化的分类标签（如 "Classification: 1:death"）。
- 损失函数：因果语言建模损失 ( $\mathcal{L}_{gen}$ )，通过 Teacher Forcing 训练模型自回归地生成解释和标签。
分类头 (CLS Head)：负责直接输出概率。
- 机制：提取输入前缀最后一个 token 的隐藏状态向量 ( $h_n$ )，通过一个两层 MLP 和 Sigmoid 层直接预测二元标签的概率。
- 损失函数：二元交叉熵损失 ( $\mathcal{L}_{cls}$ )。

总损失函数：
$\mathcal{L}_{total} = \mathcal{L}_{gen} + \mathcal{L}_{cls}$
通过联合训练，两个目标共同塑造共享的表示层，确保分类头学到的特征不会破坏生成头的语言能力。

2.2 数据构建策略 (Data Construction)

为了训练该框架，作者采用了一种弱监督启发式的数据构建策略：

利用一个强大的 LLM ( $M_{data}$ ) 作为教师模型，为训练数据生成解释。
筛选机制：对每个输入样本，多次采样（ $K$ 次），仅保留那些既符合格式要求且生成的预测标签与真实标签一致的解释样本。
最终构建增强数据集 $\mathcal{T} = \{(x_i, y_i, e_i)\}$ ，其中 $e_i$ 是高质量的解释。

2.3 训练细节

使用 LoRA (Low-Rank Adaptation) 对注意力投影进行微调，同时优化 LoRA 参数和分类头参数。
输入序列包含指令、输入文档和生成前缀（如 "Reasoning:"）。

3. 关键贡献 (Key Contributions)

提出 CLSGen 框架：首个在二元分类任务中，通过双头架构同时实现可靠概率估计和高质量文本解释生成的 LLM 微调方案。
解决语言崩溃问题：通过联合训练目标，证明了在优化分类性能的同时，可以保留 LLM 核心的文本生成能力，避免了传统微调导致的“语言崩溃”。
新的评估指标：
- AUROC-Alignment：衡量分类头输出的概率与生成文本中提取的标签之间的一致性。
- Rationale-Label Inconsistency (RLI)：衡量生成解释与预测标签之间的逻辑一致性。
实证验证：在长上下文、高难度的临床基准测试中验证了方法的有效性。

4. 实验结果 (Results)

作者在 LCD Benchmark（基于 MIMIC-IV 的出院后死亡率预测，长文本）和 CliniFact（临床文献主张验证）数据集上进行了评估。

4.1 分类性能

AUROC：CLSGen 在所有数据集上均优于现有的推理阶段方法（如 Verbalized probability, Self-consistency）和传统 CNN 基线。
- 例如在 LCD 30 天任务中，CLSGen 的 AUROC 达到 0.8586，显著高于 Self-consistency (0.7455) 和 CNN (0.8582)。
F1-Score：在调整阈值后，CLSGen 也表现出竞争力，证明了其概率估计的准确性。

4.2 一致性与生成质量

分类 - 文本对齐 (CLS-Text Alignment)：
- AUROC-Alignment 分数极高（0.95 - 0.98），表明分类头输出的概率与生成文本中的标签高度一致。
- Cohen's Kappa 显示中等到实质的一致性。
逻辑一致性 (LLM-as-a-Judge)：
- RLI (不一致率) 极低：在 LCD 数据集上，99.8% 以上的可解析输出中，解释与标签逻辑一致；CliniFact 上也有 95% 以上的一致性。
- 可读性：生成的解释具有高可读性，且严格遵循格式约束（Parsable ratio > 0.97）。

4.3 对比基线

相比推理阶段方法：CLSGen 提供了更准确的概率估计（AUROC 更高）且无需多次采样，计算效率更高。
相比传统微调：CLSGen 避免了语言崩溃，成功保留了生成解释的能力。

5. 意义与影响 (Significance)

高利害决策的可靠性：在医疗等高风险领域，CLSGen 不仅给出了“是什么”（分类结果），还给出了“为什么”（解释）以及“有多确定”（概率），极大地提升了模型的可信度和可用性。
方法论创新：打破了“分类微调必然导致生成能力丧失”的固有认知，为 LLM 在需要同时具备判别能力和生成能力的场景下提供了新的微调范式。
实际应用价值：该方法特别适用于需要长上下文理解、严格格式输出以及高可解释性的临床决策支持系统（CDSS）。

总结：CLSGen 通过巧妙的双头架构和联合训练策略，成功解决了 LLM 在微调过程中“顾此失彼”的难题，实现了概率估计与文本解释的协同优化，为 LLM 在专业领域的落地应用提供了强有力的技术支撑。