💬 NLP

Controlling Distributional Bias in Multi-Round LLM Generation via KL-Optimized Fine-Tuning

该论文针对现有大语言模型在多次生成中难以控制输出分布（如性别、种族和情绪）的问题，提出了一种结合 steering token 校准与语义对齐的混合微调框架，通过 KL 散度和 Kahneman-Tversky 优化实现了精准的分布控制。

原作者： Yanbei Jiang, Amr Keleg, Ryandito Diandaru, Jey Han Lau, Lea Frermann, Biaoyan Fang, Fajri Koto

发布于 2026-04-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Yanbei Jiang, Amr Keleg, Ryandito Diandaru, Jey Han Lau, Lea Frermann, Biaoyan Fang, Fajri Koto

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣且重要的问题：当大型语言模型（LLM）被反复提问时，它的回答分布是否公平、准确？如果不够好，我们该如何修正它？

为了让你轻松理解，我们可以把这篇论文的研究比作**“训练一个超级厨师”**。

1. 问题的核心：厨师的“刻板印象”

想象你有一家餐厅，雇佣了一位非常聪明的厨师（这就是大语言模型）。

场景：你每天让这位厨师做 100 次“护士”的故事。
现实世界：在现实中，护士既有男性也有女性，比例大概是 1:9（男少女多）。
厨师的毛病：
- 如果你只是简单地问：“讲个护士的故事”，这位厨师可能会因为受过去数据的影响，99 次都讲女护士，只有1 次讲男护士。
- 或者，如果你想让他讲一个“男女比例 50:50"的公平故事，他可能完全听不懂，依然只讲女护士。

这就叫**“分布偏差”（Distributional Bias）。现在的模型就像这个厨师，它虽然能写出好故事，但它在反复生成**时，无法精准控制“男女比例”、“种族比例”或“情感色彩”是否符合你的要求（无论是符合现实统计，还是符合某种公平的理想状态）。

2. 现有的方法为什么不行？

论文里测试了两种老办法，发现都不管用：

提示词工程（Prompt Engineering）：就像你给厨师写张纸条：“请确保 50% 是男护士”。厨师看了纸条，可能还是老样子，或者只偶尔听一次，无法稳定控制。
直接偏好优化（DPO）：这就像你给厨师看两个故事，告诉他“这个好，那个坏”。但这通常会让厨师只学会写一种“最完美”的故事（比如只写男护士，或者只写女护士），而不是学会控制比例。它太“死板”了，无法处理概率分布。

3. 作者的新方法：给厨师装上“双控旋钮”

为了解决这个问题，作者发明了一套新的训练方法，叫**"KL 优化的微调”。我们可以把它想象成给厨师装上了两个精密的旋钮**：

旋钮 A：概率校准（KL Loss）—— 设定“目标比例”

作用：这个旋钮负责宏观控制。
比喻：就像在厨房门口挂了一个电子计数器。如果你设定目标是"30% 男护士，70% 女护士”，这个旋钮会强迫厨师在开始做菜前，先在心里（概率层面）确认：“好，今天我要按 3:7 的比例来选食材”。
技术点：它引入了特殊的“引导词”（Steering Tokens，比如用"0"代表男，"1"代表女），并强制模型生成这些词的概率必须严格符合你设定的目标分布。

旋钮 B：语义对齐（KTO Loss）—— 确保“名副其实”

作用：这个旋钮负责微观内容。
比喻：光有计数器不行，万一厨师心里想的是“男护士”，结果端上来一盘“女护士”的汤怎么办？这个旋钮负责检查。它确保：如果厨师选了"0"（男），他写出来的故事里必须真的有个男护士；如果选了"1"（女），故事里就必须是女护士。
技术点：它使用了一种叫 KTO 的算法，确保模型生成的文字内容（语义）和它刚才选的那个“引导词”是逻辑一致的，不会出现“挂羊头卖狗肉”的情况。

4. 实验结果：效果显著

作者把这套方法用在不同的模型（如 Qwen, Llama）和不同的任务（如职业性别、种族、情感）上，发现：

旧方法：就像让厨师凭感觉瞎猜，偏差很大。
新方法：就像给厨师装上了智能导航系统。无论你想让他生成“符合现实统计”的数据（比如美国建筑工人多为男性），还是“完全公平”的数据（男女各半），他都能精准控制。
数据表现：在衡量偏差的指标（MAE）上，新方法比现有的最好方法还要好 30% 以上。

5. 为什么这很重要？

这不仅仅是为了“政治正确”，它有两个实际用途：

还原真相：如果你想让 AI 模拟真实世界的统计数据（比如“美国 2024 年护士的性别比例”），它能帮你生成准确的数据，而不是被刻板印象带偏。
主动纠偏：如果你想让 AI 生成教育材料，要求“男女完全平等”，它能帮你打破现实中的偏见，生成一个理想中的公平世界。

总结

这篇论文就像是在教 AI 如何**“既懂大局，又顾细节”**：

大局：它能精准控制生成的比例（比如 30% 男，70% 女）。
细节：它能保证生成的内容真的符合这个比例。

通过这种“双管齐下”的训练，我们终于可以让 AI 不再是一个只会随大流、有刻板印象的“老古董”，而是一个能听从指挥、精准控制输出分布的“智能助手”。

这是一篇关于控制大语言模型（LLM）多轮生成分布偏差的学术论文的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心问题：现有的 LLM 评估通常基于单次推理（Single-round inference），但在现实世界应用中，LLM 往往需要被重复提示（Multi-round generation）。研究发现，当 LLM 被重复提示时，其输出在属性（如性别、种族、情感）上的分布往往偏离目标分布（例如现实世界的统计数据或用户指定的均匀分布）。这种现象被称为分布偏差（Distributional Bias）。
现有方法的局限性：
- 提示工程（Prompt Engineering）：无论是显式指定比例（如“生成 90% 男性”）还是隐式要求（如“遵循现实统计”），都无法可靠地控制多轮生成的整体分布。
- 标准对齐技术（如 DPO）：直接偏好优化（DPO）倾向于让模型收敛到“单一最佳响应”（Mode-seeking），这破坏了分布对齐的目标，导致在多轮生成中分布控制失效（例如，DPO 在均匀分布任务中往往导致 MAE 高达 0.5，即完全偏向某一类）。
- 监督微调（IFT）：虽然比零样本（Zero-shot）有所改善，但无法精确匹配复杂的分布目标。
目标：开发一种方法，使 LLM 在多次独立生成中，其属性输出的经验分布能够精确匹配用户指定的目标分布（ $P^*$ ），同时保持语义质量。

2. 方法论 (Methodology)

作者提出了一种名为**KL 优化微调（KL-Optimized Fine-Tuning）的新框架，核心思想是将引导词校准（Steering Token Calibration）与语义对齐（Semantic Alignment）**相结合。

2.1 核心组件

引导词（Steering Tokens, $S$ ）：
- 引入一组特殊的 Token（如 $\tau_1, \tau_2...$ ），每个 Token 对应一个属性类别（如“男性”、“女性”）。
- 这些 Token 被添加到模型词表中，作为生成响应的“前缀”或“意图指示器”。
双阶段优化目标（Hybrid Objective）：
训练目标函数由两部分组成： $L_{total} = L_{KL} + L_{KTO}$
- KL 散度校准损失 ( $L_{KL}$ )：
  - 目的：强制模型生成特定引导词的概率分布与目标分布 $P^*$ 对齐。
  - 机制：计算模型在提示后生成引导词的概率分布 $P_\theta(\tau|x)$ 与目标分布 $P^*$ 之间的 KL 散度。
  - 作用：作为“宏观控制器”，确保模型在统计层面上“意图”正确。
- Kahneman-Tversky 优化损失 ( $L_{KTO}$ )：
  - 目的：确保生成文本的语义内容与选定的引导词一致（例如，选择了“女性”引导词，后续文本必须描述女性）。
  - 机制：基于 KTO（Ethayarajh et al., 2024），它不依赖成对比较，而是为单个样本定义价值函数。
    - 可接受序列 ( $y_w$ )：引导词 + 符合该属性的文本。
    - 拒绝序列 ( $y_l$ )：错误的引导词 + 对应文本。
  - 作用：作为“微观控制器”，强化引导词与语义内容之间的逻辑绑定，防止模型“口是心非”。

2.2 数据构建流程

基础数据集生成：根据目标分布 $P^*$ 生成 $N$ 个响应，确保每个属性的数量严格符合统计要求。
偏好对构建：
- 接受样本：将正确的引导词拼接到原始响应前。
- 拒绝样本：从剩余属性中均匀采样一个错误属性，生成对应的拒绝序列，以提供对比信号。

2.3 推理策略

在推理阶段采用两步生成：

Token 采样：根据训练好的模型，从引导词集合中采样一个 Token $\hat{\tau}$ （此时其概率分布已接近 $P^*$ ）。
响应生成：将采样到的 Token 拼接到提示词后，自回归生成后续文本。

3. 关键贡献 (Key Contributions)

问题发现：首次系统性地揭示了现有 LLM 及标准对齐技术（包括 DPO）在多轮生成场景下无法有效控制属性分布的问题，并量化了这种分布偏差。
数据集构建：创建了包含英国和美国职业背景的大规模分布感知偏好数据集，涵盖性别、种族和情感三个属性，包括“现实世界统计”和“均匀分布”两种设定。
创新方法：提出了结合 KL 散度（用于分布校准）和 KTO（用于语义一致性）的混合微调框架。该方法解决了传统偏好优化方法倾向于收敛到单一模式的问题。
实证验证：在 6 个数据集和 4 种不同规模的模型（Qwen, Llama）上进行了广泛实验，证明了该方法在控制分布方面的显著优势。

4. 实验结果 (Results)

主要指标：使用平均绝对误差（MAE）衡量生成分布与目标分布的偏差。
性能对比：
- 零样本（Zero-shot）：MAE 较高，且往往放大现实世界的刻板印象（如将护士过度关联为女性）。
- 提示工程（PE）：效果不佳，无法精确控制比例。
- DPO：在分布控制任务中表现灾难性，特别是在均匀分布任务中，MAE 常达到 0.5（完全偏向某一方）。
- IFT：表现中等，优于零样本但远不如本文方法。
- 本文方法（Ours）：在所有设置下均取得最低 MAE。例如，在 Qwen2.5-7B 模型上，平均 MAE 从 IFT 的 0.135 降低至 0.085（相对提升 37%）。
消融实验：
- 移除 $L_{KL}$ 导致性能大幅下降，证明引导词校准是分布匹配的基础。
- 移除 $L_{KTO}$ 性能次之，说明语义绑定同样重要。
- 将 $L_{KTO}$ 替换为标准 DPO 会导致结果不稳定，再次证明 KTO 在处理分布约束时的优越性。
泛化能力：
- 跨职业泛化：在 UK 数据上训练，在 US 数据（未见过的职业）上测试，方法依然有效。
- 长文本生成：在故事生成任务中，虽然难度增加，但该方法在情感（Sentiment）控制上表现优异，在性别控制上也优于基线。
通用能力：微调后的模型在 MMLU、GSM8K 等通用基准测试上能力未受明显损害。

5. 意义与影响 (Significance)

理论价值：填补了 LLM 在“多轮生成分布控制”领域的空白，区分了“单次生成质量”与“多次生成分布统计”的不同优化目标。
应用价值：
- 去偏见（Debiasing）：提供了一种有效手段，使 LLM 在生成内容时能够打破刻板印象，实现用户指定的公平分布（如教育材料中的性别平等）。
- 真实性模拟：允许 LLM 在需要反映现实世界统计特征的任务中（如医疗诊断辅助、人口统计模拟）生成符合真实分布的数据。
技术启示：证明了将“概率分布校准”（KL Loss）与“语义偏好优化”（KTO）解耦并协同训练，是解决 LLM 分布控制难题的有效路径。

总结：该论文提出了一种通过引入引导词并结合 KL 散度与 KTO 损失函数的微调框架，成功解决了 LLM 在多轮生成中难以控制属性分布的问题。实验表明，该方法在保持模型通用能力的同时，能显著降低分布偏差，为构建更公平、可控的生成式 AI 系统提供了新的技术路线。