技术摘要：PolyAlign —— 条件化人类分布对齐

问题陈述

当前的大语言模型（LLM）后训练方法，如监督微调（SFT）和偏好优化（如 DPO），通常倾向于将模型对齐向单一的全局助手行为。虽然这种方法在提高平均帮助性方面非常有效，但它往往会抑制人类在不同语言、任务和对话场景下的自然反应多样性。标准的对齐倾向于将多样化的交互上下文坍缩为一种通用的助手风格，未能捕捉到人类如何根据特定的交互机制自然地改变其响应风格、长度、话语结构和语言使用。

本文指出需要进行条件化人类分布对齐：目标是让模型匹配适用于当前交互上下文的人类响应分布，而非优化一种通用的响应风格。

方法论：PolyAlign 框架

作者提出了 PolyAlign，一个分布感知的对齐框架，该框架通过元数据（语言、交互轨道、响应类型和长度）将双语交互数据组织成“桶”（buckets）。该框架由两个主要组件组成：

1. 桶感知监督微调 (Bucket-SFT)

标准的 SFT 经常受到桶不平衡的影响，即频繁的交互机制会主导优化过程，导致模型忽略较少见但具有独特特征的人类响应模式。

• 机制： PolyAlign 将训练数据划分为若干个桶 $B$。它为每个桶中的每个实例 $i$ 分配一个特定的权重 $e_{w_b}$，以确保宏观桶风险最小化。
• 目标： 该方法为每个桶分配相等的优化质量，无论其内部样本数量多少。损失函数公式化为：
  $$L_{\text{Bucket-SFT}}(\theta) = \frac{1}{|B|} \sum_{b \in B} \frac{1}{n_b} \sum_{i: b_i=b} \ell_i(\theta)$$
• 理论保证： 定理 1 证明了这种加权方案能精确地将监督学习转化为宏观桶风险最小化，确保每个交互机制都能获得相等的优化质量。

2. 人类分布偏好优化 (HDPO)

为了进一步精炼对齐效果，PolyAlign 引入了一种通过评论家（critic）整合分布信息的偏好优化目标。

• 桶支撑距离 (Bucket-Support Distance)： 评论家估计候选响应的特征向量 $z$ 与其特定桶的经验人类支撑区域 $\Lambda_b$ 之间的距离。如果响应位于人类支撑区域内，则距离 $D_b(z)$ 为零；随着响应偏离该区域，距离随之增加。
• 正则化： HDPO 在标准的 sigmoid-DPO 损失基础上增加了基于评论家的正则项。正则项 $R_{\text{HDPO}}$ 倾向于选择既受人类标签者青睐、又在分布上更接近目标人类桶支撑的响应。
  $$L_{\text{HDPO}}(\theta) = \frac{1}{K} \sum_{i=1}^K w_i \left( L_{\text{DPO}}^{(i)}(\theta) + \lambda_{hd} R_{\text{HDPO}}^{(i)}(\theta) \right)$$
• 对齐： 定理 3 表明，在 sigmoid-DPO 变体下，HDPO 正则项在分布上与偏好学习是对齐的：如果被选中的响应在分布上比被拒绝的响应更接近人类支撑，那么两个目标都会推动策略去增大两者之间的间距。

核心贡献

1. 形式化定义： 本文将自然主义对齐形式化为匹配适用于每个交互上下文的人类响应分布，从而捕捉跨机制的风格、长度和结构的变异。
2. 框架： 引入了 PolyAlign，它通过 Bucket-SFT（集成条件分布目标至 SFT）和 HDPO（集成条件分布目标至偏好优化）实现了这一目标。
3. 评估协议： 开发了一套双轴评估体系，衡量任务效用（如 QA-F1, ROUGE-L）和条件自然度（如分桶自然度差距 [Bucketed Naturalness Gap]、条件 MAUVE、自然度-效用前沿 [Naturalness-Utility Frontier]）。

实验结果

该框架在涵盖五种交互场景（如助手式、长文本问答、开放式聊天）的双语（英中）语料库上进行了评估，使用了紧凑型开源模型（Qwen2.5-1.5B/3B, Gemma2-2B, Llama-3.2-3B）。

• 性能对比基线： PolyAlign 一致优于 BaseLM、思维链 (CoT)、全量 SFT 和标准 DPO。
  • Bucket-SFT： 被证明是最可靠的组件，在保持任务效用的同时显著提高了分布对齐度（降低了分桶自然度差距）。例如，在 Qwen2.5-1.5B（英文）上，Bucket-SFT 将聚合得分从 0.371 (Full-SFT) 提升至 0.643，并将 BNG-macro 从 5.012 降至 0.427。
  • HDPO： 当评论家信号可靠时，提供了额外的精炼效果，特别是在自然度-效用前沿 (NUF) 和类人特性指标方面。
• 类人性 (Human-Likeness)： 与基线相比，PolyAlign 模型表现出显著更低的 AI 检测率（通过 Binoculars, Fast-DetectGPT 和 RADAR 测量），表明其具有更高的类人性。
• 稳定性： 研究发现，显式的人类支撑条件化（Bucket-SFT）比全局偏好优化（DPO）更稳定，后者往往会偏离理想的人类响应支撑，尤其是在中文数据集上。
• LLM-as-a-Judge： 评判评估确认，Bucket-SFT 在不牺牲任务正确性的情况下，提升了条件适用性和分布忠实度。

意义与主张

本文认为，后训练应当从“如何让模型在平均意义上更好”演进为“如何让模型针对特定类型的交互产生正确类型的回答”。

• 范式转变： 这项工作建议从通用对齐转向条件化、自然主义且交互感知的对齐。
• 自然变异： 通过显式建模特定交互的人类响应模式，PolyAlign 生成的响应比标准 Full-SFT 或 DPO 生成的响应更自然，且更符合情境。
• 研究范围： 作者承认这是一项初步研究，侧重于英文和中文以及紧凑型模型。他们指出，未来的工作需要在更广泛的多语言环境、更丰富的桶表示以及更大规模的模型上进行扩展。本文并不声称解决了所有的对齐问题，而是证明了显式建模人类响应分布是迈向更自然 AI 交互的必要步骤。