技术摘要：具有异质性人类策展的自我消耗生成模型的收敛性与稳定性分析

问题陈述

本文研究了**自我消耗生成模型（self-consuming generative models）**的理论稳定性与收敛性。在这种模型中，模型通过迭代方式在真实数据与其先前生成的合成输出的混合物上进行重训练。虽然这类“策展并重训练”的循环是现代对齐流水线（如 RLHF、DPO）的核心，但现有的理论框架通常依赖于理想化的假设：同质、无噪声的人类偏好以及对“最佳”候选者的确定性选择。

作者识别了先前研究（特别是 Ferbach 等人，2024 年）中的两个关键空白：

1. 异质性（Heterogeneity）： 现实世界的策展涉及具有多样化偏好和随机噪声的评分者，而先前的模型往往忽略了这一点。
2. 正则化（Regularization）： 实际系统经常将策展后的合成数据与固定的参考分布（例如初始预训练模型或真实数据）进行混合，以防止崩溃。然而，这些混合数据机制的收敛性和鲁棒性属性尚未得到严格建立，尤其是在异质性偏好下。

本文研究了由候选池大小 ($K$) 和参考分布混合权重 ($\alpha$) 定义的四种机制下的渐近行为。

方法论

模型设置

作者将一个离散时间动力系统形式化，在该系统中，在每一轮 $t$：

1. 生成： 模型 $p_t$ 生成 $K$ 个独立同分布（i.i.d.）的候选样本 $X_{1:K}$。
2. 策展： 一个异质的人类策展者基于**随机效用模型（random-utility model）**选择一个候选者 $\hat{X}$。候选者 $x_k$ 的效用为 $\tilde{w}_k = \exp(r(x_k) + \varepsilon_k(x_k))$，其中 $r$ 是奖励函数，$\varepsilon_k$ 代表异质性偏好噪声（捕捉了评分者之间的差异以及评分者内部的随机性）。选择遵循 Plackett–Luce 规则：
   $$P(I=k | x_{1:K}, \varepsilon_{1:K}) = \frac{\tilde{w}_k}{\sum_{j=1}^K \tilde{w}_j}$$
3. 更新： 新的分布 $p_{t+1}$ 通过最大化一个将策展样本分布与权重为 $\alpha \in [0, 1)$ 的固定参考分布 $p_{\text{ref}}$ 进行混合的对数似然目标函数来导出。

四种机制

分析涵盖了四种不同的设定：

• 机制 (i)： $\alpha = 0$（纯合成），$K < \infty$（有限池）。
• 机制 (ii)： $\alpha = 0$（纯合成），$K = \infty$（无限池/平均场极限）。
• 机制 (iii)： $\alpha \in (0, 1)$（混合），$K < \infty$。
• 机制 (iv)： $\alpha \in (0, 1)$（混合），$K = \infty$。

分析工具

• 闭式动力学（Closed-Form Dynamics）： 作者推导了所有四种机制下的精确群体级更新规则，刻画了将当前分布映射到下一个分布的“选择核（choice kernel）”。
• 收缩映射（机制 iii）： 对于具有混合机制的有限池，作者在全变差（TV）度量下利用 Banach 不动点定理。他们确立了更新算子为收缩映射的条件。
• 非线性 Perron–Frobenius 理论（机制 iv）： 对于具有混合机制的无限池，TV 度量无法显示收缩性。相反，作者采用 Hilbert 射影度量和非线性 Perron–Frobenius 理论来证明其收敛至唯一的固定点。
• 稳定性分析： 本文评估了系统对有界奖励扰动 ($\Delta r$) 的敏感性，以确定重训练轨迹是否保持在未受扰动的路径附近。

核心贡献

1. 异质评分者模型： 本文通过引入随机效用模型，将自我消耗框架推广到包含评分者间异质性和评分者内噪声的情况，超越了先前工作中确定性、同质策展者的假设。
2. 闭式动力学： 推导了针对有限和无限候选池、以及有无参考混合情况下的精确群体更新公式。
3. 收敛保证：
   • 纯合成（$\alpha=0$）： 证明其在 Kullback–Leibler (KL) 散度意义下收敛至支持集在最大期望指数奖励上的分布。
   • 混合有限池（$\alpha > 0, K < \infty$）： 证明只要混合权重满足 $\alpha > \frac{K-1}{K}$，则在 TV 距离下实现几何收敛。
   • 混合无限池（$\alpha > 0, K = \infty$）： 证明其在 Hilbert 射影度量下收敛至一个显式的固定点，这是一个比 KL 或 TV 收敛更强的结果。
4. 稳定性与鲁棒性：
   • 证明了纯合成重训练（$\alpha=0$）在任意小的有界奖励扰动下都是不稳定的；其极限分布可能会完全转移到另一个支持集。
   • 证明了正则化重训练（$\alpha > 0$）在有界扰动下是 Lipschitz 稳定的（或在极限意义下稳定），前提是混合权重足够。

结果

收敛性

• 机制 (i) & (ii)： 分布序列 $\{p_t\}$ 收敛至 $p^*$，其中 $p^*$ 是初始分布 $p_0$ 在最大化期望指数奖励 $Q(x)$ 的点集上的限制。收敛在期望奖励上是单调的，并在 KL 散度意义下发生。
• 机制 (iii)： 如果 $\alpha > \frac{K-1}{K}$，更新算子在 TV 距离下是一个收缩映射，收缩率为 $\rho = K(1-\alpha)$。这保证了唯一固定点和几何收敛。
• 机制 (iv)： 在满足假设 A3（关于 $\alpha$ 相对于奖励景观的条件）的情况下，动力学在 Hilbert 射影度量下收敛至唯一的固定点 $p^*$。该度量比 TV 和 KL 更强，意味着它也蕴含了在这些度量下的收敛性。

稳定性

• 纯循环的不稳定性： 在机制 (i) 和 (ii) 中，作者构造了一个反例，表明奖励函数的微小扰动会导致极限分布从集合 $A$ 转移到不相交的集合 $A_{\Delta r}$，从而导致 TV 距离为 1。
• 正则化循环的稳定性： 在机制 (iii) 和 (iv) 中，参考分布 $p_{\text{ref}}$ 的存在起到了稳定器的作用。作者证明了扰动轨迹与未扰动轨迹之间的距离由与扰动量 $\|\Delta r\|_\infty$ 成比例的项所界定。这确立了超对齐（superalignment）（即奖励提升 + 轨迹稳定性）。

意义与主张

本文声称提供了第一个针对异质性人类偏好和参考混合下的自我消耗生成模型的严格收敛性与稳定性分析。

• 理论进展： 它通过放宽对同质、无噪声策展者的假设，并建立了混合数据场景下的收敛性，扩展了 Ferbach 等人 (2024) 的工作，而这些场景在之前是开放性问题。
• 实践洞察： 分析强调，参考混合不仅是一种启发式方法，更是稳定性的理论必要条件。如果没有混合（$\alpha=0$），系统在面对奖励误设时是脆弱的。通过充分的混合，系统可以实现鲁棒性和几何收敛。
• 方法论创新： 将非线性 Perron–Frobenius 理论和 Hilbert 射影度量应用于生成模型重训练动力学，为研究非收缩、非线性群体更新提供了一种新的分析工具箱。

作者对未来的工作保持了谦逊的态度，指出在机制 (iii) 中刻画固定点的显式形式仍是一个开放问题，且在临界阈值处的收敛速率的精确性仍需进一步研究。他们还指出，其结果可以直接推广到条件生成模型。