技术摘要：测试时个性化：针对扩展失效的诊断框架与概率修正方案

1. 问题陈述

当前大语言模型（LLM）个性化的方法主要集中在构建更好的个性化模型（通过微调或对齐）或更好的输入（通过提示），将推理视为单次生成过程。虽然扩展测试时计算已被证明对推理任务有效，但其在个性化领域的应用仍未得到充分探索。具体而言，扩展策略模型本身这一维度——即从个性化策略生成$N$个候选项，并通过个性化奖励模型选择最佳项——尚未得到严格研究。

本文解决的核心问题是：这种“测试时个性化”（TTP）方法能否可靠地提升性能。初步观察表明，标准奖励模型（包括全局模型和用户特定模型）未能实现 TTP 的理论潜力，其表现往往不优于随机选择。本文旨在诊断这些标准模型失效的原因，并提出一种实现稳定扩展的方法。

2. 方法论

2.1 理论基础：神谕扩展律

作者首先确立了 TTP 的理论上限。假设采样响应的真实奖励服从亚高斯分布，他们证明“神谕”选择器（即拥有访问真实偏好函数权限的选择器）产生的期望效用随候选项数量$N$呈对数增长：
$$\bar{U}_{oracle}(N) \leq \bar{\mu} + \bar{\sigma} \cdot c \sqrt{\ln N}$$
这表明，即使策略较弱，只要存在完美的选择器，也能产生高质量的输出。

2.2 诊断框架：统一扩展律

为了解释为何标准奖励模型无法接近这一神谕界限，作者推导出了统一扩展律，将 Best-of-$N$效用曲线分解为四个可测量量：

1. 崩溃率（$\alpha$）： 奖励模型产生近乎恒定预测（与真实奖励相关性低）的用户比例。
2. 奖励黑客率（$\beta$）： 奖励模型预测与真实质量呈负相关的查询比例。
3. 有效相关性： 非黑客查询上的正相关与黑客查询上的负相关的加权平均值。
4. 基础方差（$\bar{\sigma}$）： 策略输出质量的固有多样性。

统一律认为，群体层面的效用近似为：
$$\bar{U}(N) \approx \bar{\mu} + (1 - \alpha) \cdot [(1 - \beta)\bar{\rho}_+ - \beta|\bar{\rho}_-|] \cdot \bar{\sigma} \cdot c \sqrt{\ln N}$$
该框架识别出两种截然不同的失效模式：

• 用户级崩溃： 模型对特定用户（通常是真实标签方差较低的用户）退化为恒定预测。
• 查询级奖励黑客： 模型学习到虚假模式，导致特定查询出现负相关。

2.3 proposed 解决方案：概率个性化奖励模型

在诊断框架的指导下，作者提出了一种概率个性化奖励模型。该模型不预测单一确定性分数，而是为每个候选项预测均值（$\mu$）和方差（$\sigma^2$）。

• 训练目标： 模型使用高斯负对数似然（NLL）损失结合对比边界损失进行训练。
• 机制：
  • 梯度缓冲： 对于真实奖励难以预测（易发生崩溃）的输入，学习到的方差$\sigma^2$会增加。这会减弱相对于均值的梯度幅度，防止模型退化为恒定预测。
  • 隐式正则化： 对于信号不一致的查询，模型会学习到高方差，从而在训练过程中有效地降低这些样本的权重。这防止了对导致奖励黑客的虚假模式过拟合。
• 推理： 候选项的选择仅基于预测均值$\mu$；方差仅在训练期间用于稳定学习。

3. 主要贡献

1. 测试时个性化（TTP）范式： 引入 TTP 作为个性化的新维度，通过在推理时扩展策略模型计算，而非仅依赖训练时适应。
2. 诊断框架与扩展律： 推导出一项统一扩展律，能够从四个可测量量（$\alpha, \beta, \bar{\rho}_+, \bar{\rho}_-$）预测 Best-of-$N$性能。该框架成功诊断出两种失效模式（用户级崩溃和查询级奖励黑客），解释了为何标准奖励模型无法扩展。
3. 概率奖励建模： 提出了一种概率奖励模型，通过学习方差缓解这两种失效模式，从而在多种任务和策略类型上实现单调扩展。

4. 实验结果

该框架在来自 LaMP 和 LongLaMP 基准的五个个性化文本生成任务（新闻标题、学术标题、摘要、产品评论、主题写作）上进行了评估。

• 扩展性能： 概率用户奖励模型是唯一在所有任务中均表现出一致、单调扩展的方法。在$N=30$时，它恢复了随机选择与神谕上限之间差距的 51% 至 84%。它始终优于基于训练的基线（每用户 LoRA 微调）和标准确定性奖励模型。
• 扩展律验证： 基于统一扩展律推导出的理论预测与观察到的经验曲线高度吻合，在所有任务和奖励模型变体上的相对平均绝对误差（relMAE）均小于 3%。
• 失效模式缓解：
  • 概率模型将用户级崩溃率（$\alpha$）从确定性模型的约 15% 降低至 0%。
  • 它将查询级奖励黑客率（$\beta$）从约 25% 降低至约 6%。
  • 分析表明，学习到的方差与预测误差高度相关，证实了模型识别并降低不可靠信号权重的能力。
• 策略正交性： 这种增益在不同策略家族（RAG、角色提示以及角色+RAG）中均成立，证实了 TTP 是一种由奖励模型质量决定的、与策略正交的放大器。

5. 意义与主张

本文主张，只要构建出有效的奖励模型，测试时个性化就提供了一条超越传统基于训练方法的性能提升途径。其主要意义在于诊断框架，该框架超越了经验性的试错，为解释为何标准个性化扩展失效提供了理论依据。

作者断言，他们的概率方法是唯一能同时实现高基础相关性、低崩溃率和低黑客率的设计。他们强调，虽然方差头对于训练稳定性（通过梯度缓冲和隐式正则化）至关重要，但它并不用于推理时的选择，这使他们的方法与在其他对齐语境中使用的不确定性感知推理策略区分开来。

该工作对其范围保持谦逊，指出其专注于基于 ROUGE 衍生奖励的文本生成任务，并假设每个用户有足够的数据用于训练。它承认冷启动场景和非文本模态仍是未解决的挑战，并建议该诊断框架可在未来工作中扩展到其他测试时扩展维度（例如扩展用户交互或奖励模型推理）。