📈 economics

The Partial Testimony of Logs: Evaluation of Language Model Generation under Confounded Model Choice

本文提出并评估了一个三源框架，该框架将小型随机实验与离线模拟器相结合，以识别并纠正大规模观测性语言模型日志中固有的选择偏差，从而实现对模型性能的有效因果比较。

原作者： Jikai Jin, Vasilis Syrgkanis

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Jikai Jin, Vasilis Syrgkanis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你试图找出三位厨师中谁做的汤最好。你有一本来自繁忙餐厅的庞大客户评论笔记本（即观测日志，或OBS）。然而，有一个陷阱：客户并非随机选择厨师。他们是根据自己的心情、饥饿程度或过往经历，挑选了他们认为最好的厨师。

如果你只是阅读这本笔记本，你可能会认为 A 厨师最好，因为选择 A 厨师的人本来就心情愉快，对一切都喜爱有加。但也许 B 厨师实际上更好；他们只是服务了那些太疲惫而无法欣赏汤味的暴躁顾客。这就是混淆：人们选择厨师的原因与他们喜欢食物的程度混杂在了一起。

为了解决这个问题，你可以进行一项小型、严格的实验，强制客户随机选择一位厨师（即随机化实验，或EXP）。这将给你一个公平、无偏的味觉测试。但运行这项实验既昂贵又会让客户感到烦恼，所以你只能进行几次。

本文提出了一种巧妙的三部分策略，利用“厨房模拟器”作为桥梁，以兼得两者的优势。

三种要素

大笔记本（OBS）： 一大堆现实世界的评论。它是有偏的，但拥有大量数据。
小公平测试（EXP）： 一小堆评论，其中客户被强制随机选择。它是无偏的，但非常小。
厨房模拟器（SIM）： 一个可以重新烹饪汤的机器人。如果你告诉它"A 厨师为这位特定顾客做了这碗汤”，机器人可以立即生成即使顾客从未实际点过，A 厨师的汤本会呈现的样子。

重大发现：“魔法技巧”

本文的主要发现是一个数学证明（定理 1），指出：你不需要大笔记本就能找出谁才是真正的最佳厨师。

这就是魔法技巧：

模拟器可以向展示任何厨师为任何顾客会做出什么汤。
小公平测试确切地告诉你，在那少数几次随机情况下，汤有多好。

通过结合这两者，你可以从数学上计算出每位厨师的真实技艺。大笔记本（OBS）不需要用来证明谁更好；它仅在后来的阶段被需要，以使你的估计更精确（减少答案中的“噪声”）。

可以这样想：模拟器和小型公平测试给了你真相。大笔记本只是一把放大镜，帮助你更清晰地看到真相，但它本身并不创造真相。

混合要素的六种方法

一旦知道真相是可以恢复的，本文便提出：“我们如何利用大笔记本来帮助我们，而不被其偏差所误导？”他们测试了六种不同的数据混合“配方”（估计量）：

纯实验者（仅 EXP）： 完全忽略大笔记本，仅使用小型公平测试。
- 优点： 完全无偏。
- 缺点： 如果公平测试太小，结果会非常不稳定（高方差）。
笔记本阅读者（仅 OBS）： 忽略公平测试，只阅读大笔记本。
- 优点： 数值非常稳定。
- 缺点： 由于偏差而完全错误（低方差，高偏差）。
翻译者（表示 -EXP）： 利用大笔记本学习客户喜好的“语言”，然后利用小型公平测试在该语言中学习实际评分。
- 优点： 如果笔记本的“语言”捕捉到了正确的细节，效果很好。
- 缺点： 如果笔记本遗漏了重要细节，则会失败。
基于根基的修正者（Grounded）： 从“笔记本阅读者”的答案开始，然后利用小型公平测试来“修正”错误。
- 优点： 如果笔记本大体正确但存在微小的系统性误差，效果极佳。
混合者（CVCI）： 将笔记本和公平测试混合在一起，根据哪种组合在小型公平测试中表现最佳来调整混合比例。
- 优点： 通常是最平衡的方法。
残差混合者（CVCI-Residual）： 类似于混合者，但首先利用笔记本去除问题的“简单”部分，然后利用公平测试来修正剩余的“困难”部分。

实验结果

作者在两项现实世界任务上测试了这些配方：新闻文章摘要和修复计算机代码。

没有“放之四海而皆准”的方案： 没有单一的赢家。哪种配方效果最好取决于两件事：
1. 你有多少数据？ 如果你拥有的公平测试数据很少，你需要 heavily 依赖笔记本（但要小心）。如果你拥有大量公平测试数据，你可以更容易地忽略笔记本的偏差。
2. 你在测量什么？
  - 在摘要任务中，“混合者”（CVCI）通常表现最好。它完美地平衡了海量的笔记本数据与小型公平测试。
  - 在代码任务中，结果取决于“成功”的定义。如果成功意味着“代码是否修复了 bug？”，基于笔记本的方法更好。如果成功意味着“代码风格是否优美？”，则另一种方法（表示-EXP）效果更好。

核心结论

当你使用现实世界日志评估 AI 模型时，不能仅仅因为人们基于隐藏因素选择模型就信任这些数字。

本文证明，如果你拥有模拟器（用于重新生成输出）和小型随机化测试（用于获取公平评分），你就可以从数学上找到模型的真实性能。海量的有偏现实世界日志有助于微调答案，但它不是解锁真相的关键。关键在于模拟器与随机化实验的结合。

技术摘要：日志的部分证言：在模型选择受混淆影响下的语言模型生成评估

问题陈述

语言模型（LLM）的离线评估日益依赖于真实世界部署中收集的用法日志、偏好数据和裁判标注。然而，当模型选择由用户驱动时，这些日志会受到混淆的影响：影响用户选择哪个模型的相同未观测用户侧因素（ $U$ ），也会影响对该模型输出的评判。因此，对日志分数的原始比较混合了自选择的子群体，而非估计一个共同的因果感兴趣量。

虽然随机实验（EXP）可以通过覆盖模型选择来打破这种偏差，但在实践中它们往往稀缺、成本高昂且具有破坏性。关于将大量有偏观测样本与少量随机样本相结合的现有文献，通常假设在两者中均观测到了单元级结果。在 LLM 评估中，“结果”（生成的文本）必须首先为候选模型重新生成，然后才能进行评分，这增加了一层复杂性，即即使在随机样本中，目标结果也未被直接观测到。

方法论：三源设计

本文提出了一种三源设计来解决这一挑战，将问题分解为识别（恢复因果值）和估计（减少误差）。

数据来源

观测日志（OBS）： 一个包含自选择模型选择、上下文、输出和结果的大型数据集。它提供了规模和辅助监督，但存在混淆。
随机实验（EXP）： 一个小型数据集，其中模型选择是随机的，为已实现的输出提供无混淆的结果标签。
离线模拟器（SIM）： 一种机制，通过在缓存的上下文中重放候选模型，为任何模型生成反事实输出（中介变量），无论原始选择如何。

因果结构与假设

该框架使用因果图对系统进行建模，包含观测上下文（ $X$ ）、潜在用户状态（ $U$ ）、选定模型（ $A$ ）、生成输出（ $M$ ）和结果（ $Y$ ）。关键假设包括：

A1（随机化）： 在 EXP 中， $A \perp U | X$ 。
A2（SIM 有效性）： 模拟器准确匹配干预中介分布 $P(M | X, do(A=a))$。
A3（结果一致性）： 条件结果律 $P(Y | X, M, U)$ 在 OBS、EXP 和干预世界中是不变的。
A4（无潜在中介混淆）： 在给定 $(X, A)$ 的条件下， $U \perp M$ 。这将框架限制为单轮、无状态生成。
A5（上下文对齐）： 目标上下文分布与 EXP 上下文分布相匹配。

识别定理

本文的中心理论结果（定理 1）确立了SIM 和 EXP 联合足以识别因果模型值，使得 OBS 对于识别变得不必要。

随机实验识别了无偏评分规则 $r^*(x, m) = E[Y | X=x, M=m, EXP]$ 。
模拟器提供了干预中介分布 $p_{sim}(m | x, a)$ 。
因果值通过对模拟中介分布积分评分规则来恢复：
$q(x, a) = E_{M \sim p_{sim}(\cdot|x,a)}[r^*(x, M)]$
$\mu(a) = E_{X}[q(X, a)]$
观测日志（OBS）仅在识别之后进入，以提高统计效率（减少方差），而非用于验证因果比较。

估计量族

一旦目标被识别，本文评估了六种估计量族，它们在利用 OBS 减少估计误差的方式上有所不同：

仅 EXP： 仅使用随机结果拟合奖励模型。无偏但在 EXP 较小时方差较高。
仅 OBS： 在日志结果上拟合奖励模型。方差低但继承了混淆偏差。
表示-EXP： 使用 OBS 辅助标签学习低维代理表示 $\psi$ ，然后在 EXP 数据上基于 $\psi$ 拟合奖励头。
基于基础（Grounded）： 从 OBS 训练的基线预测器 $f_{OBS}$ 开始，并在代理空间中利用 EXP 学习修正项。
CVCI（交叉验证因果推断）： 直接合并 OBS 和 EXP 回归问题，通过在 EXP 上进行因果交叉验证选择合并权重 $\lambda$ 。
CVCI-残差： 将目标围绕 OBS 基线进行残差化（ $Y - f_{OBS}$ ），并在代理空间中合并残差拟合。

实证结果

作者在受控的半合成验证以及两个真实任务缓存基准（CNN/DailyMail 上的摘要和 SWE-bench Verified 上的代码）中评估了这些估计量。

无普遍主导： 没有单一估计量族在所有情况下都占主导地位。性能高度依赖于无偏 EXP 监督的数量以及观测结构与目标奖励之间的对齐程度。
摘要基准：
- CVCI 在 48 种设置中实现了最佳平均排名和最低超额遗憾。
- 增加 EXP 预算（ $n_{EXP}$ ）显著改善了基于 EXP 的估计量，而在平滑奖励映射下，增加 OBS 预算（ $n_{OBS}$ ）的回报递减。
- 当奖励映射被“锐化”（非线性）时，代理表示与目标之间的对齐度下降，导致基于表示的方法性能下降。
代码基准：
- 排名根据奖励定义的变化而转移。当奖励优先考虑“补丁质量”（辅助特征）时，表示-EXP 表现具有竞争力。
- 当奖励优先考虑“真实修复成功”（一个未被辅助补丁统计量很好捕捉的二元结果）时，基于 OBS 的族（仅 OBS、CVCI）超越了表示-EXP。
- 这突显了 OBS 衍生代理的效用取决于它们是否保留了与特定目标奖励相关的信号。

意义与主张

本文声称提供了一个严格的离线 LLM 评估框架，该框架承认观测数据的局限性，同时不丢弃其规模。

识别与估计： 主要贡献是将识别（由 SIM+EXP 解决）与估计（OBS 在此发挥作用）在理论上分离开来。这阐明了 OBS 无法修复因果偏差；它只能在偏差通过随机化和模拟消除后，用于减少方差。
实践指导： 实证结果表明，估计量的选择应受“目标对齐”诊断的指导。如果观测数据的结构（例如辅助标签）与目标奖励对齐良好，混合方法（如 CVCI 或基于基础的方法）是有效的。如果目标依赖于观测代理中不存在的信号（例如，真实修复成功与补丁质量），则 OBS 辅助方法可能无法优于纯随机基线。
范围： 作者谦逊地指出，这些结论适用于一次性缓存评估设置。该框架假设单轮生成（假设 A4），尚未解决多轮交互设置或超出缓存目标的更广泛人群层面的不确定性。

总之，本文认为，虽然大型日志对于规模而言很有价值，但仅靠它们不足以进行因果评估。结合模拟器的少量随机实验是有效识别的最低要求，而观测数据则作为方差减少工具，其有效性取决于数据与评估目标之间的特定对齐关系。