LLM Evaluation as Tensor Completion: Low Rank Structure and Semiparametric Efficiency

技术摘要：LLM 评估作为张量补全：低秩结构与半参数效率

问题形式化

本文探讨了通过成对人类判断（如 ARENA 等平台所示）来评估大语言模型（LLM）时所固有的统计挑战。在这种设定下，用户比较两个模型响应并选择更优的一个，从而产生具有噪声、稀疏且高度非均匀分布的数据。目前的排行榜实践通常仅报告点估计值，缺乏不确定性量化，并且未能显式地利用模型在任务、类别和上下文中的低秩结构。

作者将该问题形式化为通过成对比较观测到的低秩潜在得分张量（$T^\star$）的半参数推断问题。

• 模型： 他们采用了 Bradley-Terry-Luce (BTL) 型框架，其中模型 $a$ 胜过模型 $b$ 在上下文 $t$ 中的概率为 $\sigma(\langle T^\star, X \rangle)$，其中 $X$ 编码了成对对比特征。
• 结构： $T^\star$ 被假设具有低秩 Tucker 结构，这反映了模型性能是由少数潜在因子（例如推理、编程、多语言能力）驱动的，而非每个模型-任务对都是独立的。
• 观测： 数据由非均匀采样的成对对比产生的二元结果组成，而非直接的张量条目。
• 目标： 其目标并非完整的张量恢复，而是对平滑泛函 $\psi(T^\star)$ 进行高效估计，这些泛函可以是线性的（例如能力差距、类别得分），也可以是非线性的（例如胜率）。

方法论

本文开发了一个框架，用于在这些约束条件下构建统计高效的估计量和有效的置信区间。

1. 半参数效率理论
作者通过表征有效影响函数 (EIF) 和半参数效率界限，推导出了估计的基本极限。

• 切空间 (Tangent Space)： 他们定义了一个信号切空间 $\mathcal{T}$，该空间结合了低秩流形约束以及为了在成对模型中实现可识别性所需的线性识别约束（例如零和归一化）。
• 信息算子 (Information Operator)： 他们定义了一个由逻辑连接函数和采样分布诱导的 Fisher 信息算子 $G$。至关重要的是，他们证明了在异质对战和非均匀采样的情况下，$G$ 是各向异性的（方向相关的）。
• 效率界限： 效率界限由 $V_{\text{eff}}(\psi) = \langle P_{\mathcal{T}}\nabla\psi, A^{-1}P_{\mathcal{T}}\nabla\psi \rangle$ 给出，其中 $A = P_{\mathcal{T}} G P_{\mathcal{T}}$ 是受限信息算子，$P_{\mathcal{T}}$ 是向切空间的投影。

2. 非交换性瓶颈 (The Non-Commutativity Bottleneck)
作者识别出的一个核心技术挑战是，信息算子 $G$ 通常并不与切空间投影算子 $P_{\mathcal{T}}$ 交换。

• 在各向同性设定下（例如高斯噪声），$G$ 与单位矩阵成比例，使得求逆非常简单。
• 在成对比较中，变化的 Fisher 信息 $I(\eta) = \sigma(\eta)(1-\sigma(\eta))$ 产生了各向异性。因此，逆受限算子 $(P_{\mathcal{T}} G P_{\mathcal{T}})^{-1}$ 可能会表现出不利的条目级放大效应，从而为标准的去偏论证创造了一个与维度相关的瓶颈。这可以通过一个可能随 $\sqrt{\bar{d}}$（最大模维度的平方根）缩放的常数 $C_A$ 来量化。

3. 估计量
为了应对这些挑战，作者提出了两种主要的估计量：

• 单步去偏估计量 (One-Step Debiased Estimator)： 这是一种使用 EIF 的标准半参数方法。它需要对估计的受限信息算子进行求逆。虽然它是高效的，但其理论保证取决于 $C_A$ 的大小，当信息高度异质时，需要更大的样本量才能确保渐近正态性。
• 得分白化估计量 (Score-Whitened Estimator)： 为了克服非交换性瓶颈，作者引入了得分白化方法。通过使用局部 Fisher 信息对得分函数进行重缩放（$\tilde{s}_\eta = s_\eta / I(\eta)$），他们将有效的信息算子转化为一个各向同性的算子。这消除了对算子求逆的需求，移除了 $C_A$ 瓶颈，并产生了一个在较弱样本复杂度条件（$n \gg \bar{d} \text{polylog}(\bar{d})$）下具有稳定渐近行为的更简单的估计量。
• 逆概率加权 (IPW)： 对于非均匀采样，他们将得分白化与 IPW 相结合，以恢复各向同性，使该方法能够处理现实世界中热门模型获得不成比例之多比较的情况。

核心贡献

1. 统计形式化： 本文将 LLM 评估统一到成对比较下的低秩张量补全框架中，显式地处理了识别约束和非均匀采样问题。
2. 效率表征： 它提供了针对低秩成对比较模型的首个半参数效率界限，推导出了 EIF 和信息方程 $AH^\star = P_{\mathcal{T}}\nabla\psi$。
3. 识别出新的瓶颈： 作者识别并分析了各向异性信息算子与切空间投影算子之间的非交换性，这是异质成对数据中的一个基本障碍，而在各向同性张量补全中并不存在。
4. 得分白化解决方案： 他们引入了得分白化技术，通过使局部 Fisher 信息相等，有效地对问题进行“预处理”以恢复各向同性，从而实现无需算子求逆的高效推断。
5. 理论保证： 本文为线性及非线性泛函建立了渐近正态性和有效的方差估计，证明了所提估计量能够以最优样本复杂度规模达到半参数效率界限（或其稳健替代方案）。

结果

作者通过合成数据和真实数据实验验证了其理论：

• 初始化： 他们证明了通过谱估计和交替最小化进行的低秩初始化，结合条目级精细化，对于在稀疏机制下的准确估计至关重要，其表现显著优于逐任务的 BTL 模型。
• 渐近正态性： 模拟证实，随着样本量增加，无论是针对线性还是非线性目标（如胜率），高效估计量和得分白化估计量都能达到接近标称的覆盖率（95%）。
• 效率与稳健性： 高效估计量始终比得分白化估计量产生更小的标准误差（更高的效率），这证实了它确实瞄准了半参数界限。然而，得分白化估计量在高度异质的信息几何结构下提供了更好的稳健性和稳定性。
• 非均匀采样： 在模拟 ARENA 数据的非均匀采样实验中，结合 IPW 的得分白化方法保持了有效的覆盖率。高效估计量保留了方差优势，但需要对信息算子进行稳定的估计。
• 真实数据应用： 在应用于 ARENA 数据集（8.1万次观测，30个模型，10个类别）时，高效单步估计量产生了最窄的置信区间，且覆盖率接近 95%，优于基准方法和更为保守的得分白化方法。

意义与主张

本文声称为 LLM 评估提供了一个原则性的不确定性量化框架。通过从简单的排名转向对结构化潜在张量的半参数推断，它解决了在模型比较中对可靠置信区间的迫切需求。

作者强调，其工作弥合了张量补全理论与成对比较统计学之间的鸿沟。他们认为，标准的补全方法是不充分的，因为它们忽略了数据的二元性质、识别约束以及信息的异方差性。所提出的框架不仅限于 LLM；作者指出，该框架广泛适用于任何涉及异质信息几何、非均匀采样和 1-bit 观测的低秩推断问题。

本文谦逊地将其贡献定位为建立此类问题的理论极限并构建可行估计量，而非提出新的 LLM 架构或基准测试协议。它强调，“非交换性瓶颈”是该特定环境下的独特特征，必须通过所提出的得分白化或仔细的算子求逆策略来解决。