Concentration bounds on response-based vector embeddings of black-box generative models

技术摘要：基于黑盒生成模型响应的向量嵌入的集中不等式

问题陈述
生成模型（如大语言模型 LLM 和文本生成图像扩散模型）正日益普及，但通常作为黑盒运行，其内部函数形式是不可获取的。为了对这些模型集合进行统计分析和推理，研究人员需要基于用户查询的响应，将它们表示为有限维欧几里得空间中的向量。虽然存在如数据核透视空间（DKPS）嵌入等方法，通过计算模型响应的成对差异性来生成这些向量表示，但现有文献主要关注渐近一致性。目前缺乏针对有限样本场景的理论保证，特别是关于需要多少样本响应才能以特定的准确度和置信水平估计总体层面的向量表示。本文旨在解决为基于样本的向量嵌入建立高概率集中不等式的需求。

方法论
本文利用了 DKPS 嵌入框架，这是经典多维尺度缩放（MDS）的一种变体。设定涉及一组由 $n$ 个生成模型 $\{f_1, \dots, f_n\}$ 对 $m$ 个查询 $\{q_1, \dots, q_m\}$ 作出的响应。

1. 总体层面： 模型 $f_i$ 对查询 $q_j$ 的真实响应是一个随机向量 $g(f_i(q_j))$，其分布为 $F_{ij}$。总体表示由期望响应矩阵 $\mu_i$ 定义。成对总体差异性 $\Delta_{ii'}$ 通过 $\mu_i$ 与 $\mu_{i'}$ 之间差值的归一化 Frobenius 范数进行计算。这些差异性通过 MDS 嵌入到 $\mathbb{R}^d$ 中，从而得到真实的透视向量 $\psi$。
2. 样本层面： 由于真实分布未知，作者使用每个“模型-查询”对的 $r$ 个独立同分布（iid）重复样本来估计均值响应 $\bar{X}_i$。由此构建样本差异矩阵 $D$。
3. 嵌入： 样本差异矩阵经过双重中心化处理以形成 $\hat{B}$，随后应用 MDS 得到样本向量嵌入 $\hat{\psi}$。

核心理论方法涉及建立样本矩阵 $\hat{B}$ 与总体矩阵 $B$ 之间谱范数差异的集中不等式。作者依赖于特征向量的扰动界限（Davis-Kahan 定理）和特征值的扰动界限（Weyl 不等式），将差异矩阵的误差与由此产生的向量嵌入误差联系起来。

关键假设
理论结果依赖于两个主要假设：

• 假设 1（分布性）： 标准化后的拼接均值响应具有轻尾特性且条目间不相关。具体而言，标准化向量的密度与 $e^{-U(w)}$ 成比例，且其 Hessian 矩阵有下界，同时响应几乎处处有界。这可以通过大样本量下的中心极限定理以及 LLM 输出的有限 Token 特性来证明。
• 假设 2（秩）： 总体差异矩阵 $B$ 的秩为常数 $d$，且不随 $n$ 的增长而增长。这意味着真实的透视向量存在于一个固定维度的空间中。

关键结果
本文建立了向量嵌入估计误差的高概率集中界限：

1. 矩阵集中（定理 1）： 在假设 1 下，并假设响应协方差矩阵的迹由 $\Gamma$ 一致有界，则 $\|\hat{B} - B\|$ 的谱范数误差以至少 $1 - e^{-nc}$ 的概率被限制在与 $\frac{n}{\sqrt{mr}} + \frac{1}{r}$ 成比例的项内。
2. 嵌入集中（定理 2）： 在假设 1 和 2 以及信噪比条件下，存在一个正交矩阵 $W^*$，使得估计误差 $\|\hat{\psi}W^* - \psi\|$ 以高概率被限制。该界限与 $B$ 的条件数以及项 $\left(\frac{n}{\sqrt{mr}} + \frac{1}{r}\right)$ 相关。
3. 一致性条件（命题 2）： 本文提供了一个充分条件，使 $B$ 的特征值随 $n$ 线性增长（具体为 $\lambda_d(B) \geq C(d)n$）。当总体均值响应矩阵仅包含有限数量的不同成员（社区）且成员比例固定时，即可满足此条件。在这些条件下，如果重复次数 $r$ 的增长速度快于 $n^2$（即 $r = \omega(n^2)$）且 $m$ 为常数，则估计误差趋于零。

数值实验
作者通过两项实验验证了其理论界限：

• 模拟实验： 使用模拟 LLM 响应的高维随机向量，研究表明随着 $n$ 的增加（且 $r \approx n^{2.25}$），经验估计误差会减小并保持在理论上界之内。该界限在 100% 的蒙特卡洛样本中均成立。
• 真实数据分析： 使用 Google-gemma-2-2b-it 模型和 Nomic-embed-text-v2-moe 模型，作者采样了对两个特定查询的响应。在 $r \approx n^{2.75}$ 时，经验估计误差在不同 $n$ 值下始终小于理论界限，实现了 100% 的经验覆盖。

意义与主张
本文声称提供了针对黑盒生成模型基于响应的向量嵌入的第一个有限样本、高概率集中界限。其意义在于：

• 实践指导： 这些界限为确定实现特定推理任务（例如，测试两个模型是否具有相同的透视）所需的样本量 $r$ 提供了理论依据（需达到特定置信水平）。
• 权衡分析： 结果表明，不仅可以通过增加重复次数 ($r$) 来提高准确度，还可以通过增加查询次数 ($m$) 来实现，尽管论文指出 $m$ 与行向估计器质量之间的权衡仍需进一步研究。
• 非渐近基础： 通过建立这些界限，这项工作促进了在非渐近状态下的统计分析，超越了无限样本量这一不切实际的假设。
• 现实设定： 该方法在黑盒设定下运行，仅需访问模型响应，因此适用于现实世界中的专有或闭源模型。

作者谦虚地指出，关于 $B$ 的秩和特征值增长的条件是充分的，未来工作中可能会放宽该条件，以适应包含不断增加的不同模型社区的情景。他们还推测，其信噪比条件是必要的，这与现有文献中更简单设置的结论相呼应。