技术摘要：Conf-Gen：生成模型的共形不确定性量化

问题陈述

人工智能领域的最新突破，特别是在无监督生成模型（如大型语言模型 LLM 和图像生成器）方面，已将研究重心从传统的监督学习转移。然而，不确定性量化（UQ）仍然是这些生成系统面临的关键挑战，阻碍了它们在医疗和科学发现等高利害领域的部署。

尽管共形预测（CP）和共形风险控制（CRC）为监督学习中的 UQ 提供了严格且分布无关的框架，但它们并不直接适用于生成任务。现有的将共形思想应用于生成模型的尝试通常高度特定于任务，依赖于限制性假设（如效用函数的严格单调性），并且仅限于集合值输出。此外，当前的实现通常需要真实标签（ground truth labels）和可调用（callable）的效用函数，而这些在开放式生成场景中并不总是可用。

方法论：Conf-Gen 框架

作者提出了Conf-Gen（共形生成），这是一个通用的框架，它在放宽 CRC 理论假设的同时，将其适配到生成任务中。Conf-Gen 统一了以往特定于任务的尝试，并将共形方法扩展到新的领域，包括序列以及超越简单集合的结构化输出。

核心组件

该框架在校准数据集 $G_{:n} = \{(X^{(i)}, Y^{(i)}, Y^{(i)}_{GT})\}_{i=1}^n$ 上运行，其中 $X$ 是输入，$Y$ 是生成序列，$Y_{GT}$ 是可选的真实标签。它由三个主要组件组成：

1. 选择函数（$C_\lambda$）： 一个由参数 $\lambda$ 索引的、可能具有随机性的函数族 $C_\lambda: \mathcal{X} \times \mathcal{Y}^* \to \mathcal{S}$。与传统 CP 输出集合不同，$\mathcal{S}$ 可以是序列（$\mathcal{Y}^*$）或其他结构化输出。直观地说，较大的 $\lambda$ 值会产生更保守的输出（例如，更短的序列或更严格的子集），从而实现更高的可接受性（admissibility）。
2. 可接受性函数（$A$）： 一个函数 $A: \mathcal{X} \times \mathcal{S} \times \mathcal{Y}_{GT} \to [0, \infty)$，它推广了 CRC 中的效用函数。它衡量所选输出的质量。关键在于，$A$ 不需要是一个可调用函数；它可以由人工评估定义，或者在真实标签未定义的情况下通过特定程序定义。
3. 校准： 该方法寻找一个阈值 $\hat{\lambda}$，使得校准数据集上的平均可接受性达到目标 $\gamma$。形式上，$\hat{\lambda} = \inf \{ \lambda \in \Lambda : \bar{A}_n(\lambda) \ge \frac{n+1}{n}\gamma \}$。

理论贡献

Conf-Gen 引入了一个**$\gamma$-合理（$\gamma$-sensible）**的实例定义，放宽了 CRC 的假设：

• 放宽的单调性： 与 CRC 要求可接受性函数几乎必然非递减（严格要求）不同，Conf-Gen 仅要求映射 $\lambda \mapsto \mathbb{E}[A^{(n+1)}(\lambda) \mid \hat{\lambda}, \lambda^*]$ 在条件期望下是非递减的。这允许了 $\lambda$ 与可接受性之间的关系在每次实现中并非严格单调，但在期望意义上成立的情景。
• 广义输出空间： 该框架支持集合之外的输出（例如序列），使得选择答案子序列或动作子集等应用成为可能。
• 无需真实标签： 该框架并不严格要求每个实例都有定义良好的真实标签 $Y_{GT}$，从而适应了那些可接受性由人工评估或语义一致性决定的开放式任务。

计算效率

该论文确定了使 Conf-Gen 在计算上可行的设计模式：

• 基于分数的选择： 通过基于分配给单个元素的分数来定义 $C_\lambda$（例如，选择满足 $S_\downarrow(x, y_t) \le \lambda$ 的元素），选择函数的像变为有限集，从而允许即使在 $\Lambda$ 无限的情况下也能进行高效校准。
• 实例级分解： 如果可接受性函数可以分解为实例级分数的聚合（例如 $A = \text{agg}(A'_1, \dots, A'_T)$），则可以通过对所有生成元素评估一次 $A'$ 来执行校准，从而将评估与 $\lambda$ 的选择解耦。
• 部分生成： 在许多情况下，一旦满足选择标准，系统可以提前停止生成序列，从而节省计算资源。

主要贡献

1. 框架： 提出了 Conf-Gen，这是一个针对生成模型的严格 UQ 框架，将 CRC 推广到序列和结构化输出。
2. 理论： 将 CRC 的单调性假设从“几乎必然”条件放宽为“条件期望”条件，扩大了其在严格单调性不成立的任务中的适用性。
3. 软件： 提供了一个灵活的 Python 包（conf-gen），支持在各种配置下的高效校准和推理。
4. 实证验证： 展示了该框架在新颖任务中的多功能性，在 LLM 问答任务中优于最先进基线，并为多个新应用领域建立了首个共形保证。

实验结果

作者在多样化任务上验证了 Conf-Gen，结果表明它既满足共形保证（经验可接受性 $\ge \gamma$），又保持了实际效用（与基线相比，序列更短或输出质量更高）。

• 开放域问答： 在 TriviaQA 数据集上，Conf-Gen 生成的答案序列比基线（Quach 等人，2024）更短，同时保持了相同的覆盖率保证，从而减少了所需的 LLM 调用次数。
• 非记忆化图像生成： 应用于 Stable Diffusion，Conf-Gen 选择那些经人工评估验证为“非记忆化”（即不是训练数据的副本）的图像，并保证概率为 $\gamma$。这解决了生成模型相关的版权风险。
• 对话 AI： 该框架确保聊天机器人在回答之前提出足够多的澄清问题以消除歧义。结果显示了一种权衡：较高的 $\gamma$ 会导致更多的澄清，但系统不会默认询问最大可能数量的问题。
• 智能体 AI： 对于基于网络的任务（WebVoyager 数据集），Conf-Gen 保证所选的智能体轨迹序列中至少包含一个成功的解决方案，概率为 $\gamma$。
• 随机森林： 该框架被应用于监督学习，通过从随机森林中选择一组树来保证最小数量的正确预测，展示了该方法超越生成模型的通用性。

意义与主张

论文声称，Conf-Gen 代表了生成模型不确定性量化改进的重要一步。通过放宽 CRC 的理论假设，它使得共形保证能够应用于更广泛的生成任务，包括那些没有真实标签或严格单调性的任务。

作者强调，他们的工作为新颖的共形应用奠定了基础，例如确保生成的图像未被记忆化，以及验证 AI 智能体是否提出了足够的澄清问题。他们认为，这些改进可以提高 AI 系统的可靠性，促进其在安全关键应用中的部署。论文对社会影响保持了适度的语气，承认虽然 UQ 可以提高可靠性，但也可能潜在地增强恶意应用，但预计净影响将是积极的。

这项工作并不声称解决了所有 UQ 挑战，而是提供了一个灵活的、有理论依据的框架，统一了现有方法，并为生成 AI 时代严格的 uncertainty 控制开辟了新的途径。