技术摘要：用于文本条件回归的 LLM 流过程

问题陈述

本文探讨了将专家先验知识和非结构化文本元数据纳入回归模型（特别是时间序列预测）所面临的挑战。尽管预训练大型语言模型（LLM）通过利用隐式专家知识在少样本回归中展现出潜力，但它们存在显著局限性：

1. 误差级联：自回归 LLM（例如直接提示方法）表现出“暴露偏差”，即以其自身不完美的预测作为条件会导致误差级联，尤其是在预测跨度增加时（例如 >100 个点）。这通常导致模式崩溃为线性趋势或发散轨迹。
2. 计算效率低下：自回归采样是串行的，计算成本高昂且难以并行化。
3. 缺乏连贯性：LLM 的独立边际预测（分别预测各个点）无法捕捉局部结构相关性，导致轨迹不连贯并产生异常值。

相反，神经扩散过程（NDP）提供了连贯且可并行化的轨迹生成，并可通过合成数据在不同函数空间上进行元学习。然而，标准 NDP 缺乏一种机制来整合丰富的非结构化文本元数据（例如“蒙特利尔的每日气温”）以指导函数空间的选择。

方法论：LLM 流过程（LLM-FP）

作者提出了LLM 流过程（LLM-FP），这是一个框架，利用**专家乘积（Product-of-Experts, PoE）**方法，将 LLM 的语义条件能力与神经扩散过程的结构连贯性相结合。

核心机制

该方法将目标分布 $\pi_1(y_1|c)$ 定义为两个分布的乘积：

1. 专家（$q$）：一个基于文本提示（$c$）和上下文数据条件的 LLM 衍生分布。作者利用独立 LLM 过程（I-LLMP），其中 LLM 预测各个点的边际概率，从而分解联合分布。
2. 先验（$p_1$）：一个在合成数据（例如具有混合核的高斯过程）上训练的神经扩散过程（NDP），用于学习连贯的随机过程先验。

组合分布为：
$$\pi_1(y_1|c) \propto q(y_1|c) p_1(y_1)$$

基于卷积的无梯度采样

该技术的关键贡献是在扩散/流匹配框架内，提出了一种针对该专家乘积的无梯度、非蒙特卡洛采样方法。

• 标准方法：通常，使用外部能量或专家项引导扩散需要计算专家的梯度或使用蒙特卡洛估计，这计算量大且不稳定。
• 提出的方法：作者利用 LLM 输出是分箱概率分布（分段常数）这一事实。他们推导出了一个随时间变化的分数修正项，该修正项涉及将专家分布 $q$ 与高斯核（代表时间 $t$ 处的扩散噪声）进行卷积。
• 闭式解：由于分段常数函数与高斯函数的卷积具有闭式解（可通过标准高斯累积分布函数 $\Phi$ 表示），因此分数修正可以精确计算，无需通过 LLM 进行反向传播或使用蒙特卡洛采样。
  $$\nabla_{y_t} \log \pi_t(y_t|c) \approx s_\theta(y_t) + \nabla_{y_t} \log \tilde{q}_t(\hat{y}_{1|t}(y_t)|c)$$
  其中 $\tilde{q}_t$ 是平滑后的专家密度，$\hat{y}_{1|t}$ 是 NDP 的去噪估计。

这使得模型能够采样出既符合 NDP 学习到的局部结构，又能与 LLM 提供的文本约束相一致的轨迹。

主要贡献

1. 无梯度 PoE 采样：一种通用的采样方法，用于从扩散模型与专家分布的乘积中进行采样，其中专家分布与高斯分布的卷积具有闭式解。这避免了对专家求梯度或使用蒙特卡洛估计的需求。
2. LLM 流过程（LLM-FP）：上述方法的具体实现，将 LLM 衍生的文本条件概率与 NDP 集成。这实现了文本条件的函数空间选择，使模型能够选择或外推与自然语言描述一致的行为（例如周期性、趋势）。
3. 失败模式的实证验证：本文记录了自回归 LLM 回归的具体失败模式（误差级联、线性趋势吸引子），并证明了 LLM-FP 通过利用 NDP 的联合结构缓解了这些问题。

实验结果

作者将 LLM-FP 与三个基线进行了评估：

• NDP：无条件神经扩散过程。
• LLM-Direct：具有约束解码的自回归 LLM。
• LLM-Independent：独立边际 LLM 预测。

任务：

• 变点回归：测试对不连续性文本描述的忠实度。
• 圣地亚哥降雨量：具有季节性结构的外推。
• 周期性 + 线性趋势：合成函数的外推。
• 夏威夷莫纳罗亚 CO2：真实世界大气数据的外推。

发现：

• 连贯性与忠实度：LLM-FP 生成的轨迹既具有连贯性（如 NDP 般平滑、时间一致），又忠实于文本提示（这一点 NDP 无法做到）。
• 鲁棒性：与 LLM-Direct 不同，LLM-FP 随着预测跨度的增加（测试至 256 个点）不会遭受误差级联。它避免了自回归模型中出现的线性趋势“吸引子状态”。
• 校准：在周期性和真实世界任务中，LLM-FP 的连续排序概率分数（CRPS）和对数预测密度负值（NLPD）优于基线，表明其具有更好的校准不确定性。
• 性能权衡：在变点任务中，LLM-Direct 实现了近乎完美的单轨迹准确率（这是由于线性趋势吸引子的简单性所致），而 LLM-FP 平滑了异常值，但在该特定实例中，其尖锐不连续性的表现不如自回归基线完美。然而，LLM-FP 始终优于边际 LLM-Independent 基线。

意义与主张

本文声称，LLM-FP 提供了一种原则性的方法，将合成数据训练的随机过程先验与以语言形式表达的专家知识相结合。

• 机制：文本充当“软函数类选择器”，在不替换底层过程结构的情况下，将 NDP 先验重新加权至特定行为（例如周期性）。
• 可推广性：这种无梯度卷积方法被呈现为一个具有独立价值的工具，适用于任何允许闭式高斯卷积的专家分布（例如分段多项式、量化测量）。
• 局限性：作者指出，该方法假设 NDP 和 LLM 因子之间是独立的；如果它们高度相关，证据可能会被重复计算。此外，该方法依赖于 NDP 先验在相关函数类上分配足够的质量；如果期望的行为完全位于 NDP 支持范围之外，LLM 只能重新加权，而无法创建新的轨迹结构。

这项工作为回归模型指明了一条路径，使其在保留神经过程的校准和联合结构的同时，受益于 LLM 灵活的条件能力，从而避免了直接自回归回归的不稳定性。