💬 NLP

Text-to-Distribution Prediction with Quantile Tokens and Neighbor Context

本文提出了名为“分位词元回归”的新方法，通过在输入序列中插入专用分位词元并结合检索相似邻居实例来增强局部 grounding，从而在基于大语言模型的文本分布回归任务中实现了比现有基线更准确、更锐利的分布预测。

原作者： Yilun Zhu, Yuan Zhuang, Nikhita Vedula, Dushyanta Dhyani, Shaoyuan Xu, Moyan Li, Mohsen Bayati, Bryan Wang, Shervin Malmasi

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yilun Zhu, Yuan Zhuang, Nikhita Vedula, Dushyanta Dhyani, Shaoyuan Xu, Moyan Li, Mohsen Bayati, Bryan Wang, Shervin Malmasi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让大语言模型（LLM）变得更“聪明”的新方法，专门用来做预测任务。

想象一下，如果你问一个普通的大模型：“这栋房子值多少钱？”它可能会给你一个数字，比如"500 万”。但这其实不够准确，因为房价受很多因素影响，可能是 450 万，也可能是 550 万。

这篇论文的核心思想是：不要只猜一个数字，而是猜出整个“价格范围”的分布图。 就像天气预报不仅告诉你“明天可能下雨”，还会告诉你“下雨的概率是 30%，暴雨概率是 5%"一样。

为了做到这一点，作者提出了两个像“魔法道具”一样的创新技术：

1. 给每个“猜测”发一个专属的“特使”（Quantile Tokens）

传统的做法（像是一个忙碌的经理）：
以前的模型就像一个超级忙碌的经理。它先读完所有关于房子的信息，压缩成一张“大脑便签”（共享的隐藏状态）。然后，它让 99 个不同的“预测员”（线性头）都去读这张便签，分别猜第 1% 便宜的房子多少钱、第 50%（中位数）多少钱、第 99% 贵的房子多少钱。

问题： 所有预测员都盯着同一张便签看，信息容易混淆。而且，预测员之间没有直接交流，导致它们猜出来的价格可能很乱（比如猜 90% 分位的价格比 10% 分位还低）。

作者的新做法（像是一个专业的顾问团队）：
作者给每个预测任务（比如“猜最便宜的那 10% 的房子”）都安排了一个专属的“特使”（Quantile Token）。

怎么做： 在输入给模型的问题后面，直接贴上 99 个特使的名字（比如 Q10, Q50, Q90）。
效果： 当模型阅读时，Q10 特使会直接盯着那些暗示“便宜”的特征（比如“老房子”、“偏远”），而 Q90 特使会盯着暗示“昂贵”的特征（比如“海景”、“豪华装修”）。
比喻： 就像你请了 99 个不同的专家，每个人只负责回答一个特定的问题。他们不需要挤在同一个脑子里，而是直接针对问题寻找答案。这样，每个“分位数”的预测都更精准、更独立。

2. 带上“邻居”的经验（Retrieval-Augmented）

传统的做法（像是一个闭门造车的算命先生）：
模型只盯着你给的那段文字（比如“西雅图市中心的温馨两居室”）来猜价格。它只能靠自己在训练时死记硬背的知识，这就像一个人关在房间里猜价格，容易脱离实际。

作者的新做法（像是一个经验丰富的房产中介）：
在猜价格之前，模型会先去“翻翻邻居的账本”。

怎么做： 模型会先去数据库里找几套长得最像的房子（邻居），看看它们过去的真实成交价分布是怎样的。
效果： 如果邻居的房子都卖 400 万到 600 万，那么这套房子大概率也在这个范围。模型不仅参考了文字描述，还参考了真实的市场证据。
比喻： 就像你要买苹果，不仅看苹果长得好不好（文本描述），还会去问问旁边卖苹果的老王：“这种苹果最近一般卖多少钱？”老王告诉你：“大概 5 块到 8 块。”你的预测瞬间就靠谱多了。

3. 实验结果：小模型也能变大神

作者用这两个方法（特使 + 邻居）在两个真实数据集上做了测试：

Airbnb（民宿）： 预测民宿价格。
Stack Overflow（程序员问答）： 预测一个问题多久能有人回答。

结果非常惊人：

更准了： 预测的误差大幅降低。
更稳了： 以前模型给出的价格范围可能像“从 100 块到 100 万”一样宽泛（毫无意义），现在范围变得很窄（比如"450 万到 550 万”），而且真的覆盖了真实价格。
小模型逆袭： 即使是参数较小的模型（17 亿参数），加上这两个“外挂”后，表现甚至超过了没有这些外挂的大模型。特别是在数据比较少的情况下（比如 Stack Overflow 数据集），这种“带邻居”的方法效果提升巨大，就像给新手请了个老教练带路。

总结

这篇论文就像给大语言模型装上了**“显微镜”（特使，看清细节）和“望远镜”**（邻居，参考经验）。

它告诉我们，在预测未来（无论是房价、股票还是回答问题的时间）时，不要只盯着一个数字，也不要只靠死记硬背。通过让模型直接关注特定的预测目标，并参考相似案例的真实数据，我们可以得到既精准又可靠的概率分布预测。这对于金融、风险评估等需要“知道不确定性”的领域来说，是一个巨大的进步。

1. 研究背景与问题定义 (Problem)

核心任务： 基于大语言模型（LLM）的文本到分布预测（Text-to-Distribution Prediction）。
与传统的点估计回归（预测单个数值）不同，该任务旨在预测给定文本输入下的完整条件概率分布。这在房价预测、需求预测和风险评估等场景中至关重要，因为它们不仅关注中心趋势，还需要了解离散程度和尾部行为。

现有方法的局限性：

缺乏局部 grounding（局部依据）： 现有方法仅依赖查询文本本身，缺乏与相似实例的比较，导致分布估计缺乏局部证据支持。
表示瓶颈（Representation Bottleneck）： 现有架构（如 Vedula et al., 2025）通常将输入压缩为一个共享的隐藏状态，然后通过多个线性头分别预测不同分位数。这导致输入特征与特定分位数输出之间是间接连接，且所有分位数共享同一表示瓶颈，难以捕捉不同分位数所需的特异性信息。
监督信号不足： 传统的检索增强方法通常仅检索单个点标签，而本文需要利用完整的经验分布作为监督信号。

数据设定：
输入 $X$ 是文本序列，目标 $Y$ 是连续变量。每个输入 $X_i$ 配对多个观测结果 $Y_i = \{y_{i1}, ..., y_{iM_i}\}$ 。模型需学习从 $X$ 映射到条件分布 $F_{Y|X}$ ，具体表现为预测一组密集的分位数网格（例如 $\tau \in \{0.01, ..., 0.99\}$ ）。

2. 方法论 (Methodology)

作者提出了 Quantile Token Regression (QTR) 框架，并结合了 检索增强（Retrieval-Augmented） 技术。

2.1 分位 Token 回归 (Quantile Token Regression)

核心创新： 在输入序列末尾直接插入可学习的专用 分位 Token（ $\langle Q_{\tau_1} \rangle, ..., \langle Q_{\tau_Q} \rangle$ ）。
机制：
- 输入序列变为： $[x_1, ..., x_n, \langle Q_{\tau_1} \rangle, ..., \langle Q_{\tau_Q} \rangle]$ 。
- 这些 Token 参与 Transformer 的自注意力机制（Self-Attention）。
- 每个分位 Token 可以独立地关注输入文本的不同部分，从而积累特定分位数所需的信息。
- 最终通过共享的线性回归器从每个 Token 的隐藏状态预测对应的分位数值。
优势：
- 直接路径： 建立了从输入到每个分位输出的直接路径，避免了共享表示瓶颈。
- 可解释性： 可以通过注意力图观察每个分位 Token 关注了输入的哪些特征（例如， $Q_{10}$ 可能关注“热门标签”以预测快速响应， $Q_{90}$ 关注“复杂性”以预测长尾响应）。
- 一致性： 所有分位 Token 在同一注意力计算中联合生成，保证了预测的连贯性。

2.2 基于检索的分布估计 (Retrieval-Augmented Distribution Estimation)

策略： 对于查询文本，从候选池中检索 $K$ 个语义相似的邻居实例。
关键区别： 与以往仅检索单个标签不同，本文为每个邻居提供其完整的经验分布（表示为一组分位数）。
作用： 利用相似实例的分布证据来“落地”（Ground）预测，帮助模型更好地估计目标分布的中心趋势、离散度和尾部行为，特别是在数据稀缺或不确定性高的场景下。

2.3 损失函数与理论分析

作者分析了三种损失函数在经验分位监督下的理论性质：

$\ell_1 / \ell_2$ Wasserstein Loss (推荐)： 将插值后的经验分位数视为潜在总体分位数的噪声测量。在样本量足够大时， $\ell_1$ 和 $\ell_2$ 损失是 Fisher 一致的，能优化 Wasserstein 距离，提供最佳的精度与锐度权衡。
Pinball-Q (不推荐)： 直接对经验分位数目标应用 Pinball 损失。理论上会导致系统性偏差（Inflation/Deflation），特别是在远离中位数（ $\tau=0.5$ ）的分位上。
Pinball-Med (不推荐)： 仅使用中位数作为标量目标训练所有分位头。这会丢失分布的形状信息，导致尾部预测失效。

3. 关键贡献 (Key Contributions)

架构创新： 首次提出将专用分位 Token 插入输入序列，利用自注意力机制为每个分位数建立直接的输入 - 输出路径，解决了共享表示瓶颈问题。
检索增强新范式： 将检索增强从“点预测”扩展到“分布预测”，利用邻居的完整经验分布作为上下文，显著提升了分布估计的准确性。
理论分析： 首次对分位回归的损失函数进行了理论分析，阐明了不同目标函数优化的分布特性，证明了 Wasserstein 匹配在经验分位监督下的优越性。
实证验证： 在两个大规模基准数据集（Airbnb 房价、Stack Overflow 响应时间）上，使用 1.7B 到 14B 参数的 Qwen3 模型进行了广泛实验，证明了方法的有效性。

4. 实验结果 (Results)

实验在 Inside Airbnb（房价预测）和 StackSample（问答响应时间预测）数据集上进行。

整体性能：
- Quantile Token (QT) 结合检索（ $K=8$ ）在所有模型规模（1.7B-14B）和所有指标上均优于基线。
- 相比基线（仅查询文本 + 共享头），QT 方法显著降低了平均 MAPE（Airbnb 上降低约 4 点，StackSample 上降低 68%），并大幅收窄了预测区间（RCIW 降低 2 倍至 131 倍）。
- StackSample 表现尤为突出： 这是一个更小、更具挑战性的数据集。基线方法产生的置信区间极宽（RCIW@99 高达 $4.55 \times 10^4$ ），而 QT 方法将其收敛至 346.90，证明了该方法在处理高不确定性任务时的鲁棒性。
检索增强的影响：
- 检索邻居带来了显著收益，特别是在数据受限的场景下。在 StackSample 上，引入检索使平均 MAPE 降低了 63%。
- 这验证了“语义相似的输入具有相似的输出分布”这一假设。
损失函数对比：
- $\ell_1$ Wasserstein Loss 表现最佳，实现了最低的 MAPE 和最窄的置信区间。
- Pinball 类损失虽然 CRPSS（连续排序概率技能分数）较高，但导致了极宽的预测区间，实用性较差。
消融实验：
- 邻居数量 ( $K$ )： 增加 $K$ 能持续提升性能，但在 $K=8$ 到 $K=16$ 时收益递减，且 $K=16$ 会显著增加显存和训练时间。
- 单调性约束： 后处理排序（Post-process）在保持精度的同时有效解决了分位数交叉问题，优于训练时的累积和（Cumsum）约束。

5. 意义与结论 (Significance)

解决核心痛点： 该方法有效解决了 LLM 在分布预测中缺乏局部依据和表示瓶颈的问题，使得模型能够生成更准确、更锐利（Sharp）的概率分布。
可扩展性： 实验表明，该方法在不同规模的模型（从 1.7B 到 14B）上均有效，且在小模型或数据稀缺场景下提升尤为明显，具有极高的实用价值。
理论指导实践： 关于损失函数的理论分析为未来的分布学习研究提供了重要的指导，指出在经验分位监督下应优先选择 Wasserstein 类损失而非传统的 Pinball 损失。
应用前景： 为金融风险评估、动态定价、资源调度等需要量化不确定性的领域提供了新的技术路径。

总结： 本文通过引入“分位 Token"架构和“基于分布的检索增强”，成功将 LLM 的文本回归能力从点估计提升到了高质量的分布预测，并在理论和实验上均取得了显著突破。