🤖 machine learning

Teaching Metric Distance to Discrete Autoregressive Language Models

本文介绍了 DIST2Loss，这是一种面向离散自回归语言模型的感知距离目标函数，它通过利用令牌间的度量关系，将传统的独热目标替换为奖励加权的分布，从而提升在视觉定位、机器人技术和图像生成等多样化任务中的数据效率与性能。

原作者： Jiwan Chung, Saejin Kim, Yongrae Jo, Jaewoo Park, Dongjun Min, Youngjae Yu

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiwan Chung, Saejin Kim, Yongrae Jo, Jaewoo Park, Dongjun Min, Youngjae Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人说话或行动。目前，大多数大型语言模型（LLM）的学习方式就像一个参加单项选择题考试的学生，其中只有一个正确答案。如果机器人猜了"4"而正确答案是"5"，老师会说：“错了！再试一次。”它将"4"和"5"视为完全不同的、无关的事物，就像它将“苹果”和“香蕉”视为无关一样。

这篇论文介绍了一种名为DIST2Loss的新教学方法。它认为，对于某些任务——如数学计算、机器人动作或围绕物体绘制方框——答案不仅仅是随机类别；它们之间存在距离。“4"非常接近"5"，但"4"与"90"相距甚远。

以下是论文如何用简单的类比来解释这一点：

1. 问题：“全有或全无”的老师

在旧方法（称为“独热目标”）中，如果机器人试图学习围绕一只猫画一个方框，而它画了一个稍小的方框，计算机会说：“完全失败。”无论方框偏离了 1 像素还是 100 像素，惩罚都是一样的。

这就像一位老师批改数学试卷，当正确答案是"5.0"而你答出"4.9"时，你得到零分，就像答出"100"一样得到零分。模型并没有学到"4.9"实际上几乎是正确的。

2. 解决方案：“奖励地图”（DIST2Loss）

作者们创造了一种给机器人评分的新方式。他们不再使用简单的“对/错”开关，而是给机器人一张奖励地图。

类比： 想象你在向靶子投掷飞镖。
- 旧方法： 如果你击中靶心，你得 10 分。如果你哪怕偏离一毫米，你得 0 分。
- DIST2Loss： 如果你击中靶心，你得 10 分。如果你偏离一毫米，你得 9.9 分。如果你偏离了一英里，你得 0 分。

模型学会了“接近”比“远离”更好。它利用数字或坐标之间的实际距离来创建一种“软”目标。如果答案是 5，模型被鼓励对 4 和 6 给予高概率，而对 1 或 10 给予较低的概率。

3. 为何这很特别：无需“试错”

通常，要教机器人理解“接近性”，你必须使用一种称为**强化学习（RL）**的方法。这就像训练一只狗：你让狗尝试某件事，看看它是否奏效，然后给它奖励或斥责。这耗时很长，过程混乱，且可能不稳定。

论文声称，DIST2Loss 是一个捷径。它从一开始就在数学上计算出“完美”的奖励地图。这就像在狗开始奔跑之前，就给它一张藏有奖励的地图。模型无需猜测并失败数千次，就能瞬间学会“距离”的概念。

4. 适用领域（论文的 experiments）

作者在四个“接近性”至关重要的特定领域测试了这种“感知距离”的教学方法：

视觉定位（寻找物体）： 当机器人被要求围绕“红色汽车”画一个方框时，DIST2Loss 帮助它画出一个在几何上更接近真实汽车的方框，即使它并不完美。
机器人技术（移动机械臂）： 当机器人需要将机械臂移动到特定坐标（x, y, z）时，DIST2Loss 帮助它更快、更准确地学习该动作，因为它理解“稍微偏离”比“严重偏离”要好。
奖励建模（评分答案）： 当模型需要评估人类答案的好坏（例如，在 1 到 10 的等级上）时，DIST2Loss 帮助它理解"9"比"1"更接近"10"，从而实现更好的评分。
图像生成： 当从文本创建图像时，模型使用“令牌”（数字构建块）。DIST2Loss 帮助它理解，将一个令牌替换为一个“邻近”的令牌，图像看起来仍然相似，而替换为一个“遥远”的令牌则会破坏图片。

核心结论

论文声称，通过简单地告诉模型“嘿，这些数字彼此很接近”，模型在处理涉及数字、坐标和测量的任务时变得更好。它使模型更高效（学习所需数据更少）且更准确，而无需复杂且不稳定的训练方法。它将一个非黑即白的对错世界，转变为一个“灰色地带”的世界，在其中“接近”也具有重要意义。

技术摘要：向离散自回归语言模型教授度量距离

问题陈述

大型语言模型（LLM）及其他离散自回归基础模型通过从词汇表中预测 token 来运行，将每个 token 视为针对单热（one-hot）目标分布优化的离散分类变量。尽管这种表述使得 LLM 能够适应视觉、机器人技术和多模态推理等多样化领域，但它从根本上忽视了 token 之间的度量关系。

在涉及数值或度量结构元素的任務中——例如算术推理中的整数、目标检测中的空间坐标、机器人操作中的旋转角度，或图像生成中的量化嵌入——当 token 被简化为单热目标时，其内在的距离结构便丢失了。常规训练忽略了预测"4"在语义上比预测"2"更接近真实值"5"这一事实。这一局限性阻碍了在距离具有意义的领域中的数据效率和性能。

方法论：DIST2Loss

作者引入了DIST2Loss（离散化距离损失，DIScreTized DISTance Loss），这是一种适用于离散自回归模型的感知距离目标函数。其核心思想是用源自预定义 token 距离的奖励加权分布，取代标准的单热目标分布。

核心公式

给定词汇子集 $V_d$ 和度量空间 $(X, d)$ ，DIST2Loss 为时间步 $t$ 处的 token $v$ 构建目标分布 $p_d(v|x, t)$ ，其中 $x$ 为真实 token。该分布使用离散指数族定义如下：

$p_d(v|x, t) = \frac{\exp\left(-\frac{d(v, x, t)}{\tau}\right)}{\sum_{v' \in V_d} \exp\left(-\frac{d(v', x, t)}{\tau}\right)}$

其中：

$d(v, x, t)$ 是候选 token $v$ 与真实值 $x$ 之间的距离（例如，坐标的欧几里得距离、旋转的角度距离，或 VQ 码的嵌入距离）。
$\tau$ 是控制分布平滑度的温度超参数。

最终训练目标将标准交叉熵损失（ $L_{CE}$ ）与基于距离的正则化相结合：
$L = L_{CE} + \alpha L_{dist}$
其中 $L_{dist}$ 是模型预测分布与感知距离目标 $p_d$ 之间的 KL 散度， $\alpha$ 用于平衡这两项。

理论解释

DIST2Loss 被解释为熵正则化策略优化的闭式解。在强化学习（RL）中，熵正则化通过防止策略过早崩溃来鼓励探索。已知最大化带熵正则化的期望奖励的最优策略与 $\exp(R(a)/\tau)$ 成正比。DIST2Loss 通过将候选 token 视为动作、将负距离视为奖励信号来实例化这一概念。与需要采样、 rollout 和迭代更新的传统 RL 不同，DIST2Loss 提供了一个稳定、无方差的解析目标分布，避免了策略梯度估计器相关的稳定性问题。

处理高维度和多 token 序列

该框架足够灵活，可以通过在其嵌入上定义距离度量（例如余弦相似度）来处理高维连续向量（如 VQ 嵌入）。对于多 token 结构化元素（如多位数字），作者指出直接应用损失会面临“信用分配问题”，即模型无法区分是哪个 token 导致了错误。为了缓解这一问题，他们提出了实用的变通方法，如对比目标增强（采样负邻居）和位值加权（按位置重要性加权损失），尽管他们的主要实验集中在奖励在 token 级别自然分解的任务上。

主要贡献

DIST2Loss 框架：一种即插即用的目标函数，将度量结构整合到离散自回归训练中，无需额外数据或显著的计算开销。
理论桥梁：建立了感知距离监督与熵正则化强化学习之间的联系，为具有已知每 token 奖励的任务提供了一种强化学习的稳定替代方案。
泛化性：证明了该方法适用于从一维标量回归到高维图像生成的多样化领域，前提是 token 具有有意义的度量。

实验结果

作者在五个不同的领域评估了 DIST2Loss，一致显示出数据效率和下游性能的提升：

合成函数回归（玩具任务）：在元学习设置中，模型仅从 1–10 个样本中学习线性回归，DIST2Loss 在平均绝对误差（MAE）和均方根误差（RMSE）方面显著优于标准 SFT 和词汇受限基线，展示了更优越的结构泛化能力。
视觉定位：在不进行目标检测预训练的情况下，对 Phi3V 在 RefCOCO/RefCOCO+/RefCOCOg 上进行微调，DIST2Loss 达到了与在大规模检测数据集上预训练的最先进模型相当的性能。值得注意的是，即使在“困难案例”中两个模型都预测了错误的对象，DIST2Loss 的预测在几何上也更接近真实值（更高的 IoU）。
机器人操作：在 VIMABench 上，DIST2Loss 提高了机器人动作生成（关节角度和坐标）的成功率。在数据稀缺 regime（1K 样本）中，增益最为显著，突显了在数据有限时度量先验的价值。
生成式奖励建模：应用于 LLM 对齐（RLHF），DIST2Loss 提高了 RewardBench 和 MT-Bench 上的奖励建模性能。带有 DIST2Loss 的生成式方法优于标准二分类器和 SFT 基线，特别是在"Chat Hard"和"Safety"领域。
图像生成：使用矢量量化（VQ）表示，DIST2Loss 增强了自回归模型（LlamaGen）中图像表示的学习，与不同模型大小和训练轮次的 SFT 基线相比，产生了更低的 FID 和更高的 IS 分数。

意义与主张

该论文主张，感知距离的监督为离散自回归模型提供了一种简单且通用的单热监督替代方案。其意义在于能够：

利用内在结构：利用许多非文本任务（坐标、数字、嵌入）中固有的度量关系，而这些关系通常被标准交叉熵所忽略。
提高数据效率：通过将归纳偏置直接编码到损失函数中，用更少的训练样本实现更好的性能。
稳定训练：为奖励对齐提供一种闭式、稳定的强化学习替代方案，避免策略梯度的采样和稳定性问题。

作者强调，当 token 具有有意义的度量（例如数值、坐标、量化嵌入）时，该方法最有效。在没有内在几何的领域，该方法自然退化为标准的单热监督。这项工作表明，对于广泛的多模态和推理任务，将度量距离纳入离散基础模型的训练是一个关键但此前未被充分利用的组成部分。