Does Slightly Mean Somewhat? Measuring Vague Intensity Words in LLM Numeric Actions

技术摘要：测量大语言模型中模糊强度词在数值行动中的表现

问题陈述
随着语言模型（LLM）日益被嵌入智能体和自然语言控制系统中，它们必须将模糊的人类指令（例如“略微增加”、“大幅减少”）转化为具有下游后果的精确数值行动。尽管先前的研究已确立人类在模糊表达中保持序数排名，且大语言模型对措辞敏感，但在受控环境中，模型如何将强度修饰语映射到具体数值输出方面仍存在理解空白。具体而言，当模型被迫选择一个单一数值时，其是否保持强度词的假设序数结构、上下文（系统状态）如何影响这种映射，以及模型在操作可行性边界附近的行为表现，尚未得到充分测量。

方法论
本研究采用合成且受限的资源分配环境，以隔离从语言到行动的转换过程。

• 实验设置：模型（Claude Haiku）接收使用 10 个特定强度词之一的自然语言指令，以增加任务分配量。确定性后端将模型的数值工具调用转换为可测量的结果。
• 词汇量表：选取了 10 个英语程度修饰语，基于 Quirk 等人（1985）的分类法，涵盖六个假设层级，范围从弱减弱词（slightly, marginally）到最大化词（drastically, dramatically）。
• 条件：
  1. 无上下文：指令缺乏当前系统状态（例如“花费 [词] 更多时间”）。
  2. 上下文条件化：指令包含起始分配量（例如“当前分配量为 X%。我希望 [词] 增加”）。测试了 10 个基准值（0% 至 89%），包括整数和非整数值。
  3. 控制组：精确数字提示用于验证实验框架。
• 参数：实验在温度 $T=0.0$ 和 $T=0.7$ 下运行，每个单元格进行 30 次运行（总计 6,620 次运行）。
• 分析：研究采用非参数统计方法，包括用于序数相关性的斯皮尔曼 $\rho$ 系数，以及带有效应量（$\varepsilon^2$）的克鲁斯卡尔 - 沃利斯检验，以确定是词汇选择还是起始分配量更能解释输出中的方差。

主要结果
实验中出现三个主要模式：

1. 强度压缩：在无上下文条件下，模型将 10 个不同的强度词压缩为仅 5 个不同的中位输出。四个最低层级的词（slightly, marginally, somewhat, mildly）均映射到中位分配量 0.50，且方差为零。更强的词则进入更高的区间（0.60–0.70）。虽然存在强烈的序数相关性（$\rho = 0.845$），但细粒度的词汇差异被合并了。
2. 状态主导：当提供上下文时，起始分配量主导了词汇选择。按基准值分组所解释的基于排名的方差，约为按词汇分组所解释方差的 10 倍（$\varepsilon^2_{baseline} = 0.782$ 对比 $\varepsilon^2_{word} = 0.079$）。随着系统接近容量极限，词汇间的差异收敛为零；在 75% 的基准值下，所有 10 个词产生相同的中位输出。
3. 不连续的边界行为：在可行性极限附近（89% 起始分配量），模型表现出三种依赖于所用词汇的不同行为模式：
   • 规避：弱词进行小幅调整。
   • 弃权：强词（例如 considerably, substantially）通常完全拒绝行动，并引用约束条件。
   • 推进：词汇 drastically 表现出独特性，它将分配量推至局部上限（0.912），而非弃权。
     这些模式在不同温度下持续存在；将 $T$ 提高至 0.7 会扩大分布范围，但无法恢复细粒度的序数区分。

主要贡献

1. 方法论：一种受控工具，用于测量大语言模型如何将模糊强度词映射到数值行动，从而将语言到行动的转换与下游系统噪声分离。
2. 压缩证据：记录了模型保留了粗略的强度区间，但将细粒度的词汇差异合并为相同的数值输出。
3. 上下文依赖性：定量证据表明，在上下文条件化设置中，当前系统状态主导了词汇选择，削弱了模糊指令作为上下文不变控制信号的可靠性。
4. 边界发现：识别了靠近操作极限时依赖于词汇的弃权行为和类别模式切换（规避、行动、弃权），揭示了仅从语言层面无法观察到的行动策略中的不连续性。

意义与主张
本文提出，不应假设模糊指令在大语言模型介导的界面中映射为稳定的标量行动。研究结果表明，模型的操作词汇比表面语言所暗示的更为粗略，且强度词的含义是词汇与系统状态的联合函数，而非固定值。

本研究将这些发现框架化为一个特定的对齐问题：模型介导的界面是否保留了操作者意图的语义。结果表明结果喜忧参半：虽然捕捉到了广泛的强度区间，但细微差别丢失，且行为在边界附近变得不连续。作者明确指出，本研究并不声称该模型比人类“更差”，因为人类对这些词汇的解释也可能存在歧义；相反，本研究记录了所测试模型在该领域的特定行为模式。论文结论指出，这些模式特定于所测试的模型和领域，未来的工作计划包括引入人类基线、跨模型比较以及更密集的实验网格。