技术摘要：“LLM 能进行排序吗？关于三元组与分诊的寓言”

问题陈述

大语言模型（LLMs）正越来越多地被部署为高风险资源分配任务中的“评判者”，例如优先处理紧急住房的家庭或急诊科的患者分诊。虽然 LLM 展示了复杂的推理能力，但其输出对呈现顺序和提示词框架非常敏感，这使得它们在同时对大规模群体进行排序时显得十分脆弱。一种基于社会选择理论的常见缓解策略是获取成对比较（pairwise comparisons）并将其聚合为全序关系。

然而，一个关键的差距仍然存在：从业者缺乏一种可靠的方法来评估 LLM 的成对判断是否足够一致，以便在部署前信任其生成的排序结果。现有文献通常将一致性指标与排序准确性视为两个独立的问题，未能探讨运行内一致性（单次运行中一组判断的内部逻辑一致性）与运行间方差（多次运行中排名结果的稳定性）之间的关系。本文研究了这两个可靠性维度是否相互独立，以及它们在合成数据和现实世界 LLM 应用中是如何表现的。

研究方法

理论框架

作者提出了一个由两个独立维度定义的 $2 \times 2$ 排序可靠性分类法：

1. 运行内一致性 (Intra-Run Consistency, IC)： 通过一致性系数 ($\zeta$) 来衡量。该系数最初由 Kendall 和 Smith 开发，通过计算竞赛图（tournament graph）中的循环三元组（即满足 $a \succ b \succ c \succ a$ 的三元组 $\{a, b, c\}$）来量化评判者的可靠性。$\zeta = 1$ 表示完美的传递性，而 $\zeta = 0$ 表示最大程度的循环性。论文推导了 $\zeta$ 随候选者数量 $n$ 增加时的渐近行为，表明它取决于不一致率 $r$ 和一个缩放因子。
2. 运行间方差 (Inter-Run Variance, IV)： 通过同一流水线在多次独立运行之间生成的排序之间的 Kendall's $\tau$ 距离来衡量。这捕捉了最终排序的稳定性。

作者在 Bradley-Terry-Luce (BTL) 模型（一种具有已知地面真值的标准生成模型）下，从理论上刻画了 $n$、$\zeta$ 与 $\tau$ 之间的关系。

实验设计

研究在两个领域评估了这些指标：

• 无家可归者住房分配： 使用圣路易斯协调入口记录（针对单身成年人、家庭及过渡期青少年分别使用 VI-SPDAT、VIF-SPDAT、TAY-VISPDAT）。
• 急诊科分诊： 使用带有紧急严重程度指数 (ESI) 标签的 MIMIC-IV 数据。

模型： 本地测试了三种领先的 LLM：Meta-Llama-3-8B-Instruct、DeepSeek-R1-Distill-Llama-8B 和 Qwen2.5-7B-Instruct。

流程：

1. 子竞赛评估： 为每个数据集生成一个包含 $m=30$ 个项目的完整子竞赛（每个模型有 $435$次成对比较）。精确计算$\zeta$，并通过自助采样法（bootstrap subsampling）测量自一致性 ($\tau_{cons}$)。
2. 全量稀疏流水线： 在更大的集合（$n$ 高达 698）上运行该流水线，边采样概率为 $p=0.4$，以模拟现实世界的约束。作者测量了 $\hat{\zeta}$（从稀疏数据中估计出的值）和 $\tau_{cons}$ 如何随 $n$ 缩放。

核心贡献

1. $\zeta$ 的理论特征化： 论文证明，在具有固定判别力的 BTL 模型下，不一致率 $r$ 随 $n$ 以 $\Theta(1/n^2)$ 的速度下降，导致 $\zeta$ 随着 $n$ 的增加趋向于 1。这建立了一个理论基准，即一致性会随规模扩大而提高。
2. 解耦一致性维度： 通过合成实验，作者证明 $\zeta$ 和 $\tau_{cons}$ 相关但不冗余。具体而言，$\zeta$ 衡量的是比较信号的质量（非传递性），而 $\tau_{cons}$ 则取决于信号质量以及每个项目可用的比较数量。
3. 现实数据的经验差异： 与 BTL 模型不同，现实世界的 LLM 数据表现出恒定的不一致率 ($r$)，随着 $n$ 的增加。因此，$\zeta$ 会稳定在一个渐近底线附近，而不是随规模增加而提高，而 $\tau_{cons}$ 则由于数据点的累积而随 $n$ 继续增加。
4. 模型特定的性能剖面： 研究显示，没有单一的 LLM 能在两个维度上都占据主导地位。
   • LLaMA： 一致地实现了最高的运行内一致性 ($\zeta$)，但表现出较低的运行间稳定性。
   • Qwen： 实现了最高的运行间稳定性 ($\tau_{cons}$)，但具有最低的运行内一致性。
   • DeepSeek： 通常在两个维度上都处于中间水平。

结果

• 合成数据 vs. 现实行为： 在合成 BTL 数据中，$\zeta$ 随 $n$ 增加。而在现实 LLM 生成的数据中，$\zeta$ 随不同的 $n$ 值保持大致不变，表明不一致率 $r$ 并不像理想模型预测的那样随规模降低。
• 诊断效用： 稀疏估计器 $\hat{\zeta}$ 被证明在不同的观测概率 ($p$) 下都是无偏的，允许从业者即使在数据不完整的情况下也能估计比较质量。
• 权衡： 论文强调了一个关键的权衡：一个具有高 $\zeta$ 的模型（如 LLaMA）可能产生内部逻辑一致但跨运行不稳定的排序；而一个具有高 $\tau_{cons}$ 的模型（如 Qwen）可能产生稳定但内部非传递性的排序。

意义与主张

论文声称，依靠单一指标（无论是 $\zeta$ 还是 $\tau_{cons}$）来评估高风险排序任务中 LLM 的可靠性是不充分且具有误导性的。

• 独立维度： 作者断言，运行内一致性和运行间方差是真正独立的可靠性轴。一个系统可以是内部一致但极不稳定的（低 IV，高 IC），也可以是稳定但内部非传递性的（高 IV，低 IC）。
• 实际诊断协议： 论文为从业者提出了两步诊断法：
  1. 运行一个小型的完整子竞赛以计算 $\zeta$。如果 $\zeta$ 很低，说明比较过程本身在根本上是非传递性的，增加再多的数据也无法解决排序问题。
  2. 如果 $\zeta$ 很高但 $\tau_{cons}$ 很低，则问题在于数据量不足而非信号质量问题；补救措施是增加采样比例，而不是更换模型。
• 模型选择： 结果表明，模型选择必须是领域相关的。如果利益相关者优先考虑单个判断的逻辑连贯性，则可能更倾向于 LLaMA；如果他们优先考虑最终输出在多次运行中的稳定性，则可能更倾向于 Qwen。

论文总结道，所提出的分类法对于超越简单的准确性指标，从而实现对决策性 AI 可靠性的细致理解，提供了必要的框架。