技术摘要：面向位置公平性密集信息检索的注意力校准

问题陈述

密集检索模型将查询（query）和文档映射到共享嵌入空间，但这些模型表现出系统的位置偏差（positional bias）：当相关信息出现在段落较晚位置时，检索效能会下降。Zeng 等人 (2025) 的近期研究表明，嵌入模型对文档内的答案位置非常敏感，对于位于段落中间或末尾的内容，性能会显著下降。

虽然 Schuhmacher 等人 (2026) 提出了一种推理阶段的**注意力校准（attention calibration）**方法，旨在将注意力质量更均匀地重新分配到各个文档分段中（以缓解池化标记产生的“前置型”注意力），但其工作侧重于表示谱（representation profiles）而非下游检索效能。此外，其方法缺乏控制这种重新分配强度的机制，因此留下了这样一个问题：这种校准是否能在不牺牲整体检索质量的前提下，减少位置偏差。

方法论

本研究通过引入可调的强度系数 ($\lambda$) 并系统评估其在不同架构和数据集上对密集检索的影响，扩展了 Schuhmacher 等人 (2026) 的注意力校准框架。

核心机制

该方法在推理阶段运行，无需重新训练。它针对选定 Transformer 层中池化标记（如 <s> 或最后一个 token）的注意力权重进行操作。

1. 篮筐划分 (Basket Partitioning)： 将文档的关键序列划分为大小为 $B$ 的连续“篮筐”（baskets）。特殊标记（如 <s> 或 <SEP>）被隔离在各自的篮筐中，以防止其注意力被重新分配到内容标记上。
2. 校准 (Calibration)： 在每个篮筐内，强制总注意力质量相等，同时保留篮筐内的相对权重。位置 $k$ 在篮筐 $b(k)$ 中的校准后注意力权重为：
   $$a^{cal}_k = \frac{a_k}{\sum_{j \in b(k)} a_j} \cdot \frac{1}{n_{baskets}}$$
3. 强度系数 ($\lambda$)： 作者引入了原始注意力分布 ($\alpha$) 与完全校准后的分布 ($\hat{\alpha}_{cal}$) 之间的线性插值：
   $$\hat{\alpha} = (1 - \lambda)\alpha + \lambda \hat{\alpha}_{cal}$$
   其中 $\lambda \in [0, 1]$。$\lambda=0$ 恢复原始模型，$\lambda=1$ 应用完全校准。

实验设置

研究评估了涵盖三种不同池化架构的三个嵌入模型：

• <s> 池化： gte-multilingual-base 和 bge-m3-dense。
• 最后标记 (Last-token) 池化： Qwen3-Embedding-0.6B。

实验在以下数据集上进行：

• SQuAD-PosQ： 短段落（约 117 个单词），答案按字符位置分组。
• FineWeb-PosQ： 长段落（500–1,024 个单词），答案按开头、中间和结尾部分分组。
• PosIR 基准测试： 一个大规模评估，涵盖 10 种语言、31 个领域和四个文档长度四分位数（512 到 2,048 个 token），覆盖了多语言和跨语言设置。

分析的关键参数包括：篮筐大小 ($B \in \{128, 256, 512\}$)、校准层集合 ($L_C \in \{\text{最后一层}, \text{最后 50\% 层}\}$) 以及强度系数 ($\lambda$)。

核心贡献

1. 校准强度系数： $\lambda$ 的引入实现了对位置重新分配与检索效能之间权衡的可控探索，超越了“校准或不校准”的二元选择。
2. 系统性参数分析： 论文分析了篮筐大小、层深度和强度如何共同影响位置公平性与检索质量之间的平衡，并指出部分校准通常优于完全校准。
3. 模型无关的默认配置： 作者确定了一个单一配置（$B=128, \lambda=0.5$，校准最后 50% 的层），该配置在所有评估的模型上都能提高各位置组的 nDCG@10 调和平均值，且无需针对特定模型进行调优。该配置适用于 <s> 池化和最后标记池化架构。
4. 大规模泛化能力： 该配置在 PosIR 基准测试中得到了验证，证明在保持或提高整体检索效能的同时，能够一致地降低 10 种语言和 31 个领域的“位置敏感指数 (PSI)”。

结果

FineWeb-PosQ 与 SQuAD-PosQ

• 短段落 (SQuAD-PosQ)： 校准带来的收益有限，因为大多数段落太短，不足以通过篮筐级重新分配来产生有意义的早期与晚期内容区分。在最长位置组中的提升往往被早期组的下降所抵消。
• 长段落 (FineWeb-PosQ)： 校准在 nDCG@10 的调和平均值方面产生了持续的改进。存在明显的权衡关系：校准通常会降低“开头”组的性能，但会显著提高“中间”和“结尾”组的性能。
• 最优配置： 配置 $B=128, \lambda=0.5$, 50% 层 在所有三个模型中实现了最佳的调和平均值。
  • 对于 Qwen3-Embedding-0.6B，该设置缩小了开头与结尾组之间的差距（开头：88.54 $\to$ 83.46；结尾：65.61 $\to$ 75.63），同时将调和平均值从 76.49 提高到 79.94。
  • 完全校准 ($\lambda=1.0$) 往往会损害整体性能，特别是对于 <s> 池化模型，因为它过度纠正了早期位置。

PosIR 基准测试

• 位置公平性： 默认配置在所有 16 种测试组合（长度四分位数 $\times$ 模型 $\times$ 检索设置）中均降低了位置敏感指数 (PSI)。
• 检索效能： 聚合 nDCG@10 得到保持或提升。例如，在多语言检索中，gte-multilingual-base 的 nDCG@10 提升了 1.14 点，bge-m3-dense 提升了 0.46 点。
• 跨语言性能： 在跨语言设置 (x$\to$en) 中观察到了类似的趋势，证实了该配置在跨语言障碍下的鲁棒性。

重要性与主张

论文声称，可以通过推理阶段的干预，在不重新训练或牺牲整体效能的前提下，减轻密集检索中的位置偏差。

作者强调，部分校准优于完全校准。虽然完全校准能创造最具位置均匀性的表示，但它往往会破坏有利于早期位置内容的自然注意力模式，从而损害检索性能。通过使用 $\lambda=0.5$ 进行插值，该方法既保留了足够的原始模型行为以维持聚合质量，又能充分重新分配注意力，从而恢复后期位置的性能。

这项工作证明，一个单一且适度的配置可以泛化到不同的池化架构（首个 token 与最后一个 token）、不同的模型规模以及多样化的多语言/跨语言场景，为提高密集检索中的位置公平性提供了一个实用的、即插即用的解决方案。