💬 NLP

Mitigating Position Bias in Transformers via Layer-Specific Positional Embedding Scaling

本文介绍了层特定位置嵌入缩放（Layer-Specific Positional Embedding Scaling, LPES），这是一种通过遗传算法为每一层分配不同的、经优化选择的缩放因子，从而改善注意力分布并提高检索准确性的方法，旨在缓解大语言模型中的“迷失在中部”（lost-in-the-middle）问题，且无需进行微调或增加推理延迟。

原作者： Changze Lv, Zhenghua Wang, Yiran Ding, Yixin Wu, Tianlong Li, Zhibo Xu, Muling Wu, Tianyuan Shi, Shizheng Li, Qi Qian, Xuanjing Huang, Xiaoqing Zheng

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Changze Lv, Zhenghua Wang, Yiran Ding, Yixin Wu, Tianlong Li, Zhibo Xu, Muling Wu, Tianyuan Shi, Shizheng Li, Qi Qian, Xuanjing Huang, Xiaoqing Zheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明的图书管理员（大型语言模型），他正试图在一本长达 100 页的大部头书中寻找一个特定的事实。

问题：“中间孩子”综合征
不幸的是，这位图书管理员有个坏习惯。当书太长时，他们往往会对前几页和最后几页投入过多注意力，却完全忽略了中间部分。如果答案隐藏在书的中间，图书管理员经常会漏掉它。这被称为“迷失在中间”（lost-in-the-middle）问题。

旧方案：“暴力破解”法
以往试图修复这一问题的尝试，就像是同时雇佣七个不同的图书管理员来阅读同一本书。每个图书管理员都会使用略微不同的阅读策略（不同的缩放因子），试图找到答案。然后，你必须结合这七个人的答案才能得到正确结果。

缺点： 这极其缓慢且昂贵。这就像为了得到更好的结果，而支付七个人的工资来完成一个人的工作。

新方案：LPES（“层特定”图书管理员）
论文作者提出了一种更聪明的方法，称为 LPES（层特定位置编码缩放）。与其雇佣七个图书管理员，不如教会一个图书管理员如何随着阅读过程，逐页完美地调整其注意力。

以下是它的工作原理，使用了一个简单的类比：

1. “层”的概念

把图书管理员的大脑想象成一座拥有 32 层楼的多层建筑。

旧方式： 图书管理员在每一层都使用相同的“阅读眼镜”。
LPES 方式： 图书管理员在每一层都会换上一副不同的眼镜。
- 在底层楼层，眼镜的设置可能会侧重于关注书的开头。
- 在中间楼层，眼镜会转向集中关注中间部分。
- 在顶层楼层，他们会调整以关注结尾。
  这使得图书管理员能够捕捉到无论信息隐藏在何处的信息，而无需需要七个不同的人。

2. “贝塞尔曲线”（平滑之路）

你可能会问：“你如何决定在 32 层楼的每一层分别戴什么样的眼镜？如果你随机猜测，寻找正确的组合可能会耗费很长时间。”

作者使用了一个叫做**贝塞尔曲线（Bezier Curve）**的数学技巧。

类比： 想象你在地图上画一条平滑、弯曲的道路。你不需要试图完美地画出道路的每一寸，你只需要在地图上放置四个或五个“控制点”。然后，计算机就会自动连接这些点，画出一条完美的、平滑的弯曲道路。
为什么它有效： 与其搜索所有 32 层楼的最佳设置（这就像是在猜测 32 个随机数字），计算机只需要找到这 4 或 5 个控制点的最佳位置。这条平滑的道路（曲线）确保了焦点从建筑物的底部到顶部能够逐渐且自然地转移，而不是混乱地跳跃。

3. “遗传算法”（进化式搜索）

为了找到这些“控制点”的最佳位置，作者使用了遗传算法（Genetic Algorithm）。

类比： 想象一个“靠近或远离”的游戏。计算机生成 100 组随机的控制点（就像 100 张不同的地图）。它测试这些地图，看哪一张能帮助图书管理员找到最多的答案。
它选取最好的地图，将它们混合在一起（类似于杂交），并进行微小的随机调整（突变）。
在几个小时内，这些“地图”会进化成一条完美的平滑曲线，帮助图书管理员找到书中的答案。

结果

论文声称，这种新方法在三个方面都是巨大的胜利：

它很快： 不同于旧方法需要七个图书管理员（需要经过七次阅读过程），这种新方法只需要一次阅读。它大约是最好以往方法的 2.4 倍快。
它效果更好： 它显著减少了“迷失在中间”的问题。在寻找长文本中间信息的测试中，它的准确率提高了高达 11.2%。
无需训练： 你不需要重新教（重新训练）图书管理员如何阅读。你只需给他们这些新的“眼镜”（缩放因子）并让他们开始工作即可。它能立即应用于现有模型。

总结：
这篇论文介绍了一种通过为大脑的不同部分提供一套平滑、渐进的“聚焦工具”，来修复 AI 模型盲点的方法。他们利用一种智能的进化搜索，仅通过几个“控制点”来绘制平滑曲线，从而找到了这些工具的最佳设置，这使得 AI 更快、更聪明，并且能更好地在长文档中间寻找信息。

技术摘要：通过层特定位置嵌入缩放缓解 Transformer 中的位置偏差

问题陈述
基于 Transformer 的大语言模型（LLMs），特别是使用旋转位置嵌入（RoPE）的模型，存在“迷失在中部”（lost-in-the-middle）的现象。随着上下文长度的增加，这些模型往往会过度关注输入序列开头和结尾的 token，而忽略了位于中间的关键信息。现有的解决方案（如 Attention Buckets 和 MoICE）试图通过结合具有不同基数或缩放因子的多个 RoPE 来缓解这一问题。然而，这些方法通常依赖于人工设计的规则，并且在推理过程中需要多次前向传播（模型级或模块级集成）。这导致了显著的计算开销、增加的延迟以及高昂的推理成本，限制了它们的实际应用价值。此外，确定最优缩放因子是一个组合优化问题，对于穷举搜索而言在计算上是难以处理的，且由于层特定分配的离散性质，难以通过基于梯度的方法来解决。

方法论
作者提出了层特定位置嵌入缩放（Layer-Specific Positional Embedding Scaling, LPES），这是一种无需修改模型参数或增加推理延迟的免训练方法，它为 Transformer 的每一层分配不同的缩放因子。

层特定缩放： 与应用单一全局缩放因子或每个注意力头使用多个基数的方案不同，LPES 为每一层 $h$ 分配一个唯一的缩放因子 $s_h$ 。这使得模型能够在单次前向传播中结合来自多个缩放 RoPE 的信息。
贝塞尔曲线约束： 为了解决搜索 $L$ 个独立缩放因子（其搜索空间大小为 $M^L$ ）所带来的不可处理性，作者利用**贝塞尔曲线（Bézier curves）**对层深度与缩放因子之间的关系进行建模。通过使用一组少量的离散控制点 $P_k$ 来定义曲线，将搜索空间从 $M^L$ 大幅降低至 $(M \times L)^C$ ，其中 $C$ 是控制点的数量。这种方法利用了这样一个观察结果：平滑且连续的缩放因子变化具有有益的归纳偏置，能够保留模型的逐层表示结构。
曲线约束遗传算法： 作者采用了一种专门的遗传算法来优化贝塞尔曲线的控制点。
- 适应度函数： 算法根据模型在三个子数据集（相关信息分别出现在输入开头、中间和结尾）上的表现来评估个体。
- 约束条件： 变异和交叉算子强制执行控制点 x 坐标的单调性，并限制 y 坐标变化的范围，以确保平滑性并防止剧烈的缩放偏移。
- 效率： 最优缩放配置仅需使用少量样本（例如 200 个实例）在标准硬件（四块 H100 GPU）上即可在 3–4 小时内找到。

核心贡献

LPES 框架： 一种通过分配层特定缩放因子来缓解位置偏差的新方法，在不修改模型权重或增加推理延迟的情况下，实现了平衡的注意力分布。
高效优化： 引入了受贝塞尔曲线约束的遗传算法，该算法能高效解决寻找最优缩放因子的组合优化问题，从而减少搜索空间并实现快速收敛。
实证验证： 通过广泛的实验证明，LPES 在保持通用能力的同时，显著提升了在多个基准测试和模型架构上的长上下文性能。

结果
针对包括 Vicuna-7B、StableBeluga-7B 和 Qwen2.5-7B 在内的模型，在 MDQA、Key-Value Retrieval、ZeroSCROLLS 和 L-Eval 等基准测试上进行了广泛实验。

性能提升： LPES 一致优于基线方法（包括 Positional Interpolation、Attention Buckets、Ms-PoE 和 MoICE）。值得注意的是，它在 Vicuna-7B 的 Key-Value Retrieval 数据集上实现了高达 11.2% 的准确率增益。
位置偏差缓解： 该方法显著提高了位于上下文中间（50% 位置）信息的准确率，比现有方法更有效地解决了“迷失在中部”的问题。
推理效率： LPES 仅需单次前向传播。据报告，其速度比 MoICE 快 2.42 倍，比 Ms-PoE 快 1.45 倍，同时保持与基线相同的推理时间。
泛化能力： 在一个数据集（MDQA）上学习到的缩放因子可以有效地迁移到其他长文本任务（ZeroSCROLLS、L-Eval）以及不同的模型上，且不会降低其在 MMLU 和 C-Eval 基准测试上的通用能力。
归纳偏置： 对表示结构偏差的分析表明，与嘈杂或打乱的缩放策略相比，基于贝塞尔曲线的平滑缩放对模型内部逐层表示的破坏极小。

意义
论文声称 LPES 为长上下文 LLM 中的位置偏差问题提供了一个具有广泛适用性且高效的解决方案。通过避免多轮推理的计算开销和全模型微调的复杂性，LPES 使已训练好的模型能够部署长上下文能力。作者强调，他们的方法通过贝塞尔曲线将一个困难的组合搜索转化为一个易于处理的优化问题，为实现平衡的注意力分布提供了一条切实路径，且不会产生以往基于集成方法的延迟惩罚。这项工作凸显了平滑的层特定缩放作为一种强大的归纳偏置，自然地呈现为一种高性能的配置。

1. “层”的概念

2. “贝塞尔曲线”（平滑之路）

3. “遗传算法”（进化式搜索）

结果

类似论文