💻 computer science

SSA: Improving Performance With a Better Scoring Function

本文提出缩放符号平均（SSA），这是一种新颖的注意力评分函数，用于替代 Softmax 以解决上下文学习中分布偏移导致的泛化失败问题，并在多种自然语言处理基准测试和架构上展现出显著的性能提升。

原作者： Omar Naim, Swarnadeep Bhar, Jérôme Bolte, Nicholas Asher

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Omar Naim, Swarnadeep Bhar, Jérôme Bolte, Nicholas Asher

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《SSA：通过更优的评分函数提升性能》的解释。

核心问题：“大声说话”效应

想象一个教室，老师（即人工智能）正试图通过观察黑板上的示例来学习一条规则。通常，老师会平等地关注所有示例，以找出其中的规律。

然而，这篇论文指出，当前这些人工智能模型“关注”数据的方式存在一个重大缺陷。它们使用一种名为Softmax的评分系统。你可以把 Softmax 想象成一个极其灵敏的音量旋钮。如果教室里突然有一个学生开始大喊大叫（即出现一个远大于或远小于其他数字的数值），这个音量旋钮就会瞬间拧到最大，导致老师只能听到那个大喊的学生。老师完全忽略了那些安静的学生，即使这些安静的学生手中握有解开谜题所需的线索。

研究人员发现，当人工智能模型遇到与其训练数据略有不同的数据（例如一个异常大的数字）时，这种“大喊”效应会导致它们失败。它们不再审视全局，而是偏执地聚焦于那个最响亮的单一数字，从而得出错误的答案。

解决方案：一个新的音量旋钮（SSA）

为了解决这个问题，作者发明了一种新的评分函数，称为缩放符号平均（Scaled Signed Averaging，SSA）。

如果说 Softmax 是一个容易被喊叫声吹爆的灵敏音量旋钮，那么SSA 就像一位聪明的音响工程师。

当出现一个“大喊”的数字时，SSA 不会将音量调至 100%。相反，它会说：“好吧，那个数字很大，但我们不要忽略其他人。”
它保持音量的平衡。它允许人工智能同时听到响亮的数字和安静的数字。
这有助于人工智能整合来自整个上下文的信息，而不是被一个异常值分散注意力。

他们是如何测试的

研究人员并非凭空猜测；他们进行了两项具体的“考试”，以验证新方法是否比旧方法更有效。

“全部与部分”测试：
- 任务： 人工智能必须查看一个数字列表，并判断是所有数字都是正数，还是有些数字是正数。
- 陷阱： 他们给人工智能提供了包含正常数字的列表，然后提供了包含一个巨大数字（如 70）与小数混合的列表。
- 结果： 旧的人工智能（Softmax）看到了 70，被分散了注意力，并说：“所有都是正数！”因为它只听到了 70。新的人工智能（SSA）审视了整个列表，看到了负数，并给出了正确答案。
“数学模式”测试：
- 任务： 人工智能必须根据几个示例，猜出数学方程背后的规则（例如 $y = 2x + 1$ ）。
- 陷阱： 他们用人工智能从未见过的数字（非常大或非常小）来测试它。
- 结果： 旧的人工智能被这些奇怪的数字搞糊涂了，未能找到规律。新的人工智能（SSA）优雅地处理了这些奇怪的数字，并继续找到正确的规律。

它在真实语言中有效吗？

研究人员没有止步于数学谜题。他们还在真实文本（如书籍和网站）上训练了人工智能模型，以观察这位新的“音响工程师”是否有助于语言处理。

解码器模型（故事讲述者）： 他们构建了一个用于生成文本的模型。新模型（SSA）比旧模型犯的错误更少，理解文本的能力更强，即使是在阅读困难或不寻常的句子时也是如此。
编码器模型（理解者）： 他们测试了一个旨在理解语法的模型（就像一个检查作业的学生）。与旧模型相比，新模型在发现语法规则方面表现更好，例如将主语与动词匹配，或理解代词。

结论

该论文声称，当前人工智能中的“注意力”机制（Softmax）过于容易被极端值分散注意力，导致人工智能在情况稍有异常时就会失败。通过用他们新的SSA方法替换该机制，人工智能变得更加稳健。它学会了平衡其注意力，审视整个信息组，而不是固着于最响亮的单一信息。

关键要点： 该论文证明，改变人工智能如何加权信息（即评分函数）足以使其变得更聪明、更可靠，而无需让人工智能变得更大或在更多数据上进行训练。这是一次软件升级，而非硬件升级。

技术摘要：SSA：通过更优的评分函数提升性能

问题陈述

尽管 Transformer 模型展现了强大的上下文学习（ICL）能力，但在泛化到分布偏移场景时（即测试时的输入或算法结构与训练分布不同），它们表现出系统性失败。近期文献指出，大语言模型（LLM）在“低概率设置”中表现挣扎，即使底层规则保持不变，也无法实现泛化。

作者利用受控的 ICL 任务探究了这些失败的架构根源。他们识别出注意力机制中的Softmax评分函数是导致这些泛化失败的主要贡献者。具体而言，他们观察到，当输入序列包含的数值幅度显著大于训练期间所见数值时，Softmax 会导致注意力饱和。这种现象迫使注意力权重几乎完全坍缩到具有最大值的单个 token 上，从而有效地忽略了任务至关重要的所有其他上下文 token。这种“注意力坍缩”阻碍了模型整合序列中的信息，导致在需要逻辑聚合或功能推断的任务中出现系统性错误。

方法论

受控实验设置

为了将架构效应与预训练伪影隔离开来，作者在两个合成 ICL 任务上从头训练了 Transformer 模型：

量化任务：评估模型对数字序列上逻辑量词（“所有”和“有些”）的解读能力。
线性函数任务：评估模型根据上下文示例推断仿射函数 $f(x) = ax + b$ 的能力。

模型在来自标准正态分布 $N(0, 1)$ 的数据上进行训练，并在分布偏移条件下进行测试，包括更长的序列长度以及来自更高方差分布（ $N(0, \sigma)$ ，其中 $\sigma \ge 1$ ）的输入。

提出的解决方案：缩放符号平均（SSA）

作者提出**缩放符号平均（Scaled Signed Averaging, SSA）**作为 Softmax 的可训练替代方案。SSA 用应用于元素级的参数化函数替换了指数评分函数：
$x \mapsto (1 + b|x|)^{\text{sgn}(x)n}$
其中 $b > 0$ 且 $n \ge 1$ 为可训练的标量参数。

关键理论特性：

多项式增长与指数增长：与 Softmax 不同（Softmax 呈指数增长，且在 logit 差异增大时迅速饱和为“硬最大”分布），SSA 呈多项式增长。
理论保证：作者通过定理 1 和定理 2 证明，在全局 logit 放大或内部不成比例（即某个 token 的得分远超其他 token）的情况下，Softmax 权重以指数速度收敛至获胜者为 1、其他为 0。相比之下，SSA 仅以多项式速度收敛，从而为次要 token 保留了非零的“上下文质量”。这使得模型即使在存在极端值的情况下，也能保持对上下文的平衡视角。

评估范围

该研究在三种不同的设置下评估了 SSA：

受控 ICL 任务：从头训练的小型 Transformer（12 层，8 头）。
仅解码器基准：在 FineWeb 语料库上从头训练的 1.14 亿参数 Nemotron 风格模型。
仅编码器架构：在儿童导向语音（AO-CHILDES 语料库）上训练的 BabyBERTa 变体，并在语法探测套件上进行评估。

作者还系统测试了现有的 Softmax 替代方案，包括 Sparsemax、Entmax、温度缩放 Softmax、CosFormer 和 SA-Softmax，发现它们在特定任务上均未提供比标准 Softmax 更一致的改进。

关键结果

1. 受控 ICL 任务

偏移下的泛化：在分布外（OOD）数据测试时，SSA 在量化任务和线性函数任务中均显著优于 Softmax。
对幅度的鲁棒性：在量化任务中，当序列中出现单个大数值时，Softmax 模型会失败，仅基于该数值进行预测。SSA 模型则正确聚合了整个序列的信息，即使在极端输入值下也保持了低错误率。
线性函数推断：与 Softmax 基线相比，SSA 模型在推断系数来自偏移分布的函数时，实现了显著更低的均方误差（MSE）。

2. 仅解码器基准

NLP 性能：使用 SSA 训练的 1.14 亿参数仅解码器模型，在分布内（FineWeb）和分布外（Wikipedia）文本上，其困惑度均低于其 Softmax 对应模型。
基准提升：在标准 NLP 基准（如 ARC、BoolQ、HellaSwag）上，基于 SSA 的模型在零样本评估中始终优于 Softmax 基线，在 arc_easy 和 boolq 等任务上取得了显著改进。

3. 仅编码器模型

语法探测：与基于 Softmax 的模型相比，基于 SSA 的 BabyBERTa 模型在多项语法探测任务（如主谓一致、论元结构）上表现出性能提升，证明了其优势也延伸至掩码语言建模架构。

意义与主张

该论文主张，Softmax 饱和是一种根本性的架构限制，它导致注意力机制在面对大幅度输入时坍缩到单个 token 上，而无论这些 token 是否与任务相关。这种失败模式被确定为分布偏移下 ICL 泛化能力差劲的根本原因。

该工作的意义在于：

识别具体机制：将 Softmax 评分函数（而非模型规模或数据复杂度）确定为特定 ICL 场景中泛化失败的主要驱动因素。
简单有效的替代方案：引入 SSA 作为 Softmax 的“即插即用”替代品，每个注意力头仅需两个额外的标量参数。
广泛的适用性：证明了 SSA 在仅解码器和仅编码器架构上，以及在合成和现实世界的 NLP 任务上均能提升性能。

作者保持了谦逊的立场，承认虽然 SSA 缓解了由 Softmax 缺乏灵活性导致的失败，但它并未解决所有泛化挑战，特别是在输入和函数分布均与训练数据显著不同的极端分布偏移场景中。他们得出结论，注意力底层的数学结构将 token 幅度与相关性混为一谈，这仍然是未来研究的一个开放领域。