🤖 AI

Residual Dominance as a Structural Account of Last-Item Reliance in Causal Self-Attention Recommenders

本文揭示了基于 Transformer 的序列推荐模型对最后一个项目的过度依赖，其结构性原因在于“残差主导”（residual dominance）现象，即残差连接覆盖了自注意力机制的上下文聚合，这一现象已通过基于范数的分析以及受控的残差缩放干预得到了证实。

原作者： Keito Kozaki, Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama

发布于 2026-08-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Keito Kozaki, Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图解开谜题的侦探：一台计算机是如何决定你下一步想买什么或看什么的？这个领域被称为序列推荐（sequential recommendation）。你可以把它想象成一位非常专注的图书管理员，他记得你查阅过的每一本书。这位管理员的任务是猜出你下一个会拿起哪本书。为了做到这一点，他会将你的历史记录视为一系列事件，就像你阅读生活的时光轴一样。

长期以来，最聪明的图书管理员使用一种特殊的工具，叫做因果自注意力机制（causal self-attention）。你可以把这个工具想象成一个神奇的聚光灯。当管理员观察你的历史记录时，聚光灯会照在过去的某些书籍上，以观察哪些书对于预测你的下一步行动最为重要。通常情况下，我们假设这个聚光灯会扫描整个时间轴，在旧的挚爱与新的兴趣之间寻找完美的平衡。但转折点在于：如果这个聚光灯实际上是在过度聚焦呢？如果它并没有在平衡过去与现在，而只是死死地盯着你刚刚触碰过的最后一本书呢？这篇论文深入探讨了这样一个问题：不仅是探讨计算机是否过度依赖最后一件物品，更是在探讨它的“大脑”是如何构建并导致这种行为的。

“最后一件物品”痴迷之谜

这篇论文的作者们——来自北海道大学的一个团队——决定调查现代推荐系统（如 SASRec）中发现的一种奇怪习惯。他们注意到，这些系统往往表现得像一个健忘的朋友，只记得你刚刚说了什么。如果你告诉他们：“我喜欢动作片，然后是喜剧片，然后是科幻片”，他们可能会完全忽略动作片和喜剧片，而仅仅因为那是你提到的最后一件事情，就向你推荐另一部科幻电影。

研究人员想知道：这仅仅是模型训练过程中的一个小瑕疵，还是已经硬编码进了机器的架构之中？他们不仅仅想说“嘿，它确实在这样做”，他们还想打开引擎盖，观察齿轮是如何转动的，以理解为什么机器会表现出这种行为。

神奇聚光灯 vs. 沉重的背包

为了解决这个谜题，团队研究了“因果自注意力”模型的内部构造。他们使用了一种聪明的技巧，叫做基于范数的分析（norm-based analysis）。想象一下模型的“大脑”是一个厨房，各种食材（你过去的交互）在这里被混合在一起。

注意力步骤（The Attention Step）： 首先，模型使用它的“聚光灯”（注意力）来混合食材。它取一点动作片的味道，一点喜剧片的味道，再加上大量的科幻片味道，将它们搅拌成一碗顺滑的浓汤。在这个阶段，这碗汤实际上尝起来是所有东西混合后的味道。
残差步骤（The Residual Step）： 然后，令人惊讶的事情发生了。模型添加了一个“残差连接（residual connection）”。把这想象成一个模型被迫背着的沉重背包。这个背包里装满了原始的、未经混合的食材。当模型把这个背包添加到浓汤中时，那些沉重的、未经混合的食材突然占据了主导地位。

作者们将这种现象称为残差主导（Residual Dominance）。这就像是你试图做一份水果沙拉，但每次你加入一种新水果时，你都被迫往碗里倒进一整桶原始的、未切碎的水果。结果呢？这碗东西最终尝起来主要就是你刚刚加入的那种水果的味道，因为那种特定水果的“桶”太重了，以至于掩盖了其他所有东西细腻的混合味。

“最后一件物品”陷阱

由于这些推荐模型仅根据序列中的最后一件物品（最终位置）做出最终判断，这种“沉重背包”效应创造了一个陷阱。模型的最终预测本质上只是把你最后一次交互的物品穿上了一件华丽的外衣。你历史记录中的其他信息（比如动作片、喜剧片）会被最后一件物品那巨大的“背包”所淹没。

论文表明，这并不是训练中的错误；这是一个结构性特征。架构本身的设计初衷是如此强烈地保留当前位置的“自我”，以至于它把来自过去的上下文信息挤了出去。

测试理论：调低旋钮

为了证明这不仅仅是一个理论，研究人员玩了一个“如果……会怎样”的游戏。他们在计算机进行预测（推理时间）的时刻引入了一个控制旋钮。这个旋钮控制着那个“背包”有多重。

调低旋钮（减少残差强度）： 他们减轻了背包的重量。
结果： 突然间，模型开始重新倾听其余历史记录了！“混合”出的那碗汤得到了改善。

这里最引人入胜的部分是：当他们调低旋钮时，模型不仅没有变得混乱，反而变得更加“聪明”了。他们发现，对于许多模型在使用标准沉重背包时错过的物品，序列中较早的部分（比如倒数第二件物品）所产生的“汤”中其实隐藏着正确答案。通过减轻最后一件物品的负载，模型能够“听到”那些早期正确的信号，从而修正错误。

这对你意味着什么

论文指出，对最后一件物品的极端依赖并非随机的故障，而是模型构建方式的一个直接结果——即模型为了保持其自身的“完整性”而构建的大脑。这种“残差主导”是模型表现出短时记忆的结构性原因。

然而，作者们谨慎地表示，这并不意味着问题已经解决，也不是一种万能的修复方法。他们展示了虽然你可以通过调节这个旋钮来找回一些错过的预测，但这会产生一种权衡。如果你把背包变得太轻，模型可能会失去专注于最近期、最重要信号的能力。这是在记住过去与关注当下之间的一种平衡。

最后，这项研究为我们看待人工智能提供了一种全新的视角。我们不应仅仅归咎于数据或训练，我们可以观察架构本身。事实证明，有时，机器为了记住“自我”而构建的方式，恰恰是让它遗忘其他一切的原因。

技术摘要：残差主导性作为因果自注意力推荐系统中“末项依赖”的结构性解释

问题陈述

基于 Transformer 的序列推荐模型，特别是利用因果自注意力机制（如 SASRec）的模型，已成为预测用户下一次交互的主流范式。尽管这些模型在经验上非常有效，但近期的诊断表明，它们往往表现出“末项依赖”（last-item reliance）现象，即预测结果过度锚定在输入序列中最近的一次交互上。

现有的解释（如近期偏置或注意力权重模式）在很大程度上仍停留在描述性阶段。目前存在一个关键空白，即如何理解这种依赖在推理时是如何在模型的内部表示中进行结构化表达的。具体而言，尚不清楚末项的支配地位是仅仅源于注意力权重，还是其他架构组件（如残差连接）在塑造最终预测表示中也起到了决定性作用。

研究方法

作者采用了一种结合了预测时诊断与基于范数（norm-based）的结构分析的多维度方法，涵盖了九个多样化的数据集（从稀疏到稠密，且具有不同的序列特征）。

1. 经验特征化

研究首先通过两种互补的诊断手段验证了末项依赖的存在性：

推理时位置打乱（Inference-Time Position Shuffling）： 作者通过仅保留最后一个项目并打乱其余部分，或打乱整个序列来扰动输入序列。结果显示，仅保留最后一个项目导致的性能下降显著低于全序列打乱，这表明了最终位置存在一种不连续的特权。
末项命中率（Hit Rate of the Last Item, HRLI）： 该指标衡量了最后一次交互的项目出现在 Top-K 推荐列表中的频率。因果自注意力模型（SASRec, DuoRec, BSARec）表现出极高的 HRLI@1，相比于倒数第二个项目的命中率（HRL2I@1），证实了其高度局部化的排序倾向。

2. 结构分析：基于范数的分解

为了超越描述性指标，作者使用基于范数的分解方法对整个注意力块（包括注意力、残差连接和层归一化）进行了分析。

混合比例 ( $r_i$ )： 他们量化了不同输入位置对输出表示的贡献。混合比例衡量了来自其他位置的输出范数比例（上下文聚合）与来自同一位置的比例（自信息保留）。
分解阶段： 分析追踪了三个阶段的混合比例：
1. Attn： 仅由注意力机制产生的输出。
2. +Res： 添加残差连接后的输出（ $x_i + \text{Attn}(x)_i$ ）。
3. +LN： 层归一化后的输出。

3. 受控干预：推理时残差缩放

为了探究结构与行为之间的因果联系，作者引入了一种受控干预手段，在推理时修改残差连接强度。他们使用缩放因子 $\alpha$ 修改残差连接强度：
$h_i^{(\alpha)} = \alpha x_i + \text{Attn}(x)_i$
通过在不重新训练的情况下改变 $\alpha$ ，他们观察了残差强度的变化如何影响上下文混合度、末项依赖（HRLI）以及排序准确性。他们进一步研究了降低 $\alpha$ 是否可以恢复那些在非最终位置已经包含正确预测信号的“漏失”（misses）。

核心结果

1. 识别“残差主导性”

基于范数的分析揭示了一种被称为**残差主导性（residual dominance）**的结构现象：

注意力聚合： 仅靠注意力输出（Attn）就能聚合大量的上下文信息，表现出较高的混合比例（例如，在不同数据集上约为 0.77–0.95）。
残差偏移： 在加入残差连接后，混合比例急剧下降（例如，降至 ~0.12–0.39）。这表明残差路径极大地减少了前序位置的相对贡献，并强烈地保留了同一位置的信息。
结构机制： 在 SASRec 中，预测是完全基于最终位置的表示形成的。由于残差连接保留了该特定位置的输入，最终表示便被锚定在了最近的项上。因此，末项的“不连续特权”是模型的自保留倾向（残差主导性）与最终位置单点预测接口之间的一种结构性相互作用。

2. 通过残差缩放实现的系统性权衡

推理时的缩放实验证明了残差强度 ( $\alpha$ ) 与模型行为之间存在单调关系：

混合 vs. 依赖： 减小 $\alpha$ （削弱残差）会增加混合比例（更多的上下文集成）并降低 HRLI@1（更少的末项依赖）。
准确性 vs. 恢复： 虽然降低 $\alpha$ 通常会导致整体排序准确性（HR@10, NDCG@10）下降，但它揭示了一种特定的恢复机制。作者发现，对于一部分最终位置表示未能成功对真值项进行排序的序列，非最终位置（ $L-1, L-2, L-3$ ）的表示往往已经能正确排序该项。
漏失恢复： 降低 $\alpha$ （特别是在 0.1–0.3 的范围内）可以让这些非最终位置的正确信号影响最终预测，从而恢复一部分最终位置的漏失项。这证实了除了最后一项之外，还存在有用的预测信号，但它们被强大的残差主导性所抑制。

核心贡献

系统性特征化： 本文对多种数据集中的因果序列推荐模型中的末项依赖现象进行了全面的经验特征化，证实这是一个鲁棒的现象，而非数据集的人为产物。
结构性解释（残差主导性）： 作者确定了残差主导性是驱动末项依赖的主要结构机制。他们证明了虽然注意力聚合了上下文，但残差连接会使表示发生剧烈偏移，转向自信息保留，从而有效地隔离了最终位置的预测接口。
机制探测： 通过推理时的残差缩放，本研究建立了残差强度、上下文混合度与依赖性之间的系统性联系。研究进一步表明，通过降低残差强度可以恢复预测误差，使非最终位置的预测信号得以贡献。

意义与主张

本文声称提供了一个结构性解释，将极端的末项依赖与因果自注意力模型的架构属性（特别是残差连接与预测接口之间的相互作用）联系起来。

超越注意力权重： 该工作认为，仅分析注意力权重不足以解释推理行为。整个模块的结构组成（特别是残差相加过程）对于理解信息如何被利用至关重要。
信息利用： 研究结果表明，预测错误不仅是由于缺乏编码信息，还由于在推理时信息的表达方式。残差路径可能会抑制来自早期位置的有用信号。
研究范围限制： 作者明确指出，残差主导性并非末项依赖的唯一起源（其他因素如因果掩码、训练目标和数据特性也有贡献），且其分析仅限于从最终位置进行预测的因果模型。他们并不提议将残差缩放作为一种新的推荐方法，而是将其作为理解模型机制的一种诊断工具。

研究结论认为，理解预测时的信息利用情况，为分析因果自注意力推荐模型提供了一个极具价值的视角，使其能够超越标准的准确性和注意力权重指标。