🔬 condensed matter

Preisach Attention: A Hysteretic Model of Sequential Memory

本文介绍了 Preisach 注意力层（PAL），这是一种新颖的序列建模架构，它用基于磁滞的二元继电器算子替代 softmax 注意力，从而在 O(1) 深度下实现图灵完备性、支持历史范围统计量的高效计算，并为需要长程情节记忆且位置依赖性较弱的任务提供 O(n log n) 的推理成本。

原作者： Piotr Frydrych

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Piotr Frydrych

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《Preisach 注意力：一种具有滞回特性的序列记忆模型》的通俗解释，辅以日常类比。

核心思想：一种全新的 AI 记忆方式

想象一下，你正在教机器人阅读一个长篇故事。当前 AI 领域的超级明星是Transformer，它通过查看单词在句子中的位置来记忆事物。这就像一位图书管理员，只记得书在书架上的位置。如果你把书移到不同的位置，这位管理员就会感到困惑。此外，管理员必须检查书架上的每一本书才能找到目标，随着图书馆的规模扩大，这一过程会变得非常缓慢且昂贵。

这篇论文的作者 Piotr Frydrych 提出了一种名为Preisach 注意力（PAL）的新型记忆机制。PAL 不关心某事发生在哪里，而是关注变化的重要性。其灵感来源于一个古老的物理概念——“滞回”（hysteresis），该概念描述了磁铁如何记住其历史。

不妨将 PAL 想象成一位登山者，他记录着山峰和山谷的日记，而不是图书管理员。

它是如何工作的：登山者的日记

想象你正在徒步穿越一片山脉。你不会记下迈出的每一步，你只会记录下你到达的最高峰和跌入的最低谷。

“极值栈”（即日记）：
- 在徒步过程中，你保留一份迄今为止最高峰和最低谷的清单。
- 神奇规则（擦除）： 如果你攀登的新山峰高于之前的最高峰，你的日记会自动擦除旧山峰及其下方的所有内容。它只保留新的、更重要的记录。
- 这为何重要： 如果你在一个小山谷里来回走动，你的日记不会改变。只有当你做出重大移动时，日记才会更新。这意味着 AI 会忽略“噪音”，只记住重大且显著的事件。
速率无关性（“时间无关”规则）：
- 标准的 AI 模型如果故事的速度加快或减慢，就会感到困惑。
- PAL 不关心时间。无论你是在 1 小时内还是 100 年内徒步穿越这座山脉，你关于山峰和山谷的日记看起来完全一样。它只关心重大变化的顺序，而不关心到达那里花了多长时间。

为什么这更好？（论文的论点）

论文提出了三个主要论点，说明这种新的“登山者”记忆为何特殊：

1. 它在数学上更聪明（且更快）

论点： 这种新 AI 的单个层在数学上足以解决计算机能解决的任何问题（图灵完备）。
类比： 标准 AI 模型需要堆叠许多层（就像搭建一座高高的积木塔）才能解决复杂的逻辑谜题。而这个新模型只需一层就能解决同样的谜题。这就像拥有一把能替代整个工具箱功能的瑞士军刀。
速度： 因为它只追踪山峰和山谷，所以无需检查长文档中的每一个单词。对于非常长的故事，它的速度快得多。

2. 它是不同的，而不仅仅是“更好”

论点： PAL 与标准 AI 是“不可比”的。它们擅长不同的事情。
类比：
- 标准 AI 擅长在知道位置的情况下查找特定单词（例如，“第 5 个单词是什么？”）。它具有“随机访问”能力。
- PAL 在这方面很糟糕。它无法告诉你第 5 个单词是什么，因为它不计数位置。
- 然而， PAL 擅长寻找故事中的“最大变化”（例如，“记录到的最高温度是多少？”）。标准 AI 在这方面很吃力，因为它必须查看所有内容才能找到最大值。而 PAL 只需查看它的山峰日记即可。

3. 它基于重要性而非时间进行遗忘

论点： 标准 AI 因为事物“陈旧”（近期性）而遗忘旧事物。PAL 则因为事物“微小”而遗忘。
类比： 想象你在回忆一段对话。
- 标准 AI： “我记得你 5 分钟前说的话，但我忘了你 1 小时前说的话。”
- PAL： “我忘了你 1 小时前说的话，因为那只是个小细节。但我记得你 1 小时前说的话，因为那是一个巨大的、令人震惊的 revelations，改变了整个对话。”
- 这被称为**“擦除特性”**。一个新的、更大的事件会擦除较小、较不显著事件的记忆。

物理联系：“磁铁”类比

这篇论文将这种 AI 与一个名为随机场伊辛模型（Random-Field Ising Model，想象一堆微小的磁铁）的物理模型联系起来。

在物理学中，这些磁铁会根据磁场来回翻转。它们对其过去的状态拥有“记忆”。
作者表明，PAL 本质上是这些磁铁的一种经过学习、可移动的变体。
这有何帮助？ 这意味着 PAL 继承了物理学的酷炫特性，例如非常自然地处理“雪崩”（数据的突然巨大变化）。这表明，如果你将 AI 调整得恰到好处，它将在“临界点”运行，对新信息极度敏感，就像一片雪花可以触发大规模雪崩一样。

总结：这适合谁？

论文认为，PAL 是以下任务的完美工具：

历史比位置更重要： 你需要了解长期事件的“大局”，而不是确切的时间戳。
重要性比近期性更重要： 你想要记住最大的冲击，而不仅仅是最近发生的。
数据很长： 对于非常长的序列，它比当前的 AI 模型更高效（更便宜、更快）。

简而言之： 这篇论文介绍了一种新型 AI 记忆，它像一位徒步者，只记得最高的山峰和最深的山谷，而忽略中间的小步。这使其在处理长故事和复杂逻辑时极其高效，尽管它牺牲了计数确切位置的能力。

技术摘要：普雷萨赫注意力：一种基于迟滞的序列记忆模型

问题陈述

当前主导的序列建模架构，特别是 Transformer，依赖于注意力机制，这些机制要么是时间性的（随距离衰减），要么是位置性的（由令牌位置索引）。虽然理论分析已确立了硬注意力 Transformer 的图灵完备性，但它们需要 $O(\log n)$ 的深度才能实现这一点，而标准的 softmax 注意力仅对应于有限的一阶逻辑片段。Transformer、循环神经网络（RNN）和状态空间模型（SSM）共同的一个关键局限性是缺乏一种基于过去输入重要性而非其近期性或绝对位置的记忆机制。因此，需要一种能够维持长期情景记忆的架构，其输出取决于输入历史中局部极值的序列，而与时间间隔无关。

方法论

本文介绍了普雷萨赫注意力层（PAL），这是一种基于经典数学物理中普雷萨赫迟滞算子的新型序列建模架构。

核心机制：普雷萨赫算子

普雷萨赫算子聚合了二元继电器 $\hat{\gamma}_{\alpha\beta}$ 的输出，每个继电器由激活阈值 $\alpha$ 和去激活阈值 $\beta$ 表征。在序列建模的背景下：

二元继电器：对于输入序列 $u$ ，如果 $u_n \geq \alpha$ ，继电器状态切换为 1；如果 $u_n \leq \beta$ ，则切换为 0。否则，它保持先前的状态。
极值栈：“擦除特性”的一个基本推论是，算子的输出仅取决于当前的极值栈（ $\Pi_n$ ）。该栈存储交替出现的局部最大值和最小值。一个新的极值会擦除所有幅度较小的先前极值，从而提供了一种自然的、基于重要性的遗忘机制。
速率无关性：输出仅取决于局部极值的序列，而与令牌的绝对时间或位置无关。

架构定义

PAL 层：该层计算在阈值平面 $(\alpha, \beta)$ 上的离散化测度 $\mu$ 上，二元继电器输出的加权和。
多头 PAL（MPAL）：通过将输入投影为标量信号，经多个头处理后再投影回来，将标量 PAL 扩展为向量值序列。
PAL-Transformer：一种标准的 Transformer 编码器 - 解码器结构，其中标准注意力机制被 MPAL 取代。它保留了正弦位置编码（PE）和 MLP 层，但核心记忆机制是迟滞的。

主要贡献与结果

1. $O(1)$ 深度下的图灵完备性

本文证明，单层 PAL-Transformer 是图灵完备的。

机制：该架构模拟了任意的双栈下推自动机（2-PDA），这等价于图灵机。
编码：字母表符号和栈深度使用“康托尔深度编码”被编码到极值栈中。
深度优势：此模拟以 $O(1)$ 深度实现（一个 MPAL 层和一个 MLP 层）。这与标准硬注意力 Transformer 形成对比，后者需要 $O(\log n)$ 深度才能实现图灵完备性（Pérez 等人，2021）。
向量 PAL（vPAL）：一种使用二维信号投影的变体，以单个头（ $H=1$ ）实现了图灵完备性，证明了在 PAL 中信号维度和头数是可以互换的资源。

2. 表达能力分离

本文确立了 PAL 和 Transformer 可计算的函数类是不可比的。

PAL $\setminus$ Transformer：PAL 可以在 $O(1)$ 层内计算历史范围统计量（例如 $max(u) - min(u)$）。由于电路复杂度的下界（MAX 不在 $AC^0$ 中），具有有界深度的标准 Transformer 无法精确计算此值。
Transformer $\setminus$ PAL：Transformer 可以执行精确的随机访问检索（例如，检索位置 $p$ 处的令牌）。PAL 无法执行此操作，因为其速率无关性意味着，如果一个令牌不是局部极值，其值就会从栈的影响中被“擦除”，使得在没有辅助状态的情况下无法进行基于位置的检索。
分离属性：速率无关性被确定为区分这两类的基本属性。PAL 的输出对输入序列的时间重缩放具有不变性，而标准注意力则不然。

3. 逻辑刻画

本文定义了极值一阶逻辑（EFO），这是一种扩展的一阶逻辑，仅允许对局部极值位置进行量化，并包含一个极值聚合算子。

定理：一个函数可由有界深度的 PAL-Transformer 计算，当且仅当它在 EFO 中是可定义的。
推论：EFO 是对应于标准 Transformer 的逻辑（FO + 聚合）的一个严格片段，证实了 PAL 无法表达任意的位置逻辑，但在基于极值的聚合方面表现出色。

4. 与物理学和复杂性的联系

RFIM 等价性：本文证明了 PAL 是 $T=0$ 时**随机场伊辛模型（RFIM）**的学习型、序列型、非平衡推广。极值栈对应于 RFIM 历史的最小充分统计量。
复杂性：PAL 推理的总时间复杂度为 $O(n \log n)$ （由于栈更新和二分查找），内存为 $O(kd) $，而标准注意力为$ O(n^2)$。
相变：借鉴 RFIM 理论，本文指出，在接近临界无序强度下运行的 PAL 层可能会表现出“混沌边缘”行为，在保持结构化记忆的同时最大化对输入变化的敏感性。

意义与主张

本文主张，PAL 为序列建模提供了一种根本不同的记忆机制，从基于近期性或位置的记忆转向基于重要性的记忆。

理论进步：它在序列模型空间中提供了一个新的点，与现有架构不可比，提供了 $O(1)$ 深度的图灵完备性和独特的逻辑刻画（EFO）。
效率：通过依赖极值栈，PAL 将推理复杂度从二次方降低到近线性（ $O(n \log n)$ ），使其在理论上适用于需要长期情景记忆的任务。
任务适用性：作者认为，PAL 预计在以下速率无关且依赖历史范围统计量的任务上优于标准注意力：
- 跨长文档跟踪实体状态。
- 基于历史范围检测时间序列中的异常。
- 在不依赖位置敏感性的情况下对有序事件进行推理。
- 能源市场调度，其中决策阈值驱动行为。

本文总结道，虽然 PAL 无法执行随机访问，但其能够为所有速率无关泛函维持输入历史的最小充分统计量，这使其成为那些过去事件的重要性比其近期性或绝对位置更关键的问题的自然架构。该工作仍停留在理论层面，实证验证和学习动态（特别是关于临界性的问题）被确定为未来研究的开放问题。