🤖 machine learning

Journey Operators for Structured Multi-Axis Composition

本文引入了一个用于结构化多轴数据组合的理论框架，该框架通过将旋转位置嵌入（Rotary Position Embeddings）推广到内容自适应设置中的“旅程算子”（journey operators）来实现，确立了交换性作为路径无关性的条件，并提出了 JoFormer 模型，以利用这些归纳偏置来提升在视觉、语言及长度泛化任务中的性能。

原作者： Mahesh Godavarti

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mahesh Godavarti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图建造一座巨大的、神奇的图书馆，其中的每一本书都知道自己应该在书架上的确切位置。在人工智能的世界里，特别是那种能够阅读句子或观察图像的人工智能中，“书”就是像单词或像素这样的数据片段。长期以来，计算机一直非常擅长理解这些片段“是什么”（内容），但它们在理解这些片段彼此之间“在哪里”（相对位置）方面却一直有些吃力。这被称为“位置编码”（positional encoding）。你可以把它想象成数据的 GPS：如果没有它，计算机可能知道句子中有“狗”和“人”，但它无法知道是狗咬了人，还是人咬了狗。

为了解决这个问题，科学家们使用数学方法，根据数据所处的位置给每一个数据片段一个微小的、隐形的“旋转”。想象一下，每当你向右移动一步，指南针的指针就会轻微旋转一下；每当你向下移动一步，旋转的角度也会不同。如果你先向右移动再向下移动，指针最终停留的位置，应该与你先向下移动再向右移动的结果是一致的。这种通过移动空间并追踪方向的思想，正是我们要探讨的这篇论文的基础。它提出了一个简单但深刻的问题：我们能否让这些“旋转”完美地协同工作，从而让计算机理解世界的结构——无论是一行文本、一个像素网格，还是一个 3D 体积？

数据的旅程

这篇题为《用于结构化多轴组合的旅程算子》（Journey Operators for Structured Multi-Axis Composition）的论文，引入了一种看待数据在 AI 内部如何移动和混合的新方式。作者们（由 Mahesh Godavarti 领导）提出了一个框架，在这个框架中，每一 piece 数据不仅携带其内容（如“猫”这个词或红色的像素），还携带了一个针对其可以移动的每一个方向的微小“变换”或“旋转”。

让我们用一个有趣的类比：想象每一个数据点都是一名带着背包的旅行者。在标准的 AI 模型中，背包里只装着旅行者的物品。但在这种新框架下，每位旅行者还为他们可以行走的每一个方向（上、下、左、右）携带了一个特殊的“指南针”。当两名旅行者相遇并结合他们的故事时（这就是 AI 处理数据的方式），第一位旅行者会使用他们的指南针，在两人合并之前，先旋转第二位旅行者的背包。这种旋转会改变第二位旅行者讲述故事的方式，而这种方式取决于第一位旅行者站在哪里。

论文将这个过程称为“旅程”（journey）。如果你想知道位于 A 点的数据与位于 B 点的数据之间有何关系，你需要计算“旅程算子”——即如果你从 A 走到 B，所会经历的总旋转量。

重大发现：“平坦”世界 vs. “弯曲”世界

这篇论文中最令人兴奋的部分是发现了一个决定这些“旅程”是否合理的规则。作者发现，为了让 AI 理解“向右移动再向下移动”等同于“向下移动再向右移动”（这种性质称为路径无关性/path independence），这些指南针（旋转）必须是对易的（commute）。

用数学术语来说，“对易”意味着运算的顺序并不重要。如果你将一张纸向右旋转 90 度然后再向下旋转 90 度，这与先向下旋转再向右旋转的结果是不同的——除非你的旋转是特殊的。论文证明，如果旋转是“平坦的”（意味着它们作用于数据中相互独立、互不干扰的部分，比如独立旋转 X 轴和 Y 轴），那么旅程就是一致的。但如果旋转是“弯曲的”（即它们会互相干扰），那么旅程将取决于你所走的具体路径，这会让 AI 感到困惑。

论文建议，构建这些 AI 模型最好的方法是坚持在“平坦”机制下运行。这解释了为什么现有的方法如 RoPE（旋转位置嵌入）之所以如此有效：它们自然地使用了这些对易的、平坦的旋转。论文表明，如果你尝试使用更复杂的、“弯曲的”旋转（例如稠密且纠缠在一起的旋转），你会失去拥有一致方向感的能力，位置结构就会崩溃。

新模型：JoFormer

基于这一理论，作者设计了一个名为 JoFormer（基于旅程的 Transformer）的新模型。这里的核心创新在于，JoFormer 不仅仅使用这些旋转来帮助 AI 评分（即计算一个词应该在多大程度上关注另一个词，这是旧模型所做的）；它还利用这些旋转在数据被组合之前对实际数据（即“数值”）进行变换。

可以这样理解：在旧模型中，AI 可能会说：“我对‘狗’这个词感兴趣，因为它靠近‘吠叫’。”而在 JoFormer 中，AI 会说：“我对‘狗’这个词感兴趣，并且我还会根据它距离我的远近来旋转‘狗’的含义，使其完美地融入我当前的句子中。”

论文在三种不同类型的任务上测试了 JoFormer：

视觉（图像）： 他们在 CIFAR-100 和 ImageNet 上进行了测试。结果表明，添加这种“数值旋转”（旋转数据）有助于模型更好地观察。例如，在 CIFAR-100 上，特定版本的 JoFormer 比标准方法提高了约 2% 的准确率。在 ImageNet 上，它看到了较小但持续的增益（0.40%）。
语言（文本）： 他们在维基百科语言模型上进行了测试。结果表明，新模型（特别是那种旋转取决于文本内容的“投影”版本）能更好地预测下一个词，其“困惑度”（衡量模型感到惊讶程度的指标）比标准模型更低。
长度泛化能力： 这是一个很酷的测试。他们用短句子（512 个词）训练模型，然后让它阅读长得多的句子（高达 4096 个词）。标准模型会变得非常混乱，性能大幅下降。然而，JoFormer 处理长文本的表现要好得多，其性能下降幅度极小（仅为 1.02 倍），而标准模型的性能下降则非常显著（6.29 倍）。

论文明确表示它没有做的事情

明确说明这篇论文并非在声称什么非常重要。作者非常谨慎地表示，这些结果是“单种子随机实验的合理性检查”（single-seed sanity checks）。这意味着他们只是通过一次特定的随机起点实验来验证该想法在原则上是否可行，而不是声称他们已经构建了世界上最顶尖的 AI。他们承认，目前的结果还不是“最先进的”（state-of-the-art）基准测试结论。

他们还排除了某些想法。例如，他们证明了如果你尝试使用一个完整的、复杂的旋转系统（全正交群 $O(d)$ ）而不是更简单的、平坦的旋转，AI 会失去所有的位置感。这就像是在一个每个路标都指向不同、混乱方向的城市中导航，模型会直接放弃对位置的感知。

总结

简单来说，这篇论文认为，让 AI 理解结构的秘诀不仅仅在于增加更多的数据或更大的计算机，而在于给数据一个一致的、数学上的“指南针”，无论你如何转向，这个指南针都能保持一致。通过确保这些指南针不会互相冲突（对易），并利用它们在网络中移动时实际旋转数据，作者创建了一个模型（JoFormer），该模型表明对于处理图像、文本和长序列，这是一种更稳健的方法。

虽然论文并不声称解决了所有问题，但它提供了一张强大的理论地图，展示了为什么某些方法有效，并为构建更聪明、更有结构的 AI 系统提供了一条充满希望的新路径。实验表明，这种方法具有真正的、可观察到的收益，尤其是在处理长输入或复杂视觉模式时，但探索其潜力的旅程才刚刚开始。

技术摘要：用于结构化多轴组合的旅程算子 (Journey Operators)

问题陈述

当前的机器学习架构在处理具有多轴结构（例如序列、图像、树、体积数据）的数据时，难以将其与基于向量的学习机制对齐。虽然一维组合结构可以使用非交换半群或自由群进行建模，但目前还没有一个被广泛接受的代数框架来处理二维或多维组合。现有的代数系统往往无法满足现代架构（如 Transformer）的特定需求，特别是在如何描述数据沿独立轴进行组合以及如何描述相对位置方面。

这里存在一个关键的张力：标准的注意力机制在聚合数值（values）时并不进行非交换组合，这实际上丢弃了数据点在不同轴上如何相互关联的结构上下文。此外，虽然旋转位置嵌入（RoPE）成功地建模了一维相对位置，但将此扩展到多维数据需要一个原则性的代数框架，以确保路径无关性（即“先右后下”的组合结果应等于“先下后右”），并支持内容自适应的归纳偏置。

方法论：代数框架

本文引入了一个组合框架，其中每个数据项都携带内容（ $v \in \mathbb{R}^d$ ）和一组轴向步进生成器（ $R_1, \dots, R_D \in G \le O(d)$ ），其中 $G$ 是一个保范数的正交变换群。

核心运算

在一维情况下，两个数据点 $(a, A)$ 和 $(b, B)$ 的组合定义为：
$(a, A) \circ (b, B) := (a + Ab, AB)$
此处，组合后的内容是第一个点的特征加上第二个点经过第一个点坐标系旋转后的特征。组合后的轴向步进生成器是乘积 $AB$。该运算是结合律的，但是非交换的。

在 $D$ 维情况下，每个数据项携带一个对应于每个轴的生成器。沿着特定轴 $k$ 的组合会对该轴的生成器应用旋转，并将该轴的生成器进行累积，同时保持其他轴不变。

旅程算子 (The Journey Operator)

“旅程”（Journey）被定义为连接两个位置的路径。旅程算子 $P_{j \to k}$ 是从位置 $j$ 到 $k$ 路径上所有轴向步进生成器的乘积。

路径无关性： 本文证明，如果轴向步进生成器是交换的（即 $R_i R_j = R_j R_i$ ），则跨轴的组合与移动是路径无关的（即结果仅取决于位移，而不取决于轴的顺序）。
平坦与弯曲机制： 当生成器交换时，框架运行在“平坦”机制下，此时旅程算子是位移的纯函数（ $P_{j \to k} = R^{k-j}$ ）。当它们不交换时，机制变为“弯曲”模式，此时相对变换取决于绝对位置。

理论分类

在特定的公理（双线性、环面框架不变性、上循环组合性以及范数保持）下，本文对所有兼容的注意力机制进行了分类。证明结果表明，唯一的兼容机制是分块对角 $SO(2)^{d/2}$ 旋转。这一结果解释了为什么 RoPE 及其变体（2D-RoPE、树形 PE）会自然产生。相反，如果假设使用完整的正交群 $O(d)$ ，则位置结构会完全坍塌。

JoFormer 架构

受这些发现的启发，作者提出了 JoFormer（基于旅程的 Transformer），它将旅程算子集成到注意力机制中：

评分侧 (Score Side)： 在计算注意力分数之前，通过各自的绝对算子旋转查询和键（ $A_i q_i, A_j k_j$ ）。
数值侧 (Value Side)： 在聚合之前对数值应用旅程算子： $c_k = \sum_j \alpha_{kj} P_{j \to k} v_j$ 。这为数值侧引入了组合结构，而标准注意力则缺乏这一点。

本文提出了三种变体：

JoFormer-fixed： 使用线性位置角度（标准 RoPE 频率）配合数值旋转。
JoFormer-learned： 每层使用学习到的频率向量。
JoFormer-projected： 通过 MLP 从残差流内容中计算角度，从而创建数据依赖的旅程算子。

核心贡献

组合框架： 一个统一的代数框架，其中数据点携带内容和轴向步进生成器，定义了作为单一结合律运算的组合，并能自然地从一维扩展到 $D$ 维。
理论结果：
- 证明了路径无关的组合需要交换的轴向步进生成器。
- 分类证明了在自然公理下，唯一的兼容机制是分块对角 $SO(2)^{d/2}$ 旋转，从而恢复了 RoPE 作为特例。
- 证明了在平坦机制下，通过旅程算子的数值传输具有平移等变性。
- 演示了离散傅里叶变换（DFT）是这种组合嵌入的一个特例。
JoFormer 架构： 一种新的模型设计，它将旅程算子应用于数值，将标准注意力、状态空间模型（SSM）和 JoFormer 统一在“数值路径公式”（value-path formula）之下。
数值-路径层级 (Value-Path Hierarchy)： 一个理论上的桥梁，展示了 SSM 递归如何展开为与注意力相同的数值路径公式，从而阐明了这两类模型的结构差异。

实验结果

作者进行了针对视觉、语言和长度泛化任务的单种子（single-seed）合理性检查，以测试该框架的假设：

视觉 (CIFAR-100 & ImageNet)：
- 在 CIFAR-100 上，应用数值（V）旋转（旋转数值并对输出进行逆旋转）在不同模型规模和频率类型下均一致地提高了准确率。V 旋转与可学习频率的协同作用比标准 2D-RoPE 提升了 1.88%。
- 在 ImageNet-1K (ViT-S) 上，带有 V 旋转的 JoFormer 比 RoPE2D 的 Top-1 准确率提高了 0.40%。
- 实验证实了“平坦机制”假设：密集（弯曲）旋转（如 LieRE）的表现不如轴向（交换）旋转。
语言建模 (Wikipedia)：
- JoFormer-projected（内容依赖型角度）在所有测试配置中，相比于 RoFormer 和固定/学习型的 JoFormer 变体，实现了更低的困惑度（perplexity）。
长度泛化：
- JoFormer-projected 展示了卓越的外推能力。当在序列长度 512 上训练并在 4096 上测试时，其困惑度比率为 1.02x，显著优于 RoPE (6.29x) 和 JoFormer-fixed (4.41x)。这表明数据依赖型角度对于超越单纯 V 旋转的长度泛化至关重要。

意义与主张

本文声称提供了一个基础性的代数框架，解决了多轴组合结构与基于向量的学习之间的张力。其意义在于：

理论统一： 它解释了为什么类 RoPE 方法是特定对称约束下的自然产物，并为注意力、SSM 和 JoFormer 提供了一套通用的符号表示。
归纳偏置： 它识别了标准注意力中缺失的一个结构性偏置：即数值侧缺乏非交换组合。JoFormer 填补了这一空白。
实际效用： 初步实验表明，这些归纳偏置（特别是 V 旋转和内容依赖型角度）在视觉任务和长度泛化方面带来了可观察到的改进。

作者保持了谦逊的态度，指出其实验属于单种子的合理性检查而非确定性的基准测试结论，并强调该框架的主要价值在于为位置机制提供了一种原则性的设计规则。他们明确指出，虽然理论驱动了架构设计，但并未证明特定的变体（如 JoFormer-projected）一定会优于基准模型，而是证明了这些变体与推导出的数值-路径层级是一致的。