🤖 machine learning

MoRe: Modular Representations for Principled Continual Representation Learning on Squantial Data

MoRe 是一个用于序列数据持续学习的模块化框架，它将知识分解为可识别的层次化模块，从而在无需修改架构的前提下保留现有表征，并实现原则性的适应与复用。

原作者： Jiaqi Sun, Boyang Sun, Mohamad Rasmy, Xiangchen Song, Kun Zhang

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiaqi Sun, Boyang Sun, Mohamad Rasmy, Xiangchen Song, Kun Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《MoRe：面向序列数据的基于原则的持续表示学习的模块化表示》的通俗解释，辅以生动的类比。

核心难题：“灾难性遗忘”困境

想象你是一名学生，试图学习一门新学科（如高等微积分），同时又不忘记如何做基础算术。在人工智能领域，这被称为持续学习。

目前大多数 AI 模型就像这样的学生：当它们学习一个新数学技巧时，会意外擦除旧笔记。它们为了腾出空间容纳新信息而覆盖大脑，导致“忘记”之前掌握的一切。这被称为灾难性遗忘。

现有的解决方案试图通过以下方式解决这一问题：

冻结大脑的部分区域（这样什么都不会变，但 AI 也就无法学习新事物）。
重放旧记忆（就像每次学习新东西时，都要复习旧课程的闪示卡）。
给房子加新房间（给 AI 更多空间，但往往以混乱无序的方式进行）。

作者认为，这些方法就像试图通过把书胡乱塞进新书架来整理图书馆，却不去理解书的内容。它们是“启发式”的（基于规则猜测），而非“基于原则”的（基于信息的实际本质）。

解决方案：MoRe（模块化表示）

作者提出了一个名为 MoRe 的新框架。MoRe 不再将 AI 的大脑视为一团巨大的、混乱的参数集合，而是将其视为一套带有特定说明书的乐高积木。

核心思想是：知识不仅仅是一堆事实；它具有自然的层级结构。

基础模块：这些是“基础积木”。它们代表普遍真理（如重力、逻辑或基本句子结构）。这些部分应极少改变。
特定模块：这些是“专用构建”。它们代表特定细节（如如何修理特定车型，或某个城市特有的俚语）。这些部分经常变化。

MoRe 的目标是自动识别 AI 大脑中哪些部分是“基础积木”，哪些是“专用构建”，以便在更新特定部分时不破坏基础部分。

工作原理：“时间旅行”线索

AI 如何知道哪块乐高积木是基础的，哪块是特定的？这篇论文利用了一个涉及时间的巧妙技巧。

想象你在看电影。剧情（特定的故事）依赖于物理定律（基本规则）。物理定律不会因剧情而改变，但剧情会因物理定律而改变。

MoRe 观察序列数据（随时间发生的数据，如书中的句子或股票价格）。它依赖一条特定规则：

基础知识以轻微的时间延迟影响特定知识。
特定知识****不影响基础知识。

这就像一条河流。源头（基础）流向下游的三角洲（特定）。三角洲的水不会倒流回源头去改变源头。通过分析这种单向的、具有时间延迟的连接，MoRe 可以在数学上证明（一个称为可识别性的概念）数据的哪些部分确实是“源头”，哪些是“三角洲”。

过程：两步适应法

当 AI 遇到新数据时，MoRe 不会重新训练所有内容。它遵循一个两步过程：

“三思而后行”阶段：
AI 尝试利用现有的乐高积木来理解新数据。它会问：“我对‘基础积木’的当前理解是否仍适用于这个新情况？”
- 如果答案是是，它就重用这些积木。
- 如果答案是否（新数据包含 AI 未曾见过的模式），它就会标记一个“缺失的部件”。
“选择性构建”阶段：
与其重建整栋房子，MoRe 会：
- 对齐：微调现有积木以适应新语境（就像旋转一块乐高积木以契合新角度）。
- 扩展：仅为其之前无法解释的特定新模式构建新积木。
- 冻结：锁定基础积木，防止它们被破坏。

结果：论文发现了什么

作者通过两种方式测试了该方法：

合成实验（“受控实验室”）：
他们创建了具有已知规则的伪造数据。MoRe 成功识别了隐藏的层级结构（哪些部分是基础的，哪些是特定的），并在学习新任务时没有忘记旧任务。在平衡“稳定性”（不忘旧）和“可塑性”（学新）方面，它比其他方法表现优异得多。
现实世界实验（"LLM 激活”）：
他们将 MoRe 应用于大型语言模型（LLM）阅读真实文本（如维基百科或数学问题）时的内部“思维”（激活）。
- 发现：MoRe 自然地将 AI 的知识组织成层级结构。底层学习了通用概念（如“这是一个数学问题”），而顶层学习了特定细节（如“这是关于代数的”）。
- 效率：在预测数学问题难度时，MoRe 这种组织化的知识使其仅需比标准方法少得多的样本即可进行学习。

结论

MoRe 表明，终身学习的秘诀不在于“更努力地尝试”或“记住更多”，而在于理解数据本身的结构。

通过认识到某些知识是基础的（如语法规则），某些是特定的（如新俚语），并利用时间流将它们区分开来，MoRe 构建了一个能随时间变得更聪明而不会“失智”的 AI。它将混乱的学习过程转化为一种结构化的、基于原则的知识积木组装。

技术摘要：MoRe：面向序列数据的基于原则的持续表示学习的模块化表示

1. 问题定义

本文解决了持续学习（Continual Learning, CL）的挑战，特别是模型在顺序适应新数据时面临的灾难性遗忘问题。作者认为，现有的 CL 方法（包括有监督和无监督方法）在很大程度上依赖于启发式策略——如参数约束、回放、蒸馏或架构隔离——来决定保留什么和更新什么。这些方法通常将“更新什么”的决策视为任务级或参数级问题，而非表示级问题。

identified 的核心问题是：任务需要 distinct 但结构化的表示，这些表示可以被选择性地更新而不破坏现有知识。然而，当前方法缺乏基于数据内在结构的原则性标准，来确定表示的哪些部分应被重用，哪些应被替换。本文提出，对于序列数据，时间延迟依赖提供了一种自然信号，用于揭示数据的内在组织，阐明基本表示如何衍生出特定表示。

2. 方法论：MoRe 框架

作者提出了MoRe（模块化表示），这是一个用于基于原则的持续表示学习的框架。与在架构层面分配模块化（例如，每个任务使用独立的网络）的方法不同，MoRe 在表示内部识别模块化。

2.1 生成模型与假设

MoRe 假设数据是由一个分层过程生成的，其中潜在变量 $Z_t$ 被组织成 $d$ 层（ $Z^1_t, \dots, Z^d_t$ ）：

层次结构：高层编码基本的、领域无关的知识（例如物理原理），而低层捕捉专门的、领域特定的信息。
单向时间延迟依赖：跨层效应单向地从基本层流向特定层，并带有时间延迟（例如， $Z^i_t$ 依赖于 $Z^j_{t-\tau}$ ，其中 $j < i$ ）。瞬时跨层依赖被禁止。
层内依赖：同一层内的依赖关系不受限制。

2.2 理论保证（可识别性）

核心贡献之一是证明了这种特定的生成结构允许潜在过程的可识别性：

定理 1（潜在变量可识别性）：在平滑密度和足够变异性的条件下，瞬时关系确保潜在变量只能在同一层内混合，而不能跨层混合。
定理 2（层次顺序可识别性）：单向的时间延迟跨层效应限制了层的允许排列。层次结构在“兼容顺序”（即不反转真实时间延迟效应的顺序）下是可识别的。
推论 1：结合上述两点，完整的潜在过程在层内不确定性和兼容层次顺序下是可识别的。这将模块从启发式构造转变为定义明确的对象，从而能够对重用和扩展做出原则性决策。

2.3 适应算法

MoRe 对新数据集 $D_k$ 采用两阶段适应过程：

拟合与评估（仅推理）：
- 新数据使用先前的编码器 $f_{k-1}$ 投影到现有的坐标系中。
- 自洽性评分：根据每个现有模块的假设生成结构（时间自相关性和对其他模块残差的条件独立性）是否在新数据中得以保持，对每个现有模块进行评分（ $a_j$ ）。
- 残差分析：分析观测空间中的重建残差，以识别与现有基正交的新候选坐标（ $V_{new}$ ），从而揭示缺失的结构。
选择性更新：
- 门控机制：每个模块（现有的和候选的新模块）都与一个硬混凝土门（Hard Concrete gate）（ $g_j$ ）相关联。自洽性评分 $a_j$ 初始化门先验（高 $a_j$ $\rightarrow$ 正 logits；低 $a_j$ $\rightarrow$ 负 logits）。
- 对齐：一个可学习的对齐矩阵 $T$ （初始化为单位矩阵）允许对重用的模块进行小的坐标调整，而无需完全重新训练。
- 目标函数：损失函数结合了数据拟合（变量变换似然）、对齐正则化项（ $\|T - I\|_F^2$ ）以及门控（ $L_0$ ）和新转换块（ $J_{new}$ ）的稀疏性惩罚。
- 承诺：在训练结束时，门被二值化。 $g_j=0$ 的模块被停用（但保留在库中），而 $g_j=1$ 的新模块被添加。

3. 主要贡献

MoRe 框架：一种将表示分解为反映数据生成过程而非任务边界的基本模块和特定模块层次结构的方法。
可识别性保证：理论证明表明，在跨层时间延迟依赖下，分层模块化结构是可识别的，为决定重用或扩展哪些模块提供了原则性基础。
适应过程：一种两阶段算法，通过现有模块解释新数据，对其一致性进行评分，并利用可学习的门控选择性地对齐、保留或扩展它们。
实证验证：在合成基准和现实世界的大型语言模型（LLM）激活数据上的演示，展示了可解释的层次结构以及改进的塑性 - 稳定性权衡。

4. 实验结果

4.1 合成基准

可识别性（S-RQ1）：MoRe 在线性和非线性设置中，成功恢复了不同维度（高达 128）和深度（高达 4 层）的潜在因子，实现了高平均相关系数（MCC > 0.9）。
塑性 - 稳定性（S-RQ2）：在涉及新因子或缺失因子的过渡场景中，MoRe 实现了接近零或负遗忘（改善了旧因子的恢复），同时保持了与微调相当的塑性。消融研究证实，对齐矩阵 $T$ 对于保护旧表示至关重要。
因子分配（S-RQ3）：MoRe 正确地将因子路由到重用或新模块。在旧因子和新因子部分重叠的“困难”选择性案例中，门控准确率降至 0.5，反映了固有的歧义性，但需要同时对旧门和新门施加稀疏性惩罚才能正常工作。

4.2 现实世界 LLM 激活

层次涌现（RW-RQ1）：应用于 Pythia-1.4B 和 Gemma-2-9B 在 ArXiv、AMPS 和 Wikipedia 等数据集上的激活，MoRe 揭示了一种“从广到专”的结构。
- 概念集中：在 AMPS 数据集（数学课程）上，低层（ $L_0$ ）显示出比高层更高的概念集中度（针对难度层级的特异性），这与课程层次结构相一致。
- 跨层链接：提取的 B 矩阵链接显示了从基本概念（如算术）到特定概念（如线性代数）的过渡（在 AMPS 中），以及从抽象数学到应用领域的过渡（在 ArXiv 中）。
标签效率（RW-RQ2）：在少样本设置中，在冻结的 MoRe 表示上训练的线性探针优于 PCA 基线。例如，MoRe 仅使用单层中的 64 个维度和一半的标记数据，就达到了 PCA 使用 256 个维度时的同等性能。

5. 意义与主张

本文主张，持续学习的核心挑战是表示级的。通过将适应过程建立在数据的可识别结构（特别是跨层时间延迟依赖）之上，MoRe 提供了一种原则性的替代方案，取代了基于任务或基于参数的启发式隔离。

原则性基础：该框架表明，持续适应不应由任务标签驱动，而应由数据的内在组织驱动，从而允许重用基本构建块，同时扩展特定组件。
可解释性：学习到的层次结构是可解释的，反映了从一般原则到具体应用的过渡，正如现实世界数据集中与人类定义层次结构的对齐所证明的那样。
效率：该方法表明，一旦学习到丰富的表示，就可以实现标签高效的下游适应，仅需少量样本即可为新任务组装表示。

作者对局限性保持谦逊，指出当前的实现使用了线性实例，并且理论假设（单向延迟、稀疏性）在实践中可能仅近似满足。他们将这项工作视为迈向完整持续学习系统的基础步骤，将长程稳定性和非线性扩展留给未来的研究。